片上视觉体系电路是一种“传感-存储-计较”一体化的智能视觉感知体系，可以或许完成及时的图象获取、旌旗灯号处置惩罚和智能图象处置惩罚使命三木SEO-，可广泛运用在灵敏呆板人、智能无人机以和工业呆板视觉等前沿范畴。现有片上视觉体系以多比特实数情势举行图象获取、传输、处置惩罚，并采用计较视觉及深度进修要领别离完成图象旌旗灯号加强及智能认知的处置惩罚使命，面对两阶段分散练习、数据流布局及处置惩罚范式变化、计较繁杂度高、片上存储开消年夜、处置惩罚延迟及功耗年夜等诸多的设计及运用挑战。

中国科学院半导体研究所刘力源研究员领导团队于超高速仿生片上视觉体系电路设计范畴取患上主要进展。团队立异性地设计了一款集成为了单光子脉冲型图象传感器及脉冲神经收集处置惩罚器的超高速仿生脉冲片上视觉体系（图1），单光子雪崩二极管像素（SPAD）阵列自然地天生高速脉冲型图象旌旗灯号，端到真个脉冲神经收集完成图象旌旗灯号加强及智能图象辨认使命，乐成地实现了仿人类视觉体系的全脉冲型图象获取、传输、处置惩罚的功效。

端到真个脉冲神经收集集成为了前真个图象加强层及后真个智能认知层，采用深度进修方式实现图象加强与方针辨认的交融练习，提高推理精度，降低参数冗余。图象加强层及智能认知层都采用了脉冲神经元模子举行计较，极年夜地降低了计较单位的繁杂度；重构处置惩罚单位电路撑持不异计较并行度下完成两个神经收集层处置惩罚，无需利用自力专用的图象旌旗灯号处置惩罚器，提高了硬件利用效率，为实现超高速片上视觉体系电路提供了一种全新的路径。

脉冲片上视觉体系测试最高成像速度为每一秒10万脉冲图象帧，于MNIST数据集上的辨认正确率为99.2%，最高辨认推理速率达10000次/秒，于1.43mlux的低照度前提下实现了95.3%的辨认正确率;?于马赛克彩色ETH-80数据集上的辨认正确率为94.3%。于连结不异的高辨认正确率的环境下，本文事情将弱光方针辨认的照度程度进一步降低了一个数目级。该项研究为边端视觉装备提供了实现超高速视觉感算一体化高集成度片上体系的新要领。

上述研究结果以“A 10 000-Inference/s Bio-Inspired Spiking Vision Chip Based on an End-to-End SNN Embedding Image Signal Enhancement”为题，发表在《IEEE?固态电路期刊》 （IEEE?Journal of Solid-State Circuits）。此项研究结果由半导体所助理研究员杨旭及刘力源研究员等配合完成。

此项事情获得了国度天然科学基金及北京市天然科学基金等项目的资助。

文章链接：https://doi.org/10.1109/JSSC.2025.3583310

?

图1超高速仿生脉冲片上视觉体系架构和其旌旗灯号流

?

图2超高速仿生脉冲片上视觉体系硬件照片及辨认精度随照度变化曲线测试成果

（原标题：半导体所超高速仿生脉冲片上视觉体系研制取患上进展）

Previous Next 返回列表