自供电传感内储备池计算的机器视觉

在传统的机器视觉系统中，物理上分离的传感、内存和处理单元导致了大量的能量耗费和时间延迟，严重限制了其在无人驾驶、机器人和工业制造等实时信息处理场景的应用。受人脑视觉的启发，华东师范大学电子科学系田博博研究员、彭晖教授和段纯刚教授团队提出了一种同时具备感知光信号、存储信号和进行信息预处理功能的视网膜器件，并基于该视网膜器件构建了感存算一体的类脑视觉系统，实现了高效并行的信息处理方式，大大节省了系统能耗。该工作以“基于自供电感内储备池计算的超低功耗机器视觉”为题发表于Wiley综合性期刊Advanced Science（图1）。华东师范大学电子科学系博士生劳婕和闫梦阁为文章的共同第一作者，华东师范大学极化材料与器件教育部重点实验室田博博研究员、彭晖教授和段纯刚教授为文章的通讯作者。

图1：该工作以“基于自供电感内储备池计算的超低功耗机器视觉”为题发表于Wiley综合性期刊Advanced Science。

图2：传统机器视觉与传感内计算类脑视觉比较

研究人员设计了Cs₂AgBiBr₆无铅双钙钛矿与铁电聚合物相结合的光伏型自供电传感器件，该器件不仅可以直接接收光信号，并且可以同时模拟人脑视觉系统中光感受器和神经细胞的功能。铁电层在肖特基势垒中产生能量势阱，大大延长了光生载流子在空间电荷区的停留时间，使得器件光电流对时序的光信号刺激产生非常强和高效的非线性耦合作用（图3），这对于传感器内储备池计算 (Reservoir Computing, RC) 是必需的。通过直接将时序光信号转为更高维度信息，然后通过简单的矩阵乘硬件获取原光信号中的特征信息，研究人员实现了基于该自供电传感器阵列的感内储备池类脑视觉处理系统（图4）。该传感内储备池类脑视觉系统同时胜任静态和动态视觉任务。静态人脸图像分类（图5）和动态车流方向判别（图6）的识别率分别达到了99.97%和100%。

图3：Cs₂AgBiBr₆无铅双钙钛矿与铁电聚合物相结合的光伏特型自供电突触器件。

图4：基于Cs₂AgBiBr₆自供电光突触器件的感内储备池计算应用于图像处理的原理流程图。

图5：传感内储备池计算视觉系统演示了静态人脸图像分类，识别率高达99.97 %。

图6：传感内储备池计算视觉系统演示了动态车流方向判别的视觉处理任务，识别率高达100%。

将自供电光电器件应用于传感内储备池计算，不仅在储备层实现了接近于零的能量消耗，并且简化了后续信息处理任务，大大降低了视觉处理的整体能耗。这项工作为使用光子设备的超低功耗机器视觉铺平了道路。

该项研究得到了国家自然科学基金、之江实验室开放课题、上海市科技创新行动计划和华东师范大学“双一流”人才团队平台项目的资助。

论文信息：

Jie Lao, Mengge Yan, Bobo Tian*, Chunli Jiang, Chunhua Luo, Zhuozhuang Xie, Qiuxiang Zhu, Zhiqiang Bao, Ni Zhong, Xiaodong Tang, Linfeng Sun, Guangjian Wu, Jianlu Wang, Hui Peng*, Junhao Chu and Chungang Duan* “Ultralow-power machine vision with self-powered sensor reservoir”, Advanced Science, 2106092, 2022.

论文链接：https://onlinelibrary.wiley.com/doi/full/10.1002/advs.202106092