10月5日，《Nature Communications》在线刊发了我校集成电路学院叶镭教授、缪向水教授关于二维仿生视觉硬件的最新研究成果“Multifunctional human visual pathway-replicated hardware based on 2D materials”。缪向水教授、叶镭教授和国防科技大学江天教授为通讯作者，我校2021级博士生彭追日为第一作者。我校集成电路学院为论文第一完成单位。该工作得到香港中文大学童磊博士的大力支持，并受到国家自然科学基金、国家重点研发计划、湖北省重点、香港研究资助局等项目的资助。
人类视觉系统包括视网膜、视觉皮层及其连接的视觉通路。腹侧通路(P pathway)和背侧通路(M pathway)分别通过特定的连接方式，进行颜色、形状识别的静态信息和方向、运动判断的动态信息处理（图1）。模仿视网膜在近年来研究广泛，但缺乏考虑视觉通路的连接方式，使得复杂视觉功能的集成化充满挑战。因此，本工作从人类视觉通路的连接状态出发，开发了一种复制视觉通路的多功能硬件。
人类视觉系统：视觉通路及其功能
该硬件由交叉棒阵列和模仿视觉通路回路连接的相关外围电路构成。其中，10 × 10像素规模的交叉棒阵列由Al2O3/Pt/Al2O3/WSe2分裂浮栅结构（SFG）的单元器件构成（图2），器件和阵列具有两种工作模式：i）光伏二极管模式；ii）双极晶体管模式。在光伏二极管模式下，分裂浮栅赋予二硒化钨（WSe2）同质结可重构的正/负光电流，且响应度受到栅极电压近线性的调节，工作时无需偏压待机功耗几乎为零。该模式下的SFG阵列能够模拟视网膜的中心-周围感受野（CSRF）。在双极晶体管模式下，双栅的一端施加固定电压用于选通，另一端调节晶体管沟道电导率用于调节神经网络单元权重。该模式下的SFG阵列能模拟视觉皮层的神经网络结构，通过基尔霍夫定律执行矩阵乘和操作。浮栅编程能量仅1 pJ/spike，有望实现超低功耗。
WSe2分裂浮栅器件交叉棒阵列与复用功能
将SFG阵列与外围电路组装起来，视觉通路复刻硬件实现了颜色处理、形状识别和运动追踪功能（图3）。完全复制实际的颜色处理通路，在硬件电路层面解释了红绿色盲的原因。通过在双层稀疏神经网络内进行有效的形状分类，形状识别功能被验证，并展示了神经回路兼容的稀疏性和>95%的识别率。相比全连接网络，器件使用量减少61.1%且每次操作仅需0.9 nJ的编程能耗。基于Barlow–Levick模型，模仿突触信号传输时延相关的方向判断机制，硬件搭配延时电路和双向移位寄存器实现运动追踪功能。该研究为仿生视觉硬件提供了新的思路，有望助力开发更适应神经结构的脑机接口设备，帮助盲人或色盲患者恢复正常视力，并推动无人驾驶技术和智能机器人领域的进步。
人类视觉通路复制硬件的工作原理流程图
团队介绍：
集成电路学院缪向水教授团队长期从事三维相变存储器、忆阻器、类脑智能计算与逻辑运算等信息存储材料及器件方向的研究。2018年出版了国内第一本忆阻器专著《忆阻器导论》；2019年团队将93项三维相变存储器芯片专利许可给国内存储器龙头并合作开发产品，并与行业龙头企业合作建立了联合实验室，推动存储器芯片技术成果转化和未来引领技术探索。
论文链接：https://www.nature.com/articles/s41467-024-52982-3
