10月27日,《Nano Letters》在线发表了华中科技大学集成电路学院题为“2D van der Waals Vertical Heterojunction Transistors for Ternary Neural Networks”的研究论文。华中科技大学叶镭教授和缪向水教授、香港中文大学童磊博士为共同通讯作者。集成电路学院博士生李政为第一作者。华中科技大学集成电路学院为论文第一完成单位。该工作得到湖北省江城实验室常务副主任杨道虹教授级高级工程师等的大力支持,并受到国家重点研发计划、国家自然科学基金、香港研究资助局、武汉光电子国家实验室创新基金、国家重点实验室开放基金等研究项目的支持。
深度神经网络(DNN)在机器视觉、自然语言处理等方面取得了巨大进步。然而,目前使用32位全精度权重的DNN模型拥有超过数亿个参数,这需要大量的存储器和处理器,导致巨大的硬件成本。值得庆幸的是,在软件方面,三元神经网络(TNN)可以将全精度权重量化为仅2位三元权重{−1,0,1},这意味着模型可以压缩近16倍。而在硬件方面,与二进制系统相比,三元计算系统可以使用更少的器件来实现相同的信息密度。然而,大多数基于二进制CMOS电路的三元计算系统需要额外的器件来桥接二进制处理和三元计算。探索用于直接三元处理和计算的新设备架构成为推动三元计算系统的关键。在这里,我们展示了一种具有三个平坦电导态的二维范德华垂直异质结晶体管(V-HTR)。无需额外的器件,它可以作为三元电路中执行三元处理和计算的基本单元。基于V-HTR演示了三元神经网络(TNN)和三元逆变器。TNN通过构建三元量化函数,可以消除模糊数据,只输出清晰的数据。通过在同一器件架构上演示三元逻辑和TNN,2D V-HTR显示出作为未来三元计算系统基本硬件单元的潜力。
集成电路学院缪向水院长团队长期从事三维相变存储器、忆阻器、类脑智能计算与逻辑运算等信息存储材料及器件方向的研究。2018年出版了国内第一本忆阻器专著《忆阻器导论》,2019年团队93项三维相变存储器芯片专利许可给国内存储器龙头并合作开发产品,并与行业龙头企业华为公司、新思科技公司等合作建立了联合实验室,推动存储器芯片技术的成果转化以及未来引领技术的探索。
论文链接:
Zheng Li, Xinyu Huang, Langlang Xu, Zhuiri Peng, Xiang-xiang Yu, Wenhao Shi, Xiao He, Xiaohan Meng, Daohong Yang, Lei Tong*, Xiangshui Miao*, Lei Ye*. 2D van der Waals Vertical Heterojunction Transistors for Ternary Neural Networks. Nano Letters (2023).
https://pubs.acs.org/doi/10.1021/acs.nanolett.3c03553