中科院取得多模态神经感知研究进展，有助研发高智能机器人

感谢本站的朋友MissBook和天妃面馆总舵手的线索传递！

图1生物躯体感觉系统和人工躯体感觉系统人手感知的杯子的温度，重量，形状示意图，b .由MFSN阵列和模拟触觉感知的SNN分类器组成的人造躯体感觉系统的示意图

体感系统中的多模态感知可以帮助人们获得更全面的物体属性，并对物体的状态做出准确的判断，尤其是不同受体的感觉信号在一定条件下可以被神经元整合并发送到大脑皮层进行进一步处理与单模态感知相比，多模态融合感知在评估物体属性和提高物体识别准确率方面具有明显优势在传统的人工感知系统中，多模态信息处理多采用串行计算架构，感知信号需要转换成数字模式才能被处理器处理，导致功耗和通信带宽开销较大此外，传统半导体技术在构建这种脉冲域多模态传感系统时面临器件集成和电路复杂的挑战，因此迫切需要开发更高效的多模态融合传感硬件方案生物感知系统具有并行分布式感知信息处理，低能耗和高容错的特点，显示出克服传统困境的巨大潜力

最近几天，中国科学院院士，中科院微电子所研究员刘明团队和复旦大学教授刘奇团队共同研发了一种紧凑型多模态融合感知脉冲神经元阵列，由异质集成压力传感器和NbOx忆阻器组成，其中压力传感器用于感知压力，NbOx忆阻器用于产生脉冲输出和感知温度变化当压力和温度刺激同时作用于MFSN时，多模态模拟感觉信息可以融合成一个脉冲序列，表现出优异的数据压缩和脉冲转换能力此外，通过对输出脉冲的频率和幅度进行解耦，可以从融合信号中获得独立的压力和温度信息，支持神经元对单模信息的保真和多模感知能力该团队进一步将MFSN阵列与脉冲神经网络相结合，构建了人工多模态感知系统，成功模拟了人体感觉系统对多模态信息的感知以及对多模态物体的分类能力该工作为构建高效的多模态脉搏传感系统提供了可能，并为高智能机器人技术的发展提供了一种新的思路

据本站报道，相关成果发表在Advanced Materials上，题为《用于多模融合感知和物体分类的异质集成脉冲神经元阵列》。