这是该团队继异构领悟类脑打算“天机芯”后,第二次登上《Nature》杂志封面,标志着中国在类脑打算和类脑感知方向取得主冲要破。
清华大学精密仪器系类脑打算研究团队聚焦类脑视觉感知芯片技能,提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。该范式借鉴了人类视觉系统的基本事理,将开放天下的视觉信息拆解为基于视觉原语的信息表示,并通过有机组合这些原语,模拟人视觉系统的特色,形成两条上风互补、信息完备的视觉感知通路。

清华大学研制“天眸芯” 再次登上《Nature》杂志封面。清华大学供图

基于这一新范式,团队进一步研制出了天下首款类脑互补视觉芯片“天眸芯”。论文通讯作者为清华大学精密仪器系施路平教授和赵蓉教授,精密仪器系博士杨哲宇(现为北京灵汐科技有限公司研发经理)、精密仪器系博士生王韬毅、林逸晗为论文的共同第一作者。清华大学为论文第一单位,互助单位包括北京灵汐科技有限公司。
类脑互补视觉感知芯片“天眸芯”。清华大学供图
随着人工智能的飞速发展,无人驾驶和具身智能等无人系统正在现实社会中不断推广运用。视觉感知作为获取信息的核心路子,发挥着至关主要的浸染。然而,在繁芜多变且不可预测的环境中,实现高效、精确且鲁棒(即在非常和危险情形下系统生存的能力)的视觉感知依然是一个艰巨的寻衅。
在开放天下中,智能系统不仅要处理弘大的数据量,还须要应对各种极度事宜,如驾驶中的突发危险、隧道口的剧烈光芒变革和夜间强闪光滋扰等。传统视觉感知芯片由于受到“功耗墙”和“带宽墙”的限定,在应对这些场景时每每面临失落真、失落效或高延迟的问题,严重影响了系统的稳定性和安全性。
“天眸芯”在极低的带宽(降落90%)和功耗代价下,实现了每秒10000帧的高速、10bit的高精度、130dB的高动态范围的视觉信息采集。它不仅打破了传统视觉感知范式的性能瓶颈,而且能够高效应对各种极度场景,确保系统的稳定性和安全性。
基于“天眸芯”,团队还自主研发了高性能软件和算法,并在开放环境车载平台上进行了性能验证。在多种极度场景下,该系统实现了低延迟、高性能的实时感知推理,展现了其在智能无人系统领域的巨大运用潜力。
清华大学精密仪器系类脑打算研究团队。拍照/张兆基
清华大学精密仪器系类脑打算研究团队。拍照/张兆基
“天眸芯”的成功研制是智能感知芯片领域的一个重大打破。它不仅为智能革命的发展供应了一个强大的技能支持,还为自动驾驶、具身智能等主要运用开辟了新的道路。结合团队在类脑打算芯片“天机芯”、类脑软件工具链和类脑机器人等方面已运用落地的技能积累,“天眸芯”的加入将进一步完善类脑智能生态,有力地推动人工通用智能的发展。
这项研究得到了科技部科技创新2030“脑科学与类脑研究”重大项目和自然基金委果支持,也得到了清华大学/IDG-麦戈文脑科学研究院的支持。
来源:中国青年报客户端







