这是天下上首款类脑互补视觉芯片，基于视觉原语的互补双通路类脑视觉感知新范式，打破了传统视觉感知芯片在稳定性和安全性等方面的性能瓶颈。
天眸芯：受人类视觉系统启示的互补双通路类脑视觉感知视觉传感器发展到现在，在运用上已经表现得很成熟，但目前常用的视觉成像硬件系统的功能仍旧不能像人类视觉系统那样灵巧，这一类图像传感器在处理开放天下运用中的动态、多样和不可预测的场景时仍旧面临着巨大的寻衅。
详细来说传统视觉感知芯片在高速、高分辨率、大动态范围和高精度方向上同时发展受到了功率和带宽的严重限定。在处理开放天下中的动态不可预测情景时，这些感知芯片感知器件面临失落真、失落效抑或高延迟等问题，严重影响了系统的稳定性和安全性。
为办理这些限定，清华大学类脑打算研究中央团队解析了人类视觉系统，论文中讲解到，人类视网膜由视杆细胞和视锥细胞组成，它们以相反的办法运行以扩大灵敏度范围。不才一个别系层级上，外侧膝状体（LGN）中的M通路和P通路以互补的办法编码视觉信息。然后，来自LGN的输出信息被重组为一系列primitive基元，这些基元包含了颜色、方向、深度和方向等信息。
传入的觉得信息通过与感官相对应的特定模式通道发送到大脑，这些通道中的每一个都进一步将输入的旗子暗记解析为并行流，向大脑供应紧凑、高效的输入。
受到这种布局的启示，团队提出了一种类脑的互补感知范式，该范式将视觉信息解析为primitive-based，并将这些原始的primitive-based信息组合在一起形成两种互补的视觉通路，一因此准确认知为导向的认知通路，另一种因此行动为导向的快速相应通路。
为了实现这一范式，团队开拓了“天眸”视觉芯片，该芯片结合了稠浊像素阵列和并行异构读出架构。该芯片采取90纳米背照式CMOS，对认知导向的通路COP和行动导向通路AOP电路做了并行的异构组合，再通过稀疏时空差分分组器天生压缩数据。
互补通路构筑的类脑视觉感知，已在实际运用中展现超强性能利用互补视觉路径的特性，天眸芯实现了高达10000帧/秒的高速传感，动态范围为130 dB，在空间分辨率、速率和动态范围方面具有明显的上风。
天眸芯公布的功耗中，最高的是在10000fps@±1-bit（threshold=50mV）下的419.7mW，也是极低的功耗水平。不同像素、仿照、数字和接口电路下，最低为757fps@±7-bit（threshold=0）下的328.4mW。
在天眸芯中，不同的数据原始组合被编码形成AOP数据和COP数据。这两种通路有独立的缓冲区，并支持独立的反馈掌握。然后，AOP和COP的处理数据被发送到不同光流求解器中。推理结果终极被集成到多工具跟踪器。这种方法优化了两条互补通路，同时保留了低延迟相应能力和高性能特色。
天眸芯测试板与处理系统示意图，来源：Nature
在全体视觉重修中，有自监督演习管道，利用两个通路供应的彩色图像并根据这些图像之间的差异数据来供应演习样本。不断调度输入数据量就能得到任何韶光点的高速彩色图像，终极完成图像输出。
清华大学团队在论文中展示了实际运用中的芯片特性，如捕捉快速移动中的乒乓球、记录车轮旋转以及抓拍闪电。车轮抓拍中该芯片COP部分记录下的车轮混叠通过高速AOP肃清并进行了抗锯齿重修，闪电拍摄中COP遗漏的闪电在AOP进行了补全，表现十分亮眼。
天眸芯特殊在开放环境的车载平台上进行了多项性能验证，在多种极度场景下，该系统实现了低延迟、高性能的实时感知推理，展现了其在智能无人系统领域的运用潜力。
值得一提的是AOP中的稀疏数据流，加上分外的编码方法，使天眸能够自适应地调度其传输带宽。纵然大多数情形下芯片处于小于80 MB/s的带宽下，但在这种互补感知下，大量测试案例已经表明了该带宽已经足以办理许多现实运用中动态不可预测的场景感知难题。
清华大学表示，“天眸芯的成功研制无疑是智能感知芯片领域的一个重大打破。它不仅为智能革命的发展供应了一个强大的技能支持，还为自动驾驶、具身智能等主要运用开辟了新的道路”。
继异构领悟类脑打算芯片“天机芯”后，清华大学类脑打算研究中央团队凭借“天眸芯”再次登上《自然》杂志封面。此前天机芯的发布标志着我国在类脑打算上的打破，这次天眸芯发布，意味着我国在类脑感知方向上同样取得了至关主要的打破。天眸芯的涌现，让视觉感知进入了全新的篇章。
不断打破的类脑技能正在推动智能运用颠覆性变革本次“天眸芯”的公布，加之“天机芯”积累的技能与运用根本，无疑将进一步完善类脑智能生态，有力地推动通用人工智能的发展。海内也有不少科研机构和企业在这条赛道上持续打破，用类脑技能推动智能运用变革。
北京灵汐科技是海内领先的类脑打算企业，灵汐科技研发经理杨哲宇博士也是本次天眸芯论文的共同第一作者之一。灵汐科技已经发布并量产了具有完备自主产权的商用类脑芯片——领启KA200(-S)。该款芯片采取了异构领悟、众核并行、存算一体的架构，单芯片集成25万神经元和2500万突触，可扩展支持200万神经元和20亿突触的集成打算。目前已在云边端AI运用领域取得了不错的落地。据悉未来还会连续推动类脑技能在机器人及具身智能、大模型、智算中央等新兴运用领域的运用。
SynSense时识科技今年也计策收购了瑞士类脑视觉传感器公司iniVation，成为环球首家完全拥有类脑传感和类脑打算技能的公司，可以充分发挥类脑感算的高效协同浸染。SynSense时识科技目前正在推进工业安防、眼动追踪、消费电子、航空航天和自动驾驶等领域的类脑技能落地。
人工智能的飞速发展有目共睹，人工智能的运用已经从从前前的理论和小型测试发展到现在的企业级用例。类脑技能正是为理解决人工智能思考的难题，仿照人类大脑处理信息的机制使得干系芯片及相应的硬件系统能够像人类一样思考，成为真正意义上的人工智能。现在不断打破的类脑技能正推动着智能运用走向颠覆性的变革。
小结前沿技能的打破为类脑技能的落地供应了强有力的支持，类脑技能与视觉传感的领悟冲破了传统视觉传感的局限，为下一代智能视觉传感指明了一条清晰的技能道路。可以说，类脑技能正在为智能运用开辟新的道路。
