安霸将在中高端SoC上供应已优化的天生式AI处理。这些AI SoC包含了功耗低于5瓦的CV72芯片，以及最新的可运用于做事器端，功耗低于50瓦的N1芯片。与GPU及其他AI加速器比较，安霸供应了完全的SoC办理方案，每天生一个token的能效比最高可提高3倍，并可快捷、低成本地支配在终端产品中。
安霸首席技能官兼联合创始人Les Kohn表示：“天生式AI在我们的目标市场上实现了打破，之前无法想象的功能得以实现。利用我们的N1系列SoC来进行多模态大模型推理，将使所有的前端设备变得更智能，更低功耗，和更低本钱。”
市场研究公司Omdia高等打算首席剖析师Alexander Harrowell表示：“在未来18个月内，险些所有设备前端运用都将被天生式AI增强。把天生式AI的打算转移到设备前真个要点，就在于每瓦的AI性能，以及它与前端生态系统别的部分的集成，而不仅仅是原始数据的吞吐量。”
所有安霸的AI SoC均可搭配全新的Cooper开拓平台。此外，为了缩短客户新产品上市的韶光，安霸已预先移植和优化了Llama-2等盛行的大措辞模型。其在N1芯片上运行的大措辞和视觉助手LLava模型，可对多达32个摄像头同时进行多模态视觉剖析。这些经由预演习和调优的模型可从Cooper Model Garden下载。
在现实天下的浩瀚运用里，除了措辞，视觉输入也是一种关键模式。安霸SoC的特有架构非常适宜以超低功耗同时运行视频处理和AI打算。安霸的AI SoC并不是单一的AI加速器，它不仅能够高效处理多模态大模型，还能同时实行各种系统功能。
天生式AI将成为打算机视觉处理中超过式的新技能，它可将高下文学习和场景理解运用于各种设备，从而涵盖安防举动步伐、自主机器人以及浩瀚工业运用。基于安霸AI芯片的设备端通过运行大措辞模型和多模态处理可实现以下功能：安防视频的高下文智能搜索、通过自然措辞命令掌握的机器人、以及多才多艺的AI助手，比如代码、文本和图像的天生等。
这些依赖摄像头和自然措辞理解的系统，大部分将受益于设备前真个天生式AI处理，其处理速率得以提高，隐私保护得到加强，并且总本钱也会降落。安霸办理方案支持确当地处理也非常适宜垂直领域大措辞模型，这些大措辞模型常日须要针对每个详细运用处景进行调度；而传统的集中式做事器方案则是利用更大、功耗更高的大措辞模型来知足不同用例的哀求。
基于安霸最初为自动驾驶开拓的CV3-HD架构，N1系列SoC对总算力资源进行了针对性的优化，从而以超极低功耗运行多模态大模型。例如，N1 SoC在单流模式下以低于50瓦的功耗运行Llama2-13B，每秒可推理25个token。N1办理方案自带移植好的大模型，使系统整合更随意马虎，因此它可快速帮助OEM厂商支配天生式AI，特殊是哀求低功耗的各种运用，比如自带本地运用的AI智能盒子、送货机器人等，不一而足。
本周，安霸将在CES展会期间持续演示N1 SoC及其多模态大模型功能。
(8510286)
