量子位 | "大众年夜众号 QbitAI
英伟达推出了自家最新430亿参数大措辞模型——ChipNeMo。
对付它的用场，英伟达在官方表露中也是非常的明确，剑指AI芯片设计。
详细而言，ChipNeMo可以帮助事情职员完成与芯片设计干系的任务——
包括回答有关芯片设计的一样平常问题、总结bug文档，以及为EDA工具编写脚本等等。
英伟达首席科学家Bill Dally对此表示：
我们的目标是让英伟达的设计师更有效率。
纵然我们的生产率（因ChipNeMo）只提高了几个百分点，这也是值得的。
△英伟达首席科学家Bill Dally
以英伟达H100 Tensor Core GPU为例，它由数百亿个晶体管组成，在显微镜下看着就像是一个精心方案培植的城市一样平常。
这些晶体管连接在比人类头发丝还细10000倍的“街道”上，须要多个工程团队协作两年多的韶光来完成，其间繁琐且弘大的事情量，可见一斑。
因此，在英伟达看来，随着ChipNeMo这样大措辞模型的问世，所有的事情流程都将在效率上得以提升。
用Bill Dally的话来说：
这项事情标志着将大措辞模型运用于半导体设计的繁芜事情的主要第一步。
它展示了纵然是高度专业化的领域，也可以利用其内部数据来演习有用的天生式AI模型。
英伟达设计芯片有了新帮手总体来看，ChipNeMo能够帮助英伟达内部的芯片设计师们完成三大方面的事情。
首先便是问答。
ChipNeMo包含一个原型谈天机器人，它可以回答有关 GPU 架构和设计的问题，帮助许多工程师在早期测试中快速找到技能文档。
例如，你可以向它提问：
为什么我们要添加重新计时阶段（retiming stages）？
ChipNeMo就会基于这个问题，给出精准的答案：
重新计时阶段的增加是为了改进设计的时序，并考虑到芯片不同部分之间的物理间隔。
通过增加重定时级，我们可以减少旗子暗记在芯片不同部分之间传输所需的韶光，这有助于提高设计的整体性能。
此外，重定时级还可以帮助减少旗子暗记上可能涌现的噪声和滋扰的数量，从而进一步提高设计的性能。
其次是DEA脚本天生。
例如只需向ChipNeMo用自然措辞提出想要天生代码的哀求即可：
在TOOL1中编写代码，输出给定矩形（0,0,100,100）中触发器单元的数量。
仅需静候少焉，带着注释的代码片段“啪的一下”就天生了。
据理解，英伟达目前还在对代码天生器（如下图所示）进行开拓，它将来会和现有的工具做一个集成，好让工程师用起来更加方便。
末了是Bug总结和剖析。
芯片设计职员只须要向ChipNeMo描述一下情形即可，例如prompt的内容可能包括Bug的ID、Synopsis、Module和Description等等。
而后ChipNeMo就会根据prompt，给出做好的技能总结和管理总结等。
ChipNeMo是怎么炼成的？首先在数据集方面，英伟达紧张采取的Bug总结、设计源（Design Source）、文档以及维基百科、GitHub等硬件干系的代码和自然措辞文本。
再经由一个集中的数据采集过程来网络，终极在洗濯和过滤之后，形成了241亿个token。
其次在算法、架构设计方面，英伟达并没有直接拿目前已商用、开源的大措辞模型来做支配。
而是紧张采取了这些领域自适应（Domain-Adapted）技能，包括自定义标记器、领域自适应持续预演习、带有领域特定指令的监督微调（SFT），以及领域自适应检索模型。
在此方法之下，便提高了大措辞模型在工程助理谈天机器人、EDA脚本天生和Bug择要和剖析等三个运用中的性能。
结果显示，这些领域自适应技能使得大措辞模型的性能超过通用根本模型；同时模型大小最多可减少5倍，且保持相似或更好的性能。
不过论文作者也坦言：
虽然目前的结果已经取得了一些进展，但与空想结果之间仍存在改进空间。进一步研究领域适应的LLM方法将有助于缩小这一差距。
参考链接：[1]https://blogs.nvidia.com/blog/2023/10/30/llm-semiconductors-chip-nemo/[2]https://www.eetimes.com/nvidia-trains-llm-on-chip-design/[3]https://d1qx31qr3h6wln.cloudfront.net/publications/ChipNeMo%20%2824%29.pdf
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态
