去年的SIGGRAPH，英伟达推出GH200、L40S显卡、ChatUSD轮番登场。而今年的主角，是英伟达在天生式AI时期的新王牌——“Nvidia NIM”全新升级，并且通过NIM 将天生式 AI 运用于 USD（通用场景描述），拓宽AI在3D天下的可能性。
Nvidia NIM升级：既是福音，也是寻衅
英伟达宣告，Nvidia NIM实现了进一步优化，并标准化了AI模型的繁芜支配。NIM是英伟达在AI布局中的关键一环。黄仁勋多次对NIM带来的创新讴歌有佳，称其是“AI-in-a-Box, 实质上它便是盒子里的人工智能。”
这次升级无疑巩固了英伟达在AI领域的领导地位，成为其技能护城河的主要组成部分。
一贯以来，CUDA被认为是英伟达在GPU领域建立领导地位的关键成分。借助CUDA的支持，GPU从单一的图形处理器发展成为通用的并行打算设备，使得AI开拓成为可能。不过，只管英伟达的软件生态系统非常丰富，但对付缺少AI根本开拓能力的传统行业来说，这些分散的系统仍旧过于繁芜和难以节制。
为理解决这一问题，在今年3月，英伟达在GTC大会上推出了NIM（Nvidia Inference Microservices）云原生微做事，将过去几年开拓的所有软件集成在一起，以简化和加速AI运用的支配。NIM可将模型作为优化的“容器”，这些容器可支配在云端、数据中央或事情站上，让开发职员能够在几分钟内完成事情，比如轻松为副驾驶、谈天机器人等构建天生式 AI 运用程序。
到现在，Nvidia布局的NIM生态系统已经可供应一系列预演习的AI模型。英伟达宣告，帮助开拓者在多个领域加速运用开拓和支配，并且重点在不同的领域（如理解、数字人、三维开拓、机器人技能和数字生物学）中供应的详细AI模型：
Nvidia NIM（Nvidia Inference Model）供应的做事及其详细模型
理解方向，NIM可利用Llama 3.1和NeMo Retriever，提升文本数据的处理能力；数字人方向，供应了Parakeet ASR和FastPitch HiFiGAN等模型，支持高保真语音合成和自动语音识别，为构建虚拟助手和数字人类供应了强大的工具；
在三维开拓方面，USD Code和USD Search等模型简化三维场景的创建和操作，帮助开拓者更高效地构建数字孪生和虚拟天下；
在机器人具身方向，英伟达推出了MimicGen和Robocasa模型，通过天生合成运动数据和仿照环境，加速了机器人技能的研发和运用。MimicGen NIM 可根据 Apple Vision Pro 等空间打算设备记录的远程操作数据，天生合成运动数据。Robocasa NIM 可在 OpenUSD (一个用于在 3D 天下中进行开拓和协作的通用框架)中天生机器人任务和仿真就绪环境。
数字生物学领域的DiffDock和ESMFold等模型，则在药物创造和蛋白质折叠预测方面供应了前辈的办理方案，推动了生物医学研究的进展等等。
此外，Nvidia宣告Hugging Face推理即做事平台也由Nvidia NIM供应支持，在云端运行。
通过整合这些多功能模型，Nvidia的这种生态系统不仅提升了AI开拓的效率，还供应了创新的工具和解决方案。不过，只管Nvidia NIM的诸多升级对付行业确实是一大“福音”。但从另一壁来看，也给程序员们带来了很多寻衅。
Nvidia NIM通过供应预演习的AI模型和标准化的API，大大简化了AI模型的开拓和支配过程，这对付开拓者来说确实是一大福音，但是否也意味着普通程序员的就业机会未来或将进一步紧缩？毕竟，企业可以用更少的技能职员完成同样的事情，由于这些任务已经由NIM预先完成，普通程序员可能不再须要进行繁芜的模型演习和调优事情。
教AI用3D思维进行思考，构建虚拟物理天下
英伟达在SIGGRAPH大会上也展示了天生性AI在开放USD和Omniverse平台上的运用。
英伟达宣告，构建了天下上首个能够理解基于 OpenUSD（Universal Scene Description 通用场景描述）措辞、几何、材料、物理和空间的天生性AI模型，并将这些模型打包为Nvidia NIM微做事。目前，在Nvidia API目录中有三个NIM可供预览：USD Code，用于回答开放USD的知识问题并天生开放USD Python代码；USD Search，许可开拓者利用自然措辞或图像输入搜索弘大的开放USD 3D和图像数据库；USD Validate，可检讨上传文件与开放USD发布版本的兼容性，并利用Omniverse云API天生完备RTX渲染的路径追踪图像。
英伟达表示，随着Nvidia NIM微做事对OpenUSD的增强和可访问性，未来各行各业都可以构建基于物理的虚拟天下和数字孪生。通过基于开放USD的新的天生性AI和Nvidia加速开拓框架，这些框架构建于Nvidia Omniverse平台之上，更多行业现在可以开拓用于可视化工业设计和工程项目的运用程序，以及用于仿照环境以构建下一波物理AI和机器人。此外，新的USD连接器将机器人和工业仿照数据格式以及开拓者工具连接起来，利用户能够将大规模、完备由Nvidia RTX光芒追踪的数据集流式传输到Apple Vision Pro。
简而言之，通过Nvidia NIM引入USD，通过大模型更好的理解物理天下和构建虚拟天下，这是一笔非常宝贵的数字资产。举个例子，在2019年，法国巴黎圣母院遭遇严重失火，教堂大面积被毁。光彩的是，育碧游戏设计师曾无数次拜访这座建筑物，学习它的构造，完成了对巴黎圣母院的数字复原事情，在3A游戏《刺客信条：大革命》，重现了巴黎圣母院的所有细节，也给巴黎圣母院的修复带来很大的帮助。当时设计师和历史学家用了两年的韶光来复刻，但随着该技能的推出，未来针对数字副本的重现我们可以大规模的提速，通过AI来更风雅化的理解和复刻物理天下。
再比如，设计师在Omniverse中构建根本三维场景，并利用这些场景调节天生性AI，实现可控和协作的内容创作过程。比如WPP与适口可乐公司率先采取这一事情流程，来扩大其环球广告活动。
Nvidia还宣告即将推出几种新的NIM微做事，包括USD Layout、USD Smart Material和FDB Mesh Generation，以进一步提升开拓者在开放USD平台上的运用能力和效率。
这次NVIDIA Research携20多篇论文参会，分享涉及推动合成数据天生器和逆渲染工具发展的创新成果，个中两篇得到了技能最佳论文奖。今年展示的研究表明，AI通过提升图像质量和解锁新的3D表示办法，使仿照能力变得更好；同时，改进的合成数据天生器和更多内容也提高了AI的水平。这些研究展示了Nvidia在AI和仿照领域的最新进展和创新。
图注：Getty Images天生性AI案例
英伟达表示，设计师和艺术家现在有了新的改进办法，通过利用基于容许数据演习的天生性AI来提高生产力。比如Shutterstock（美国图片供应商），推出了其天生性3D做事的商业测试版。它仅需利用文本或图像提示，使创作者能够快速原型化3D资产，并天生360 HDRi背景以照亮场景；以及Getty Images（美国图片交易公司）加速了其天生性AI做事，使图像天生速率更加，提高输出质量。这些做事基于多模态天生性AI架构Nvidia Edify，通过新模型速率更加，提升了图像质量和提示准确性，让用户能够掌握相机设置，如景深或焦距。用户可以在大约六秒钟内天生四张图像，并将它们放大到4K分辨率。
结 语
在黄仁勋涌现的各大场合中，他总是穿着一袭皮衣，向天下描述AI所带来的激动民气的未来。
我们也经历着英伟达的发展，目睹英伟达一步步从游戏GPU巨子到AI芯片霸主、再到纵横AI软硬件全栈式布局，英伟达的野心十足，在AI的技能浪潮最前沿快速迭代。
从可编程着色GPU、CUDA加速打算，到Nvidia Omniverse和天生式AI NIM微做事的推出，再到推动3D建模、机器人仿照和数字孪生技能的发展，也意味着新一轮AI家当的改造来临。
不过，随着大公司拥有更多的资源，包括资金、技能和人力，能够更快地采取和履行Nvidia NIM等前辈技能。而中小企业由于资源有限，可能难以跟上技能发展的步伐。再加上人才技能水平的不同，未来是否会导致更多的技能不平等加剧？
人类之空想中的AI，是帮助人类解放双手和劳动力，带给人类更高生产力的天下。但是当生产力和生产资料被少部分人节制的时候，会不会引发带来更深层次的一场危急？这都是我们须要思考的问题。
