大模型得到打破以来，无论是家当巨子还是学术界，都在为获取足够的算力资源而苦苦挣扎。去年9月，甲骨文董事长埃里森和特斯拉CEO马斯克在硅谷一家豪华餐厅中向黄仁勋“乞求”GPU的场景还历历在目。近日，人工智能领域有名学者、斯坦福大学教授李飞飞再次表达担忧：高校的AI研究已经被高昂的GPU本钱所拖累，逐渐被家当界甩在身后。
Meta可以为模型演习采购高达35万个GPU，而斯坦福大学的自然措辞处理小组，却统共只有68个GPU——这种“万”与“个”的悬殊比拟，揭示了算力鸿沟的残酷现实。为此，李飞飞提出建立“国家级算力与数据集仓库”的操持，并称其主要性堪比“登月投资”。
对我国而言，情形同样严厉。以GPU等AI芯片为代表的稀缺算力资源，优先向少数大型企业供给，高校、中小微企业苦于高昂本钱难以参与个中。
在此背景下，超大规模智算中央的培植或许能为办理算力短缺问题供应一个思路，成为我国在环球AI竞争中取得上风的主要一环。
事实上，我国早已在算力根本举动步伐上展开积极布局。“东数西算”工程作为国家级的工程项目，在全国范围内方案了八大枢纽节点和十大数据集群，并且已经取得显著进展。
以十大集群之一的韶关集群为例，前不久，其首批上线运营的华南数谷智算中央，一期方案算力16000P（1P约即是每秒1000万亿次打算速率），规模居粤港澳大湾区首位。估量到2025年初，韶关集群的智能算力规模将达到50000P，成为大湾区、广东省乃至全体华南地区的最大体量。这些算力资源，不仅可以知足高校的科研需求，还可以为中小企业等各行各业供应实时、高效的算力支持。
然而，超大规模智算中央的培植并非易事。它须冲要破一系列核心技能，个中异构算力的统筹和调度尤为关键。异构打算，即多种算力的稠浊利用，对付实现全国算力中央的大一统和优化资源利用至关主要。在多个数据中央或智算中央互联互通的繁芜场景下，异构打算的寻衅前所未有。传播内容认知全国重点实验室研究员张冬明表示，在异构算力的培植和发展过程中，国产AI芯片必将扮演越来越主要的角色。然而就目前来说，受配套软件、固件支持等生态系统方面的制约，真正能够有效支撑大模型演习的国产算力集群并不多。
这些情形已被有关部门敏锐捕捉到。今年年初，工业和信息化部等七部门联合印发的《关于推动未来家当创新发展的履行见地》中提到：“加快打破GPU芯片、集群低时延互连网络、异构资源管理等技能，培植超大规模智算中央，知足大模型迭代演习和运用推理需求。”
专家认为，在当前阶段，大部分算力性能的提升紧张来自“系统集成”。既有基于小芯粒技能的芯片级集成，也有基于一卡多芯技能的板卡级集成，还有基于液冷和高互联的机架级集成。因此，建议在加强单芯片能力的同时，应看重提升AI算力的系统集成能力，从单点打破转向横向拓展，对芯粒、液冷、互联等干系技能持续投入，进一步实现AI算力系统的高算力、高效能、高稳定、高性价比。
当前，智算中央正在成为通用人工智能发展的关键。而超大规模智算中央，正在成为智算中央持续演进的未来形态。随着智算中央的发展成熟，“开箱即用”的智能打算做事有望成为主流。当然，这须要家当界、学术界和政府的配合尽力。
在算力资源的统筹配置方面，业内人士建议，政府可以通过行政手段，以统筹培植的办法集中采购，通过“云化”将算力按P发卖，再以“算力券”等的办法补贴中小型科研机构，以促进AI的研究和运用发展。
笔墨｜陈海波
转自｜光明日报
来源： 国传创想
