技能演进
智算中央的发展基于最新人工智能理论和领先的人工智能打算架构，算力技能与算法模型是个中的关键核心技能，算力技能以AI芯片、AI做事器、AI集群为载体，而当前的算法模型发展趋势以AI大模型为代表。在此根本上，通过智算中央操作系统作为智算中央的“神经中枢”对算力资源池进行高效管理和智能调度，使智算中央更好地对外供应算力、数据和算法等做事，支撑各种聪慧运用处景落地。而软件生态则是智算中央“好用、用好”的关键支撑。
1．AI芯片基于AI芯片的加速打算是当前AI打算的主流模式。AI芯片通过和AI算法的协同设计来知足AI打算对算力的超高需求。当前主流的AI加速打算紧张是采取CPU系统搭载GPU、FPGA、ASIC等异构加速芯片。AI打算加速芯片发轫于GPU芯片，GPU芯片中原本为图形打算设计的大量算术逻辑单元（ALU）可对以张量打算为主的深度学习打算供应很好的加速效果。随着GPU芯片在AI打算加速中的运用逐步深入，GPU芯片本身也根据AI的打算特点，进行了针对性的创新设计，如张量打算单元、TF32/BF16数值精度、Transformer引擎（Transformer Engine）等。近年来，国产AI加速芯片厂商持续发力，在该领域取得了快速进展，干系产品陆续发布，覆盖了AI推理和AI演习需求，个中既有基于通用GPU架构的芯片，也有基于ASIC架构的芯片，其余也涌现了类脑架构芯片，总体上呈现出多元化的发展趋势。但是，当前国产AI芯片在产品性能和软件生态等方面与国际领先水平还存在差距，亟待进一步完善加强。总体而言，国产AI芯片正在努力从“可用”走向“好用”。
2．AI做事器AI做事器是智算中央的算力机组。当前AI做事器紧张采取CPU+AI加速芯片的异构架构，通过集成多颗AI加速芯片实现超高打算性能。为知足各领域场景和繁芜的AI模型的打算需求，AI做事器对打算芯片间互联、扩展性有极高哀求。AI做事器内基于特定协议进行多加速器间高速互联通信已成为高端AI演习做事器的标准架构。目前业界以NVLink和OAM两种高速互联架构为主，个中NVLink是NVIDIA开拓并推出的一种私有通信协议，其采取点对点构造、串列传输，可以达到数百GB/s的P2P互联带宽，极大地提升了模型并行演习的效率和性能。OAM是国际开放打算组织OCP定义的一种开放的、用于跨AI加速器间的高速通信互联协议，卡间互联聚合带宽可高达896GB/s。浪潮信息基于开放OAM架构研发的AI做事器NF5498，率先完成与国际和海内多家AI芯片产品的开拓适配，并已在多个智算中央实现大规模落地支配。
3．AI集群大模型参数量和演习数据繁芜性快速增长，对智算系统提出大规模算力扩展需求。通过充分考虑大模型分布式演习对付打算、网络和存储的需求特点，可以设计构建高性能可扩展、高速互联、存算平衡的AI集群来知足尖真个AI打算需求。AI集群采取模块化方法构建，可以实现大规模的算力扩展。AI集群的基本算力单元是AI做事器。数十台AI做事器可以组成单个POD打算模组，POD内部通过多块支持RDMA技能的高速网卡连接。在此根本上以POD打算模组为单位实现横向扩展，规模可多达数千节点以上，从而实现更高性能的AI集群。AI集群的构建紧张采取低延迟、高带宽的网络互连。为了知足大模型演习常用的数据并行、模型并行、流水线并行等稠浊并行策略的通信需求，须要为芯片间和节点间供应低延迟、高带宽的互联。其余，还要针对大模型的并行演习算法通信模式做出相应的组网拓扑上的优化，比如对付深度学习常用的全局梯度归约通信操作，可以利用全局环状网络设计，配置多块高速网卡，实现跨AI做事器节点的AI芯片间RDMA互联，肃清稠浊并行算法的打算瓶颈。AI集群的构建须要配置面向AI优化的高速存储。通过配置高性能、高扩展、多层级的智能存储，为各种数据访问需求供应优化性能。智能存储具备随需扩展功能，实现高IOPS处理能力，支持RDMA技能，同时实现高聚合带宽。
4．AI大模型超大规模智能模型，简称大模型，是近年兴起的一种新的人工智能打算范式。和传统AI模型比较，大模型的演习利用了更多的数据，具有更好的泛化性，可以运用到更广泛的下贱任务中。按照运用处景划分，AI大模型紧张包括措辞大模型、视觉大模型和多模态大模型等。自然措辞处理是首个运用大模型的领域，BERT是大模型的早期代表。随着大模型在自然措辞的理解和天生领域成功运用，推动了措辞大模型向更大的模型参数规模和更大演习数据规模的方向发展。当前，措辞大模型的单体模型参数已经达到千亿级别，演习数据集规模也达到了TB级别，演习所需打算资源超过1000PetaFlop/s-day（PD）。业界范例的自然措辞大模型有GPT-4、源、悟道和文心等。自然措辞大模型已经广泛运用于个人知识管理、舆情检测、商业报告天生、金融反敲诈、智能客服、虚拟数字人等场景，同时也涌现了一系列的创新运用处景，如剧本杀、反网络诱骗、公函写作等。在措辞大模型大得胜利之后，干系技能和方法也被引入打算机视觉领域，通过构建更大的预演习模型，使其可以适用于目标检测、语义分割、非常检测等广泛的视觉任务。在算法架构上，视觉大模型采取以Transformer架构为主体的神经网络架构和自监督的演习方法以及十亿级的无标注图片数据进行演习。当前业界已经涌现了越来越多的通用视觉大模型和面向特定领域的视觉大模型。视觉大模型也已广泛运用于自动驾驶、智能安防、医学影像等领域。
随着大模型技能在措辞、视觉等多个领域的运用，领悟多个模态的多模态大模型也逐渐成为了业界关注的重点。基于多模态大模型的以文生图，文生视频技能也迅速发展，代表性模型有DALLE-2、Stable Diffusion 3 和Sora等。由于多模态大模型的快速发展，AI内容天生（AI Generated Content，AIGC）已成为下一个AI发展的重点领域。
5．智算OS智算OS，即智算中央操作系统，因此智算做事为工具，对智算中央根本举动步伐资源池进行高效管理和智能调度的产品方案，可以使智算中央更好地对外供应算力、数据、算法、智件等做事，有效降落算力利用门槛，提升资源调度效率，支撑各种聪慧运用处景落地，是智算中央的“中枢神经”。智算OS紧张由三层架构构成，分别为根本举动步伐层、平台做事层、业务系统层。根本举动步伐层紧张实现将异构算力、数据存储、框架模型等转化为有效的算力与做事资源，算力资源池能够聚合并进行标准化和细粒度切分，以知足上层不同类型智能运用对算力的多元化需求，并通过异构资源管理和调度技能，提升可同时支撑的智算业务规模。平台做事层紧张供应AI演习与推理做事、数据管理做事、运营运维做事等，并通过智算OS实现自动化、智能化，有效摆脱人力束缚，促进算力高效开释并转化为生产力。业务系统层是面向用户真个统一做事入口，向下整合各层级核心功能，为用户供应多元化、高质量的智算做事，知足生产中不同阶段、不同场景的智算需求。智算OS以智算中央为载体，通过培植多元、开放的智算平台，领悟国际、海内前辈人工智能技能，形成标准化、模块化的模型、中间件及运用软件，以开放接口、模型库、算法包等办法向用户供应如行业大模型、自动驾驶、元宇宙、聪慧科研等人工智能做事，促进人工智能技能成果的开放与共享，构建开放的智算生态。
6．软件生态基于业界主流、开源、开放的软件生态培植智算中央，是智算中央能够知足前沿AI打算需求、提升AI创新和生产效率、丰富行业AI运用、促进AI家当快速发展的紧张条件。深度学习的加速打算始于GPU，构建于GPU之上的CUDA软件栈为深度学习的算法开拓供应了极大的便利。CUDA软件栈为深度学习的运用开拓和打算加速供应了丰富的底层支撑，如张量和卷积打算加速、芯片互联通信加速、数据预处理加速、模型低精度推理加速等。在此根本上，学术界和工业界已经构建弘大的开源、开放、共享的AI软件生态，有力促进和加速环球AI技能与运用的发达发展。深度学习框架是当前紧张的人工智能算法开拓工具。个中TensorFlow和PyTorch的利用较为广泛。TensorFlow因其丰富的模型开拓和运用支配组件而在工业界广泛运用，PyTorch则由于其易用性和灵巧性在前沿算法开拓和学术创新研究领域取得了领先地位。海内的AI科技公司也在开拓和推广深度学习框架。个中百度开拓的飞桨供应了兼具灵巧和效率的开拓机制，并联合开源社区打造了一系列覆盖主流家当运用需求的工业级模型，目前在海内已得到较多的采取。在深度学习框架之上，为了适应打算机视觉任务、自然措辞大模型等特定场景的运用开拓需求，业界构建了一系列的开源开拓库，比如面向目标检测任务的mmdetection、面向大模型演习任务的Megatron-LM、DeepSpeed，以及面向自监督学习的VISSL等。
这些软件库进一步简化了模型演习和运用开拓的难度，已成为当古人工智能打算的主要软件底座。业界前沿的有名AI算法，如ChatGPT、DALLE-2、StableDiffusion等都是在这样的架构下实现的。随着国产AI打算家当的快速发展，各厂商也高度重视并投入软件生态培植，力求实现好用、易用的软件开拓和运用生态。但总的来说，当前国产AI打算软件生态起步较晚、根本薄弱，还要持续不断加大投入，在各个层面加强培植完善。
