首页 » 通讯 » 英伟达深夜上新AI芯片H200超大年夜内存容量翻倍 |最前哨_英伟_模子

英伟达深夜上新AI芯片H200超大年夜内存容量翻倍 |最前哨_英伟_模子

少女玫瑰心 2025-01-18 13:42:47 0

扫一扫用手机浏览

文章目录 [+]

编辑 |苏建勋

北京韶光11月13日傍晚,英伟达又推出了 NVIDIA HGX H200,一种比H100性能更强的下一代产品。
据英伟达表示,该产品将于2024年二季度上市。
此外,英伟达还透露,将在2024年发布基于新一代架构Blackwell的B100 GPU,且将H100的产量增加两倍至200多万块。

英伟达深夜上新AI芯片H200超大年夜内存容量翻倍 |最前哨_英伟_模子 通讯

人工智能市场的火热,正迫使英伟达加速上新速率。
H100芯片发布至今仅8个月,英伟达又发新芯。

英伟达产品方案,来自官网

H200是H100的升级产品,仍旧采取 NVIDIA Hopper 超级芯片架构,紧张面向超大规模的大模型演习和推理事情场景。

作为H100的升级版本,H200将会具有H100的所有功能,如用来加速基于Transformer架构搭建的深度学习模型的Transformer Engine功能。

它最大的改变在于内存。
存储大小是算力芯片的性能指标,H200是首款具有HBM3e的GPU,这是三星所能供应的最强内存,能很好地为天生式AI和大措辞模型供应数据存储空间。
与上一代H100比较,NVIDIA H200 能以每秒 4.8 TB 的速率供应 141GB 内存,容量险些翻倍,带宽增加 2.4 倍。

英伟达并未专门先容H200与之前产品原始打算吞吐量的差异,不过,在采取了HBM3e的内存后,以基于Meta的Llama 2大模型的测试为例,H200的输出速率大约可以达到H100的1.9倍,H200对GPT-3.5的输出速率则是H100的1.6倍。

H200产品性能比拟,来自官网

此前,AMD才发布了以大内存为紧张特点的新品MI300X GPU,希望帮助大措辞模型运算推理,英伟达H200发布后,会加剧在大模型推理市场的竞争。

除了以内存为紧张升级重点的H200加速器,英伟达还发布了HGX H200 平台。

HGX H200会以4 路和 8 路的配置供应,它可以用在本地、云、稠浊云和边缘平分歧类型的数据中央上。
该产品将支配于Amazon Web Services、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure等平台,估量2024年第二季度推出。

英伟达表示,H200在利用上可以和H100兼容,这能担保基于英伟达芯片进行模型演习的用户,在不变动做事器、软件的情形下就可以无缝衔接到新产品。

令人遗憾的是,英伟达的H200作为一款比H100更强的新品,无法在中国市场发卖。
英伟达官方邮件回应36氪,H200须要得到干系出口容许证才能在中国市场发卖。

不过,近日,有称,英伟达已开拓出针对中国市场的最新改良版系列芯片——HGX H20、L20 PCle和L2 PCle,紧张基于H100改良而来,最快将于本月16号之后公布。

标签:

相关文章