首页 » 科学 » 全球首款Transformer专用AI芯片Sohu登场_之家_芯片

全球首款Transformer专用AI芯片Sohu登场_之家_芯片

少女玫瑰心 2024-12-28 09:18:34 0

扫一扫用手机浏览

文章目录 [+]

IT之家查询公开资料,Etched 公司由两名哈佛大学辍学生加文・乌伯蒂(Gavin Uberti)和克里斯・朱(Chris Zhu)创立,成立韶光不到 2 年韶光。

Sohu 芯片最大的亮点在于直接把 Transformer 架构蚀刻到芯片中,乌伯蒂称 Sohu 采取台积电的 4 纳米工艺制造,推理性能大大优于 GPU 和其他通用人工智能芯片,同时能耗更低。

全球首款Transformer专用AI芯片Sohu登场_之家_芯片 全球首款Transformer专用AI芯片Sohu登场_之家_芯片 科学

在 Llama 70B 吞吐量中,搜狐每秒可处理超过 50 万个 tokens,让用户可以构建 GPU 无法实现的产品。

全球首款Transformer专用AI芯片Sohu登场_之家_芯片 全球首款Transformer专用AI芯片Sohu登场_之家_芯片 科学
(图片来自网络侵删)

Sohu 能够实现实时语音代理、毫秒级处理数千字文本、更强大的代码树搜索、并行比较数百个相应、多播推测解码以及实时天生新内容等功能,为未来万亿级参数模型的运行供应了可能。

IT之家附上官网链接,感兴趣的用户可以深入阅读。

相关文章

介绍IT写作高手,如何驾驭技术文章的奥秘

随着互联网的飞速发展,IT行业成为了当今社会最热门的领域之一。在这个领域,IT写作高手以其独特的视角、丰富的知识和独特的文风,成为...

科学 2024-12-30 阅读0 评论0