NVIDIA 公布 GPT-3 175B 模型中的下一代 B100 Blackwell GPU 性能

科技 编辑:
导读 B100 和 GB200 GPU 超越了典型的图形处理器,深入研究了非常规的图形功能。作为数据中心加速器,它们处理复杂的任务,特别是推进大型语...

B100 和 GB200 GPU 超越了典型的图形处理器,深入研究了非常规的图形功能。作为数据中心加速器,它们处理复杂的任务,特别是推进大型语言模型的创新。NVIDIA 预计势头将会增强,并寻求在 2024 年巩固其市场份额。

该公司确认将于明年推出 B100 GPU。SuperComputing 2023 特别演讲的最新幻灯片证实了 Blackwell 将于明年首次亮相,尽管此前并未明确证实这一点。重要的是,Blackwell HPC 新闻并未扩展到该架构的潜在游戏迭代;它仅适用于该架构的第一代 GB100。

NVIDIA 表示,B100 有望显着增强 GPT-3 模型的推理能力,拥有 1780 亿个参数。与当前 H200 架构的功能相比,这一进步可能是两倍或更多。需要澄清的是,尽管图中明确关注大型语言模型 (LLM) 性能,但这并不自动等同于原始计算能力的成比例增加,除非内核和电源效率有显着改善——这种情况在这样的规模上似乎不太可能。

此外,NVIDIA 声称 B100 的内存带宽将进一步激增。现有的 Hopper GPU 已经利用 HBM3e 技术,提供高达 4.8 TB/s 的带宽。即将推出的 Blackwell 芯片预计将保留这项技术,可能会包含额外的堆栈和更高的带宽。NVIDIA 强调其致力于设计可预见未来内存技术支持的架构,今年 HBM3e 与 GH200 GPU 的集成就证明了这一点。

标签:
免责声明:本文由用户上传,如有侵权请联系删除!