9 项测试破 5 项纪录，英伟达 H100 在 MLPerf 中独占鳌头：训练 GPT-3 时间缩短 27%

哈迈百科注：MLPerf 是衡量 AI 芯片性能的主流基准之一，该平台最新推出了新的测试项目，专门针对微调（Fine-tuning）大语言模型和图神经网络（GNN），而英伟达 H100 创下了多项纪录。

Fine-tuning 是指在预训练模型的基础上，通过在特定任务上进行额外的训练来调整模型的参数，以使其更好地适应该任务。

本次测试使用了 11616 片英伟达 H100 GPU，在最新 9 项测试中，都取得了最高性能，并在其中 5 项测试中创造了新的纪录。

谷歌和英特尔等竞争对手也参与了本次测试，谷歌的 TPU 系统在速度上有了显著提高，英特尔的 GPU 也取得了明显进步，但其性能和英伟达相比仍有差距。

英伟达表示由于进行了多项软件优化，训练 GPT-3 的时间比 2023 年 6 月的基准测试缩短了 27%。这些优化包括更好地使用 8 位浮点运算、更高效的计算引擎电源管理以及改进 GPU 之间的通信。