HPCWire采访英特尔Habana实验室COO：Gaudi3有望明年推出，Habana与AXG将整合路线图

埃律西昂

---

来源： HPCwire
原英文标题： <Intel’s Habana Labs Takes on Prominent Role as Generative AI Surges>

---

英特尔在四年前刚刚收购了人工智能芯片制造商Habana实验室；现在，该部门--按照Habana首席运营官Eitan Medina（埃坦·梅迪纳）的说法--正在实际上担任“英特尔在人工智能解决方案方面的卓越中心”。对于一家三A级公司的年轻团队来说，这是一个很大的角色。在接受HPCwire采访时，Medina为Habana实验室--及其用于人工智能的Gaudi芯片--作为英特尔在日益突出的生成性人工智能领域最具竞争力的产品提出了理由。

首先，快速回顾一下：Habana实验室在约一年前发布了其第二代人工智能训练芯片Gaudi2。那次升级使Gaudi从第一代的16纳米来到7纳米（都是台积电）。Gaudi2有96GB的封装内HBM2e内存和24个Tensor处理器内核。从一开始，Habana和英特尔就宣传Gaudi芯片在低功耗、高速AI训练和推理方面相对于竞争对手的优势。最后我们听说，Gaudi3有望在明年推出。

基调转变

"我想如果你最近参加过英特尔的会议，你会注意到基调已经改变，对吗？"Medina说。"英特尔正在大力推广基于Gaudi的架构，用于专门的深度学习解决方案。"Medina引用了英特尔首席执行官Pat Gelsinger（帕特·基辛格）最近在世界经济论坛上的演讲，其中Gelsinger本人在一个Gaudi2系统上做了演示。

正如Medina所概述的那样，英特尔内部对Habana的宣传很简单：英特尔基于CPU的节点用于普通计算；英特尔基于GPU的节点用于普通加速，例如用于HPC和AI的双重用途；以及 "如果你真的想做AI，那么Habana解决方案就是你的解决方案。"

"更高端的英特尔GPU实际上还没有上市，"Medina说。"因此，从英特尔的角度来看，特别是对于这里的大语言模型[LLM]，英特尔推荐的用于训练这些大语言模型的唯一解决方案--甚至推断这些--是Gaudi2[解决方案]。"Medina确实提到了英特尔的入门级GPU和其Xeon CPU产品线，用于推理任务和模型的微调。

生成式人工智能基准的曙光

3月，Habana实验室和Hugging Face致力于对Gaudi2在1760亿个参数的BLOOMZ LLM上进行推理的基准测试，将其与基于Nvidia的A100 GPU（80GB变种）的服务器进行比较。结果是：Gaudi2的推理速度提高了1.3倍，Habana预计在精度从BF16变为FP8后这一倍数将达到1.8（Habana实验室计划在下一季度在Gaudi2上启用FP8）。此外，Gaudi2在这个过程中使用的功率减少了22%。类似的乘数在其他各种基准（如稳定扩散）中持续存在，训练和推理的乘数一般在1.5倍和2.5倍之间，这取决于相关的模型。在某些情况下，Habana正在等待Nvidia提供基准，然后才能提供直接比较。


Medina特别强调了电力消耗的差异。"他说："如果你与终端客户交谈，他们会告诉你，他们的首要问题是，城市不会给他们的数据中心提供更多的兆瓦。Medina说，在估计的吞吐量增加和电源效率提高之间，对客户来说，"非常容易理解价值主张在哪里"。

Habana实验室的许多（但不是全部）最突出的部署是在测试平台上，公司和实验室都在努力弄清楚爆炸性的人工智能加速器景观的利弊。Mobileye（英特尔的一家公司）已经部署了Gaudi2用于生产，将芯片用于训练旨在自动驾驶汽车操作的定制物体检测模型。

Habana的下一步是什么

"Gaudi3很快就会到来，"Medina说。"它实际上已经在制造了。它将是我们的台积电5纳米产品"。他说，Gaudi3将提供一个显著的性能提升，同时改善电源效率。

当然，Nvidia和AMD也在推出他们的下一代解决方案，并将其目标直指AI应用。当被问及Gaudi2和Gaudi3预计如何与这些产品竞争时，Medina很乐观："根据我们目前看到的[H100的性能]，并由此推断出其他型号，我们相信Gaudi2将在价格性能上具有竞争力--不是绝对性能，而是性价比--而Gaudi3将大大超越它。当然，在价格表现上也会优于它。"(Medina将此归因于制程提升到5nm的跃进）。

Medina预计Gaudi在 "未来几年，至少 "仍然是重度人工智能工作负载的 "推荐解决方案"--但在那之后，路线图变得更加不透明，计划在Habana实验室的芯片和来自面向数据中心的加速计算系统和图形（AXG）集团（负责Max系列 "Ponte Vecchio "GPU）的加速器之间进行整合。

"现在，Ponte Vecchio专注于阿贡国家实验室，对吗？更多的是HPC用例，"Medina说。"英特尔认识到，如果该服务器只需要做人工智能--如果是重度负载--那么它就是Gaudi2，紧接着它将是Gaudi3。现在，下一代--第四代--将结合Gaudi的能力和一些AXG的能力。"

"我们已经在设计将是下一代的加速器，"Medina补充说。"英特尔实际上将在Habana和AXG方面的组织之间真正统一路线图。我们正在努力进行更深入的整合。"

目前，这就是我们对第四代Habana产品的全部了解；Medina说期待在未来几个季度有更多关于Gaudi3的消息。