因应英伟达GPU涨价缺货，韩互联网巨头Naver改用英特尔CPU承担部分AI任务
本帖最后由 埃律西昂 于 2023-11-6 10:09 编辑来源： Hankyung
原文标题： [단독] 네이버, 인텔 손 잡고 엔비디아 GPU 대체 성공
你可以以每个 5 万美元的价格订购，一年后才能收到。我这说的可不是奢侈品包包的价格。这就是美国英伟达（Nvidia）公司开发和销售的基于图形处理器（GPU）的人工智能（AI）加速器的市场情况。由于加速器被认为是推进人工智能服务的关键，因此出现了 "有钱也买不到 "的局面。微软等人工智能开发商的焦虑与日俱增。
国内企业的情况也类似。"由于缺乏加速器，升级不容易。"他们抱怨道。国内人工智能公司中的 "老大"--NAVER 公司已经想出了一招。它最近与英特尔合作，获得了一款可以替代英伟达加速器的产品。
将英特尔 CPU 服务器用于 NAVER Place AI 服务
据半导体行业 30 日消息，NAVER 最近将其 "NAVER Place "服务的 AI 推断（直接利用 AI 模型进行服务的过程）服务器从英伟达 GPU 换成了英特尔 CPU。Place 是一项基于 NAVER 地图为用户提供当地商店信息的服务。它使用人工智能模型实时收集商店用户输入的信息，并区分虚假信息和有用信息。
https://img.hankyung.com/photo/202310/01.34930695.1.jpg
一般来说，GPU 服务器处理人工智能推理的能力是 CPU 服务器的 10 倍。两家公司结合各自的技术诀窍，用 GPU 取代 CPU。
英特尔推出了针对推理进行优化的软件解决方案，使中央处理器更加高效。这使 CPU 的每秒处理能力（RPS）提高了四到七倍。NAVER 在保持 Place 服务定位准确性的同时，通过减轻人工智能模型，最大限度地减轻了 CPU 的负担。
经过一个月对 CPU 服务器的初步和最终测试后，NAVER 和英特尔开始将其部署到实时服务中。通过更换 GPU，NAVER 每年将节省多达 4 亿韩元的成本，而且服务质量不会下降，也不需要更换服务器所需的额外设备。
采购英伟达GPU的困难和不断上涨的价格是一种负担
NAVER 之所以决定更换 GPU，是因为最近基于英伟达™（NVIDIA®）GPU 的服务器成本飙升，而且很难采购到 GPU。此外，还有人担心人工智能公司难以升级其服务。
对于英伟达专门用于人工智能服务的 GPU 加速器（如 H100），其交付周期（从订购到收货的时间）最近已延长至 52 周。这意味着，如果现在订购，预计一年后就能收到。这是因为生产 Nvidia GPU 的台湾台积电的产能跟不上需求。由于供不应求，今年早些时候的零售价约为 4 万美元，最近已跃升至 7000 万至 8000 万韩元。
"通过更换CPU和优化人工智能模型，我们可以降低运营成本，"NAVER的G Place人工智能开发团队负责人朱允相说，"我们已经确保了未来可以扩展的技术基础。"
Nvidia的生态系统很强大......但 "第一步 "要确保替代品的安全
行业观察家们表示，取代 Nvidia GPU 的人工智能半导体联盟正在蓄势待发。虽然 Nvidia 凭借其针对 AI GPU 优化的 CUDA 软件在生态系统中占据主导地位，但要取代它并非不可能。
NAVER计划使用英特尔最新的Sapphire Rapids至强可扩展处理器来进一步取代其GPU服务器。"英特尔韩国公司总经理Seung-Joo Na表示："通过有效利用CPU，我们可以最大限度地减少GPU的使用，同时还能达到预期的性能。 amd的多核心处理器ai性能这么差么，都不考虑amd 昰昰暃暃 发表于 2023-11-3 04:15
amd的多核心处理器ai性能这么差么，都不考虑amd
没有fp16单元 赫敏 发表于 2023-11-3 17:40
没有fp16单元
这个单元的作用是什么 chainofhonor 发表于 2023-11-3 19:41
这个单元的作用是什么
深度学习基本就是单精度和半精度计算。。。 huggingface的pytorch automodel把一个模型切到多张卡上。但模型太大的时候，任意时间8张卡只有一张卡在工作，相当于一下慢了8倍，和大内存cpu站到了同一起跑线。虽然可以写个pipeline parallelism拉慢利用率，但设计算法时候加优化很容易出bug，浪费时间。 不用AI不就得了吗，这么简单问题 由于供不应求，今年早些时候的零售价约为 4 万美元，最近已跃升至 7000 万至 8000 万美元。
这个涨幅……认真的吗？ sun1a2b3c4d 发表于 2023-11-6 09:54
这个涨幅……认真的吗？
已更正单位。
页:
[1]