海光K100在大模型推理上是什么水平了？

terryhux · 发表于 2024-7-18 16:37

客户要采购跑大模型推理的设备，目前纠结这4个方案，感觉16张4090最合适？但又说不上来到底强在哪，有没有大佬给点建议？感谢

海光 K100 * 8张
A10 * 16张
A40 * 4张
RTX4090 * 16张

厌夜 · 发表于 2024-7-18 17:54

4090那个小显存也能拿来推理吗，3090感觉都靠谱点啊。

我輩樹である · 发表于 2024-7-18 18:15

用流水线并行的方式可以跑多8 session，2张4090一组跑70bq4模型速度大概15t/s左右。
缺点是外围设备x8。

zhuifeng88 · 发表于 2024-7-18 18:21

我輩樹である发表于 2024-7-18 18:15
用流水线并行的方式可以跑多8 session，2张4090一组跑70bq4模型速度大概15t/s左右。
缺点是外围设备x8。 ...

怎么会只有15

2张3090 qwen2 72b q4 bs1都有20多
2`BQWN36CWXIBBH5Z$T~EE3.png

zhao1999250 · 发表于 2024-7-18 21:45

考不考虑天数智芯。。。。

manwomans · 发表于 2024-7-18 22:04

买国产的图啥
啥时候nv被严格封禁了再捏着鼻子买国产也不迟

账号		自动登录	找回密码
密码			加入我们

[显卡] 海光K100在大模型推理上是什么水平了？