特斯拉 p40 p100 p4 多卡可以叠加显存吗？

wun_008 · 发表于 2023-7-14 23:58

如题，想玩离线G！P！T什么样的卡性价比高呢？

ljy1414 · 发表于 2023-7-15 05:19

本帖最后由 ljy1414 于 2023-7-15 05:21 编辑

应该要先考虑这些被动散热卡的发热问题，你要如何解决？

wun_008 · 发表于 2023-7-15 06:33

ljy1414 发表于 2023-7-15 05:19
应该要先考虑这些被动散热卡的发热问题，你要如何解决？

3d打印的风扇罩子，咸鱼上卖的很多

我輩樹である · 发表于 2023-7-15 08:06

这世界上就没有显存叠加，只有虚拟内存地址的寻址速度和带宽。这个p100当然有，毕竟是nvlink连接的。但问题是它的算力太弱了，都没有tensor core，半精度才19T（仅限p100特供），只能说你有设备的话，可以一跑，最大程度的利用硬件。但专门去买就不值得了。

wun_008 · 发表于 2023-7-15 08:26

我輩樹である发表于 2023-7-15 08:06
这世界上就没有显存叠加，只有虚拟内存地址的寻址速度和带宽。这个p100当然有，毕竟是nvlink连接的。但问题 ...

原来如此 3q

kissthewind · 发表于 2023-7-15 09:20

可以叠加，我用4张m40，显存有96g，但是跑本地部署大语言模型非常非常慢。当初买m40主要用来跑cfd计算的

wun_008 · 发表于 2023-7-15 09:33

kissthewind 发表于 2023-7-15 09:20
可以叠加，我用4张m40，显存有96g，但是跑本地部署大语言模型非常非常慢。当初买m40主要用来跑cfd计算的 ...

原来如此

JASON879 · 发表于 2023-7-16 12:23

本帖最后由 JASON879 于 2023-7-16 12:24 编辑

要看你模型能不能拆分，我跑的176B Bloom int 8可以用Tensor Parallelism跑在20块卡上。

我这机器还是pcie x4 连的，运行速度还行2秒能出一个token。

z008 · 发表于 2023-7-16 15:29

JASON879 发表于 2023-7-16 12:23
要看你模型能不能拆分，我跑的176B Bloom int 8可以用Tensor Parallelism跑在20块卡上。

我这机器还是pcie ...

你这个木架子不错好评

账号		自动登录	找回密码
密码			加入我们

[显卡] 特斯拉 p40 p100 p4 多卡可以叠加显存吗？