z690通道分配，x8/x8划分

Enerald · 发表于 2022-8-10 03:40

本帖最后由 Enerald 于 2022-8-10 06:35 编辑

1、背景介绍：

小弟是搞深度学习炼丹的，运算主要用GPU，目前用的机器配置全部是双卡机。
目前使用的平台如下：z270+双1080Ti，z390+双1080Ti，z390+双2080Ti，x570+双2080Ti，x570+双3090。
总之，每年新买入机器的配置，CPU都是当年在售的酷睿/锐龙，显卡都是双路当年在售的GeForce系列算力最强的那个。
今年又要买新机器了，目前在看z690+双3090Ti。或者下半年新U新卡如果不缺货，也会继续买z790+双4090。
买机器一般是京东自营买配件（方便报销），然后自己组装跑程序。

2、遇到的z690主板选购问题：

目前京东在售的3090Ti，普遍是3~4个slot的厚度（60~80mm），下半年发售的4090，厚度肯定也是3~4个slot的厚度。
这就需要主板两个x16插槽的间距必须是4 slot宽度，符合条件的只有鸡架的几款z690。

此外，我观察到，z690主板，除了高端的型号，大多数z690主板，两条x16插槽都没有做x8/x8划分。
支持x8/x8划分的z690主板，京东自营在售型号中，
微星最便宜的是Z690 Carbon，3599元；华硕最便宜的是ROG Z690 Hero，4699元；
鸡架最便宜的是Z690 TACHYON，4899元；华擎最便宜的是Z690 Taichi，4599元。
要么就买中低端型号的z690，仅支持x16/x4。

问题：双3090Ti或双4090，跑在x16/x4模式下，性能损失是否可以容忍？
比如双3090Ti或双4090，并行训一个PyTorch的网络，x4的卡数据传输慢一些，x16的卡应该会等x4的卡数据同步。
这个等待数据同步的时间，其实就是变相的性能损失。不知道有没有大佬可以解释一下，这个影响大约有几何？

3、纠结上述问题的原因：

预算，想省钱买更多的3090Ti或4090。
如果买支持x8/x8的主板：鸡架Z690 TACHYON，4899元 + 4条英睿达32G D5内存，4800元。合计9699元。
如果买中端型号的z690，比如鸡架Z690 ELITE D4，1999元 + 4条光威32G D4内存，2400元。合计4399元。
等于说，高端D5和中端D4，差4000多块钱。

4、写在最后：

这个帖子写到最后，似乎我也释然了，以后可能就得接受，多花钱买高端D5主板这个现实了。
比如，即将发布的七代锐龙，芯片组分为x670和x670e，我想x670e就是那些支持x8/x8的高端型号主板。
HEDT没有了的今天，高端酷睿/锐龙的主板承接了多卡交火，为双路GPU提供一个解决方案。
而随着显卡厚度来到3~4个slot的厚度，x16插槽的间距是4 slot的主板也会越来越多。
另外，我也想催促华硕微星，z790，赶紧出几款x16插槽间距为4 slot的主板，为的是能装下双路4090。因为实在不想买鸡架。

附：之前论坛里关于z690通道划分的帖子：
https://www.chiphell.com/thread-2365838-1-1.html
https://www.chiphell.com/thread-2366645-1-1.html

mdk2000 · 发表于 2022-8-10 03:55

本帖最后由 mdk2000 于 2022-8-10 03:58 编辑

我建议你去买amd的Pro WS X570-ACE, cpu和主板都便宜,真白菜了

关键这个版支持pcie 4.0 x8 x8 x8(第3条是主板芯片)同时3张显卡,显卡太厚用延长线就好了

我实测pcie 第1根显卡跑x8 第2根转接了2块pcie 4.0 x4 u2 ssd,第3根接了张dell raid卡 (卡只支持pcie3.0),能同时3插槽 pcie 4.0x8

xuting77 · 发表于 2022-8-10 03:58

昂?我那块就用了一个月结果最后海鲜挂了一个月2000不到才勉强卖出去的Z690 Force就支持x8+x8啊观察不到位啊

Enerald · 发表于 2022-8-10 04:00

mdk2000 发表于 2022-8-10 03:55
我建议你去买amd的Pro WS X570-ACE, cpu和主板都便宜,真白菜了

关键这个版支持pcie 4.0 x8 x8 x8(第3条是 ...

深度学习，多卡炼丹，AMD平台有硬件方面的bug。

AMD在用多卡训练的时候，效率不如Intel平台，而且一定概率会发生死锁。

这个问题，在github下面挂了一年了，pytorch官方至今未解决。https://github.com/pytorch/pytorch/issues/52142

我以前有个程序被搞了几个月，只要调用nn.DataParallel()，必死机。

我师弟也有两台服务器，配置分别为9700K+双2080Ti，3700X+双2080Ti。

两台机器训同一个网络，速度大约是这样的：9700K那台跑完32个epoch时，3700X那台才跑完25个epoch。

Enerald · 发表于 2022-8-10 04:00

xuting77 发表于 2022-8-10 03:58
昂?我那块就用了一个月结果最后海鲜挂了一个月2000不到才勉强卖出去的Z690 Force就支持x8+x8啊观察不到位 ...

微星Z690 Force配置良心，这可能是最便宜的支持x8/x8的主板了，可惜京东自营不卖。

xuting77 · 发表于 2022-8-10 04:02

Enerald 发表于 2022-8-10 04:00
微星Z690 Force配置良心，这可能是最便宜的支持x8/x8的主板了，可惜京东自营不卖。 ...

那就买carbon嘛换皮还多个灯我买force才是后悔买了ace更后悔

Enerald · 发表于 2022-8-10 04:07

xuting77 发表于 2022-8-10 04:02
那就买carbon嘛换皮还多个灯我买force才是后悔买了ace更后悔

微星这边可以暂时按下不表，我其实还有另一个刚需，主板两个x16插槽的间距需要是4 slot宽度。

lgblee · 发表于 2022-8-10 06:55

只买国行不是就那些选择吗？
你都做了全部功课了，还要找别的就只能从非国行找起了，不然等Z790，就今年冬天的事情。

用户 · 发表于 2022-8-10 07:21

现在的情况下机架才是最终方案。你如果一个机箱，就算能塞进两张4090，电源也不带不动。机架都是双电源

月光光照大床 · 发表于 2022-8-10 07:48

Z690的X4不是单独给SSD直连的么？如果最后那条PCIE是PCH提供，那就有点慢了。

junior_zhou · 发表于 2022-8-10 10:07

为啥不考虑上tr或者tr pro？这么多卡分这么多机子也不好用吧，一个tr pro的4u机箱放6~8张不成问题吧？

Narumi · 发表于 2022-8-10 10:08

junior_zhou 发表于 2022-8-10 10:07
为啥不考虑上tr或者tr pro？这么多卡分这么多机子也不好用吧，一个tr pro的4u机箱放6~8张不成问题吧？ ...

AMD有bug。

yecong185 · 发表于 2022-8-10 10:10

Enerald 发表于 2022-8-10 04:00
微星Z690 Force配置良心，这可能是最便宜的支持x8/x8的主板了，可惜京东自营不卖。 ...

这个好办，找个代理给你安排的明明白白的，给他10%抽水就行了

BFG9K · 发表于 2022-8-10 10:12

LZ应该上11代，Z590支持拆分的旗舰板子都在2000元以内了，随便买个11700KF也足够了，而且都支持PCI-E4.0

junior_zhou · 发表于 2022-8-10 10:15

Narumi 发表于 2022-8-10 10:08
AMD有bug。

上面github说的那个么？我看最新的回复好像有workaround了？
最近epyc的超算搞了那么多，都是双路7763+四路A100集群。如果还有致命性bug应该说不过去吧- -

arbicool · 发表于 2022-8-10 10:22

xuting77 发表于 2022-8-10 04:02
那就买carbon嘛换皮还多个灯我买force才是后悔买了ace更后悔

哪裡感到後悔？好奇

Force是張好版，價錢還合適；690ACE顯得太貴，但Unify居然全系都不帶內顯支持，完全是微星PM蝦J芭亂搞的結果

威廉第三 · 发表于 2022-8-10 10:24

上机架的话，完全可以通过短接cpu触点的方式把x16拆成x8 x8，然后找个x16转2个x8的转接，转到2张显卡上

arbicool · 发表于 2022-8-10 10:26

建議找一張最合適690板；兩代通吃當然不要去換主板

Z790並沒有比較補，就是一管PCH牙膏，而且很可能690/790的版型相去無幾

traekle · 发表于 2022-8-10 10:59

本帖最后由 traekle 于 2022-8-10 11:04 编辑

实验室组？还是自费科研？。
实验室经费的话上服务器机架， 4U的那种，买超威主板。家用主板最大的限制就是一板只能塞2个GPU, 在大模型训练这块很乏力。
鉴于现在还是GPU 瓶颈的情况下，我们实验室最后考虑以后还是上机架机， PCIE 通道和PCIE位绝对够用，现在几台机器有4x RTX titian， 4x 3090，之后4x 4090TI 都没问题。而且如果是双槽的GPU 8个GPU 都没问题。

AMD 那个BUG 之前我师兄自己组的TR + 4x1080ti 没有出现, 而且看issue说是可以通过关闭IOMMU 解决。

q3again0605 · 发表于 2022-8-10 11:15

BFG9K 发表于 2022-8-10 10:12
LZ应该上11代，Z590支持拆分的旗舰板子都在2000元以内了，随便买个11700KF也足够了，而且都支持PCI-E4.0

...

同意，1000元内就够了。

q3again0605 · 发表于 2022-8-10 11:17

我的3080在3x4和3x8（4x4）之间有明显差异如果4x4和4x16差异应该不大。

魂魄 · 发表于 2022-8-10 11:32

X299 3个 pcie3.0X16 pcie延长线完美解决

playclan · 发表于 2022-8-10 11:38

本帖最后由 playclan 于 2022-8-10 11:41 编辑

D4的z690里只有映泰能拆，其他能拆的都是D5
D4的x4也都是pch的3.0x4

deigo_block · 发表于 2022-8-10 13:39

上水冷，可以不考虑slot的宽度，除非是因为要搭桥

370390490590 · 发表于 2022-8-10 14:20

本帖最后由 370390490590 于 2022-8-10 14:22 编辑

x670e不一定支持x8/x8

鸡架最便宜的是Z690 AERO D

Forever778 · 发表于 2022-8-10 17:38

其实只要用导电胶带短接两个针脚就可以实现X16插槽实际运行在8+8模式

但是这时候需要扩展卡实现分拆和PCIE延长线，这会带来不稳定的问题

lgblee · 发表于 2022-8-10 22:11

用户发表于 2022-8-10 07:21
现在的情况下机架才是最终方案。你如果一个机箱，就算能塞进两张4090，电源也不带不动。机架都是双电源 ...

日本有1万人民币的双电源巨塔机箱

kmm · 发表于 2022-8-10 22:39

z590 carbon，咸鱼二手的，550，可以8+8，我插了两个阵列卡玩nas

2ndWeapon · 发表于 2022-8-10 22:43

Enerald 发表于 2022-8-10 04:07
微星这边可以暂时按下不表，我其实还有另一个刚需，主板两个x16插槽的间距需要是4 slot宽度。 ...

为啥非得要4槽，上水多好，温度低了更稳定。

joyeehappy · 发表于 2022-8-10 22:43

mdk2000 发表于 2022-8-10 03:55
我建议你去买amd的Pro WS X570-ACE, cpu和主板都便宜,真白菜了

关键这个版支持pcie 4.0 x8 x8 x8(第3条是 ...

这主板和我无缘啊，我也是很喜欢这种无光污染的主板，而且SATA口子我基本很少用，原本JD都看好5900套装了，结果当我准备买的时候（618）原本的伴有套装价格暴涨。。。一刀砍的我不得不放弃，真是遗憾。。。。。

账号		自动登录	找回密码
密码			加入我们