请教一下玩40G网络的大佬只能跑20G的速度（已找到原因可跑满）

nn1122

fyc858 发表于 2023-11-17 21:08
感觉还是模块的问题

我是一步一步排查的，先买的华为模块，两端不亮，后来买了根DAC，牌子是 Delta，这次两端亮了速率成功40G，但iperf只有20G。再买了两个Finisar模块，光纤线也买了根MPO OM3 12芯的，之前是8芯的，然后测试发现8芯的MPO OM3与Finisar模块兼容，两端成功握手40G，但但iperf也只有20G。今天下单了两块便宜的HP 544那个网卡，看看有没有问题，HP 544是公认的能跑以太网40G

aixunxian

nn1122 发表于 2023-11-17 20:46
感谢我明天来研究一下

还有测速你换成iperf2来测，iperf3多线程不行

nn1122

aixunxian 发表于 2023-11-17 21:57
还有测速你换成iperf2来测，iperf3多线程不行

感谢这个提醒，我还用了微软ethr也测试了，包括多线程，还是20G左右

weindy

smb特性就这样了。。多通道，rmda都正常开启的话理论是40g，实际复制粘贴大文件，持续速度3g左右吧。碎文件速度都上不去，慢的要死，目前各类文件系统的瓶颈就是碎文件了。

jackton

换个服务器板子试试

wdk23411

手上有没有现在版本的固件备份下，我一块354A也是这个毛病，刷官网最后一版固件就好了

nn1122

wdk23411 发表于 2023-11-21 10:07
手上有没有现在版本的固件备份下，我一块354A也是这个毛病，刷官网最后一版固件就好了 ...

我这几块卡，固件版本都不一样，奇葩的是有一块卡比官网固件版本号还要高

Dolfin

cdm 直接测试远程磁盘的读写可以到多少？

nn1122

Dolfin 发表于 2023-11-21 11:41
cdm 直接测试远程磁盘的读写可以到多少？

均只能2200M左右，后面换linux测试下

Dolfin

往往问题不会那么复杂，换个光口换个卡试试，mellanox的卡在win下连驱动都可以不装，什么设置默认，跑起来都没问题

weindy

linux的理论性能应该高一点。。实在不行用iSCSI挂本地用算了

nn1122

Dolfin 发表于 2023-11-21 13:47
往往问题不会那么复杂，换个光口换个卡试试，mellanox的卡在win下连驱动都可以不装，什么设置默认，跑起来 ...

实际我也测试了HP 544那个卡，两端server 2022都能直接认出，但也只能跑22g左右

alwayskid

我这两天也遇到了……
卡是CX4421，25Gbps的，两个SR-IOV直通的虚拟机之间测速只有12.5Gbps
插上线测，两台物理机之间是14Gbps
很奇怪

playclan

我之前也是hp544+，一端win11专业工作站版， 一端win server 2022 ，也是只能跑到22g，偶尔还会rdma失效，前段时间win11这边主板更了bios hp544+不能用了，换了mcx4121

rx_78gp02a

主机 hp544+ ——》SX6012  ——》CX456A  NAS   IPER多线程测速只能到22Gbps
主机 hp544+ 《——SX6012  《——CX456A  NAS   IPER多线程测速只能到32Gbps

改用NTTTCP测速，两边都能跑满39Gbps
改用nd_read_bw和nd_write_bw  自带的RDMA测速，两边都能跑满39Gbps

nn1122

playclan 发表于 2023-11-21 20:08
我之前也是hp544+，一端win11专业工作站版， 一端win server 2022 ，也是只能跑到22g，偶尔还会rdma失效， ...

确实奇葩，我也遇到了rdma失效的现象，CPU会突发到100%

nn1122

rx_78gp02a 发表于 2023-11-21 20:27
主机 hp544+ ——》SX6012  ——》CX456A  NAS   IPER多线程测速只能到22Gbps
主机 hp544+ 《——SX6012   ...

感谢你宝贵的经验，终于看到了希望，抽空来试一下

aaronlong

ntttcp试了好几次，一直稳定40G，而且参数m从4加到8和参数P从1加到8，基本没区别，通过交换机连的两张网卡都是HP 544+两边都是WIN 2019两边都用的随便买的DAC线。

aaronlong

nn1122 发表于 2023-11-21 22:30
感谢你宝贵的经验，终于看到了希望，抽空来试一下

楼主我感觉你那还是系统或驱动的问题，要不就是DAC线或模块不对，先试试正规的二手拆机DAC线或模块吧。有时全新的山寨真不如二手原装。。。

寒风凛冽

不用纠结，win下基本就22G，前后折腾了很久，不是只有你一个人这样。换原厂线刷魔改固件变成56G后，用iperf各种测试各种修改参数，最终的也就35G、36G左右。

nn1122

aaronlong 发表于 2023-11-22 09:43
楼主我感觉你那还是系统或驱动的问题，要不就是DAC线或模块不对，先试试正规的二手拆机DAC线或模块吧。有 ...

纠正下我开头的描述，DELTA的AOC线和finisar的模块+mpo光纤都试过了，都是同样的效果，看楼上有朋友有同样的情况，所以我觉得更像是win平台的极限了

nn1122

aaronlong 发表于 2023-11-22 09:29
ntttcp试了好几次，一直稳定40G，而且参数m从4加到8和参数P从1加到8，基本没区别，通过交换机连的两张网卡 ...

再问下，双机网卡直连您测试过没有

Satan023

看下是不是内存带宽限制

aaronlong

nn1122 发表于 2023-11-22 10:18
再问下，双机网卡直连您测试过没有

测过，比用交换机更快。

nn1122

Satan023 发表于 2023-11-22 10:36
看下是不是内存带宽限制

非常感谢，就是内存的原因，我之前双机都只插了一根内存，现在两端都换成了2x32G DDR4，现在测试40G跑满，就是内存带宽不足的原因

nn1122

aaronlong 发表于 2023-11-22 15:54
测过，比用交换机更快。

原因找到了，是内存带宽问题，现在两端都换成了2x32G DDR4，测试40G跑满，SMB多线程也OK

nn1122

weindy 发表于 2023-11-17 18:50
改下网卡属性试试看吧，可以参考下这个帖子的这一楼内容：https://www.chiphell.com/forum.php?mod=redir ...

两端机器升级内存为2x32G后，40G可跑满，应该是之前内存单通道带宽不足的问题

aaronlong

RDMA就是直接怼对方内存，所以跑40G就得要64G以上内存。。。

playclan

nn1122 发表于 2023-11-23 10:58
原因找到了，是内存带宽问题，现在两端都换成了2x32G DDR4，测试40G跑满，SMB多线程也OK ...

啊内存问题？可我是一端双通d5 7600，一端八通d4 2666啊

rx_78gp02a

playclan 发表于 2023-11-23 13:09
啊内存问题？可我是一端双通d5 7600，一端八通d4 2666啊

我也感觉不是内存的问题，我两端都是 四通道 D4  2666