请教一下玩40G网络的大佬只能跑20G的速度（已找到原因可跑满）

nn1122

两张CX314A即Melenox ConnectX3-Pro 40G网卡直连，两卡均直插PCI-E 3.0 x16插槽，用DAC直连线和模块+MPO OM3光纤线都试过了，iperf3都只能跑20G左右，SMB复制文件在1.7GB/S左右，操作系统一端是server 2022，一端是win11 22h2专业工作站版，何解？







11月23日更新：因为之前两端机器是单条内存，按照53楼朋友的说法是内存带宽不够，于是两端换上2x32G DDR4内存，一端频率为2400，一端为2666，测试40G跑满，SMB多线程也是跑满

brucelee1126

多跑几个线程

conanhfl

用mlx自带的nd_send_bw?

nn1122

brucelee1126 发表于 2023-11-17 11:36
多跑几个线程

无论是-P 20还是双开iperf，均最高20G左右，所以真是郁闷

zxy2001

PCI-E 3.0 的问题？

nn1122

zxy2001 发表于 2023-11-17 13:07
PCI-E 3.0 的问题？

我想应该不是这个，我看其他跑满40G的服务器都在3.0下，况且这卡生产日期在2015-2016年间，那时候4.0还没诞生呢

liolio

插得那条槽确认是跑在3.0*16上？不少主板最后的x16槽只有x4带宽

saiyaman5

20G更像是 pci-e 2.0x4

nn1122

liolio 发表于 2023-11-17 13:23
插得那条槽确认是跑在3.0*16上？不少主板最后的x16槽只有x4带宽

有没有其他工具查看具体跑在x4还是x8上，aida64显示是3.0x8，两平台一个是Z370，一个是B365

weindy

nn1122 发表于 2023-11-17 13:34
有没有其他工具查看具体跑在x4还是x8上，aida64显示是3.0x8，两平台一个是Z370，一个是B365 ...

用hwinfo查看，可以看到具体每个pice带宽跑的什么设备。
另外iperf3测试带宽最好加上-P 10测试下多线程的带宽负载情况。
server端用2022，机械硬盘+primocache，客户端用win11专业工作站版，从server端复制到客户端内存盘，速度基本是可以跑满40G的，截图的网卡是544+flr，刷了56G：

叮叮炒面

和RDMA有关系么？

nn1122

weindy 发表于 2023-11-17 14:04
用hwinfo查看，可以看到具体每个pice带宽跑的什么设备。
另外iperf3测试带宽最好加上-P 10测试下多线程的 ...

刚刚用hwinfo看了，PCI-E总线下的x16总线都只有一个cx314a设备，版本3.0，速度x8，-P我都加到20了，仍然只跑20G

Jimmy_Qiu

我很久前测的FLR544+双卡DAC线直连，Win系统下，40G下最大测出22Gbps。

后面实际用的Ubuntu，40G下能跑出36Gbps左右；56G下能跑到47Gbps左右。

nn1122

Jimmy_Qiu 发表于 2023-11-17 14:20
我很久前测的FLR544+双卡DAC线直连，Win系统下，40G下最大测出22Gbps。

后面实际用的Ubuntu，40G下能跑出3 ...

对，就是这个情况，win下的驱动我也更新了的，iperf仍然在19-22G左右

zxy2001

weindy 发表于 2023-11-17 14:04
用hwinfo查看，可以看到具体每个pice带宽跑的什么设备。
另外iperf3测试带宽最好加上-P 10测试下多线程的 ...

你这个Win11 的ISO 文件太小了，2~3秒就完了。。。。有拷贝几十个G的 大文件的速度截图么？

zxy2001

nn1122 发表于 2023-11-17 13:34
有没有其他工具查看具体跑在x4还是x8上，aida64显示是3.0x8，两平台一个是Z370，一个是B365 ...

看主板背面，PCIE 插槽有多少焊点。。。正面看是X16槽，背面却只有四分之一有引脚。后面都是空的。。。 或者看官方高清大图，可以看到插槽里的金属引脚有多少的

nn1122

zxy2001 发表于 2023-11-17 16:49
看主板背面，PCIE 插槽有多少焊点。。。正面看是X16槽，背面却只有四分之一有引脚。后面都是空的。。。  ...

您是当我硬件小白了，手中设备和主板不小于20台目前测试的这两端都是ITX主板，Z370和B365，PCI-E插槽转M2可以跑3000多M，中间还换过E5 V3平台，仍然是只能20G，不解

xajh20058

nn1122 发表于 2023-11-17 14:23
对，就是这个情况，win下的驱动我也更新了的，iperf仍然在19-22G左右

所以是系统的锅？要不两端都安装Win Server的系统测试一下

nn1122

xajh20058 发表于 2023-11-17 17:18
所以是系统的锅？要不两端都安装Win Server的系统测试一下

两端server2022也试过，仍然20g，貌似咸鱼这cx314A卡没有人装机试过，搜遍谷歌也鲜有信息，官网固件也比卡的固件要旧点

xajh20058

nn1122 发表于 2023-11-17 17:43
两端server2022也试过，仍然20g，貌似咸鱼这cx314A卡没有人装机试过，搜遍谷歌也鲜有信息，官网固件也比 ...

B站钱韦德用mcx314在两端server 2022 的情况下，传输文件差不多可以达到3.4G/s，你可以区看看。

21PENNY

看看网卡多队列功能打开了没

weindy

zxy2001 发表于 2023-11-17 16:45
你这个Win11 的ISO 文件太小了，2~3秒就完了。。。。有拷贝几十个G的 大文件的速度截图么？ ...

机器早放公司去了，而且内存太小缓存不了几十g的数据主要是打算用来提升4k碎文件用的，没有配太多内存。

weindy

nn1122 发表于 2023-11-17 14:18
刚刚用hwinfo看了，PCI-E总线下的x16总线都只有一个cx314a设备，版本3.0，速度x8，-P我都加到20了，仍然 ...

改下网卡属性试试看吧，可以参考下这个帖子的这一楼内容：https://www.chiphell.com/forum.p ... 76&pid=53103620

nn1122

xajh20058 发表于 2023-11-17 18:18
B站钱韦德用mcx314在两端server 2022 的情况下，传输文件差不多可以达到3.4G/s，你可以区看看。 ...

这视频看过，似乎是没经过设置，直接跑接近40G，而我这个无论怎么折腾，都只有20G

aixunxian

巨型帧开了吗？两端都要开mtu9000

nn1122

weindy 发表于 2023-11-17 18:50
改下网卡属性试试看吧，可以参考下这个帖子的这一楼内容：https://www.chiphell.com/forum.php?mod=redir ...

今天我有测试改巨帧9000，效果基本差不多，这问题已经困扰我一周多了

nn1122

aixunxian 发表于 2023-11-17 20:36
巨型帧开了吗？两端都要开mtu9000

开了，今下午刚测试过，无效

aixunxian

nn1122 发表于 2023-11-17 20:43
开了，今下午刚测试过，无效

网卡配置里面那些什么中断节流，中断仲裁都关了看看

nn1122

aixunxian 发表于 2023-11-17 20:45
网卡配置里面那些什么中断节流，中断仲裁都关了看看

感谢我明天来研究一下

fyc858

感觉还是模块的问题