请问Mellanox ConnectX-3 Pro在Win环境下如何测试 40/56Gb 以太网连接

testcb00

如题 目前状况
Windows两端都识别出56Gb/s 但用iperf3只有8.7Gb/s 连10Gb都行不满
试用ntttcp也只有11.0Gb/s

奇怪用新的25Gb SFP28配25Gb DAC能跑满
PC用Mellanox ConnectX-5 CX542B
Server用Mellanox ConnectX-4 CX4421A

PC
AMD Ryzen 7 4750G
32GB DDR4 ECC UDIMM 3200MHz x2
Windows 10 LTSC 2021
HP 544+FLR (Mellanox ConnectX-3 Pro) 刷了特制56Gb/s FW
FINISAR FTL414QB2N-E5 QSFP 4x14G FDR光模块
网卡插在CPU PCIe x8上

Server
Intel Xeon E5-2650Lv2
16GB DDR3 ECC RDIMM 1600MHz x4
Windows 11 LTSC
Dell CX314A (Mellanox ConnectX-3 Pro) 刷了Mellanox最新FW
FINISAR FTL414QB2N-E5 QSFP 4x14G FDR光模块
网卡插在CPU PCIe x8上

光纤
OM3 MPO 12芯

yopmai

这种电子垃圾放弃吧，

上cx4

Nvidia已经停止cx3支持了

testcb00

yopmai 发表于 2025-2-15 11:54
这种电子垃圾放弃吧，

上cx4

很遗憾Win-OF2没有我需要的VLAN Trunk功能...Windows下不能设置多VLAN
所以我只能找CX3用 类Unix的都上CX4/5了

ssl0008

40g/56g是以太网吗？确定不是ib？

testcb00

ssl0008 发表于 2025-2-15 15:36
40g/56g是以太网吗？确定不是ib？

是以太网 不是IB
因为是Mellanox私有协议 要544+FLR特制固件才能自动协商56Gb/s以太网
FreeBSD下会没56Gb/s显示 只显示自动协商
Windows -> FreeBSD iperf3能跑到48.7Gb/s
Windows <- FreeBSD iperf3只有11-17Gb/s

ssl0008

testcb00 发表于 2025-2-15 16:35
是以太网 不是IB
因为是Mellanox私有协议 要544+FLR特制固件才能自动协商56Gb/s以太网
FreeBSD下会没56Gb ...

会不会是e5 v2太烂了导致吞吐跑不上去，25g以上不开rdma要cpu参与的