zhjseaboy 发表于 2024-9-27 17:23

(更新解决)双万兆网卡(cx4121)smb多通道的问题

本帖最后由 zhjseaboy 于 2024-9-28 16:41 编辑

服务器端 ds1821,网卡intel x710da2,NVME硬盘 raid0
交换机 威联通万兆交换机
客户端 win11, 网卡1:cx4121a 25g版本, 网卡2:x550t2

原来win主机用x550t2的时候,跑smb多通道正常,在NVME硬盘缓内速度能到两个万兆叠加的速度,2GB/s。但是换到cx4121,用aoc线,每个网口能跑满万兆,但是如果双口同时传输,smb多通道开启还是只有万兆的速度,并且可以看到多通道是在工作的,每个网口500兆左右的速度。这就很奇怪了。

另外想问一下,我这个cx4121a网卡,用Mellanox工具看了一下是华为版本固件,PSID也是HUAxxxxx,这个版本会有坑吗?能自己刷成原厂固件吗?


以下为更新(0928)

看了一下我的cx4121网卡,样子跟原厂网卡基本一样,也不是OEM卡那种两个网口很近的那种,直接刷了原厂最新固件。参考了网上相关的教程,顺利完成,PSID也刷成跟原厂的一致。

手里有2张网卡全部都把固件刷了,其中一张装到另一台win11工作站版本的小主机上面,跟我的主力机器用25g sfp28线直连,另一个口用sfp+ aoc连入当前网络的万兆交换机。分别设置好不同网段之后,25g直连的部分smb传输能够跑到2.3、2.4GB/s,但波动性挺大,平均在2GB/s左右,另一个口也能稳定跑满万兆。就先这么用着了。

deergula 发表于 2024-9-27 17:37

楼主是插在PCIE 8X上的吗?

zhjseaboy 发表于 2024-9-27 18:09

deergula 发表于 2024-9-27 17:37
楼主是插在PCIE 8X上的吗?

x8的槽,x4的速率

deergula 发表于 2024-9-27 18:41

本帖最后由 deergula 于 2024-9-27 18:43 编辑

zhjseaboy 发表于 2024-9-27 18:09
x8的槽,x4的速率

你在BIOS中把X16拆成8+8再试。要是X4就能跑满双25G那卡做成X4就行了为什么要做成X8呢?

zhjseaboy 发表于 2024-9-27 18:45

deergula 发表于 2024-9-27 18:41
你在BIOS中把X16拆成8+8再试。要是X4就能跑满双25G那卡做成X4就行了为什么要做成X8呢? ...

我是说没法双万兆,25g我知道肯定不行

eeechi444 发表于 2024-9-27 22:02

2口网卡一般是做冗余的

另外我感觉应该是LX芯片就是没法2口跑满

myway 发表于 2024-9-28 08:12

能 cross flash,但时间久远,细节已经不记得了

StevenG 发表于 2024-9-28 10:24

看看威联通交换机里的设置,有没有开链路聚合,貌似这玩意会和smb多通道有冲突

brucelee1126 发表于 2024-9-28 10:54

建议把多通道命令再执行一遍,把那些smb优化的命令都执行一遍,微软官网就有

190 发表于 2024-9-28 11:08

我也有这卡,估计是有兼容问题,两台win10互拷主机,如果两台电脑都用这型号的卡,则写入读取都能跑满,如果其中一张换了其他网卡,这这张卡只能写入能跑满,读取只有几十兆。我准备换网卡试试了。

zhgna 发表于 2024-9-28 12:49

也在用这张网卡,型号应该是sp380,也是插在x8上,却只能跑x4,还以为是网卡有问题。因为用下来单口10g是能跑满smb的,也懒得管它了。
另一块ocp的4421a,插在同一块主板上的x8,显示实际跑的位宽又是x8。

天道太酬勤 发表于 2024-9-30 01:26

[睡觉]群晖跑SMB3能这么快吗?我用WindowsServer测试,Server和Client两边都是13代i7也就跑了个1.8GB/S,楼主的群晖和交换机有开巨型帧吗?

brucelee1126 发表于 2024-9-30 07:32

天道太酬勤 发表于 2024-9-30 01:26
群晖跑SMB3能这么快吗?我用WindowsServer测试,Server和Client两边都是13代i7也就跑了个1.8GB/S,楼主的群 ...

zhjseaboy 发表于 2024-9-30 08:31

天道太酬勤 发表于 2024-9-30 01:26
群晖跑SMB3能这么快吗?我用WindowsServer测试,Server和Client两边都是13代i7也就跑了个1.8GB/S,楼主的群 ...

可以跑满,交换机不做任何设置,主机和群晖都没开巨型帧。唯一的问题就是我ssd型号老,几十G之后双双出缓就跑不满了
页: [1]
查看完整版本: (更新解决)双万兆网卡(cx4121)smb多通道的问题