（更新解决）双万兆网卡（cx4121）smb多通道的问题

zhjseaboy

服务器端 ds1821，网卡intel x710da2，NVME硬盘 raid0
交换机 威联通万兆交换机
客户端 win11， 网卡1：cx4121a 25g版本， 网卡2：x550t2

原来win主机用x550t2的时候，跑smb多通道正常，在NVME硬盘缓内速度能到两个万兆叠加的速度，2GB/s。但是换到cx4121，用aoc线，每个网口能跑满万兆，但是如果双口同时传输，smb多通道开启还是只有万兆的速度，并且可以看到多通道是在工作的，每个网口500兆左右的速度。这就很奇怪了。

另外想问一下，我这个cx4121a网卡，用Mellanox工具看了一下是华为版本固件，PSID也是HUAxxxxx，这个版本会有坑吗？能自己刷成原厂固件吗？


以下为更新（0928）

看了一下我的cx4121网卡，样子跟原厂网卡基本一样，也不是OEM卡那种两个网口很近的那种，直接刷了原厂最新固件。参考了网上相关的教程，顺利完成，PSID也刷成跟原厂的一致。

手里有2张网卡全部都把固件刷了，其中一张装到另一台win11工作站版本的小主机上面，跟我的主力机器用25g sfp28线直连，另一个口用sfp+ aoc连入当前网络的万兆交换机。分别设置好不同网段之后，25g直连的部分smb传输能够跑到2.3、2.4GB/s，但波动性挺大，平均在2GB/s左右，另一个口也能稳定跑满万兆。就先这么用着了。

deergula

楼主是插在PCIE 8X上的吗？

zhjseaboy

deergula 发表于 2024-9-27 17:37
楼主是插在PCIE 8X上的吗？

x8的槽，x4的速率

deergula

zhjseaboy 发表于 2024-9-27 18:09
x8的槽，x4的速率

你在BIOS中把X16拆成8+8再试。要是X4就能跑满双25G那卡做成X4就行了为什么要做成X8呢？

zhjseaboy

deergula 发表于 2024-9-27 18:41
你在BIOS中把X16拆成8+8再试。要是X4就能跑满双25G那卡做成X4就行了为什么要做成X8呢？ ...

我是说没法双万兆，25g我知道肯定不行

eeechi444

2口网卡一般是做冗余的

另外我感觉应该是LX芯片就是没法2口跑满

myway

能 cross flash，但时间久远，细节已经不记得了

StevenG

看看威联通交换机里的设置，有没有开链路聚合，貌似这玩意会和smb多通道有冲突

brucelee1126

建议把多通道命令再执行一遍，把那些smb优化的命令都执行一遍，微软官网就有

190

我也有这卡，估计是有兼容问题，两台win10互拷主机，如果两台电脑都用这型号的卡，则写入读取都能跑满，如果其中一张换了其他网卡，这这张卡只能写入能跑满，读取只有几十兆。我准备换网卡试试了。

zhgna

也在用这张网卡，型号应该是sp380，也是插在x8上，却只能跑x4，还以为是网卡有问题。因为用下来单口10g是能跑满smb的，也懒得管它了。
另一块ocp的4421a，插在同一块主板上的x8，显示实际跑的位宽又是x8。

天道太酬勤

群晖跑SMB3能这么快吗？我用WindowsServer测试，Server和Client两边都是13代i7也就跑了个1.8GB/S，楼主的群晖和交换机有开巨型帧吗？

brucelee1126

天道太酬勤 发表于 2024-9-30 01:26
群晖跑SMB3能这么快吗？我用WindowsServer测试，Server和Client两边都是13代i7也就跑了个1.8GB/S，楼主的群 ...

zhjseaboy

天道太酬勤 发表于 2024-9-30 01:26
群晖跑SMB3能这么快吗？我用WindowsServer测试，Server和Client两边都是13代i7也就跑了个1.8GB/S，楼主的群 ...

可以跑满，交换机不做任何设置，主机和群晖都没开巨型帧。唯一的问题就是我ssd型号老，几十G之后双双出缓就跑不满了