[转]544+ flr 解锁56G直连

happysun110 · 发表于 2023-5-25 16:12

本帖最后由 happysun110 于 2023-5-25 16:19 编辑

说明：朋友托我转一个文章到chh来，因为他没有chh的账号无法发帖。

原文地址： 544+ flr 解锁56G直连 (github.com)

由于chh不支持 markdown 格式，所以内容转过来时格式乱套了。

请访问上面的地址直接看原文。我试了好多种方法，最后只能放弃。

-----------

请直接访问原帖：

https://gist.github.com/lzghzr/d37327c218a09cce3e601cea3ebdbd42

happysun110 · 发表于 2023-5-25 16:13

本帖最后由 happysun110 于 2023-5-25 16:43 编辑

修改好的固件请在此下载：

链接: https://pan.baidu.com/s/1uiebg1P-tTL1WIuxMgLblQ?pwd=tfgi

提取码:tfgi

简单说明：

- powerlevel：支持单模光模块（已验证，可用，但我只测试了40g的光模块）
- 56kr4: 支持56g 以太网（已验证，可用，但我只测试原厂dac线）
- drom：去除 flexboot，这样开机不用在屏幕上显示网卡的字样，可以提供开机速度（应该bios里面也不会增加boot的内容，待验证）

有尝试这几个固件的同学请留言说明验证情况，谢谢！

playclan · 发表于 2023-5-25 18:43

刷了，但应该没成

happysun110 · 发表于 2023-5-26 10:11

playclan 发表于 2023-5-25 18:43
刷了，但应该没成

dac线必须是M家原厂56g线，我验证成功的。

光模块我就不知道要哪个了

weindy · 发表于 2023-6-7 01:00

刷完后特意回来报道！
使用的是海鲜市场的全新wave2wave的DAC线，70元1.5米，win11和server2022下网卡直连，eth和ib模式都显示56g速率。
但是ib模式实际带宽刚破万兆，eth模式要快得多，峰值差不多4万兆，可能openSM运行在nas上比较吃资源，导致交换效率下降。

happysun110 · 发表于 2023-6-7 15:03

weindy 发表于 2023-6-7 01:00
刷完后特意回来报道！
使用的是海鲜市场的全新wave2wave的DAC线，70元1.5米，win11和server2022下网卡直连 ...

windows下跑的比较慢，基本只能跑出来一半多点的带宽

linux下要快的多，eth模式，40g模式我能测试出37g，56g模式我能测试出48g。用iperf跑，不要用iperf3.

kouqin · 发表于 2023-6-7 15:18

weindy 发表于 2023-6-7 01:00
刷完后特意回来报道！
使用的是海鲜市场的全新wave2wave的DAC线，70元1.5米，win11和server2022下网卡直连 ...

请问你的WIN直连，用Win资源管理器SMB共享拷贝资料最高显示速率是多少？

kartanus · 发表于 2023-6-7 15:29

想问下有人试过544+ FLR在不使用Mellanox家交换机的情况下，可以1分4拆出4个10G吗？

想整个MikroTik的CRS309-1G-8S+IN，服务器的40G卡拆分接交换机上

网仙 · 发表于 2023-6-7 15:52

让我想起了从33.6K到56kpbs的电话猫的时代

aixunxian · 发表于 2023-6-7 16:26

kartanus 发表于 2023-6-7 15:29
想问下有人试过544+ FLR在不使用Mellanox家交换机的情况下，可以1分4拆出4个10G吗？

想整个MikroTik的CRS3 ...

网卡不支持的别想了，这种线一般都是交换机用的。不过544+可以用40G转一个10Gsfp光口买一个转接器就可以了

happysun110 · 发表于 2023-6-7 18:09

kartanus 发表于 2023-6-7 15:29
想问下有人试过544+ FLR在不使用Mellanox家交换机的情况下，可以1分4拆出4个10G吗？

想整个MikroTik的CRS3 ...

应该是不能。

happysun110 · 发表于 2023-6-7 18:10

网仙发表于 2023-6-7 15:52
让我想起了从33.6K到56kpbs的电话猫的时代

哈，我当年也是用过56k猫拨号上网的。

时间过的真快

happysun110 · 发表于 2023-6-7 18:12

kouqin 发表于 2023-6-7 15:18
请问你的WIN直连，用Win资源管理器SMB共享拷贝资料最高显示速率是多少？

这个要看windows版本的，如果是windows server 之间，默认就能开启rdma，快很多。

我基本主要是在 linux 下用，win下只有主力机一个机器有40g网卡，但日常用到40g都是切换到linux系统。

weindy · 发表于 2023-6-9 00:17

kouqin 发表于 2023-6-7 15:18
请问你的WIN直连，用Win资源管理器SMB共享拷贝资料最高显示速率是多少？

抱歉手机丢了，新机器没验证回复晚了。。。
资源管理器复制的速度最高2.83g，跟fastcopy下一致。
服务端是x8的转接卡，可能因为我客户端使用的是pcie x4的转接卡带宽受限制的缘故？x8的卡已经在路上了，等到了再试试

weindy · 发表于 2023-6-9 00:20

happysun110 发表于 2023-6-7 18:12
这个要看windows版本的，如果是windows server 之间，默认就能开启rdma，快很多。

我基本主要是在 linux ...

确实。。我nas系统是server 2022，客户端是win11专业工作站版，确认过RMDA和smb直连都是开启的，不过带宽速度确实就卡在22g了。等x8的转接卡到了再试试速度，抽空拿linux系统也试试。

kouqin · 发表于 2023-6-9 08:30

weindy 发表于 2023-6-9 00:17
抱歉手机丢了，新机器没验证回复晚了。。。
资源管理器复制的速度最高2.83g，跟fastcopy下一致。
服务端 ...

好的，谢谢。

happysun110 · 发表于 2023-6-9 08:45

weindy 发表于 2023-6-9 00:20
确实。。我nas系统是server 2022，客户端是win11专业工作站版，确认过RMDA和smb直连都是开启的，不过带宽 ...

22g 那就正常了，windows下最高也就这个速度。

如果两端是 linux， rdma 生效，最大速度应该在 37g 左右（指40g链接，如果是56g eth模式则大概是48g）。

tonightmare · 发表于 2023-6-9 10:16

happysun110 发表于 2023-6-7 18:12
这个要看windows版本的，如果是windows server 之间，默认就能开启rdma，快很多。

我基本主要是在 linux ...

我用ubunutu，544+ 驱动都不认，请问用的是哪个linux系统啊

happysun110 · 发表于 2023-6-9 11:33

tonightmare 发表于 2023-6-9 10:16
我用ubunutu，544+ 驱动都不认，请问用的是哪个linux系统啊

ubuntu 20.04肯定没问题，我天天用，而且自带的 5.4内核还可以安装最新的驱动 4.9.0-6.0.0 ，这是 hp544+ 这个网卡的终极形态了。

ubuntu22.04下也可以用，因为内核是 5.15了，所以最新的驱动 4.9.0-6.0.0 无法编译安装。但自带的 4.0.0 驱动是可以用的。这个我也日常在用，只是我的 linux mint，ubuntu的变体，但按说也是 ubuntu，应该是通用的。

ppcook · 发表于 2023-6-10 08:13

markmark flexboot那个好烦

sonicz · 发表于 2023-6-10 22:47

happysun110 发表于 2023-6-9 08:45
22g 那就正常了，windows下最高也就这个速度。

如果两端是 linux， rdma 生效，最大速度应该在 37g 左右 ...

Linux 56G模式下，2路iperf 同时运行可以达到52G的总带宽。但是，iperf单进程测试带宽要低不少。发送端CPU占用率并不高，接收端单核占用率非常高，可能是接受端TCP/IP协议栈的性能差。

weindy · 发表于 2023-9-11 14:28

刷56G以后用x8转接卡，内存盘对拷的速度，达不到x4转接时候的双倍，但是也可以了

zxy2001 · 发表于 2023-9-11 23:10

weindy 发表于 2023-9-11 14:28
刷56G以后用x8转接卡，内存盘对拷的速度，达不到x4转接时候的双倍，但是也可以了 ...

请问您刷了哪个固件？文件的命名模式看着有点懵。。。

weindy · 发表于 2023-9-12 01:20

zxy2001 发表于 2023-9-11 23:10
请问您刷了哪个固件？文件的命名模式看着有点懵。。。

刷的是
HP_1380110017_drom_powerlevel_56kr4.bin
684k大小的这个固件，开机快了那么一点（屏幕还是会跳字，比刷之前少了几行

weindy · 发表于 2023-9-12 01:24

kouqin 发表于 2023-6-9 08:30
好的，谢谢。

不客气，翻出来之前直连速度的截图了

kouqin · 发表于 2023-9-12 08:49

weindy 发表于 2023-9-12 01:24
不客气，翻出来之前直连速度的截图了

谢谢，4.98GB/s，这是我在网络上看到的这卡终极速度，不知道为什么就是达不到5GB/s以上？

weindy · 发表于 2023-9-12 12:54

kouqin 发表于 2023-9-12 08:49
谢谢，4.98GB/s，这是我在网络上看到的这卡终极速度，不知道为什么就是达不到5GB/s以上？ ...

换win7或者Linux环境可能会达到？家里闲置电脑多有空了我再试试。。
不过按照我家里的使用习惯，nas用win server系统，家里人不需要学习成本，个人电脑再用primo cache加速硬盘，傲腾做二缓，局域网大文件读写4g左右，碎文件百十兆左右，是最有性价比的方案了。

猪圈 · 发表于 2023-9-12 13:03

我映像中，这卡直接就可以56G啊，只是不能自动协商，卡线交换机都能支持56的情况下在交换机端指定端口速率就可以跑56了

wxsk · 发表于 2023-9-12 13:19

刷完了HP_1380110017_drom_powerlevel_56kr4.bin，还是40G，线是1.5米的DAC，不确定是不是原厂的

weindy · 发表于 2023-9-12 13:40

猪圈发表于 2023-9-12 13:03
我映像中，这卡直接就可以56G啊，只是不能自动协商，卡线交换机都能支持56的情况下在交换机端指定端口速率 ...

刷固件意义就在于不使用ib的交换机，直接双卡直连使用qsfp+的线也能到56G

账号		自动登录	找回密码
密码			加入我们

[网络] [转]544+ flr 解锁56G直连