请问HP 544 + flr如何刷56G以太网？

a39765

1288x才买不久就想着搞个全闪的nas，这不和voandrew对接上了直接上超微+罗马。
后来又看了帖子直接搞到40G/56G神卡。麻烦问问各位，这卡如何通过刷固件升级到以太网56G啊？


================================================
总结下 esxi搞Sr-iov就是浪费生命

=====================
NUc9 插上这玩意儿就不能关机了

a39765

还有就是如果不打算买交换机 （太吵），可以在这台服务器上多买几块这个卡，通过esxi 桥接起来当交换机用吗？

wxsk

a39765 发表于 2023-5-4 16:05
还有就是如果不打算买交换机 （太吵），可以在这台服务器上多买几块这个卡，通过esxi 桥接起来当交换机用吗 ...

可以，我也是这么用的

kk321

wxsk 发表于 2023-5-4 16:09
可以，我也是这么用的

请问这样可以使用RDMA等特性吗

happysun110

你是544还是544+，56g只有544+支持。

kk321

happysun110 发表于 2023-5-19 16:40
你是544还是544+，56g只有544+支持。

544+   多插几根  不用交换机      交换机太贵                   这样可以使用544+的特性？

死也要爱钱

56G ETH模式只支持Mellanox自家的交换机（Nvidia的文档里写了“Interoperable with 10/40GbE switches ；Interoperable with 56GbE Mellanox switches”），并且光模块或者AOC/DAC线缆都需要是Mellanox自家的（因为模块上有加密芯片）

conanhfl

死也要爱钱 发表于 2023-5-19 16:58
56G ETH模式只支持Mellanox自家的交换机（Nvidia的文档里写了“Interoperable with 10/40GbE switches ；In ...

那MCX555A-ECAT VPI的100G呢？所有Mellanox卡都是?
现在是直连, 还打算买个CRS510

死也要爱钱

conanhfl 发表于 2023-5-19 17:05
那MCX555A-ECAT VPI的100G呢？所有Mellanox卡都是?
现在是直连, 还打算买个CRS510 ...

MCX555/556A的文档里没有对交换机的限制（Interoperable with 1/10/25/40/50/100 Gb/s Ethernet switches）

caibenke

出口带宽多少？感觉现在2.5G的差不多，你这是要玩8K视频？要这么大的带宽？感觉万兆已经是现在非商业用途天花板了。10年不落伍。

a39765

wxsk 发表于 2023-5-4 16:09
可以，我也是这么用的

esxi 8.0u1好像不支持，麻烦问问驱动哪里找 或者是安装特殊版本的 8.0  ?

死也要爱钱

a39765 发表于 2023-5-20 09:14
esxi 8.0u1好像不支持，麻烦问问驱动哪里找 或者是安装特殊版本的 8.0  ?

为什么要执着于8.0……flr544+里的connectx-3 pro芯片已经不再被官方和社区支持，上官网几秒就知道了

老老实实用6.7u3吧，别想有的没的

conanhfl

死也要爱钱 发表于 2023-5-19 17:20
MCX555/556A的文档里没有对交换机的限制（Interoperable with 1/10/25/40/50/100 Gb/s Ethernet switches ...

幸好
谢谢告知

a39765

死也要爱钱 发表于 2023-5-20 10:50
为什么要执着于8.0……flr544+里的connectx-3 pro芯片已经不再被官方和社区支持，上官网几秒就知道了

老 ...

7.0U3好像也可以？

死也要爱钱

a39765 发表于 2023-5-20 15:21
7.0U3好像也可以？

当然可以，我提6.7u3是因为这个版本用户最广泛，很多教程也是基于这个版本

michaelzxp

sx6012价格和噪音都还行吧，不过为了上8.0和mac，确实的买cx4或者以上的了，价格太贵，多个544+做软交换对cpu性能要求高吧，没想到rdma对线缆也有要求，我到手的还没测试

ppcook

有一台闲置的sx6036….

a39765

完犊子 这卡用在ESXI 7.0U3 官方支持驱动情况下 设置 SR-IOV 一直提示需要重新启动。启动后也没用。

Juzi丶

a39765 发表于 2023-5-21 22:52
完犊子 这卡用在ESXI 7.0U3 官方支持驱动情况下 设置 SR-IOV 一直提示需要重新启动。启动后也没用。 ...

不支持，6.7开始的
具体请自查vmklinux drivers和native drivers的区别

a39765

死也要爱钱 发表于 2023-5-20 16:41
当然可以，我提6.7u3是因为这个版本用户最广泛，很多教程也是基于这个版本 ...

你的能开启SR-IOV没有？

a39765

Juzi丶 发表于 2023-5-21 23:11
不支持，6.7开始的
具体请自查vmklinux drivers和native drivers的区别

是这样吗？

Juzi丶

a39765 发表于 2023-5-22 08:00
是这样吗？

你装vmklinux drivers就能开了

a39765

Juzi丶 发表于 2023-5-22 09:56
你装vmklinux drivers就能开了

在哪里下载啊？怎么装？ 能弱弱问一下吗？最近搞这个机器就差这个了。先谢谢大大

死也要爱钱

我用的是MCX416A，也没用SR-IOV。
我查了一下，官网上544+在7.0U3里有两个驱动，你用的应该是3.19.70.1，另一个3.19.70.1001看功能那栏里是提到SR-IOV的。
你需要先看一下你的设备ID（VID/DID/SVID/SSID）是不是和官网匹配，匹配的话下载这个1001驱动，上传到ESXi里面，然后打开SSH，用putty之类的工具SSH到ESXi的后台用esxcli命令安装这个驱动，重启应该就行了。

aaronlong

死也要爱钱 发表于 2023-5-22 13:53
我用的是MCX416A，也没用SR-IOV。
我查了一下，官网上544+在7.0U3里有两个驱动，你用的应该是3.19.70.1，另 ...

高手，您有账号么，帮忙下载上传过来嘛，我这没账号不给下。。。先行谢过！

https://customerconnect.vmware.c ... 1&productld=974

用这地址又跳回去了。。。

a39765

我彻底放弃了这卡在esxi里面不管是 8.0还是7.0还是6.7的 SR-IOV。官方驱动，三方驱动和vmx驱动都试了。pcie位置也换了。都不行。直接升级到8.0 直通给虚拟机用了。各位避坑吧。

biogon38

happysun110 发表于 2023-5-19 16:40
你是544还是544+，56g只有544+支持。

544 544+都支持56gbe，但是需要脉络思交换机

happysun110

biogon38 发表于 2023-5-23 16:03
544 544+都支持56gbe，但是需要脉络思交换机

我昨天刚测试过了，刷新开启了56geth的固件后，用原厂的56g dac线 （我买的1.5米长 60元）就可以实现56g eth连接，不用特殊设置。只要刷新固件，然后 reset 配置就可以。

我没有用交换机，网卡用线直接连接，用一台ubuntu server 开启 br 做交换机。

56g eth 我用 iperf 测试出来实际大概能跑出 48g 出头的带宽。（对比40g eth能跑出37g).

也可以设置为 ib 模式，同样可以连接到 56g。不过我不熟悉 ib 模式，很勉强的临时找资料才配置好。

happysun110

michaelzxp 发表于 2023-5-20 16:49
sx6012价格和噪音都还行吧，不过为了上8.0和mac，确实的买cx4或者以上的了，价格太贵，多个544+做软交换对c ...

用544+做软交换，ubuntu server 20.04下是可以利用到 RDMA 的特性，跑满带宽时 cpu 基本为零，不用担心。40g eth iperf 测速大概37g，56g eth 测速大概48g。

但是如果没有开启 rdma，比如在 openwrt 下就不行了，cpu占用很高，速度也要降低到 20g 左右，几乎减半。


测试条件：ubuntu 20.04， 5.4 内核（默认带4.0.0驱动），安装驱动版本为 4.9.0 版本。注意4.9.0版本驱动最高支持到 5.4 内核，再高的内核就只能用系统自带的4.0.0驱动。

a39765

happysun110 发表于 2023-5-24 11:20
我昨天刚测试过了，刷新开启了56geth的固件后，用原厂的56g dac线 （我买的1.5米长 60元）就可以实现56g  ...

麻烦问问这个56g eth固件哪里有下载的？