（已解决）544FLR网卡怎么用IB模式连接

IChicken · 发表于 2023-8-22 23:59

本帖最后由 IChicken 于 2023-8-23 22:22 编辑

解决方法：
安装驱动和MFT后，用powershell把opensm打开就行了
QQ截图20230823222209.png

两台电脑上的544FLR用AOC线直连，都安装了驱动。用以太网模式可以正常使用，把接口协议改成IB模式后就显示网络电缆被拔出。

QQ截图20230822234213.png

以太网模式可以正常使用
QQ截图20230822234340.png

用命令行把PORT1的协议改为IB
QQ截图20230822234452.png

设备管理器重启网卡后，网络适配器中的两个HP 10Gb 2-port 544FLR-QSFP Ethernet Adapter中的一个变成了HP 10Gb 2-port 544FLR-QSFP IPoIB Adapter，但显示电缆被拔出，网卡上的指示灯也熄灭了。
QQ截图20230822235820.jpg

把另一台电脑接口协议也改成IB后网卡上的LINK灯亮起，但依然显示电缆被拔出。
QQ截图20230822233302.png

我的直连线是Finisar FCBG410QB1C10，查过是支持IB模式的。这是怎么回事？是线有问题吗？

aaronlong · 发表于 2023-8-23 00:04

我记得要先刷固件，然后检查设备管理器中的系统设备里有544的PORTOCOL里设置IB还是ETH还是AUTO

zxy2001 · 发表于 2023-8-23 00:06

用IB模式能跑56G？另外问一下 AOC线热么？我用5米的DAC线搭配544+

今晚大老虎 · 发表于 2023-8-23 00:22

544+FLR用IB组网首先要有一个IB的交换机, 如果你是直连的话,你需要自建一个特殊的server, 具体你要翻一下文档. IB已经是淘汰的技术了,现在nVidia都不怎么支持了. 我最后还是用Eth模式了, 这样最方便.

IChicken · 发表于 2023-8-23 00:34

zxy2001 发表于 2023-8-23 00:06
用IB模式能跑56G？另外问一下 AOC线热么？我用5米的DAC线搭配544+

40g我就满足了，544flr以太网模式只能跑10g。线本身应该不热，给网卡做好散热就行。

IChicken · 发表于 2023-8-23 00:40

今晚大老虎发表于 2023-8-23 00:22
544+FLR用IB组网首先要有一个IB的交换机, 如果你是直连的话,你需要自建一个特殊的server, 具体你要翻一下文 ...

我的是544flr没有+，也是一样吗？我想知道link灯亮了是不是代表我的线支持IB？
eth只能跑10g，还不如买x540t2算了，线还便宜。当时闲鱼看到这个40g网卡这么便宜以为捡了个漏，结果都是坑，唉。

zxy2001 · 发表于 2023-8-23 01:30

544+ 100块一对全新的，转接口15一个，DAC线倒是要85块。。。要跑40G 还要搭配Win Server OS

weindy · 发表于 2023-8-23 01:40

本帖最后由 weindy 于 2023-8-23 01:53 编辑

重要提示：上车544网卡的尽量避免649283、661687、655691三个料号，这三个料号是10g的卡。

544+跑不了40g，跟是否ib模式没有关系，楼主先检查自己的料号吧，就贴在第一个端口上面。

买的时候认准764285的料号肯定没问题。如果不是支持ib的交换机，就算单拿一台windows机器跑openSM作为ib server端，性能也是不如以太网模式。用旧内核的linux系统当server端，性能也不会比以太网强，因为支持ib的交换机有单独芯片负责数据包交换。

老饭 · 发表于 2023-8-23 02:10

换DAC试试

wxlg1117 · 发表于 2023-8-23 02:29

跑IB需要一个ib server端

今晚大老虎 · 发表于 2023-8-23 04:39

本帖最后由今晚大老虎于 2023-8-23 04:41 编辑

我的是544+, 用DAC线缆和光纤用ETH模式直连时, iperf3测速能跑到40G, 不过实际写入的时候没有那么高, 和服务器配置有关.

IChicken · 发表于 2023-8-23 11:21

weindy 发表于 2023-8-23 01:40
重要提示：上车544网卡的尽量避免649283、661687、655691三个料号，这三个料号是10g的卡。

544+跑不了40g ...

所以我是被闲鱼卖家骗了？
QQ截图20230823111955.jpg

IChicken · 发表于 2023-8-23 11:25

weindy 发表于 2023-8-23 01:40
重要提示：上车544网卡的尽量避免649283、661687、655691三个料号，这三个料号是10g的卡。

544+跑不了40g ...

https://www.chiphell.com/forum.p ... 463&ordertype=1
还有这个帖子也说支持40G
649283-B21 双口QSFP+ 10G/40G，eth/ib，544FLR-QSFP，Mellanox Connectx-3

weindy · 发表于 2023-8-23 13:29

没试过别的料号的卡，不知道卖家说的真假。可以先开openSM试试有没有40g的链接速度，具体可以开翻译看https://np2lkoo.hatenablog.com/entry/2020/03/28/120730
公司没有这卡，有不明白的晚上回去可以具体给您演示下

IChicken · 发表于 2023-8-23 14:18

weindy 发表于 2023-8-23 13:29
没试过别的料号的卡，不知道卖家说的真假。可以先开openSM试试有没有40g的链接速度，具体可以开翻译看https ...

好的，我去试试

aixunxian · 发表于 2023-8-23 16:31

你两台都是win的设备么？装好MFT，用管理员模式运行PowerShell。键盘敲opensm这六个字母回车再重启下电脑应该就可以识别了

2tmd12 · 发表于 2023-8-23 18:52

版本firmware 更新了吗.我手上两个544+flr 一样ib 识别不了,起了 opensm 不行,升级5700 固件解决

Xp47 · 发表于 2023-8-23 21:14

试试bios设置了然后去找hp的vpi-eth-ib补丁

IChicken · 发表于 2023-8-23 22:10

weindy 发表于 2023-8-23 13:29
没试过别的料号的卡，不知道卖家说的真假。可以先开openSM试试有没有40g的链接速度，具体可以开翻译看https ...

成功了，打开opensm就可以了，非常感谢

IChicken · 发表于 2023-8-23 22:18

aixunxian 发表于 2023-8-23 16:31
你两台都是win的设备么？装好MFT，用管理员模式运行PowerShell。键盘敲opensm这六个字母回车再重启下电脑应 ...

对的，打开opensm后不用重启就识别了

a613271 · 发表于 2024-2-13 01:59

weindy 发表于 2023-8-23 13:29
没试过别的料号的卡，不知道卖家说的真假。可以先开openSM试试有没有40g的链接速度，具体可以开翻译看https ...

大佬你好，544+flr 和314a 为啥显示10g 线是qsfp+aoc 插槽都是pcie 8.0 x 8 屏幕截图 2024-02-13 001515.png

weindy · 发表于 2024-2-13 13:02

a613271 发表于 2024-2-13 01:59
大佬你好，544+flr 和314a 为啥显示10g 线是qsfp+aoc 插槽都是pcie 8.0 x 8

额不是大佬。。本坛的大佬都玩腻40g交换机了。。

言归正传，win11显示网卡速率有bug，按速率最小值显示的，比如万兆只显示1410m，不用管。只要测速正常就行了

a613271 · 发表于 2024-2-13 21:36

weindy 发表于 2024-2-13 13:02
额不是大佬。。本坛的大佬都玩腻40g交换机了。。
言归正传，win11显示网卡速率有bug，按速率最小值显示的 ...

但是服务器上显示也是10g 屏幕截图 2024-02-13 213420.png

测速也是10g的速度

aixunxian · 发表于 2024-2-13 21:50

a613271 发表于 2024-2-13 21:36
但是服务器上显示也是10g测速也是10g的速度

你这个是只协商到10G速率。40G会显示40G的

a613271 · 发表于 2024-2-13 22:07

aixunxian 发表于 2024-2-13 21:50
你这个是只协商到10G速率。40G会显示40G的

大佬请赐教

aixunxian · 发表于 2024-2-13 23:36

a613271 发表于 2024-2-13 22:07
大佬请赐教

检查你的线，和光模块是否支持40G。

a613271 · 发表于 2024-2-14 00:10

aixunxian 发表于 2024-2-13 23:36
检查你的线，和光模块是否支持40G。

两根都是小黄鱼买的qsfp+aoc 40g

aixunxian · 发表于 2024-2-14 00:34

本帖最后由 aixunxian 于 2024-2-14 00:54 编辑

a613271 发表于 2024-2-14 00:10
两根都是小黄鱼买的qsfp+aoc 40g

有尝试过换其他的线试试吗？有可能是线的兼容问题，cx3这个卡太老了，MFT很多命令不支持。想查看连接都没法看。
cx4以上可以使用下面这个命令来查看当前连接状态，cx3你输这个命令它会提示你设备不支持。

mlxlink -d 设备名

复制代码

你试试这个命令，强制指定速率为40G看看，我不确定cx3能用。但是在我这张cx6上面是可以用的

mlxlink -d mt4103_pci_cr0 --speeds 40G

复制代码

还有一个方法测试，就是你用那根AOC线两头都接在同一张网卡port1和port2上形成环路。看看能不能协商到40G

a613271 · 发表于 2024-2-14 02:25

aixunxian 发表于 2024-2-14 00:34
有尝试过换其他的线试试吗？有可能是线的兼容问题，cx3这个卡太老了，MFT很多命令不支持。想查看连接都没 ...

找到问题了，服务器上的314a 是10g，我刷个固件试试

weindy · 发表于 2024-2-14 13:33

a613271 发表于 2024-2-14 02:25
找到问题了，服务器上的314a 是10g，我刷个固件试试

固件一方面，也有小概率可能金手指有氧化接触不好，还有概率极低的卡上污渍导致原件触点短路。。软件层面解决不了就从硬件层面排查一下试试吧

账号		自动登录	找回密码
密码			加入我们

[网络] （已解决）544FLR网卡怎么用IB模式连接