Mellanox SN2010 25GbE/100GbE 交换机 开箱

hfyeqp

Juzi丶 发表于 2021-10-3 02:48
ce68xx的话只有极少数型号用的海思，剩下的都是博通方案的，要单比asic的话肯定spectrum要强 ...

好吧，对应环境不一样了！
最近发现用交换机起dhcp，静态路由上网慢的问题！
没丢包无法找到原因
哈哈

错庞末班车

太厉害了~

Juzi丶

hfyeqp 发表于 2021-10-3 02:54
好吧，对应环境不一样了！
最近发现用交换机起dhcp，静态路由上网慢的问题！
没丢包无法找到原因

不建议用交换的dhcp服务器，特别是国产这些，基本就只能保证能够完成“分配ip”就什么都不能做了，随便搭个dnsmasq都好使很多

xajh20058

牛货！！QNAP出的25G，40G和100G网卡也是推这款交换机，个人觉得是家用的理想机型，10G，25G，40G和100G通吃。

翰墨留香

牛逼牛逼

yan1990_y

wjm47196 发表于 2021-10-2 14:09
牛x啊 我要是重新装修我也来一套
当然用不到这么高级的就是了

我公司就有全套，产品现成的，价格问题

yan1990_y

hfyeqp 发表于 2021-10-3 02:54
好吧，对应环境不一样了！
最近发现用交换机起dhcp，静态路由上网慢的问题！
没丢包无法找到原因

不丢包只是一方面，延迟什么的很好查的，你先确定是不是交换机问题

郁金香

1. switch-b82fc8 [standalone: master] # show power consumers
   
2. -------------------------------------------------------------------------
   
3. Module  Device            Sensor  Power   Voltage  Current  Status
   
4.                                   [Watts] [Volts]  [Amp]
   
5. -------------------------------------------------------------------------
   
6. MGMT    CURR_MONITOR      12V     49.55   11.76    4.21     OK
   
7. 
   
8. Total power used : 49.55 Watts
   
9. 
   
10. switch-b82fc8 [standalone: master] # show system capabilities
    
11. IB: Supported, L2, Adaptive Routing
    
12. Ethernet: Supported, L2, L3
    
13. GW: Supported
    
14. Max SM nodes: 648
    
15. IB Max licensed speed: FDR
    
16. Ethernet Max licensed speed: 56Gb
    
17. 
    

复制代码

比我的6036+L3协议的powerpc省电多了，我这个才到40/56G

hfyeqp

yan1990_y 发表于 2021-10-3 11:36
不丢包只是一方面，延迟什么的很好查的，你先确定是不是交换机问题

有线正常，有点怀疑是不是ubnt ac-pro的ap问题了，但也不可能二个ap都出问题啊

hfyeqp

Juzi丶 发表于 2021-10-3 09:14
不建议用交换的dhcp服务器，特别是国产这些，基本就只能保证能够完成“分配ip”就什么都不能做了，随便搭 ...

华为的s6720应该不至于那么垃圾啊
主要是vlan太多，只能用交换做三层吧，不然不能互通啊

yan1990_y

hfyeqp 发表于 2021-10-3 13:24
有线正常，有点怀疑是不是ubnt ac-pro的ap问题了，但也不可能二个ap都出问题啊 ...

一层层ping过去，看延迟不就知道哪一个网关出问题了，还有带宽一起测

tonrain

劳驾问下 噪音如何 ？

hfyeqp

tonrain 发表于 2021-10-3 17:02
劳驾问下 噪音如何 ？

噪音肯定不行，一般都是要放机柜的！我放在了洗衣机旁边

Juzi丶

tonrain 发表于 2021-10-3 17:02
劳驾问下 噪音如何 ？

和sx6012一样，差不多电风扇最大档

smallfount

啊这.....这玩意小黄鱼真的有货吗。。。。。。

nocturne

楼主，性能怎么样，有测试吗

声色茶马

test 发表于 2021-10-2 21:04
你们说的惊喜是指得10000？

这是CHH，理解一下亲。

毕竟100G，两套模块都贵过这交换机了。

6892731

请问，setpci -s 00:00.0 8.w  这个是通用的吗？还是后面的 00:00.0 8.w需要根据不同的CPU来做修改？

Juzi丶

6892731 发表于 2021-10-4 22:00
请问，setpci -s 00:00.0 8.w  这个是通用的吗？还是后面的 00:00.0 8.w需要根据不同的CPU来做修改？ ...

C2000系列通用

lizhenbj

不错，家里新部署光路，来一个这个很爽啊。

jerrytsao

CHH终于有人开了10/40/56GbE和25/50/100GbE全能型Switch, 就是这个噪音哈哈, Dell EMC Z9100-ON放在eBay一直没下单主要就是这个原因

Juzi丶

jerrytsao 发表于 2021-10-7 17:26
CHH终于有人开了10/40/56GbE和25/50/100GbE全能型Switch, 就是这个噪音哈哈, Dell EMC Z9100-ON放在eBay一 ...

Z9100和DX010一样是Tomahawk 1代，又热又吵还是电老虎

sunneyboy

我也入坑了，风扇有点吵，有什么办法解决

nocturne

sunneyboy 发表于 2021-10-7 20:17
我也入坑了，风扇有点吵，有什么办法解决

不插模块，风扇转速会从17000降到7000左右，
而只要插入一个模块，立马从7000升到14000，并且不再下降，一直维持，它的风扇策略估计就是这样？

nocturne

sunneyboy 发表于 2021-10-7 20:17
我也入坑了，风扇有点吵，有什么办法解决

是否能通过改固件来修改成静音模式，好象SX6012有修改成静音模式的，不知这个能不能修改？

另外一种是拆开机器，给风扇加降噪线或是换风扇？

nocturne

此机功耗还不错，整机不插模块是36W的实测功耗，插了模块，10G的每个加4W.

Juzi丶

加楼说一下机器的初始和常用设置吧

必须两个电源都接上电

准备好PuTTY，或者你习惯的工具

前面板有两个RJ45接口
上面的是ETH管理口
下面的是Console口

首先先把上面的ETH管理口接上路由器，之后会获取DHCP分配的IP
第一次开机需要接下面的Console口

然后按下图设置，USB转Console线建议买FTDI芯片的



等屏幕上信息滚完之后按一下回车会出现控制台
输入默认账号和密码admin登陆控制台

1. NVIDIA Onyx Switch Management
   
2. switch-xxxxxx login: admin
   
3. Password:
   
4. Number of total successful connections since last 1 days: 0
   
5. Your password has been changed
   
6. NVIDIA Switch
   

复制代码

第一句是问你是否进行初始设置

1. Do you want to use the wizard for initial configuration?
   
2. 您想使用向导进行初始配置吗？
   

复制代码

输入yes

然后跟着向导输入一些基本信息

1. Step 1: Hostname?
   
2. Step 2: Use DHCP on mgmt0 interface?
   
3. Step 3: Enable IPv6?
   
4. Step 4: Update time?
   
5. Step 5: Enable password hardening?
   
6. Step 6: Admin password (Must be typed)?
   
7. Step 6: Confirm admin password?
   
8. Step 7: Monitor password (Must be typed)?
   
9. Step 7: Confirm monitor password?
   
10. 
    
11. 第 1 步：主机名？
    
12. 第 2 步：在 mgmt0 接口上使用 DHCP？
    
13. 第 3 步：启用 IPv6？
    
14. 第 4 步：更新时间？
    
15. 第 5 步：启用密码强度？
    
16. 第 6 步：管理员密码（必须输入）？
    
17. 第 6 步：确认管理员密码？
    
18. 第 7 步：监控密码（必须输入）？
    
19. 第 7 步：确认监控密码？
    

复制代码

密码强度就是禁用简单密码，yes之后后面两个密码都需要大小写数字和符号
下面是我的示例

1. NVIDIA Onyx Switch Management
   
2. switch-xxxxxx login: admin
   
3. Password:
   
4. Number of total successful connections since last 1 days: 0
   
5. Your password has been changed
   
6. NVIDIA Switch
   
7. 
   
8. Configuration wizard
   
9. 
   
10. Do you want to use the wizard for initial configuration?
    
11. 
    
12. Step 1: Hostname? [switch-xxxxxx]
    
13. Step 2: Use DHCP on mgmt0 interface? [yes]
    
14. Step 3: Enable IPv6? [yes] no
    
15. Step 4: Update time? [2021/10/08 03:57:40]
    
16. Step 5: Enable password hardening? [yes] no
    
17. Step 6: Admin password (Must be typed)?
    
18. Step 6: Confirm admin password?
    
19. Step 7: Monitor password (Must be typed)?
    
20. Step 7: Confirm monitor password?
    
21. 
    
22. You have entered the following information:
    
23. 
    
24.    1. Hostname: switch-xxxxxx
    
25.    2. Use DHCP on mgmt0 interface: yes
    
26.    3. Enable IPv6: no
    
27.    4. Update time: 2021/10/08 03:57:59
    
28.    5. Enable password hardening: no
    
29.    6. Admin password (Must be typed): (CHANGED)
    
30.    7. Monitor password (Must be typed): (CHANGED)
    
31. 
    
32. To change an answer, enter the step number to return to.
    
33. Otherwise hit <enter> to save changes and exit.
    
34. 
    
35. Choice:
    
36. 
    
37. 
    
38. Zero-touch is disabled
    
39. Configuration changes saved.
    
40. 
    
41. To return to the wizard from the CLI, enter the "configuration jump-start"
    
42. command from configure mode.  Launching CLI...
    
43. 
    
44. switch-xxxxxx [standalone: master] >
    

复制代码

然后进入配置模式，在CLI下修改任何配置都要先输入enable然后configure terminal

1. switch-xxxxxx [standalone: master] >
   
2. switch-xxxxxx [standalone: master] > enable
   
3. switch-xxxxxx [standalone: master] # configure terminal
   
4. switch-xxxxxx [standalone: master] (config) #
   

复制代码

然后先解锁模块

1. switch-xxxxxx [standalone: master] (config) # fae cable-stamping-unlock 100g_lr4
   
2. switch-xxxxxx [standalone: master] (config) # fae cable-stamping-unlock 40g_lr4
   
3. switch-xxxxxx [standalone: master] (config) # fae cable-stamping-unlock eth_100g
   
4. switch-xxxxxx [standalone: master] (config) # fae cable-stamping-unlock eth_sfp_25g
   

复制代码

任何更改都不会自动保存，CLI要输入命令保存，在WEB网页上的话就是右上角的SAVE或者存档标准

1. switch-xxxxxx[standalone: master] (config) # configuration write
   
2. switch-xxxxxx[standalone: master] (config) #
   

复制代码

风扇转速会在25分钟左右降速到20%（6000~7000RPM）
开机后转速是60%，每5分钟左右降10%



上面初始配置设置了管理口DHCP获取IP，所以我们可以使用下面的命令获取管理口状态

1. switch-xxxxxx [standalone: master] (config) # show interfaces mgmt0 brief
   
2. 
   
3. Interface mgmt0 status:
   
4.   Comment         :
   
5.   VRF             : mgmt
   
6.   Admin up        : yes
   
7.   Link up         : yes
   
8.   DHCP running    : yes
   
9.   IP address      : 10.0.0.181
   
10.   Netmask         : 255.0.0.0
    
11.   IPv6 enabled    : no
    
12.   Speed           : 1000Mb/s (auto)
    
13.   Duplex          : full (auto)
    
14.   Interface type  : ethernet
    
15.   Interface source: bridge
    
16.   Bonding master  : vrf_mgmt
    
17.   MTU             : 1500
    
18.   HW address      : xx:xx:xx:xx:xx:xx

复制代码

可以看到获取的IP是10.0.0.181
这时候就可以用IP登陆SSH控制台而不用Console了



同理，输入账号密码登陆，然后输入enable和configure terminal进入配置模式

使用25G/100G链路必须设置FEC
下面是示例

1. #关闭端口自动协商，设置端口速率为25G
   
2. switch-xxxxxx [standalone: master] (config) # interface ethernet 1/7 speed 25G no-autoneg force
   
3. #设置FEC模式，可以看到有RS FC NO三个可以选，这里选择RS
   
4. switch-xxxxxx [standalone: master] (config) # interface ethernet 1/7 fec-override
   
5. fc-fec  no-fec  rs-fec
   
6. switch-xxxxxx [standalone: master] (config) # interface ethernet 1/7 fec-override rs-fec force
   
7. switch-xxxxxx [standalone: master] (config) #
   

复制代码

在电脑上Mellanox网卡的话，可以安装官网的驱动程序和MFT后使用mlxlink验证链路模式

MFT下的工具必须在管理员模式运行
mlxlink.bat -d mt4117_pciconf0的网卡的第一个接口
mlxlink.bat -d mt4117_pciconf0.1的网卡的第二个接口
下面是示例（Windows平台）

1. Windows PowerShell
   
2. 版权所有 (C) Microsoft Corporation。保留所有权利。
   
3. 
   
4. 尝试新的跨平台 PowerShell https://aka.ms/pscore6
   
5. 
   
6. PS C:\Windows\system32> cmd
   
7. Microsoft Windows [版本 10.0.19044.1237]
   
8. (c) Microsoft Corporation。保留所有权利。
   
9. 
   
10. C:\Windows\system32>cd C:\Program Files\Mellanox\WinMFT
    
11. 
    
12. C:\Program Files\Mellanox\WinMFT>
    
13. C:\Program Files\Mellanox\WinMFT>mlxfwmanager.exe
    
14. Querying Mellanox devices firmware ...
    
15. 
    
16. Device #1:
    
17. ----------
    
18. 
    
19.   Device Type:      ConnectX4LX
    
20.   Part Number:      MCX4121A-ACU_Ax
    
21.   Description:      ConnectX-4 Lx EN network interface card; 25GbE dual-port SFP28; PCIe3.0 x8; UEFI Enabled; tall bracket
    
22.   PSID:             MT_0000000266
    
23.   PCI Device Name:  mt4117_pciconf0
    
24.   Base MAC:         
    
25.   Versions:         Current        Available
    
26.      FW             14.31.1014     N/A
    
27.      PXE            3.6.0403       N/A
    
28.      UEFI           14.24.0013     N/A
    
29. 
    
30.   Status:           No matching image found
    
31. 
    
32. 
    
33. C:\Program Files\Mellanox\WinMFT>mlxlink.bat -d mt4117_pciconf0.1
    
34. 
    
35. Operational Info
    
36. ----------------
    
37. State                           : Active
    
38. Physical state                  : LinkUp
    
39. Speed                           : 25GbE
    
40. Width                           : 1x
    
41. FEC                             : Standard RS-FEC - RS(528,514)
    
42. Loopback Mode                   : No Loopback
    
43. Auto Negotiation                : ON
    
44. 
    
45. Supported Info
    
46. --------------
    
47. Enabled Link Speed              : 0x38007013 (25G,10G,1G)
    
48. Supported Cable Speed           : 0x38007013 (25G,10G,1G)
    
49. 
    
50. Troubleshooting Info
    
51. --------------------
    
52. Status Opcode                   : 0
    
53. Group Opcode                    : N/A
    
54. Recommendation                  : No issue was observed.
    
55. 
    
56. 
    
57. C:\Program Files\Mellanox\WinMFT>

复制代码

可以看到端口的FEC已经运行在RS模式（根据交换机上的数据自动协商）

用mlxcables查看模块型号，收发光等信息
mlxcables.bat -d mt4117_pciconf0_cable_0的网卡的第一个接口
mlxcables.bat -d mt4117_pciconf0_cable_1的网卡的第二个接口

1. C:\Program Files\Mellanox\WinMFT>mlxcables.bat -d mt4117_pciconf0_cable_1 -q
   
2. Querying Cables ....
   
3. 
   
4. Cable #1:
   
5. ---------
   
6. Cable name    : mt4117_pciconf0_cable_1
   
7. >> No FW data to show
   
8. -------- Cable EEPROM --------
   
9. Identifier    : SFP/SFP+/SFP28 (03h)
   
10. Technology    : Transceiver
    
11. Compliance    : Unspecified
    
12. OUI           : 0xac4afe
    
13. Vendor        : Hisense
    
14. Serial number : UBU9C083728
    
15. Part number   : LTF1325-BH1
    
16. Revision      : A
    
17. Temperature   : N/A
    
18. Length        : 0 m
    

复制代码

1. C:\Program Files\Mellanox\WinMFT>mlxcables.bat -d mt4117_pciconf0_cable_1 -DDM
   
2. Cable DDM:
   
3. ----------
   
4. Temperature    : 52C
   
5. Voltage        : 3.2639V
   
6. RX Power : -1.1351dBm
   
7. TX Power : -2.1120dBm
   
8. TX Bias  : 53.8300mA
   
9. ----- Flags -----
   
10. Temperature:
    
11.    Alarm  high  : 0
    
12.    Warning high : 0
    
13.    Warning low  : 0
    
14.    Alarm  low   : 0
    
15. Voltage:
    
16.    Alarm  high  : 0
    
17.    Warning high : 0
    
18.    Warning low  : 0
    
19.    Alarm  low   : 0
    
20. RX/TX Power and TX Bias:
    
21.    RX Power alarm  high : 0
    
22.    RX Power warning high: 0
    
23.    RX Power warning low : 0
    
24.    RX Power alarm  low  : 0
    
25. 
    
26.    TX Power alarm  high : 0
    
27.    TX Power warning high: 0
    
28.    TX Power warning low : 0
    
29.    TX Power alarm  low  : 0
    
30. 
    
31.    TX Bias alarm  high  : 0
    
32.    TX Bias warning high : 0
    
33.    TX Bias warning low  : 0
    
34.    TX Bias alarm  low   : 0
    
35. 
    
36. ----- Thresholds -----
    
37.         Temperature high alarm threshold   : 95C
    
38.         Temperature high warning threshold : 85C
    
39.         Temperature low  warning threshold : -40C
    
40.         Temperature low  alarm threshold   : -50C
    
41. 
    
42.         Voltage high alarm threshold   : 3.6300V
    
43.         Voltage high warning threshold: 3.4650V
    
44.         Voltage low  warning threshold: 3.1350V
    
45.         Voltage low  alarm   threshold: 2.9700V
    
46. 
    
47.         RX Power high alarm threshold : 5.0000dBm
    
48.         RX Power high warn threshold  : 2.0000dBm
    
49.         RX Power low  warn threshold  : -10.5012dBm
    
50.         RX Power low  alarm threshold : -13.4969dBm
    
51. 
    
52.         TX Power high alarm threshold : 5.0000dBm
    
53.         TX Power high warn threshold  : 2.0000dBm
    
54.         TX Power low  warn threshold  : -7.0006dBm
    
55.         TX Power low  alarm threshold : -10.0000dBm
    
56. 
    
57.         TX Bias high alarm threshold  : 110.0000mA
    
58.         TX Bias high warn threshold   : 100.0000mA
    
59.         TX Bias low  warn threshold   : 1.0000mA
    
60.         TX Bias low  alarm threshold  : 1.0000mA
    
61. 

复制代码

有关交换机接口的其他设置可以看官方文档
https://docs.mellanox.com/display/Onyxv393202/Ethernet+Interfaces
https://docs.mellanox.com/displa ... +Interface+Commands

RoCE文档
https://docs.mellanox.com/pages/viewpage.action?pageId=56986516

机箱管理
https://docs.mellanox.com/display/Onyxv393202/Chassis+Management

如果发现任何异常的地方可以抓取日志查看详情



如果日志出现下面错误

1.     Oct  7 04:28:57 switch-xxxxxx temp_control[8490]: [tc.NOTICE]: Read all qsfp temperatures properly:[false], changing dynamic ambient mode
   
2.   
   
3.     Oct  7 04:28:57 switch-xxxxxx temp_control[8490]: [tc.NOTICE]: Dynamic ambient usage: Enabled. NOT all qsfps were read properly
   
4.   
   
5.     Oct  7 04:28:57 switch-xxxxxx temp_control[8490]: [tc.NOTICE]: minimum chassis fan speed - previous [20%] current [50%] after reading ambient temperature of [33.50 C]
   
6.   
   
7.     Oct  7 04:28:57 switch-xxxxxx temp_control[8490]: [tc.NOTICE]: Fan:[/MGMT/FAN1/f1], interval:[57] ,in affected area, max temperatures: ASIC:[48] X86:[33] QSFP_CABLE:[0] , Updating fan speed from:[20%] to:[50%]
   

复制代码

注意这两句
Read all qsfp temperatures properly:[false], changing dynamic ambient mode
Dynamic ambient usage: Enabled. NOT all qsfps were read properly

意思就是temp_control没有正确读到模块的温度数据
哪怕执行
show interfaces ethernet x/x transceiver diagnostics
后能读取到模块温度

机箱管理还是照样会把风扇转速提高到最低40%（11000~12000PRM）

如果遇到这种情况请更换模块，或者用官方模块
（或者等nvidia良心发现修复一下，又或者换cumulus linux或者sonic，再或者你的使用环境可以无视风扇提速）

nocturne

Juzi丶 发表于 2021-10-8 09:19
测了一下发现某些模块的温度读取有问题，热控制读取不到模块温度，就会把风扇提速到40% ...

那配哪个品牌的模块，可以正确读取温度，让风扇速度降下来

kongtaibai

请问RESTRICTED_CMDS的license是从哪里获取的呢，我的sn2700没这个lic

Juzi丶

kongtaibai 发表于 2021-10-8 09:57
请问RESTRICTED_CMDS的license是从哪里获取的呢，我的sn2700没这个lic

https://forums.servethehome.com/ ... y.10786/post-309240