Mellanox SN2010 25GbE/100GbE 交换机 开箱

Juzi丶

一大早到货了个大家伙
先来验明真身





19年生产的机器
具体型号是MSN2010-CB2F
预装Mellanox Onyx（Onyx其实就MLNX-OS的Ethernet版本马甲）
得益于ONIE（开放式网络安装环境）你还可以装SONiC（开源，免费）Cumulus Linux（闭源，许可证订阅）等等不同的系统
或者，自己开发一个！

抄一段官网的简介

1. NVIDIA MSN2010-CB2F 基于 Spectrum 的 25GbE/100GbE 1U 开放式以太网交换机，带有 Onyx 18 个 SFP28 和 4 个 QSFP28 端口 2 个电源 AC x86 CPU 短深度 P2C 气流
   
2. 用于超融合基础设施和 ESF（以太网存储结构）的半宽 10/25GbE 和 100GbE 以太网交换机
   
3. SN2010 交换机是超融合和存储部署的理想架顶式 (ToR) 解决方案。SN2010 配备 18 个 10/25GbE 端口和 4 个可拆分的 40/100GbE 端口，可提供高达 1.7Tb/s 的总吞吐量。
   
4. 
   
5. 所有基于 Spectrum 的交换机，包括 SN2010，都支持所有数据包大小的低延迟线速流量，并且可通过 ONIE 启动，支持 Cumulus Linux、Onyx 和其他具有广泛安装基础的开源操作系统，可驱动世界上最具创新性的数据中心基础设施。
   
6. 
   
7. SN2010 为 10/25GbE 和 100GbE 交换引入了低延迟，具有强大的数据、控制和管理平面实施，并提供最紧凑的外形和最低的功耗。
   

复制代码

这是Mellanox为啥有黄仁勋NVIDIA呢
因为在2019年就NVIDIA以 69 亿美元收购 Mellanox

开箱可以看到配了两条C13电源线，一条COM口线，还有一个夹光纤和模块的工具





说明书，和官网文档一样





夹光纤和模块的工具（点名批评某为和某3C，几万的机器就配个破镊子）





当然附件这些是可以定制的，不同地方买到的机器可能不一样

全新未开封


机器前面就是18个SFP28和4个QSFP28端口


屁股是两个电源插口，因为是半宽尺寸所以电源是内置的


看看铭牌（已打码），好家伙，Mellanox你的浓眉大眼也搞印度生产了


插上管理口和COM口，插电开机的
一瞬间全部指示灯会亮起


完全开机大概要5分钟左右
系统完全自检完之后风扇会逐渐降速
根据温度区间风扇转速会在6000到13000之间


事不宜迟，先来个光模块UP一下端口

SFP28先来
用两个海信代工的华为OEM模块
单模1310，300米


然后你会发现端口UP不起来，这是怎么回事呢
这是因为Mellanox MLNX-OS/Onyx会限制模块使用，包括但不限于单模和一些高功率模块/线材
那怎么办呢
当然是要解除这个限制了
不然小黄鱼上的便宜大碗的通讯余料不就没法用了
可以使用fae解除这些模块限制

1. fae cable-stamping-unlock 100g_lr4
   
2. fae cable-stamping-unlock 40g_lr4
   
3. fae cable-stamping-unlock eth_100g
   
4. fae cable-stamping-unlock eth_sfp_25g
   

复制代码

解除限制后就可以正常使用了




再来是QSFP28
先用100G的DAC


QSFP28端口支持拆分为
2个50G/25G/10G/1G（两个通道一个端口，QSFP to 2x QSFP）或者4个25G/10G/1G（一个通道一个端口，QSFP to 4x SFP）
这里演示拆分为4个25G

命令（19口就是第一个QSFP28）：

1. interface ethernet 1/19 module-type qsfp-split-4 force
   

复制代码

用Innolight（旭创）TP-VC13T02P7-N00，预制4分支线缆


对端模块还是上面的海信OEM
完全没有问题


拆分后对应端口下多出拆分数量的端口


然后再来看看空载功耗

1. [standalone: master] (config) # show power
   
2. -----------------------------------------------------------------------------------------
   
3. Module  Device            Sensor  Power   Voltage  Current  Capacity  Feed  Status
   
4.                                   [Watts] [Volts]  [Amp]    [Watts]
   
5. -----------------------------------------------------------------------------------------
   
6. MGMT    PS1               PS1 12V 29.85   12.04    2.48     460.00    AC    OK
   
7. MGMT    PS2               PS2 12V -       -        -        460.00    AC    OK
   
8. 
   
9. Total power used : 29.85 Watts
   
10. Total power capacity : 920.00 Watts
    
11. Total power available : 890.15 Watts
    
12. Maximum consumed power of all turned on modules: 250.00 Watts
    

复制代码

没错，目前业界最低不是吹的，只能说博通电热丝是真的拉

安装访问受限系统功能的许可证后可以直接访问Linux shell

1. [standalone: master] (config) # _shell
   
2. [admin@ ~]#
   
3. [admin@ ~]#
   
4. [admin@ ~]# lscpu
   
5. Architecture:          x86_64
   
6. CPU op-mode(s):        32-bit, 64-bit
   
7. Byte Order:            Little Endian
   
8. CPU(s):                4
   
9. On-line CPU(s) list:   0-3
   
10. Thread(s) per core:    1
    
11. Core(s) per socket:    4
    
12. Socket(s):             1
    
13. Vendor ID:             GenuineIntel
    
14. CPU family:            6
    
15. Model:                 77
    
16. Model name:            Intel(R) Atom(TM) CPU  C2558  @ 2.40GHz
    
17. Stepping:              8
    
18. CPU MHz:               2400.001
    
19. BogoMIPS:              4800.00
    
20. Virtualization:        VT-x
    
21. L1d cache:             24K
    
22. L1i cache:             32K
    
23. L2 cache:              1024K
    
24. Flags:                 fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 movbe popcnt tsc_deadline_timer aes rdrand lahf_lm 3dnowprefetch cpuid_fault epb pti tpr_shadow vnmi flexpriority ept vpid tsc_adjust smep erms ibpb ibrs stibp dtherm arat
    
25. [admin@ ~]#
    
26. [admin@ ~]# lspci
    
27. 00:00.0 Host bridge: Intel Corporation Atom processor C2000 SoC Transaction Router (rev 03)
    
28. 00:01.0 PCI bridge: Intel Corporation Atom processor C2000 PCIe Root Port 1 (rev 03)
    
29. 00:02.0 PCI bridge: Intel Corporation Atom processor C2000 PCIe Root Port 2 (rev 03)
    
30. 00:03.0 PCI bridge: Intel Corporation Atom processor C2000 PCIe Root Port 3 (rev 03)
    
31. 00:0b.0 Co-processor: Intel Corporation Atom processor C2000 QAT (rev 03)
    
32. 00:0e.0 Host bridge: Intel Corporation Atom processor C2000 RAS (rev 03)
    
33. 00:0f.0 IOMMU: Intel Corporation Atom processor C2000 RCEC (rev 03)
    
34. 00:13.0 System peripheral: Intel Corporation Atom processor C2000 SMBus 2.0 (rev 03)
    
35. 00:14.0 Ethernet controller: Intel Corporation Ethernet Connection I354 (rev 03)
    
36. 00:16.0 USB controller: Intel Corporation Atom processor C2000 USB Enhanced Host Controller (rev 03)
    
37. 00:17.0 SATA controller: Intel Corporation Atom processor C2000 AHCI SATA2 Controller (rev 03)
    
38. 00:18.0 SATA controller: Intel Corporation Atom processor C2000 AHCI SATA3 Controller (rev 03)
    
39. 00:1f.0 ISA bridge: Intel Corporation Atom processor C2000 PCU (rev 03)
    
40. 00:1f.3 SMBus: Intel Corporation Atom processor C2000 PCU SMBus (rev 03)
    
41. 01:00.0 Ethernet controller: Mellanox Technologies MT52100
    
42. [admin@ ~]#
    
43. [admin@ ~]# free
    
44.               total        used        free      shared  buff/cache   available
    
45. Mem:        7990940     2332128     4986740       40656      672072     5354244
    
46. Swap:             0           0           0
    
47. [admin@ ~]#
    
48. [admin@ ~]# smartctl -a /dev/sda
    
49. smartctl 6.2 2013-07-26 r3841 [x86_64-linux-4.15.15-1.el7MELLANOXsmp-x86_64] (local build)
    
50. Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org
    
51. 
    
52. === START OF INFORMATION SECTION ===
    
53. Device Model:     StorFly VSFBM4XC016G-MLX2
    
54. Serial Number:   
    
55. Firmware Version: 0202-000
    
56. User Capacity:    15,804,137,472 bytes [15.8 GB]
    
57. Sector Size:      512 bytes logical/physical
    
58. Rotation Rate:    Solid State Device
    
59. Device is:        Not in smartctl database [for details use: -P showall]
    
60. ATA Version is:   ACS-2 (minor revision not indicated)
    
61. SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
    
62. Local Time is:    Mon Jan  1 02:41:31 2001 UTC
    
63. SMART support is: Available - device has SMART capability.
    
64. SMART support is: Enabled
    
65. [admin@ ~]#
    
66. [admin@ ~]# dmidecode
    
67. # dmidecode 3.0
    
68. Handle 0x003A, DMI type 17, 34 bytes
    
69. Memory Device
    
70.         Array Handle: 0x0038
    
71.         Error Information Handle: Not Provided
    
72.         Total Width: 64 bits
    
73.         Data Width: 64 bits
    
74.         Size: 8192 MB
    
75.         Form Factor: DIMM
    
76.         Set: None
    
77.         Locator: DIMM0
    
78.         Bank Locator: BANK 0
    
79.         Type: DDR3
    
80.         Type Detail: Synchronous Unbuffered (Unregistered)
    
81.         Speed: 1600 MHz
    
82.         Manufacturer: Micron
    
83.         Serial Number:
    
84.         Asset Tag: 1BANK 0 DIMM0 AssetTag
    
85.         Part Number: 18KSF1G72HZ-1G6P1
    
86.         Rank: 2
    
87.         Configured Clock Speed: 1600 MHz
    

复制代码

可以看到机器配了一颗C2558，8G的DDR3 ECC 内存，16G的SATA SSD

Atom C2000，肯定有人会问，这不是会有暴毙BUG吗
其实可以用这个命令在Linux shell下查询CPU步进

1. [admin@ ~]#
   
2. [admin@ ~]# setpci -s 00:00.0 8.w
   
3. 0003
   
4. [admin@ ~]#
   

复制代码

返回是0003那就是安全的，不存在暴毙BUG

最后是mlxfwmanager的输出

1. [admin@ ~]# mlxfwmanager
   
2. Querying Mellanox devices firmware ...
   
3. 
   
4. Device #1:
   
5. ----------
   
6. 
   
7.   Device Type:      Spectrum
   
8.   Part Number:      MSN2010-Cxxx_Ax
   
9.   Description:      Spectrum(TM) based 10GbE/100GbE 1U Open Ethernet switch with MLNX-OS; 18 SFP28 ports; 4 QSFP28 ports; 2 power supplies (AC); x86 dual core; Short depth; P2C airflow; Rail Kit; RoHS6
   
10.   PSID:             MT_0000000108
    
11.   PCI Device Name:  /dev/mst/mt52100_pci_cr0
    
12.   Base MAC:         1c34da3ace40
    
13.   Versions:         Current        Available
    
14.      FW             13.2000.2162   N/A
    
15. 
    
16.   Status:           No matching image found
    

复制代码

作为25GbE/100GbE交换机，相比使用博通方案的机器动辄100W以上的功耗非常适合家用，开源的SONiC支持方面也是官方持续跟进的，配套软件都比其他厂的机友好很多，功能不受各种许可证限制

Juzi丶

加楼说一下机器的初始和常用设置吧

必须两个电源都接上电

准备好PuTTY，或者你习惯的工具

前面板有两个RJ45接口
上面的是ETH管理口
下面的是Console口

首先先把上面的ETH管理口接上路由器，之后会获取DHCP分配的IP
第一次开机需要接下面的Console口

然后按下图设置，USB转Console线建议买FTDI芯片的



等屏幕上信息滚完之后按一下回车会出现控制台
输入默认账号和密码admin登陆控制台

1. NVIDIA Onyx Switch Management
   
2. switch-xxxxxx login: admin
   
3. Password:
   
4. Number of total successful connections since last 1 days: 0
   
5. Your password has been changed
   
6. NVIDIA Switch
   

复制代码

第一句是问你是否进行初始设置

1. Do you want to use the wizard for initial configuration?
   
2. 您想使用向导进行初始配置吗？
   

复制代码

输入yes

然后跟着向导输入一些基本信息

1. Step 1: Hostname?
   
2. Step 2: Use DHCP on mgmt0 interface?
   
3. Step 3: Enable IPv6?
   
4. Step 4: Update time?
   
5. Step 5: Enable password hardening?
   
6. Step 6: Admin password (Must be typed)?
   
7. Step 6: Confirm admin password?
   
8. Step 7: Monitor password (Must be typed)?
   
9. Step 7: Confirm monitor password?
   
10. 
    
11. 第 1 步：主机名？
    
12. 第 2 步：在 mgmt0 接口上使用 DHCP？
    
13. 第 3 步：启用 IPv6？
    
14. 第 4 步：更新时间？
    
15. 第 5 步：启用密码强度？
    
16. 第 6 步：管理员密码（必须输入）？
    
17. 第 6 步：确认管理员密码？
    
18. 第 7 步：监控密码（必须输入）？
    
19. 第 7 步：确认监控密码？
    

复制代码

密码强度就是禁用简单密码，yes之后后面两个密码都需要大小写数字和符号
下面是我的示例

1. NVIDIA Onyx Switch Management
   
2. switch-xxxxxx login: admin
   
3. Password:
   
4. Number of total successful connections since last 1 days: 0
   
5. Your password has been changed
   
6. NVIDIA Switch
   
7. 
   
8. Configuration wizard
   
9. 
   
10. Do you want to use the wizard for initial configuration?
    
11. 
    
12. Step 1: Hostname? [switch-xxxxxx]
    
13. Step 2: Use DHCP on mgmt0 interface? [yes]
    
14. Step 3: Enable IPv6? [yes] no
    
15. Step 4: Update time? [2021/10/08 03:57:40]
    
16. Step 5: Enable password hardening? [yes] no
    
17. Step 6: Admin password (Must be typed)?
    
18. Step 6: Confirm admin password?
    
19. Step 7: Monitor password (Must be typed)?
    
20. Step 7: Confirm monitor password?
    
21. 
    
22. You have entered the following information:
    
23. 
    
24.    1. Hostname: switch-xxxxxx
    
25.    2. Use DHCP on mgmt0 interface: yes
    
26.    3. Enable IPv6: no
    
27.    4. Update time: 2021/10/08 03:57:59
    
28.    5. Enable password hardening: no
    
29.    6. Admin password (Must be typed): (CHANGED)
    
30.    7. Monitor password (Must be typed): (CHANGED)
    
31. 
    
32. To change an answer, enter the step number to return to.
    
33. Otherwise hit <enter> to save changes and exit.
    
34. 
    
35. Choice:
    
36. 
    
37. 
    
38. Zero-touch is disabled
    
39. Configuration changes saved.
    
40. 
    
41. To return to the wizard from the CLI, enter the "configuration jump-start"
    
42. command from configure mode.  Launching CLI...
    
43. 
    
44. switch-xxxxxx [standalone: master] >
    

复制代码

然后进入配置模式，在CLI下修改任何配置都要先输入enable然后configure terminal

1. switch-xxxxxx [standalone: master] >
   
2. switch-xxxxxx [standalone: master] > enable
   
3. switch-xxxxxx [standalone: master] # configure terminal
   
4. switch-xxxxxx [standalone: master] (config) #
   

复制代码

然后先解锁模块

1. switch-xxxxxx [standalone: master] (config) # fae cable-stamping-unlock 100g_lr4
   
2. switch-xxxxxx [standalone: master] (config) # fae cable-stamping-unlock 40g_lr4
   
3. switch-xxxxxx [standalone: master] (config) # fae cable-stamping-unlock eth_100g
   
4. switch-xxxxxx [standalone: master] (config) # fae cable-stamping-unlock eth_sfp_25g
   

复制代码

任何更改都不会自动保存，CLI要输入命令保存，在WEB网页上的话就是右上角的SAVE或者存档标准

1. switch-xxxxxx[standalone: master] (config) # configuration write
   
2. switch-xxxxxx[standalone: master] (config) #
   

复制代码

风扇转速会在25分钟左右降速到20%（6000~7000RPM）
开机后转速是60%，每5分钟左右降10%



上面初始配置设置了管理口DHCP获取IP，所以我们可以使用下面的命令获取管理口状态

1. switch-xxxxxx [standalone: master] (config) # show interfaces mgmt0 brief
   
2. 
   
3. Interface mgmt0 status:
   
4.   Comment         :
   
5.   VRF             : mgmt
   
6.   Admin up        : yes
   
7.   Link up         : yes
   
8.   DHCP running    : yes
   
9.   IP address      : 10.0.0.181
   
10.   Netmask         : 255.0.0.0
    
11.   IPv6 enabled    : no
    
12.   Speed           : 1000Mb/s (auto)
    
13.   Duplex          : full (auto)
    
14.   Interface type  : ethernet
    
15.   Interface source: bridge
    
16.   Bonding master  : vrf_mgmt
    
17.   MTU             : 1500
    
18.   HW address      : xx:xx:xx:xx:xx:xx

复制代码

可以看到获取的IP是10.0.0.181
这时候就可以用IP登陆SSH控制台而不用Console了



同理，输入账号密码登陆，然后输入enable和configure terminal进入配置模式

使用25G/100G链路必须设置FEC
下面是示例

1. #关闭端口自动协商，设置端口速率为25G
   
2. switch-xxxxxx [standalone: master] (config) # interface ethernet 1/7 speed 25G no-autoneg force
   
3. #设置FEC模式，可以看到有RS FC NO三个可以选，这里选择RS
   
4. switch-xxxxxx [standalone: master] (config) # interface ethernet 1/7 fec-override
   
5. fc-fec  no-fec  rs-fec
   
6. switch-xxxxxx [standalone: master] (config) # interface ethernet 1/7 fec-override rs-fec force
   
7. switch-xxxxxx [standalone: master] (config) #
   

复制代码

在电脑上Mellanox网卡的话，可以安装官网的驱动程序和MFT后使用mlxlink验证链路模式

MFT下的工具必须在管理员模式运行
mlxlink.bat -d mt4117_pciconf0的网卡的第一个接口
mlxlink.bat -d mt4117_pciconf0.1的网卡的第二个接口
下面是示例（Windows平台）

1. Windows PowerShell
   
2. 版权所有 (C) Microsoft Corporation。保留所有权利。
   
3. 
   
4. 尝试新的跨平台 PowerShell https://aka.ms/pscore6
   
5. 
   
6. PS C:\Windows\system32> cmd
   
7. Microsoft Windows [版本 10.0.19044.1237]
   
8. (c) Microsoft Corporation。保留所有权利。
   
9. 
   
10. C:\Windows\system32>cd C:\Program Files\Mellanox\WinMFT
    
11. 
    
12. C:\Program Files\Mellanox\WinMFT>
    
13. C:\Program Files\Mellanox\WinMFT>mlxfwmanager.exe
    
14. Querying Mellanox devices firmware ...
    
15. 
    
16. Device #1:
    
17. ----------
    
18. 
    
19.   Device Type:      ConnectX4LX
    
20.   Part Number:      MCX4121A-ACU_Ax
    
21.   Description:      ConnectX-4 Lx EN network interface card; 25GbE dual-port SFP28; PCIe3.0 x8; UEFI Enabled; tall bracket
    
22.   PSID:             MT_0000000266
    
23.   PCI Device Name:  mt4117_pciconf0
    
24.   Base MAC:         
    
25.   Versions:         Current        Available
    
26.      FW             14.31.1014     N/A
    
27.      PXE            3.6.0403       N/A
    
28.      UEFI           14.24.0013     N/A
    
29. 
    
30.   Status:           No matching image found
    
31. 
    
32. 
    
33. C:\Program Files\Mellanox\WinMFT>mlxlink.bat -d mt4117_pciconf0.1
    
34. 
    
35. Operational Info
    
36. ----------------
    
37. State                           : Active
    
38. Physical state                  : LinkUp
    
39. Speed                           : 25GbE
    
40. Width                           : 1x
    
41. FEC                             : Standard RS-FEC - RS(528,514)
    
42. Loopback Mode                   : No Loopback
    
43. Auto Negotiation                : ON
    
44. 
    
45. Supported Info
    
46. --------------
    
47. Enabled Link Speed              : 0x38007013 (25G,10G,1G)
    
48. Supported Cable Speed           : 0x38007013 (25G,10G,1G)
    
49. 
    
50. Troubleshooting Info
    
51. --------------------
    
52. Status Opcode                   : 0
    
53. Group Opcode                    : N/A
    
54. Recommendation                  : No issue was observed.
    
55. 
    
56. 
    
57. C:\Program Files\Mellanox\WinMFT>

复制代码

可以看到端口的FEC已经运行在RS模式（根据交换机上的数据自动协商）

用mlxcables查看模块型号，收发光等信息
mlxcables.bat -d mt4117_pciconf0_cable_0的网卡的第一个接口
mlxcables.bat -d mt4117_pciconf0_cable_1的网卡的第二个接口

1. C:\Program Files\Mellanox\WinMFT>mlxcables.bat -d mt4117_pciconf0_cable_1 -q
   
2. Querying Cables ....
   
3. 
   
4. Cable #1:
   
5. ---------
   
6. Cable name    : mt4117_pciconf0_cable_1
   
7. >> No FW data to show
   
8. -------- Cable EEPROM --------
   
9. Identifier    : SFP/SFP+/SFP28 (03h)
   
10. Technology    : Transceiver
    
11. Compliance    : Unspecified
    
12. OUI           : 0xac4afe
    
13. Vendor        : Hisense
    
14. Serial number : UBU9C083728
    
15. Part number   : LTF1325-BH1
    
16. Revision      : A
    
17. Temperature   : N/A
    
18. Length        : 0 m
    

复制代码

1. C:\Program Files\Mellanox\WinMFT>mlxcables.bat -d mt4117_pciconf0_cable_1 -DDM
   
2. Cable DDM:
   
3. ----------
   
4. Temperature    : 52C
   
5. Voltage        : 3.2639V
   
6. RX Power : -1.1351dBm
   
7. TX Power : -2.1120dBm
   
8. TX Bias  : 53.8300mA
   
9. ----- Flags -----
   
10. Temperature:
    
11.    Alarm  high  : 0
    
12.    Warning high : 0
    
13.    Warning low  : 0
    
14.    Alarm  low   : 0
    
15. Voltage:
    
16.    Alarm  high  : 0
    
17.    Warning high : 0
    
18.    Warning low  : 0
    
19.    Alarm  low   : 0
    
20. RX/TX Power and TX Bias:
    
21.    RX Power alarm  high : 0
    
22.    RX Power warning high: 0
    
23.    RX Power warning low : 0
    
24.    RX Power alarm  low  : 0
    
25. 
    
26.    TX Power alarm  high : 0
    
27.    TX Power warning high: 0
    
28.    TX Power warning low : 0
    
29.    TX Power alarm  low  : 0
    
30. 
    
31.    TX Bias alarm  high  : 0
    
32.    TX Bias warning high : 0
    
33.    TX Bias warning low  : 0
    
34.    TX Bias alarm  low   : 0
    
35. 
    
36. ----- Thresholds -----
    
37.         Temperature high alarm threshold   : 95C
    
38.         Temperature high warning threshold : 85C
    
39.         Temperature low  warning threshold : -40C
    
40.         Temperature low  alarm threshold   : -50C
    
41. 
    
42.         Voltage high alarm threshold   : 3.6300V
    
43.         Voltage high warning threshold: 3.4650V
    
44.         Voltage low  warning threshold: 3.1350V
    
45.         Voltage low  alarm   threshold: 2.9700V
    
46. 
    
47.         RX Power high alarm threshold : 5.0000dBm
    
48.         RX Power high warn threshold  : 2.0000dBm
    
49.         RX Power low  warn threshold  : -10.5012dBm
    
50.         RX Power low  alarm threshold : -13.4969dBm
    
51. 
    
52.         TX Power high alarm threshold : 5.0000dBm
    
53.         TX Power high warn threshold  : 2.0000dBm
    
54.         TX Power low  warn threshold  : -7.0006dBm
    
55.         TX Power low  alarm threshold : -10.0000dBm
    
56. 
    
57.         TX Bias high alarm threshold  : 110.0000mA
    
58.         TX Bias high warn threshold   : 100.0000mA
    
59.         TX Bias low  warn threshold   : 1.0000mA
    
60.         TX Bias low  alarm threshold  : 1.0000mA
    
61. 

复制代码

有关交换机接口的其他设置可以看官方文档
https://docs.mellanox.com/display/Onyxv393202/Ethernet+Interfaces
https://docs.mellanox.com/displa ... +Interface+Commands

RoCE文档
https://docs.mellanox.com/pages/viewpage.action?pageId=56986516

机箱管理
https://docs.mellanox.com/display/Onyxv393202/Chassis+Management

如果发现任何异常的地方可以抓取日志查看详情



如果日志出现下面错误

1.     Oct  7 04:28:57 switch-xxxxxx temp_control[8490]: [tc.NOTICE]: Read all qsfp temperatures properly:[false], changing dynamic ambient mode
   
2.   
   
3.     Oct  7 04:28:57 switch-xxxxxx temp_control[8490]: [tc.NOTICE]: Dynamic ambient usage: Enabled. NOT all qsfps were read properly
   
4.   
   
5.     Oct  7 04:28:57 switch-xxxxxx temp_control[8490]: [tc.NOTICE]: minimum chassis fan speed - previous [20%] current [50%] after reading ambient temperature of [33.50 C]
   
6.   
   
7.     Oct  7 04:28:57 switch-xxxxxx temp_control[8490]: [tc.NOTICE]: Fan:[/MGMT/FAN1/f1], interval:[57] ,in affected area, max temperatures: ASIC:[48] X86:[33] QSFP_CABLE:[0] , Updating fan speed from:[20%] to:[50%]
   

复制代码

注意这两句
Read all qsfp temperatures properly:[false], changing dynamic ambient mode
Dynamic ambient usage: Enabled. NOT all qsfps were read properly

意思就是temp_control没有正确读到模块的温度数据
哪怕执行
show interfaces ethernet x/x transceiver diagnostics
后能读取到模块温度

机箱管理还是照样会把风扇转速提高到最低40%（11000~12000PRM）

如果遇到这种情况请更换模块，或者用官方模块
（或者等nvidia良心发现修复一下，又或者换cumulus linux或者sonic，再或者你的使用环境可以无视风扇提速）

wjm47196

牛x啊 我要是重新装修我也来一套
当然用不到这么高级的就是了

wxlg1117

全新货,豪.我是想搞个25GbE洋L圾玩玩

goat

口水一地

QSG

ebay？什么价啊

Juzi丶

QSG 发表于 2021-10-2 14:29
ebay？什么价啊

ebay太贵，黄鱼有惊喜

Juzi丶

wxlg1117 发表于 2021-10-2 14:13
全新货,豪.我是想搞个25GbE洋L圾玩玩

洋垃圾都是博通，家用完全行不通，功耗高发热大噪音高

pp0pp

一定不是家用

Juzi丶

pp0pp 发表于 2021-10-2 15:15
一定不是家用

放机房我直接dx010了，哪用在意功耗散热噪音这些细节

zhao137314

太高级了

shadoweyre

qfx5120-48s使用者路过。。。。起飞的噪声

T.JOHN

这才是CHH应该有的帖子

jcd_chh

按照lz说的搜了下黄鱼，好像还真是价格惊喜（虽然并不改变我买不起的事实……）
好奇接在上面的另一头的设备都是什么

linxijun

还是mellanox sx6012适合俺

Mx.Affinity

按照现在的SSD速度和阵列规模，确实10Gb的网络已经不太够用了

天道太酬勤

黄鱼价格确实有惊喜，已入清单

仔细搜了下，原来是定位超融合的设备，那更有兴趣了

mhmddb

等楼主家的网络搭配贴

叶子烟

CHH的家用感觉超出我想象了QAQ

test

你们说的惊喜是指得10000？

tedaz

牛。
噪音怎么样？

Juzi丶

tedaz 发表于 2021-10-2 21:05
牛。
噪音怎么样？

和sx6012一样

Juzi丶

test 发表于 2021-10-2 21:04
你们说的惊喜是指得10000？

ebay上HPE版本要2500刀，Colfax Direct上原版要5000刀了

tedaz

Juzi丶 发表于 2021-10-2 21:13
和sx6012一样

没用过sx6012，

eeechi444

非常适合家用。。。。。呃，家里要搞啥啊

天道太酬勤

test 发表于 2021-10-2 21:04
你们说的惊喜是指得10000？

相比于官方价格实在是惊喜

summerbee

什么土豪，也不会整这个家用吧，太超前了。

BONBONBON

的确家用好选择

hfyeqp

想问下，这类100g交换机是不是要比华为ce6820系列要好

Juzi丶

hfyeqp 发表于 2021-10-3 02:13
想问下，这类100g交换机是不是要比华为ce6820系列要好

ce68xx的话只有极少数型号用的海思，剩下的都是博通方案的，要单比asic的话肯定spectrum要强