比快更快！50GbE家庭组网实例分享

tmhl0cr5

一、引言
    前不久分享了我的25G组网方案，偶然在查询Nvidia ConnectX-6 DX的datasheet的时候发现GDAT后缀的网卡居然支持50GbE速率，后来从B站大佬总想搞点奇怪的的手中搞来了两张MCX623102AN-GDAT，由此开始了50GbE速率组网的折腾之路...




    为什么是选50G，而不是速率更接近的40G或者更快的100G呢？1. QSFP+(4x10G)是已经淘汰的标准  2. CX3和CX4只有pcie3.0 我的PC和Server只有闲置的4.0x4插槽 无法跑满速率  3. 100G同理 因为只有4.0x4可用 最大速率64Gbps 跑不满心里会膈应  4. 我是韭菜


二、SFP56接口介绍
    随着物联网、流媒体和云计算对带宽需求的增长，网络运营商寻求从25G到50G的升级，SFP56应运而生。利用50G技术，提供双倍于SFP28的数据速率，降低成本并增强灵活性，兼容多种速度的端口。PAM4调制允许在相同封装内实现更高数据速率，为服务提供商提供了一条实用的升级路径。
    从历史上来看，高密度接口总是出现在单通道接口之前。这就是为什么200G网卡远远的多于50G，无论是从型号数上还是市存量上。


    我所知的50GbE网卡只有MCX623102和MCX713104。cx713104很有意思，是四口50G，或许是迈络斯第一张四口网卡？以下是两张卡的机械图纸



    单通道，是我选择SFP56最重要的原因，sfp56和sfp28、sfp+一样都是单通道，意味着可以兼容50G/25G/10G/1G

三、测试平台搭建
    由于QNAP M7308R只支持25G和100G，所以只能曲线救国实现部分链路达到50G 以下为拓扑图



    理论拓扑图完成，接下来开始实操。首先从网卡开始，网卡选择的是MCX623102AN-GDAT，双口SFP56 50G。需要注意的是网卡的散热，CX6奇热无比，曾经就有案例CX6把Thinkstation P3tiny南桥烤炸了，且网卡温度过高会触发温度保护自动断联。

    这是我过去的改造方案，使用的是轴流风扇。风扇不支持pwm调速，只能用bios内dc调速，而且风扇是油封轴承。我的主力机长期这样使用倒是没啥毛病，但是我的服务器7x24开机，这个风扇在高强度使用3个月之后就撑不住了，幸亏没漏油不然那场景我不敢想。恰好总想搞点奇怪的大佬量产了mellanox网卡通用散热器，使用涡轮风扇自带温控板，果断入手。


    由于拿到的是抢先体验版，温控版取电线缆的接口需要自行压接，我选择了xh2.54而不是一般主板上的KF2510，这是因为CX6自带风扇焊盘。每次看到这个风扇焊盘我都会感叹“CX6真是个宝贝啊！”


    再次感谢大佬，帮我焊座子，手残党已泪目




    准备好压线钳、簧片、胶壳之后直接开始制作






    供电线大功告成，下一步安装网卡散热，有一说一原厂散热片是真的难拆啊，恨不得拿水口钳给它剪断了





改造完成，接下来就是上机，先上几张上机图





    利用fancontroller进行曲线设置，设置完后世界都安静了，仅仅300rpm即可将网卡压制至50℃。



  因为服务器就在电脑桌边上，没有远距离传输的需求，所以我选择了DAC。若有远距离传输的需求那组网成本就要起飞了，sfp56模块现在没有垃圾可以捡，jd全新一支就要1800元，模块比卡还贵，根本负担不起。还是便宜大碗的DAC适合我，小黄鱼看了一圈能买到思科和华为50G DAC，由于之前买的安费诺的sfp28dac的拉环是黄色的，本着颜色统一的想法就买了华为的线。



四、测试环节
    PC1---CPU:7800x3d  网卡:cx623102  硬盘:r5101 3.84T  系统:win10专业工作站
    Server---CPU:7950X  网卡:cx623102  硬盘:r5101 3.84T  系统:winserver2022
    将PC1与Server直连，设置独立的网段192.168.10.0/24，开始测试




    当使用环境为windows专业工作站或winserver时，并且网卡在FW version XX.39.XXXX, WinOF version 23.10.26252或之后的版本下会自动配置ztr-rttcc



    准备了一个350G的文件从PC1复制到Server 可以看到RDMA正常启动 但是速度只有5.36GB/s 并没有跑满50GbE



    但这并不是网卡没跑满，而是硬盘写入性能先出现瓶颈了，我使用的是dapustor R5101 3.84T，硬盘参数如下。



    再使用cdm跑了一下测试，性能非常不错，符合预期



这次对家庭组网进行的局部升级，结果还是很满意的。下一步大概就是升级硬盘了罢（）

Wolverine

感谢分享~

fly8008

高端了！！

gylj7058

看着数据高端

sunjun5

高端了！！

pinocchiojunior

高端了！！！