比快更快！50GbE家庭组网实例分享

tmhl0cr5

一、引言
    前不久分享了我的25G组网方案，偶然在查询Nvidia ConnectX-6 DX的datasheet的时候发现GDAT后缀的网卡居然支持50GbE速率，后来从B站大佬总想搞点奇怪的的手中搞来了两张MCX623102AN-GDAT，由此开始了50GbE速率组网的折腾之路...




    为什么是选50G，而不是速率更接近的40G或者更快的100G呢？1. QSFP+(4x10G)是已经淘汰的标准  2. CX3和CX4只有pcie3.0 我的PC和Server只有闲置的4.0x4插槽 无法跑满速率  3. 100G同理 因为只有4.0x4可用 最大速率64Gbps 跑不满心里会膈应  4. 我是韭菜


二、SFP56接口介绍
    随着物联网、流媒体和云计算对带宽需求的增长，网络运营商寻求从25G到50G的升级，SFP56应运而生。利用50G技术，提供双倍于SFP28的数据速率，降低成本并增强灵活性，兼容多种速度的端口。PAM4调制允许在相同封装内实现更高数据速率，为服务提供商提供了一条实用的升级路径。
    从历史上来看，高密度接口总是出现在单通道接口之前。这就是为什么200G网卡远远的多于50G，无论是从型号数上还是市存量上。


    我所知的50GbE网卡只有MCX623102和MCX713104。cx713104很有意思，是四口50G，或许是迈络斯第一张四口网卡？以下是两张卡的机械图纸



    单通道，是我选择SFP56最重要的原因，sfp56和sfp28、sfp+一样都是单通道，意味着可以兼容50G/25G/10G/1G

三、测试平台搭建
    由于QNAP M7308R只支持25G和100G，所以只能曲线救国实现部分链路达到50G 以下为拓扑图



    理论拓扑图完成，接下来开始实操。首先从网卡开始，网卡选择的是MCX623102AN-GDAT，双口SFP56 50G。需要注意的是网卡的散热，CX6奇热无比，曾经就有案例CX6把Thinkstation P3tiny南桥烤炸了，且网卡温度过高会触发温度保护自动断联。

    这是我过去的改造方案，使用的是轴流风扇。风扇不支持pwm调速，只能用bios内dc调速，而且风扇是油封轴承。我的主力机长期这样使用倒是没啥毛病，但是我的服务器7x24开机，这个风扇在高强度使用3个月之后就撑不住了，幸亏没漏油不然那场景我不敢想。恰好总想搞点奇怪的大佬量产了mellanox网卡通用散热器，使用涡轮风扇自带温控板，果断入手。


    由于拿到的是抢先体验版，温控版取电线缆的接口需要自行压接，我选择了xh2.54而不是一般主板上的KF2510，这是因为CX6自带风扇焊盘。每次看到这个风扇焊盘我都会感叹“CX6真是个宝贝啊！”


    再次感谢大佬，帮我焊座子，手残党已泪目




    准备好压线钳、簧片、胶壳之后直接开始制作






    供电线大功告成，下一步安装网卡散热，有一说一原厂散热片是真的难拆啊，恨不得拿水口钳给它剪断了





改造完成，接下来就是上机，先上几张上机图





    利用fancontroller进行曲线设置，设置完后世界都安静了，仅仅300rpm即可将网卡压制至50℃。



  因为服务器就在电脑桌边上，没有远距离传输的需求，所以我选择了DAC。若有远距离传输的需求那组网成本就要起飞了，sfp56模块现在没有垃圾可以捡，jd全新一支就要1800元，模块比卡还贵，根本负担不起。还是便宜大碗的DAC适合我，小黄鱼看了一圈能买到思科和华为50G DAC，由于之前买的安费诺的sfp28dac的拉环是黄色的，本着颜色统一的想法就买了华为的线。



四、测试环节
    PC1---CPU:7800x3d  网卡:cx623102  硬盘:r5101 3.84T  系统:win10专业工作站
    Server---CPU:7950X  网卡:cx623102  硬盘:r5101 3.84T  系统:winserver2022
    将PC1与Server直连，设置独立的网段192.168.10.0/24，开始测试




    当使用环境为windows专业工作站或winserver时，并且网卡在FW version XX.39.XXXX, WinOF version 23.10.26252或之后的版本下会自动配置ztr-rttcc



    准备了一个350G的文件从PC1复制到Server 可以看到RDMA正常启动 但是速度只有5.36GB/s 并没有跑满50GbE



    但这并不是网卡没跑满，而是硬盘写入性能先出现瓶颈了，我使用的是dapustor R5101 3.84T，硬盘参数如下。



    再使用cdm跑了一下测试，性能非常不错，符合预期



这次对家庭组网进行的局部升级，结果还是很满意的。下一步大概就是升级硬盘了罢（）

Wolverine

感谢分享~

fly8008

高端了！！

gylj7058

看着数据高端

sunjun5

高端了！！

pinocchiojunior

高端了！！！

fuji113

到底是干啥才需要这么快的网络

Nexus.

高端了！！

tmhl0cr5

fuji113 发表于 2024-12-22 10:49
到底是干啥才需要这么快的网络

在线剪辑，然后nas跑jellyfin，有的时候要把归档的视频文件传到nas里，现在我的nas是25G的还没升级

tmhl0cr5

Wolverine 发表于 2024-12-22 00:06
感谢分享~

感谢大佬支持

cc7508

感谢、收藏、学习，春节有空的时候抄作业。

ninepiece

谢谢分享，离消费级太远了，企业需要。

szksmxf

10G还没整好 都开始50G了

浅梦

这个没法学，告辞

brucelee1126

不应该是双口50G吗？

brucelee1126

理解了，你是要跑PCIE4X4的极限而不是网卡的极限

brucelee1126

你交换机上的双口25G也差不多达到这效果吧

tmhl0cr5

brucelee1126 发表于 2024-12-22 15:04
不应该是双口50G吗？

对 看我拓扑图 一口50G直连服务器 另外一口接交换机握手25G

tmhl0cr5

brucelee1126 发表于 2024-12-22 15:06
你交换机上的双口25G也差不多达到这效果吧

是的 但是我不太喜欢聚合 我这个纯折腾着玩

brucelee1126

tmhl0cr5 发表于 2024-12-22 15:06
对 看我拓扑图 一口50G直连服务器 另外一口接交换机握手25G

理解错了，我以为接交换机另有25G网卡，50G网卡专用直连

brucelee1126

tmhl0cr5 发表于 2024-12-22 15:09
是的 但是我不太喜欢聚合 我这个纯折腾着玩

聚合不行，只能走多通道，咱交换机又不是口不够，我现在都习惯成对使用了

cobyoyo

只能看看，膜拜一下大佬。

haoshuai17

才跟着组好好25G，你就上50G了
懒得烦，我直接橡皮筋绑了个50X50X10的PWM风扇上去，简单粗暴，效果巨好。

tmhl0cr5

haoshuai17 发表于 2024-12-22 16:02
才跟着组好好25G，你就上50G了
懒得烦，我直接橡皮筋绑了个50X50X10的PWM风扇上去，简单粗暴，效果巨好。
...

可以可以，橡皮筋大法好。cx4现在价格很不错，25G组网性价比很高。nas机箱看着挺不错的 是迎广的吗

tmhl0cr5

brucelee1126 发表于 2024-12-22 15:13
聚合不行，只能走多通道，咱交换机又不是口不够，我现在都习惯成对使用了 ...

大佬有没有多通道的配置教程或者文章，我去研究下怎么玩，很早以前我试过Windows自带的聚合，但是测试结果不是很理想

brucelee1126

tmhl0cr5 发表于 2024-12-22 16:11
大佬有没有多通道的配置教程或者文章，我去研究下怎么玩，很早以前我试过Windows自带的聚合，但是测试结 ...

win的话就powershell执行几个命令就行，微软官网上找的命令，百度搜win smb优化之类的就有了，官网的说明文档

tmhl0cr5

brucelee1126 发表于 2024-12-22 16:21
win的话就powershell执行几个命令就行，微软官网上找的命令，百度搜win smb优化之类的就有了，官网的说明 ...

好嘞 谢谢大佬 我去研究下

brucelee1126

tmhl0cr5 发表于 2024-12-22 16:22
好嘞 谢谢大佬 我去研究下

客气了，我刷网卡还是跟你的帖子里学的

brucelee1126

tmhl0cr5 发表于 2024-12-22 16:11
大佬有没有多通道的配置教程或者文章，我去研究下怎么玩，很早以前我试过Windows自带的聚合，但是测试结 ...

https://learn.microsoft.com/zh-c ... ver/smb-file-server

tmhl0cr5

brucelee1126 发表于 2024-12-22 16:42
https://learn.microsoft.com/zh-cn/windows-server/administration/performance-tuning/role/file-serve ...

十分感谢