比快更快！50GbE家庭组网实例分享
本帖最后由 tmhl0cr5 于 2024-12-21 22:34 编辑一、引言
前不久分享了我的25G组网方案，偶然在查询Nvidia ConnectX-6 DX的datasheet的时候发现GDAT后缀的网卡居然支持50GbE速率，后来从B站大佬总想搞点奇怪的的手中搞来了两张MCX623102AN-GDAT，由此开始了50GbE速率组网的折腾之路...
为什么是选50G，而不是速率更接近的40G或者更快的100G呢？1. QSFP+(4x10G)是已经淘汰的标准2. CX3和CX4只有pcie3.0 我的PC和Server只有闲置的4.0x4插槽 无法跑满速率3. 100G同理 因为只有4.0x4可用 最大速率64Gbps 跑不满心里会膈应4. 我是韭菜
二、SFP56接口介绍
随着物联网、流媒体和云计算对带宽需求的增长，网络运营商寻求从25G到50G的升级，SFP56应运而生。利用50G技术，提供双倍于SFP28的数据速率，降低成本并增强灵活性，兼容多种速度的端口。PAM4调制允许在相同封装内实现更高数据速率，为服务提供商提供了一条实用的升级路径。
从历史上来看，高密度接口总是出现在单通道接口之前。这就是为什么200G网卡远远的多于50G，无论是从型号数上还是市存量上。
我所知的50GbE网卡只有MCX623102和MCX713104。cx713104很有意思，是四口50G，或许是迈络斯第一张四口网卡？以下是两张卡的机械图纸
单通道，是我选择SFP56最重要的原因，sfp56和sfp28、sfp+一样都是单通道，意味着可以兼容50G/25G/10G/1G
三、测试平台搭建
由于QNAP M7308R只支持25G和100G，所以只能曲线救国实现部分链路达到50G 以下为拓扑图
理论拓扑图完成，接下来开始实操。首先从网卡开始，网卡选择的是MCX623102AN-GDAT，双口SFP56 50G。需要注意的是网卡的散热，CX6奇热无比，曾经就有案例CX6把Thinkstation P3tiny南桥烤炸了，且网卡温度过高会触发温度保护自动断联。
这是我过去的改造方案，使用的是轴流风扇。风扇不支持pwm调速，只能用bios内dc调速，而且风扇是油封轴承。我的主力机长期这样使用倒是没啥毛病，但是我的服务器7x24开机，这个风扇在高强度使用3个月之后就撑不住了，幸亏没漏油不然那场景我不敢想。恰好总想搞点奇怪的大佬量产了mellanox网卡通用散热器，使用涡轮风扇自带温控板，果断入手。
由于拿到的是抢先体验版，温控版取电线缆的接口需要自行压接，我选择了xh2.54而不是一般主板上的KF2510，这是因为CX6自带风扇焊盘。每次看到这个风扇焊盘我都会感叹“CX6真是个宝贝啊！”
再次感谢大佬，帮我焊座子，手残党已泪目[流泪]
准备好压线钳、簧片、胶壳之后直接开始制作
供电线大功告成，下一步安装网卡散热，有一说一原厂散热片是真的难拆啊，恨不得拿水口钳给它剪断了
改造完成，接下来就是上机，先上几张上机图[傻笑]
利用fancontroller进行曲线设置，设置完后世界都安静了，仅仅300rpm即可将网卡压制至50℃。
因为服务器就在电脑桌边上，没有远距离传输的需求，所以我选择了DAC。若有远距离传输的需求那组网成本就要起飞了，sfp56模块现在没有垃圾可以捡，jd全新一支就要1800元，模块比卡还贵，根本负担不起。还是便宜大碗的DAC适合我，小黄鱼看了一圈能买到思科和华为50G DAC，由于之前买的安费诺的sfp28dac的拉环是黄色的，本着颜色统一的想法就买了华为的线。
四、测试环节
PC1---CPU:7800x3d网卡:cx623102硬盘:r5101 3.84T系统:win10专业工作站
Server---CPU:7950X网卡:cx623102硬盘:r5101 3.84T系统:winserver2022
将PC1与Server直连，设置独立的网段192.168.10.0/24，开始测试
当使用环境为windows专业工作站或winserver时，并且网卡在FW version XX.39.XXXX, WinOF version 23.10.26252或之后的版本下会自动配置ztr-rttcc
准备了一个350G的文件从PC1复制到Server 可以看到RDMA正常启动 但是速度只有5.36GB/s 并没有跑满50GbE
但这并不是网卡没跑满，而是硬盘写入性能先出现瓶颈了，我使用的是dapustor R5101 3.84T，硬盘参数如下。
再使用cdm跑了一下测试，性能非常不错，符合预期[傻笑]
这次对家庭组网进行的局部升级，结果还是很满意的。下一步大概就是升级硬盘了罢（）
感谢分享~ 高端了！！ 看着数据高端 高端了！！ 高端了！！！ 到底是干啥才需要这么快的网络 高端了！！ fuji113 发表于 2024-12-22 10:49
到底是干啥才需要这么快的网络
在线剪辑，然后nas跑jellyfin，有的时候要把归档的视频文件传到nas里，现在我的nas是25G的还没升级 Wolverine 发表于 2024-12-22 00:06
感谢分享~
感谢大佬支持 感谢、收藏、学习，春节有空的时候抄作业。[傻笑] 谢谢分享，离消费级太远了，企业需要。 10G还没整好 都开始50G了 这个没法学，告辞 不应该是双口50G吗？ 理解了，你是要跑PCIE4X4的极限而不是网卡的极限 你交换机上的双口25G也差不多达到这效果吧
brucelee1126 发表于 2024-12-22 15:04
不应该是双口50G吗？
对 看我拓扑图 一口50G直连服务器 另外一口接交换机握手25G brucelee1126 发表于 2024-12-22 15:06
你交换机上的双口25G也差不多达到这效果吧
是的 但是我不太喜欢聚合 我这个纯折腾着玩 tmhl0cr5 发表于 2024-12-22 15:06
对 看我拓扑图 一口50G直连服务器 另外一口接交换机握手25G
理解错了，我以为接交换机另有25G网卡，50G网卡专用直连 tmhl0cr5 发表于 2024-12-22 15:09
是的 但是我不太喜欢聚合 我这个纯折腾着玩
聚合不行，只能走多通道，咱交换机又不是口不够，我现在都习惯成对使用了 只能看看，膜拜一下大佬。 本帖最后由 haoshuai17 于 2024-12-22 16:04 编辑
才跟着组好好25G，你就上50G了[偷笑]
懒得烦，我直接橡皮筋绑了个50X50X10的PWM风扇上去，简单粗暴，效果巨好。
haoshuai17 发表于 2024-12-22 16:02
才跟着组好好25G，你就上50G了
懒得烦，我直接橡皮筋绑了个50X50X10的PWM风扇上去，简单粗暴，效果巨好。
...
可以可以，橡皮筋大法好。cx4现在价格很不错，25G组网性价比很高。nas机箱看着挺不错的 是迎广的吗 brucelee1126 发表于 2024-12-22 15:13
聚合不行，只能走多通道，咱交换机又不是口不够，我现在都习惯成对使用了 ...
大佬有没有多通道的配置教程或者文章，我去研究下怎么玩，很早以前我试过Windows自带的聚合，但是测试结果不是很理想 tmhl0cr5 发表于 2024-12-22 16:11
大佬有没有多通道的配置教程或者文章，我去研究下怎么玩，很早以前我试过Windows自带的聚合，但是测试结 ...
win的话就powershell执行几个命令就行，微软官网上找的命令，百度搜win smb优化之类的就有了，官网的说明文档 brucelee1126 发表于 2024-12-22 16:21
win的话就powershell执行几个命令就行，微软官网上找的命令，百度搜win smb优化之类的就有了，官网的说明 ...
好嘞 谢谢大佬 我去研究下 tmhl0cr5 发表于 2024-12-22 16:22
好嘞 谢谢大佬 我去研究下
客气了，我刷网卡还是跟你的帖子里学的 tmhl0cr5 发表于 2024-12-22 16:11
大佬有没有多通道的配置教程或者文章，我去研究下怎么玩，很早以前我试过Windows自带的聚合，但是测试结 ...
https://learn.microsoft.com/zh-cn/windows-server/administration/performance-tuning/role/file-server/smb-file-server brucelee1126 发表于 2024-12-22 16:42
https://learn.microsoft.com/zh-cn/windows-server/administration/performance-tuning/role/file-serve ...
十分感谢[喜欢]