为25GbE内网搭建家庭网络机柜及RDMA实测

Dolfin

tmhl0cr5 发表于 2024-7-29 14:44
因为还有一台p3tiny功耗比较高 跑win nas和游戏服务器

win nas就做smb服务器吗？还有别的什么服务

tmhl0cr5

Dolfin 发表于 2024-7-29 15:44
win nas就做smb服务器吗？还有别的什么服务

jellyfin服务器 mc服务器 还跑了个frps

tmhl0cr5

网仙 发表于 2024-7-29 15:37
才100W？NUC和tiny都开机？有网络流量吗？

我的小柜子，待机随便就170-180W了

是的nuc9(9300h)＋p3tiny(i5 12500)＋华为b850-5e4p＋威联通100G交换机 100w-120w

tmhl0cr5

wjqok 发表于 2024-7-29 15:19
设备太挤了吧

确实有点 准备把pdu移到后面 这样还能省个理线槽 这样可以多留2U出来

tmhl0cr5

tide~ 发表于 2024-7-29 15:34
四面敞开的，清灰也得全方面的吧；另外机柜插好外部线的话，基本就被“绑住”了，内侧的台式机维护受阻了吧 ...

台式机电源下置 头超前的话电源线会顶到踢脚线 货架是深60cm的 台机会突出来几厘米 比较难受

tide~

tmhl0cr5 发表于 2024-7-29 15:50
台式机电源下置 头超前的话电源线会顶到踢脚线 货架是深60cm的 台机会突出来几厘米 比较难受 ...

90度弯头的 电源线和HDMI/DP视频线 还顶的话，那没办法了；
前面凸出几厘米不必介怀吧，这叫错落有致啊... 等它俩对齐了，你又该觉得跟桌子腿不对齐了

tmhl0cr5

tide~ 发表于 2024-7-29 16:08
90度弯头的 电源线和HDMI/DP视频线 还顶的话，那没办法了；
前面凸出几厘米不必介怀吧，这叫错落有致啊.. ...

下次维护的时候换成直角的电源线顺带给他反过来 现在塞进去就不想动了hhh

eeechi444

tmhl0cr5 发表于 2024-7-29 13:38
刷623102 GDAT了可以双口50G 100G不行吧 笼子是sfp56的 不是qsfp

那就是我记错了，查了一下B站大佬的黄鱼，确实是

tmhl0cr5

eeechi444 发表于 2024-7-29 17:27
那就是我记错了，查了一下B站大佬的黄鱼，确实是

你说的这位id是叫总想搞点奇怪的吗 我这张cx623102就是他帮我刷的50G 提一嘴这帖四楼就是他

Illidan2004

我感觉100G可玩性一般  除了内存盘 大多受限于SSD速度
只要出缓  写的速度不会超过3000M/s
且不说windows还严重影响发挥

tmhl0cr5

Illidan2004 发表于 2024-7-29 17:53
我感觉100G可玩性一般  除了内存盘 大多受限于SSD速度
只要出缓  写的速度不会超过3000M/s
且不说windows还 ...

是这样的 一般消费级的硬盘拷贝大文件避免不了出缓 windows做软raid5性能折损也比较严重 100G对我来说没有折腾的必要 25G完全足够了 启用ztr rttcc的话windows倒是挺方便的 也不会产生瓶颈 所以我选用winnas

ttt5t5t

一看就不便宜啊

Dolfin

Illidan2004 发表于 2024-7-29 17:53
我感觉100G可玩性一般  除了内存盘 大多受限于SSD速度
只要出缓  写的速度不会超过3000M/s
且不说windows还 ...

就单盘，不raid，5.0的企业盘都可以跑满100G，也没出缓的事。Windows 200G也都能跑满。没事的

tmhl0cr5

Dolfin 发表于 2024-7-29 10:22
感谢楼主好贴！ztr-rttcc 性能损失如何，4k随机性能如何

刚刚测试了一下网络磁盘性能

最终测试结果如下

R5101 3.84t 15%占用下 本地测试结果如下


以前没有关注过网络磁盘的4k随机性能指标 不知道这个结果算是怎么样

tmhl0cr5

Dolfin 发表于 2024-7-29 18:39
就单盘，不raid，5.0的企业盘都可以跑满100G，也没出缓的事。Windows 200G也都能跑满。没事的 ...

企业级力大砖飞是这样的 所以除非体积限制没办法我都会优先选择u.2硬盘

brucelee1126

只可惜我的服务端是qnap qutshero

Illidan2004

Dolfin 发表于 2024-7-29 18:39
就单盘，不raid，5.0的企业盘都可以跑满100G，也没出缓的事。Windows 200G也都能跑满。没事的 ...

pblaze7 7940应该可以  不过这些现在一般人还是玩不起

raid5+100G网卡的话  一般电脑这端就没有这么多PCIE带宽用了 除非不装显卡  两个4.0X8
NAS当然可以整

tmhl0cr5

Illidan2004 发表于 2024-7-29 19:04
pblaze7 7940应该可以  不过这些现在一般人还是玩不起

raid5+100G网卡的话  一般电脑这端就没有这么多P ...

这一套下来钱包直接蒸发了

Dolfin

tmhl0cr5 发表于 2024-7-29 18:50
刚刚测试了一下网络磁盘性能

最终测试结果如下

60万+的远程iops和150万+的本地iops，非常好的水平了

ANSANGLI

tmhl0cr5 发表于 2024-7-29 13:56
25G网卡性价比现在还是挺高的 比如cx4121a 直连用挺好的

是的，这个网卡不错。

猪圈

cx6，搞25G感觉略亏啊，你反正都100G交换机了，直接100G了呗

tmhl0cr5

猪圈 发表于 2024-7-29 21:27
cx6，搞25G感觉略亏啊，你反正都100G交换机了，直接100G了呗

确实有点亏 但是我主力机是消费平台 剩下一条pcie只有4.0x4不够跑满100G 而且我的nas是那台tiny三条XG7感觉喂不饱100G

猪圈

tmhl0cr5 发表于 2024-7-29 21:34
确实有点亏 但是我主力机是消费平台 剩下一条pcie只有4.0x4不够跑满100G 而且我的nas是那台tiny三条XG7感 ...

当然现在说都是空了吹，

即使达不到100G，那也比25G强啊，25G，我觉得cx4121划算，但是不支持rtc

tmhl0cr5

猪圈 发表于 2024-7-29 22:07
当然现在说都是空了吹，

即使达不到100G，那也比25G强啊，25G，我觉得cx4121划算，但是不支持rtc ...

的确如此 25G上cx6划不来 我发现不开ztr也能跑满 cpu占用其实不高 都是泪

网仙

tmhl0cr5 发表于 2024-7-29 15:47
是的nuc9(9300h)＋p3tiny(i5 12500)＋华为b850-5e4p＋威联通100G交换机 100w-120w

哦，那估计是没啥硬盘
MUC9，30W，
P3tiny，30W,
华为网关20W,
QNAP交换机20W

Dolfin

tmhl0cr5 发表于 2024-7-29 21:34
确实有点亏 但是我主力机是消费平台 剩下一条pcie只有4.0x4不够跑满100G 而且我的nas是那台tiny三条XG7感 ...

那你原本规划里100G的四个口本来是留给谁的？

tmhl0cr5

Dolfin 发表于 2024-7-29 23:17
那你原本规划里100G的四个口本来是留给谁的？

只是想找个25G家用交换机 看下来就crs510和这款合适 最后入了这款hhhh

brucelee1126

tmhl0cr5 发表于 2024-7-29 23:47
只是想找个25G家用交换机 看下来就crs510和这款合适 最后入了这款hhhh

能拆分吗

tmhl0cr5

brucelee1126 发表于 2024-7-30 08:12
能拆分吗

厂商说下一个固件支持 这是第二版固件

oldnetdog

这个交换机对25Gb SFP28模块极其挑剔，我手里的模块全不识别，AOC线也不识别，还在找厂家确认，感觉是故意限定用自家的。
看厂家的网页介绍，25Gb模块只有QNAP自家的，吐血。
100G QSFP28和10G SFP+模块兼容反而好很多。