找回密码
 加入我们
搜索
      
查看: 1322|回复: 24

[NAS] 群晖1621+的smb测速试验,1.5GB/S是群晖SMB的极限吗?

[复制链接]
发表于 2024-10-28 09:58 | 显示全部楼层 |阅读模式
本帖最后由 网仙 于 2024-10-30 15:12 编辑

这台1621+应该算是满配的,6x20TB(WD-hc560)raid5 + 2xSN650(U.2)raid0;
QLogic的25G光卡,32GB*2内存ecc;测试了一下速度(MTU1500默认)



HDD阵列的极限能力(写入图,读取差不多)
屏幕截图 2024-10-27 152939.png

SSD阵列的极限能力(读取图,写入差不多):
屏幕截图 2024-10-27 214425.png



首先,群晖比较扯淡的是不支持RDMA(ROCE);这个对SMB的性能表现非常不利。

根据上图的测试:
hdd部分,应该已经是到了机械盘的满载状态(1.1GB/S左右),其他位置没有形成瓶颈。刚好喂饱10G网络。
ssd阵列目前还有点疑问,因为群晖的M.2给的是pcie3.0,2X的带宽,也就是16GT/S,双U.2组raid0,应该能到30GT/S左右的带宽,跑够25G应该问题不大。但事实是只能到1.5~1.6GB/S左右。我暂且把它理解为这台群晖的极限。
如果说SSD阵列没有瓶颈,系统/cpu没有瓶颈,还有一种可能是网卡运行在2.0X4或者3.0X2状态,好像更符合这个测试数据;回头再研究。
在群晖上搭建speedtest测速服务,最快也只能测到1700MB/S左右,群晖孱弱的软硬件性能是公认的,估计换成MTU9000会有所改善。




机器照片:

屏幕截图 2024-10-28 083238.png

屏幕截图 2024-10-28 083220.png

屏幕截图 2024-10-28 083251.png


补充:刚才远程看了一下pcie的链路状态:

网卡                ~# lspci -n -d 1077:8070 -vvv | grep --color  Width
                LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM not supported
                LnkSta: Speed 8GT/s (ok), Width x4 (downgraded)

网卡PCIE链路部分没有问题,运行在3.0x4,带宽足够25G跑满



SSD硬盘        ~# lspci -n -d 1b96:2720 -vvv | grep --color  Width
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L0s, Exit Latency L0s unlimited
                LnkSta: Speed 8GT/s (downgraded), Width x2 (downgraded)

m.2插槽确实运行在X2


发表于 2024-10-28 10:26 | 显示全部楼层
支持rdma需要服务器和客户端的软硬件同时支持才行,群晖的所有网卡都不支持rdma,你让它怎么支持。还有就是10g网络rdma用处并不大,再高速度的网络群晖的cpu性能跟不上了,意义也不大
 楼主| 发表于 2024-10-28 10:28 | 显示全部楼层
mosigan 发表于 2024-10-28 10:26
支持rdma需要服务器和客户端的软硬件同时支持才行,群晖的所有网卡都不支持rdma,你让它怎么支持。还有就是 ...


我这个25G的网卡是支持RDMA的(在winserver下试过),虽然只要200块钱
发表于 2024-10-28 10:29 | 显示全部楼层
本帖最后由 mosigan 于 2024-10-28 10:34 编辑
网仙 发表于 2024-10-28 10:28
我这个25G的网卡是支持RDMA的(在winserver下试过),虽然只要200块钱


群晖自家的网卡不支持rdma,你说它怎么会支持,而且win下的rdma实现比linux下方便多了
发表于 2024-10-28 11:06 | 显示全部楼层
我ds1821+,网卡x710,开启smb多通道,走nvme用两条sn550 1t做raid0,能跑满2.0GB/s。25GB网卡,单口直连速度就是1.4-1.5GB/s是上限了,因为群晖没有rdma
发表于 2024-10-28 12:41 来自手机 | 显示全部楼层
冷知识,那俩m2是pcie x1通道,和rdma没半毛钱关系,即使有rdma,瓶颈也会在x1通道上
 楼主| 发表于 2024-10-28 12:46 | 显示全部楼层
StevenG 发表于 2024-10-28 12:41
冷知识,那俩m2是pcie x1通道,和rdma没半毛钱关系,即使有rdma,瓶颈也会在x1通道上 ...

你那是什么年代的群晖?
上面测试过了,实际运行在3.0x2.
发表于 2024-10-28 12:52 来自手机 | 显示全部楼层
网仙 发表于 2024-10-28 12:46
你那是什么年代的群晖?
上面测试过了,实际运行在3.0x2.

那两个m2 单条就是x1通道 pcie3.0版本。。。最早发售时有拆解视频,官网没写带宽。你可以看看同硬件平台的873a参数。。https://www.qnap.com.cn/zh-cn/product/ts-873a/specs/hardware
发表于 2024-10-28 12:55 来自手机 | 显示全部楼层
你那个测试结果应该是raid0带宽叠加了,所以看起来是x2
 楼主| 发表于 2024-10-28 13:12 | 显示全部楼层
看帖子最后一行
 楼主| 发表于 2024-10-28 13:12 | 显示全部楼层
本帖最后由 网仙 于 2024-10-28 17:02 编辑
StevenG 发表于 2024-10-28 12:55
你那个测试结果应该是raid0带宽叠加了,所以看起来是x2


这个是针对单个U.2设备测试的
发表于 2024-10-28 13:56 | 显示全部楼层
论坛里有人晒过,双万兆群晖和威联通都能跑到2G+这样子
发表于 2024-10-28 14:52 来自手机 | 显示全部楼层
网仙 发表于 2024-10-28 13:12
这个是针对设备测试的

你把缓存改成raid1试试,v1500b pcie通道数很少,单条m2理论上给不出x2的带宽。。
 楼主| 发表于 2024-10-28 15:17 | 显示全部楼层
不是缓存,直接做的存储池
发表于 2024-10-28 15:38 | 显示全部楼层
同样的1621,我的6块酷狼4T 只能跑700MB/s左右。
发表于 2024-10-28 16:22 | 显示全部楼层
NamiKo320 发表于 2024-10-28 15:38
同样的1621,我的6块酷狼4T 只能跑700MB/s左右。

我的跟你差不多,10G的网卡,5块shr
发表于 2024-10-28 16:29 | 显示全部楼层
StevenG 发表于 2024-10-28 14:52
你把缓存改成raid1试试,v1500b pcie通道数很少,单条m2理论上给不出x2的带宽。。 ...

群晖是两条x2的m.2,一条x4的pcie,威联通是两条x1的m.2,两条x4的pcie,配置虽类似,但pcie通道分配的不一样
发表于 2024-10-28 16:31 | 显示全部楼层
为什么你的群晖可以这样接2.5寸硬盘的?(只接触过DS418、DS918、DS1522)
发表于 2024-10-28 16:43 来自手机 | 显示全部楼层
brucelee1126 发表于 2024-10-28 16:29
群晖是两条x2的m.2,一条x4的pcie,威联通是两条x1的m.2,两条x4的pcie,配置虽类似,但pcie通道分配的不 ...

这样啊,那我是记错了。。。一直以为1821+和873一样,可惜机柜没空间了,不然1821+的双口都接上,备份时还能提提速。。。
 楼主| 发表于 2024-10-28 17:01 | 显示全部楼层
伏地拖泥卡 发表于 2024-10-28 16:31
为什么你的群晖可以这样接2.5寸硬盘的?(只接触过DS418、DS918、DS1522)

M.2转8611转8639,硬盘仓顶部刚好有18mm的空间,够放15mm的U.2,硬盘上下贴导热贴,机箱铁件可以帮助散热,实际使用温度可以接受,一般待机45,工作时50℃左右。
 楼主| 发表于 2024-10-28 17:04 | 显示全部楼层
天道太酬勤 发表于 2024-10-28 13:56
论坛里有人晒过,双万兆群晖和威联通都能跑到2G+这样子

嗯,2G应该是群晖软硬件极限了,
U.2的SSD阵列的极限应该是够到3G左右的,目前没有25G交换机,没法两个口同时插上做smb3.0的多线传输.目前我看到的单线极限就是1.5-1.6GB/S.
发表于 2024-10-28 17:17 | 显示全部楼层
网仙 发表于 2024-10-28 17:01
M.2转8611转8639,硬盘仓顶部刚好有18mm的空间,够放15mm的U.2,硬盘上下贴导热贴,机箱铁件可以帮助散热 ...

我用的8654转8639,8611看起来有点消薄
 楼主| 发表于 2024-10-28 21:28 | 显示全部楼层
brucelee1126 发表于 2024-10-28 17:17
我用的8654转8639,8611看起来有点消薄

嗯,都一样的,只是我觉得8611的线材柔软一点。
没用过8654-4i的线,8i的用过,又粗又硬,没法整理。
发表于 2024-10-28 23:53 | 显示全部楼层
想问下U2盘怎么额外供电
 楼主| 发表于 2024-10-29 12:58 | 显示全部楼层
从电源输出的黄线上接出来就可以。剪破一点线皮,用烙铁焊根线上去。
黄色是+12V,黑色是GND。
U2只需要12V.
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2024-10-31 04:16 , Processed in 0.013920 second(s), 6 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表