实测8盘raid6读写速度，论家用万兆局域网的必要性

BONBONBON

10盘r6只能跑到5g速度

1dayPianist

元首的动物园 发表于 2023-1-20 08:52
这是群晖？我也是8块16T，如果不开读写缓存，就只能跑650MB/S左右，什么情况？也是RAID6，机器1821+，32G内 ...

群晖没有问题。

DS1821+ 亲测，8x HC550 RAID6，不开checksum读写都能跑满10G；开了的话，读跑满，写跑满80～90%。Mac/Windows都是如此。

常见的速度不达标原因：

1. 空间占用率高。机械硬盘外圈快，内圈慢，所以占用率高了，会慢很多。

2. 设置有问题，比如SMB开了加密 或者 开了数据包签名。

3. 网卡有问题，比如买了部分山寨Intel卡。

4. 测试方法有问题。上述数据是实际连续读取/写入大文件的真实数据，如果用软件测试SMB，经常会得到很低或者过高（甚至超过理论值）的结果。建议使用单个超大文件，通过复制的方法进行测试。

5. 不要使用SSD缓存，对于高性能阵列，缓存反而可能降低持续读写性能。

1dayPianist

fafnirken 发表于 2023-1-20 11:17
只要钱够，万兆应该上。不过RAID5和6的致命缺陷我记得是磁盘的写入速度，4块组成的RAID6和单块盘的性能不相 ...

并非如此，当硬件性能足够时，RAID6性能与RAID5没有显著差异。

写入时，会多损失一块盘的性能（用于保存冗余，无法保存实际数据）。

读取时，RAID5/6与RAID0性能无明显差异。
因为冗余数据是均匀分布在每个盘上的。

sosokewo

关于万兆的讨论很像当年4K刚出来的时候，
“现在连4K的片子都没有，看什么？”
“一部1080P蓝光盘都1、20G了，你有多大的空间存4K片源？”
“你是钛合金眼吗？那么小个屏幕，1080P和4K你分得出来？”
“玩个游戏1080P都才30帧，4K还不卡成狗？”
现在没人说这些话了。

fafnirken

1dayPianist 发表于 2023-1-20 13:48
并非如此，当硬件性能足够时，RAID6性能与RAID5没有显著差异。

写入时，会多损失一块盘的性能（用于保存 ...

24楼已经解释的很清楚了，RAID5/6这个写入惩罚的计算方法基本是准的，实测数据基本是这样

xiaoshuizhu

元首的动物园 发表于 2023-1-20 08:52
这是群晖？我也是8块16T，如果不开读写缓存，就只能跑650MB/S左右，什么情况？也是RAID6，机器1821+，32G内 ...

我5块12T，raid5，1621+，32G内存，外加读写缓存，万兆才550MB/S 左右。

nn1122

随着大容量nvme价格进一步下跌，万兆以上网络传输是很有必要的了，即使非RAID，单盘也OK

鱼鱼鱼1

happysun110 发表于 2023-1-20 09:40
我正在组40g内网，现在hp544+之类的40g网卡已经不足百元了。

需求这种东西完全取决于个人情况。 ...

模块和线也不便宜呀，设备多了还要交换机。电费和散热，都难顶，弱电箱可不跟我讲这些。

tancen1983

土豪玩土豪的   正常用户玩自己的    钱用不完的 发几颗卫星给自己搭网也没啥问题啊 ~

1dayPianist

fafnirken 发表于 2023-1-20 16:55
24楼已经解释的很清楚了，RAID5/6这个写入惩罚的计算方法基本是准的，实测数据基本是这样 ...

解释得很清楚？有看过mdadm的代码？

写惩罚是针对非常小的随机访问，而且是相比于若干单盘各自组成存储空间、并被完全均匀地同时从各个存储空间同时读取。

我相信这楼里装的都是超大文件。
此时，根本不需要对硬盘进行什么读取。

thereone

除了持续传输大文件需要我想不出来有什么场景是一定要万兆的万兆绝大多数都是闲置着在，4k圆盘播放千兆也够了。搞了万兆能持续用到的可能也就iscsi这种将存储全部转移到nas的场景，电脑只保留一个系统盘数据盘全部挂载nas上面。nas开win虚拟机挂载smb直接就下载到了nas上面了，除了游戏普通的办公处理都可以直接在win虚拟机上面搞。
我现在主力机和nas就是万兆的，下载直接就用nas上面的win虚拟机或者docker开的下载器。文件处理也是用到win虚拟机处理也不担心不想搞了就直接关闭远程控制不用关电脑想搞了随时远程接续回来，主力机上面就游戏需要保存其余的全部在nas上面。基本没有大文件需要互相传输要下载就虚拟机和docker。

疾风之心

sosokewo 发表于 2023-1-20 15:10
关于万兆的讨论很像当年4K刚出来的时候，
“现在连4K的片子都没有，看什么？”
“一部1080P蓝光盘都1、20G ...

提前考虑是没错，考虑太远就没意义了。2002年买显卡的时候为了以后用液晶显示器，特意买了块带dvi接口的镭9000，结果06年真换液晶的时候，这货的dvi接口跟显示器有点兼容性问题，一跑3d程序就间歇性黑屏，一闪一闪那种，这算是白预备了。1-2年内能用上的功能，可以考虑，太远的事情就算了。

云飞扬

thereone 发表于 2023-1-21 00:20
除了持续传输大文件需要我想不出来有什么场景是一定要万兆的万兆绝大多数都是闲置着在，4k圆盘播放千兆也够 ...

其实还有个问题。台式机空间组合接口足够不需要全部网络盘，笔记本网络盘好用但是10G-USB网卡都是巨老大个很不方便，而且也贵

fafnirken

1dayPianist 发表于 2023-1-20 22:25
解释得很清楚？有看过mdadm的代码？

写惩罚是针对非常小的随机访问，而且是相比于若干单盘各自组成存储 ...

其实RAID所有的操作都要通过读取>校验>写入>更新校验 整个过程，所有不管是随机的写入小文件还是大文件，都是差不多的
当时在linux下做了随机读写和顺序读写的比较测试，Raid5的写性能下降 对比大家通用的惩罚公式是基本一致的。顺序写入相对随机写入稍好一些，另外这个表现和mdadm内部设置校验的方法有关，和mdadm的缓存设置部分有关。原文在上家单位，如果回忆起来我再编辑这个帖子

Mufasa

allenxml 发表于 2023-1-20 11:22
因为RAID6写惩罚是6（无论多少盘组成的），等于写性能÷6（读数据位、读检验位1、读检验位2、写数据位、 ...

Write Through ，就是你说的数据。

但是现在阵列卡有 Write Back with BBU
Stripe Write的情况下，RAID 6的写惩罚是2
8盘RAID 6写入速度可以达到6盘总和。

Mufasa

fafnirken 发表于 2023-1-21 09:16
其实RAID所有的操作都要通过读取>校验>写入>更新校验 整个过程，所有不管是随机的写入小文件还是大文件， ...

我们说的是LSI（Broadcom）的硬件阵列卡（SoC），大文件持续写

CPU送来数据，暂存到阵列卡RAM，SoC直接拆成6份+2校验（芯片自带XOR硬件引擎），同时往8个盘里写，完事。

如果是小文件随机写，我们会用NVME SSD来解决问题。

fafnirken

Mufasa 发表于 2023-1-21 11:37
我们说的是LSI（Broadcom）的硬件阵列卡（SoC），大文件持续写

CPU送来数据，暂存到阵列卡RAM，SoC直接 ...

一开始说的是BCM的raid卡，后来越来越偏，都带到mdadm了。hw raid自带的ram cache能缓冲很多写入，本身SOC带来的算法加速还是很强的

rukky

史莱姆KING 发表于 2023-1-20 09:29
是没错

不过，偶尔两台电脑或者两台nas之间传数据，千兆还是挺慢的

smb3.0 自动汇聚的 ，外接1个2.5g+本来的2.5g ，5g够用了

1dayPianist

fafnirken 发表于 2023-1-21 09:16
其实RAID所有的操作都要通过读取>校验>写入>更新校验 整个过程，所有不管是随机的写入小文件还是大文件， ...

并非如此。
当大文件连续写入时，所有条带的对应位置都被同时更新，因此根本不需要读取，因为校验结果和原始数据没有关系（原始数据都让你彻底覆盖了）。

为什么只相信文章呢？
翻翻代码，或者做一下测试。
你会发现大文件写入时，用DSM的资源管理器查看，磁盘上的读取操作非常少（和写入根本不是一个数量级）。

Superdoll

sosokewo 发表于 2023-1-20 15:10
关于万兆的讨论很像当年4K刚出来的时候，
“现在连4K的片子都没有，看什么？”
“一部1080P蓝光盘都1、20G ...

任何软件和硬件在发展过程中都会有一个损益平衡点 (针对应用来说), 过了以后益处超过代价的用户人群会越来越少. 所以一直套用以前的情况是不合适的.

另外,即使是4K, 我敢说对绝大多数用户是没用的, 目前没用可预计的以后也没用. 大部分人看个FHD甚至720p都够,有时卡的话就360p凑合. 也就是说损益平衡点已经过了. "没人说这些"那是当然的,真的用不到的人根本不会说,会说的可能是潜在用户. 不要拿一小撮各种小众论坛上的人代替广大用户.

另外绝大部分用户看视频肯定是去上网看, 会去下载的是极少数,更不用说去搞什么高清片源.所以什么大存储,家庭万兆你应该明白了.

happysun110

鱼鱼鱼1 发表于 2023-1-20 20:13
模块和线也不便宜呀，设备多了还要交换机。电费和散热，都难顶，弱电箱可不跟我讲这些。 ...

所以说看各自需求，各玩各的嘛。

你连弱电箱的问题都不想解决，谈其他就毫无意义了。

Andymin

奇怪了，我也是1821，七块18T组的Raid5，万兆网络传输数据只有1.04G左右

nlzqgq

我群晖12盘组R6 实测可以跑到2GB/s +

1dayPianist

nlzqgq 发表于 2023-1-22 22:31
我群晖12盘组R6 实测可以跑到2GB/s +

理论上确实可以，8盘RAID6 命令行测读取速度（dd）大概1.4G/s，这么算12盘可以2.1G/s。
如果处理器强还可以更好。

不过12盘... DS3622xs+？？

声色茶马

疾风之心 发表于 2023-1-21 00:38
提前考虑是没错，考虑太远就没意义了。2002年买显卡的时候为了以后用液晶显示器，特意买了块带dvi接口的 ...

有道理。不过有些东西真是不好升级。比如埋墙里的线管和线。现在装修光纤埋不埋？埋单模还是多模？一个线盒走几芯几根，要不要留点儿冗余？多埋几根光纤的话，线管埋多粗？……

老话说，对未来担心过度那叫杞人忧天；老话又说，人无远虑必有近忧。反正老话啥都说了，具体应用时候亲们自己瞧着办。

nlzqgq

1dayPianist 发表于 2023-1-23 03:18
理论上确实可以，8盘RAID6 命令行测读取速度（dd）大概1.4G/s，这么算12盘可以2.1G/s。
如果处理器强还可 ...

是的，整了个25G网卡正好够用了。

1dayPianist

nlzqgq 发表于 2023-1-23 09:35
是的，整了个25G网卡正好够用了。

大佬啊...
记得这个机器都要2W+起了...