TrueNAS SCALE v22.12.0 Bluefin更新非RDMA网络性能测试(提升显著)

jerrytsao

接今年三月告别单盘组建TrueNAS SCALE终极家用OpenZFS File Server, 先看完第一篇再继续, 否则你应该不知道在说什么

硬件上新购入一块PM9A3 3.84TB 2.5" U.2, 将Special/Metadata Vdev从原本的3-Way Mirror变成了2*2-Way Mirror然后Stripe

Slog Vdev只保留了一块900P 280GB, 除此之外, HDD Pool无任何硬件变动

1. NAME                                       SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
   
2. JR_Pool_HDD                                400T   103G   400T        -         -     0%     0%  1.00x    ONLINE  /mnt
   
3.   raidz2-0                                 196T  51.5G   196T        -         -     0%  0.02%      -    ONLINE
   
4.     be22c411-7655-45ed-808e-dc31d1fb2bb0  16.4T      -      -        -         -      -      -      -    ONLINE
   
5.     ed108b93-f31e-43a8-9ec2-74df675e75c0  16.4T      -      -        -         -      -      -      -    ONLINE
   
6.     7d0cbe83-9af9-4d1a-ade2-8f25d50abe84  16.4T      -      -        -         -      -      -      -    ONLINE
   
7.     91b60ac2-869f-44f9-8e53-057136182f3b  16.4T      -      -        -         -      -      -      -    ONLINE
   
8.     f991e2bc-6d7e-48f1-9922-703a4b4c141f  16.4T      -      -        -         -      -      -      -    ONLINE
   
9.     cb54bf91-a3a3-49c2-915d-7325c55d7c3c  16.4T      -      -        -         -      -      -      -    ONLINE
   
10.     cc3a4248-8bc1-4849-9ec3-1343ad866391  16.4T      -      -        -         -      -      -      -    ONLINE
    
11.     a0e4698f-ede8-4d29-b6b1-6a265604c80c  16.4T      -      -        -         -      -      -      -    ONLINE
    
12.     a601f918-3b32-4565-8ef6-8e57002fc91d  16.4T      -      -        -         -      -      -      -    ONLINE
    
13.     5477de35-4a7e-4b3e-8163-380bf38529dc  16.4T      -      -        -         -      -      -      -    ONLINE
    
14.     8e94c736-75c0-4109-8815-72f7561a45d9  16.4T      -      -        -         -      -      -      -    ONLINE
    
15.     e6e0e13b-757d-41c4-920d-8f2f8cb36dad  16.4T      -      -        -         -      -      -      -    ONLINE
    
16.   raidz2-1                                 196T  51.2G   196T        -         -     0%  0.02%      -    ONLINE
    
17.     ce5016b4-a365-41b0-bffb-c6d719026f91  16.4T      -      -        -         -      -      -      -    ONLINE
    
18.     affda95f-838f-4c2d-8cfc-d807dcf5fed0  16.4T      -      -        -         -      -      -      -    ONLINE
    
19.     ac243373-7cbc-41c5-a0e9-5753efb95475  16.4T      -      -        -         -      -      -      -    ONLINE
    
20.     27d6e553-5fd0-4524-aee5-54708cc45ae7  16.4T      -      -        -         -      -      -      -    ONLINE
    
21.     b746f301-8984-481c-8a42-e58a748424f3  16.4T      -      -        -         -      -      -      -    ONLINE
    
22.     b2811f3a-b823-4944-b768-f4a0205a0911  16.4T      -      -        -         -      -      -      -    ONLINE
    
23.     700d7175-bc64-4de1-aa02-9971406b7a4a  16.4T      -      -        -         -      -      -      -    ONLINE
    
24.     81ccc931-6f2d-45bd-9a34-1e7b6f700844  16.4T      -      -        -         -      -      -      -    ONLINE
    
25.     6f249356-1945-44e0-b84f-9331b41746b0  16.4T      -      -        -         -      -      -      -    ONLINE
    
26.     35f4b25e-5c9c-4dcc-9b8d-df1560f54b7d  16.4T      -      -        -         -      -      -      -    ONLINE
    
27.     e7e278fd-6956-45d7-9e05-38f762a9744b  16.4T      -      -        -         -      -      -      -    ONLINE
    
28.     bef1c381-7f40-4674-82bb-2a617abd2fc6  16.4T      -      -        -         -      -      -      -    ONLINE
    
29. 
    
30. special                                       -      -      -        -         -      -      -      -  -
    
31.   mirror-3                                3.48T  26.5M  3.48T        -         -     0%  0.00%      -    ONLINE
    
32.     bd60e66c-01a0-43d7-a626-6eebbc117bb5  3.49T      -      -        -         -      -      -      -    ONLINE
    
33.     0f4179a5-4c9b-402e-b450-913c5778cc8a  3.49T      -      -        -         -      -      -      -    ONLINE
    
34.   mirror-4                                3.48T  28.3M  3.48T        -         -     0%  0.00%      -    ONLINE
    
35.     a04ef990-3f0b-470d-b17e-82ca313604a5  3.49T      -      -        -         -      -      -      -    ONLINE
    
36.     bc814f5d-0907-4dbf-bc26-47b832c89eb1  3.49T      -      -        -         -      -      -      -    ONLINE
    
37. 
    
38. logs                                          -      -      -        -         -      -      -      -  -
    
39.   c0d70368-203f-480d-90f0-1499b63e2137     261G    36K   260G        -         -     0%  0.00%      -    ONLINE

复制代码

重新跑CDM测试



相比4月份时的跑分, 可以看到持续写入提升巨大, 持续读取极限也被拉高到3.5GB/s, 而随机方面则可以很明显看到Mirrored Stripe带来的写入IOPS翻倍



TrueNAS SCALE HDD 2*Z2 -> PC拷贝数个大视频文件, 竟能3.2~3.3GB/s一条直线, 比原本的2.4GB/s快出接近1GB/s!

注意这里PC客户端主磁盘已经从P5800X 1.6TB变成了小海豚D6920 7.68TB, 单任务不排除会有一丢丢瓶颈, 问题应该不大


PC -> TrueNAS SCALE HDD 2*Z2拷贝数个大视频文件, 1MiB Record Size+LZ4实时压缩速度稍慢但也达到了2.6GB/s, 之前只有1.4GB/s




非RDMA网络性能大幅提升的几个主要因素

1) 前不久SCALE的第二个主要版本v22.12.0 Bluefin发布, 进一步优化各方面性能

2) Client客户端从原来的5950X变成13900K

3) Special/Metadata Vdev从3-Way Mirror变成了2*2-Way Mirror(主要体现在CDM的4KiB写入和混合)

kpchan

我又来围观J叔叔的“家用”配置了

gtx9

强，无敌

cyberspace13

家用家用

mcafee6

之前感觉我10块16TB的truenas够用了，但是天外有天

Juzi丶

开smb加密的性能方便测一下吗，smb主设置里面加辅助参数smb encrypt = desired
客户端管理员运行Set-SmbServerConfiguration –EncryptData $true
用Get-SmbConnection | Select-Object -Property *  看路径的加密开了就行

superai

看进度，明年2月份 应该可以换SCALE ，激动

normanlu

已升级，一切正常

Zyn0114

很棒的家用配置，楼主你能帮帮我吗（搬出去让我入住）

525165

不同协议：

iscsi:

iscsi

SMB:

SMB

声色茶马

kpchan 发表于 2022-12-29 23:13
我又来围观J叔叔的“家用”配置了

看见这种“家用”配置，秒失去折腾的勇气。于是就省了很多玛尼和时间和精力，真是一石三鸟，受益匪浅啊。

猪圈

这个版本的truenas需要单独购买授权？

linuxpro

上了一台 E5-2680V2 *2， 128G SSD， 企业级 SSD 3块，和一块 56G的 RDMA卡，晚点我测试下 PVE下的 unraid性能如何。

dsboylw

猪圈 发表于 2023-1-10 11:48
这个版本的truenas需要单独购买授权？

不需要，都免费的

dsboylw

看完了，学习了，还是要组建大的池子啊

xinmans

概述
平台:
Generic
版本:
TrueNAS-SCALE-22.12.2
主机名:
truenas

稳如老狗

dominicchen

膜拜这个“家用”配置

xustrive

这也太豪勒

hawie

这帖又翻出来了，还是这句抢眼，“不差钱且不喜欢太折腾, 直接无脑群辉, 利用其强大的软件优势”，
选什么类型的RAID和FS，还有一个重要前提，容易操作。所以，还是群晖吧，底层btrfs和mdadm（raid5/6/shr），即使在挂掉的情况下，恢复难度小多了。