告别单盘组建TrueNAS SCALE终极家用OpenZFS File Server, VM & More

村里一秀才

这个应该是站里最吊的NAS了吧

衡山路道长

jerrytsao 发表于 2022-4-6 02:02
2022-04-06 Update 40GbE

因为有了sunneyboy的这个SCALE vs CORE帖子, 开始折腾之前扔在垃圾堆N年的"古董 ...

大佬可以出一个配置rdma的教程吗？我现在pc端是mcx515a-cdat truenas端是mcx516a-cdat mellanox aoc直连

jerrytsao

衡山路道长 发表于 2022-4-8 17:04
大佬可以出一个配置rdma的教程吗？我现在pc端是mcx515a-cdat truenas端是mcx516a-cdat mellanox aoc直连
...

我还没开始, SH快递停工导致CX-6 200G卡寄不出来, 周末先用CX-3 Pro 40G试试NVMe-oF

衡山路道长

jerrytsao 发表于 2022-4-8 17:08
我还没开始, SH快递停工导致CX-6 200G卡寄不出来, 周末先用CX-3 Pro 40G试试NVMe-oF ...

搜嘎，静待大佬的好消息

eagle94

等级太高了，光299T就足以君临天下了。

qwer252551

厉害了！！
想借楼咨询一下楼主
如果24块机械盘组个raidz2  
6G expender背板机箱+一张2008hba卡会有瓶颈吗？？
搜索了一下感觉几乎没有使用expender背板的作业贴。

tf0083

goat 发表于 2022-3-26 20:21
unraid直接不建议是因为收费吗

unraid用起来是挺省心，就是性能实在是拉跨，TrusNAS的门槛还是有点高，不过这性能（烧钱能力）确实强悍，这篇作文感觉必抄，家里现八盘位威联通那和18盘位成品服务器Unraid性能实在是。。。

xu089757

qwer252551 发表于 2022-4-22 22:10
厉害了！！
想借楼咨询一下楼主
如果24块机械盘组个raidz2  

我是6g expender背板、9440 i8（插两条线）、万兆、truenas core，目前插了了12个盘（2*6盘raidz2 ）
暂时没发现有瓶颈，smb能跑满万兆

linuxpro

Juzi丶 发表于 2022-3-26 21:27
scale的性能至少比core差三分一
很明显一点就是就算samba在linux用了vfs_io_uring，4k的iops还是比freebsd ...

我对你说的不同意。
在明确知道 存储文件块大小情况下，设定合适的recordsize会提高效率。
比如bt 程序，设定1M 为块单位，那么 1M的 recordsize 会提升效率，而不能单单看 IOPS吧。
读取如果也是1M为单位，那么提升吞吐会很明显。

再反向说一下，如果约小的recordsize越好，那么何必搞 512KB 1M大小参数呢？
128KB是一个通用设置，符合绝大部分场景。



-----------------
并不推荐大于128KiB的记录大小
大的记录大小带来相应的就是块读写时间增加
这会导致在机械盘上的大跨度的iops骤降
而且哪怕不是大跨度读写性能也不如128KiB

linuxpro

T.JOHN 发表于 2022-3-26 22:39
我并不觉得scale性能会比core差到哪里去，openzfs代码统一以后区别只是freebsd和linux两个底层操作系统较量 ...

我的freenas用的是16G ECC + 4 * 8T HDD。没做任何nvme加速。
创业4年多了，低负载当冷备，很稳定，不掉链子。

linuxpro

jerrytsao 发表于 2022-3-30 13:58
有没有设primarycache=metadata, NVMe SSD建议等OpenZFS 3.0上线看DirectIO实际表现, 能真正绕过ARC/RAM ...

3.0 发布，恐怕有的等了。
就是因为 ARC/RAM问题，我纯 NVME 用ZFS快被甲方怼死了。

goat

tf0083 发表于 2022-4-24 10:05
unraid用起来是挺省心，就是性能实在是拉跨，TrusNAS的门槛还是有点高，不过这性能（烧钱能力）确实强悍 ...

一次堆满基本上可以不用考虑unraid了，但是一次8/12*18这还不是壕无人性的纯nvme阵列
unraid对付换下来的设备用来处理现有设备的归档&基本不会修改的文件还是可以，跑主力还是算了

mlnet

请问为啥不用iscsi挂载呢

qwer252551

xu089757 发表于 2022-4-24 10:30
我是6g expender背板、9440 i8（插两条线）、万兆、truenas core，目前插了了12个盘（2*6盘raidz2 ）
暂 ...

多谢兄弟提供参考
这下可以放心上expender了

jerrytsao

mlnet 发表于 2022-4-25 18:32
请问为啥不用iscsi挂载呢

计划被拖了下, 等折腾RDMA和NVMe-oF Target/Initiator Offloads的时候弄iSCSI Target

fcymk2

goat 发表于 2022-3-26 23:43
但是现在snapraid要跑crontab，flex好像几乎处于停滞状态。开箱即食，又可以整合一堆乱乱七八糟容量且带 ...

我是proxmox下面自已搭mergerfs+snapraid@_@ 和unraid比...就是搞不定缓存...

wuhao0015

刚买了个X520升级万兆，进来看了下帖子，突然不想搞了。。。

sciwander

准备三年后能不能抄个作业

nowitzkiypc

我艹，太屌了

XavierX

默默的看了看快服役6年的老家伙. 廉颇老矣

ChanningHe

看到有提到p2p下载文件导致的池数据碎片化的问题，自己之前也一直想加ssd作为pt中转
但前几天有大佬提到用github的pjd/filerewrite解决ZFS扩容后旧的区块仍然保持着旧的数据与奇偶性的比例的问题。
突发奇想好像这个也能解决碎片化的问题，干脆就不管暂时的碎片化问题了

zwb0619

Mark先，然后找时间好好学习

hapshon

J叔请教个问题，请问你的HBA 9400-16i是否设置了顺序启动？,我是9400-8i在bios里没找到顺序启动相关的设置。

hanyou7

环境：
truenas scale
x11dph-NT 双路
cpu 4213w
内存 384
nvme P4610 3.2T x 5 全部接到cpu2上 组nvme池 共享nfs
sata 8x8T raidz2 （新买的8块8T还没到，需要扩展8x8T raidz2 x 2）接入cpu1
傲腾900P hdd的 slog 接入cpu1
40G网络 9000巨帧

同步方式均为sync =disable
smb挂在win10 测试环境下 nvmepool和hddpool两个性能差不多。
突然纠结了 还不如吧P4610 给到hdd的metadata
HDD pool测试

1. ------------------------------------------------------------------------------
   
2. CrystalDiskMark 8.0.4 x64 (C) 2007-2021 hiyohiyo
   
3.                                   Crystal Dew World: https://crystalmark.info/
   
4. ------------------------------------------------------------------------------
   
5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
   
6. * KB = 1000 bytes, KiB = 1024 bytes
   
7. 
   
8. [Read]
   
9.   SEQ    1MiB (Q=  1, T= 1):  1325.483 MB/s [   1264.1 IOPS] <   790.15 us>
   
10.   SEQ    1MiB (Q=  8, T= 1):  3011.104 MB/s [   2871.6 IOPS] <  2782.30 us>
    
11.   RND    4KiB (Q= 32, T=16):   355.741 MB/s [  86850.8 IOPS] <  5877.88 us>
    
12.   RND    4KiB (Q=  1, T= 1):    32.722 MB/s [   7988.8 IOPS] <   124.88 us>
    
13. 
    
14. [Write]
    
15.   SEQ    1MiB (Q=  1, T= 1):   771.639 MB/s [    735.9 IOPS] <  1357.34 us>
    
16.   SEQ    1MiB (Q=  8, T= 1):  2086.703 MB/s [   1990.0 IOPS] <  4009.16 us>
    
17.   RND    4KiB (Q= 32, T=16):   266.717 MB/s [  65116.5 IOPS] <  7841.01 us>
    
18.   RND    4KiB (Q=  1, T= 1):    25.591 MB/s [   6247.8 IOPS] <   159.30 us>
    
19. 
    
20. [Mix] Read 70%/Write 30%
    
21.   SEQ    1MiB (Q=  1, T= 1):   970.761 MB/s [    925.8 IOPS] <  1059.66 us>
    
22.   SEQ    1MiB (Q=  8, T= 1):  1748.281 MB/s [   1667.3 IOPS] <  4636.91 us>
    
23.   RND    4KiB (Q= 32, T=16):   250.584 MB/s [  61177.7 IOPS] <  8153.00 us>
    
24.   RND    4KiB (Q=  1, T= 1):    27.305 MB/s [   6666.3 IOPS] <   146.95 us>
    
25. 
    
26. Profile: Default
    
27.    Test: 1 GiB (x5) [Y: 87% (437/500GiB)]
    
28.    Mode:
    
29.    Time: Measure 5 sec / Interval 5 sec
    
30.    Date: 2022/05/09 14:09:14
    
31.      OS: Windows 10 Enterprise [10.0 Build 19044] (x64)
    
32. Comment: HDD POOL
    

复制代码

NVME POOL测试

1. ------------------------------------------------------------------------------
   
2. CrystalDiskMark 8.0.4 x64 (C) 2007-2021 hiyohiyo
   
3.                                   Crystal Dew World: https://crystalmark.info/
   
4. ------------------------------------------------------------------------------
   
5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
   
6. * KB = 1000 bytes, KiB = 1024 bytes
   
7. 
   
8. [Read]
   
9.   SEQ    1MiB (Q=  1, T= 1):  1317.080 MB/s [   1256.1 IOPS] <   795.17 us>
   
10.   SEQ    1MiB (Q=  8, T= 1):  3024.087 MB/s [   2884.0 IOPS] <  2770.88 us>
    
11.   RND    4KiB (Q= 32, T=16):   357.534 MB/s [  87288.6 IOPS] <  5821.91 us>
    
12.   RND    4KiB (Q=  1, T= 1):    31.921 MB/s [   7793.2 IOPS] <   127.86 us>
    
13. 
    
14. [Write]
    
15.   SEQ    1MiB (Q=  1, T= 1):   853.861 MB/s [    814.3 IOPS] <  1225.52 us>
    
16.   SEQ    1MiB (Q=  8, T= 1):  2025.304 MB/s [   1931.5 IOPS] <  4117.50 us>
    
17.   RND    4KiB (Q= 32, T=16):   242.170 MB/s [  59123.5 IOPS] <  8621.38 us>
    
18.   RND    4KiB (Q=  1, T= 1):    25.493 MB/s [   6223.9 IOPS] <   160.04 us>
    
19. 
    
20. [Mix] Read 70%/Write 30%
    
21.   SEQ    1MiB (Q=  1, T= 1):   976.627 MB/s [    931.4 IOPS] <  1050.01 us>
    
22.   SEQ    1MiB (Q=  8, T= 1):  2160.824 MB/s [   2060.7 IOPS] <  3745.44 us>
    
23.   RND    4KiB (Q= 32, T=16):   272.736 MB/s [  66585.9 IOPS] <  7539.79 us>
    
24.   RND    4KiB (Q=  1, T= 1):    28.086 MB/s [   6856.9 IOPS] <   143.16 us>
    
25. 
    
26. Profile: Default
    
27.    Test: 1 GiB (x5) [Z: 57% (1748/3072GiB)]
    
28.    Mode:
    
29.    Time: Measure 5 sec / Interval 5 sec
    
30.    Date: 2022/05/09 14:12:50
    
31.      OS: Windows 10 Enterprise [10.0 Build 19044] (x64)
    
32. Comment: NVME POOL
    

复制代码

hanyou7

hanyou7 发表于 2022-5-9 14:13
环境：
truenas scale
x11dph-NT 双路

补充一个32G大文件的测试

1. ------------------------------------------------------------------------------
   
2. CrystalDiskMark 8.0.4 x64 (C) 2007-2021 hiyohiyo
   
3.                                   Crystal Dew World: https://crystalmark.info/
   
4. ------------------------------------------------------------------------------
   
5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
   
6. * KB = 1000 bytes, KiB = 1024 bytes
   
7. 
   
8. [Read]
   
9.   SEQ    1MiB (Q=  1, T= 1):   970.348 MB/s [    925.4 IOPS] <  1078.48 us>
   
10.   SEQ    1MiB (Q=  8, T= 1):  1675.075 MB/s [   1597.5 IOPS] <  4987.04 us>
    
11.   RND    4KiB (Q= 32, T=16):    76.442 MB/s [  18662.6 IOPS] < 27096.91 us>
    
12.   RND    4KiB (Q=  1, T= 1):    23.091 MB/s [   5637.5 IOPS] <   177.05 us>
    
13. 
    
14. [Write]
    
15.   SEQ    1MiB (Q=  1, T= 1):   641.626 MB/s [    611.9 IOPS] <  1632.66 us>
    
16.   SEQ    1MiB (Q=  8, T= 1):   685.428 MB/s [    653.7 IOPS] < 10461.80 us>
    
17.   RND    4KiB (Q= 32, T=16):    23.151 MB/s [   5652.1 IOPS] < 84220.55 us>
    
18.   RND    4KiB (Q=  1, T= 1):    17.680 MB/s [   4316.4 IOPS] <   231.24 us>
    
19. 
    
20. [Mix] Read 70%/Write 30%
    
21.   SEQ    1MiB (Q=  1, T= 1):   851.714 MB/s [    812.3 IOPS] <  1207.60 us>
    
22.   SEQ    1MiB (Q=  8, T= 1):  1487.908 MB/s [   1419.0 IOPS] <  5497.58 us>
    
23.   RND    4KiB (Q= 32, T=16):    54.206 MB/s [  13233.9 IOPS] < 37750.19 us>
    
24.   RND    4KiB (Q=  1, T= 1):    22.835 MB/s [   5575.0 IOPS] <   175.85 us>
    
25. 
    
26. Profile: Default
    
27.    Test: 32 GiB (x5) [Y: 87% (437/500GiB)]
    
28.    Mode:
    
29.    Time: Measure 5 sec / Interval 5 sec
    
30.    Date: 2022/05/09 14:22:17
    
31.      OS: Windows 10 Enterprise [10.0 Build 19044] (x64)
    
32. Comment: HDD POOL
    

复制代码

1. ------------------------------------------------------------------------------
   
2. CrystalDiskMark 8.0.4 x64 (C) 2007-2021 hiyohiyo
   
3.                                   Crystal Dew World: https://crystalmark.info/
   
4. ------------------------------------------------------------------------------
   
5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
   
6. * KB = 1000 bytes, KiB = 1024 bytes
   
7. 
   
8. [Read]
   
9.   SEQ    1MiB (Q=  1, T= 1):   955.716 MB/s [    911.4 IOPS] <  1095.77 us>
   
10.   SEQ    1MiB (Q=  8, T= 1):  1703.520 MB/s [   1624.6 IOPS] <  4915.97 us>
    
11.   RND    4KiB (Q= 32, T=16):    76.219 MB/s [  18608.2 IOPS] < 27380.07 us>
    
12.   RND    4KiB (Q=  1, T= 1):    23.366 MB/s [   5704.6 IOPS] <   174.98 us>
    
13. 
    
14. [Write]
    
15.   SEQ    1MiB (Q=  1, T= 1):   771.733 MB/s [    736.0 IOPS] <  1356.01 us>
    
16.   SEQ    1MiB (Q=  8, T= 1):  1959.284 MB/s [   1868.5 IOPS] <  4268.24 us>
    
17.   RND    4KiB (Q= 32, T=16):    83.485 MB/s [  20382.1 IOPS] < 24993.06 us>
    
18.   RND    4KiB (Q=  1, T= 1):    20.434 MB/s [   4988.8 IOPS] <   200.06 us>
    
19. 
    
20. [Mix] Read 70%/Write 30%
    
21.   SEQ    1MiB (Q=  1, T= 1):   833.032 MB/s [    794.4 IOPS] <  1234.49 us>
    
22.   SEQ    1MiB (Q=  8, T= 1):  1482.179 MB/s [   1413.5 IOPS] <  5504.27 us>
    
23.   RND    4KiB (Q= 32, T=16):    86.702 MB/s [  21167.5 IOPS] < 23427.75 us>
    
24.   RND    4KiB (Q=  1, T= 1):    22.319 MB/s [   5449.0 IOPS] <   179.87 us>
    
25. 
    
26. Profile: Default
    
27.    Test: 32 GiB (x5) [Z: 57% (1748/3072GiB)]
    
28.    Mode:
    
29.    Time: Measure 5 sec / Interval 5 sec
    
30.    Date: 2022/05/09 14:30:55
    
31.      OS: Windows 10 Enterprise [10.0 Build 19044] (x64)
    
32. Comment: NVME POOL
    

复制代码

大文件拷贝 本地硬盘为SN750 1T

hdd情况下速度不稳定

nvme情况下比较稳定

jerrytsao

hapshon 发表于 2022-5-7 20:32
J叔请教个问题，请问你的HBA 9400-16i是否设置了顺序启动？,我是9400-8i在bios里没找到顺序启动相关的设置 ...

我没去动过, 修改要用storcli, 方法User Guide有 https://docs.broadcom.com/doc/MR-TM-SW-UG

jerrytsao

hanyou7 发表于 2022-5-9 14:35
补充一个32G大文件的测试

不错的双路测试

hanyou7

jerrytsao 发表于 2022-5-9 16:44
不错的双路测试

nvme的池 性能在大文件才有点点提升 正常使用和hdd池没什么区别
纠结要不要把nvme给hdd做元数据

TechXM

看了看我两块 16G 傲腾启动盘，心疼自己

jerrytsao

hanyou7 发表于 2022-5-9 17:20
nvme的池 性能在大文件才有点点提升 正常使用和hdd池没什么区别
纠结要不要把nvme给hdd做元数据 ...

PCIe NVMe SSD Pool在ZFS 3.0出来之前限制较大, 有多余磁盘的话还不如给HDD Pool做Special Vdev