找回密码
 加入我们
搜索
      
楼主: jerrytsao

[NAS] 告别单盘组建TrueNAS SCALE终极家用OpenZFS File Server, VM & More

 火... [复制链接]
发表于 2022-4-8 11:29 | 显示全部楼层
这个应该是站里最吊的NAS了吧
发表于 2022-4-8 17:04 | 显示全部楼层
jerrytsao 发表于 2022-4-6 02:02
2022-04-06 Update 40GbE

因为有了sunneyboy的这个SCALE vs CORE帖子, 开始折腾之前扔在垃圾堆N年的"古董 ...

大佬可以出一个配置rdma的教程吗?我现在pc端是mcx515a-cdat truenas端是mcx516a-cdat mellanox aoc直连
 楼主| 发表于 2022-4-8 17:08 | 显示全部楼层
本帖最后由 jerrytsao 于 2022-4-8 17:10 编辑
衡山路道长 发表于 2022-4-8 17:04
大佬可以出一个配置rdma的教程吗?我现在pc端是mcx515a-cdat truenas端是mcx516a-cdat mellanox aoc直连
...


我还没开始, SH快递停工导致CX-6 200G卡寄不出来, 周末先用CX-3 Pro 40G试试NVMe-oF
发表于 2022-4-8 17:31 | 显示全部楼层
jerrytsao 发表于 2022-4-8 17:08
我还没开始, SH快递停工导致CX-6 200G卡寄不出来, 周末先用CX-3 Pro 40G试试NVMe-oF ...

搜嘎,静待大佬的好消息
发表于 2022-4-15 13:38 | 显示全部楼层
等级太高了,光299T就足以君临天下了。
发表于 2022-4-22 22:10 | 显示全部楼层
厉害了!!
想借楼咨询一下楼主
如果24块机械盘组个raidz2  
6G expender背板机箱+一张2008hba卡会有瓶颈吗??
搜索了一下感觉几乎没有使用expender背板的作业贴。
发表于 2022-4-24 10:05 | 显示全部楼层
goat 发表于 2022-3-26 20:21
unraid直接不建议是因为收费吗

unraid用起来是挺省心,就是性能实在是拉跨,TrusNAS的门槛还是有点高,不过这性能(烧钱能力)确实强悍,这篇作文感觉必抄,家里现八盘位威联通那和18盘位成品服务器Unraid性能实在是。。。
发表于 2022-4-24 10:30 | 显示全部楼层
qwer252551 发表于 2022-4-22 22:10
厉害了!!
想借楼咨询一下楼主
如果24块机械盘组个raidz2  


我是6g expender背板、9440 i8(插两条线)、万兆、truenas core,目前插了了12个盘(2*6盘raidz2 )
暂时没发现有瓶颈,smb能跑满万兆
发表于 2022-4-24 22:15 | 显示全部楼层
Juzi丶 发表于 2022-3-26 21:27
scale的性能至少比core差三分一
很明显一点就是就算samba在linux用了vfs_io_uring,4k的iops还是比freebsd ...

我对你说的不同意。
在明确知道 存储文件块大小情况下,设定合适的recordsize会提高效率。
比如bt 程序,设定1M 为块单位,那么 1M的 recordsize 会提升效率,而不能单单看 IOPS吧。
读取如果也是1M为单位,那么提升吞吐会很明显。

再反向说一下,如果约小的recordsize越好,那么何必搞 512KB 1M大小参数呢?
128KB是一个通用设置,符合绝大部分场景。



-----------------
并不推荐大于128KiB的记录大小
大的记录大小带来相应的就是块读写时间增加
这会导致在机械盘上的大跨度的iops骤降
而且哪怕不是大跨度读写性能也不如128KiB
发表于 2022-4-24 22:43 | 显示全部楼层
T.JOHN 发表于 2022-3-26 22:39
我并不觉得scale性能会比core差到哪里去,openzfs代码统一以后区别只是freebsd和linux两个底层操作系统较量 ...

我的freenas用的是16G ECC + 4 * 8T HDD。没做任何nvme加速。
创业4年多了,低负载当冷备,很稳定,不掉链子。
发表于 2022-4-24 22:55 | 显示全部楼层
jerrytsao 发表于 2022-3-30 13:58
有没有设primarycache=metadata, NVMe SSD建议等OpenZFS 3.0上线看DirectIO实际表现, 能真正绕过ARC/RAM ...

3.0 发布,恐怕有的等了。
就是因为 ARC/RAM问题,我纯 NVME 用ZFS快被甲方怼死了。
发表于 2022-4-24 23:09 | 显示全部楼层
tf0083 发表于 2022-4-24 10:05
unraid用起来是挺省心,就是性能实在是拉跨,TrusNAS的门槛还是有点高,不过这性能(烧钱能力)确实强悍 ...

一次堆满基本上可以不用考虑unraid了,但是一次8/12*18这还不是壕无人性的纯nvme阵列
unraid对付换下来的设备用来处理现有设备的归档&基本不会修改的文件还是可以,跑主力还是算了
发表于 2022-4-25 18:32 | 显示全部楼层
请问为啥不用iscsi挂载呢
发表于 2022-4-26 15:07 | 显示全部楼层
xu089757 发表于 2022-4-24 10:30
我是6g expender背板、9440 i8(插两条线)、万兆、truenas core,目前插了了12个盘(2*6盘raidz2 )
暂 ...

多谢兄弟提供参考
这下可以放心上expender了
 楼主| 发表于 2022-4-26 21:02 | 显示全部楼层
mlnet 发表于 2022-4-25 18:32
请问为啥不用iscsi挂载呢


计划被拖了下, 等折腾RDMA和NVMe-oF Target/Initiator Offloads的时候弄iSCSI Target
发表于 2022-4-26 21:54 | 显示全部楼层
goat 发表于 2022-3-26 23:43
但是现在snapraid要跑crontab,flex好像几乎处于停滞状态。开箱即食,又可以整合一堆乱乱七八糟容量且带 ...

我是proxmox下面自已搭mergerfs+snapraid@_@ 和unraid比...就是搞不定缓存...
发表于 2022-4-27 10:06 | 显示全部楼层
刚买了个X520升级万兆,进来看了下帖子,突然不想搞了。。。
发表于 2022-4-27 10:20 | 显示全部楼层
准备三年后能不能抄个作业
发表于 2022-4-27 10:27 | 显示全部楼层
我艹,太屌了
发表于 2022-4-27 12:56 | 显示全部楼层
默默的看了看快服役6年的老家伙. 廉颇老矣


发表于 2022-4-29 18:30 | 显示全部楼层
看到有提到p2p下载文件导致的池数据碎片化的问题,自己之前也一直想加ssd作为pt中转
但前几天有大佬提到用github的pjd/filerewrite解决ZFS扩容后旧的区块仍然保持着旧的数据与奇偶性的比例的问题。
突发奇想好像这个也能解决碎片化的问题,干脆就不管暂时的碎片化问题了
发表于 2022-5-2 01:02 来自手机 | 显示全部楼层
Mark先,然后找时间好好学习
发表于 2022-5-7 20:32 | 显示全部楼层
J叔请教个问题,请问你的HBA 9400-16i是否设置了顺序启动?,我是9400-8i在bios里没找到顺序启动相关的设置。
发表于 2022-5-9 14:13 | 显示全部楼层
本帖最后由 hanyou7 于 2022-5-9 14:56 编辑

环境:
truenas scale
x11dph-NT 双路
cpu 4213w
内存 384
nvme P4610 3.2T x 5 全部接到cpu2上 组nvme池 共享nfs
sata 8x8T raidz2 (新买的8块8T还没到,需要扩展8x8T raidz2 x 2)接入cpu1
傲腾900P hdd的 slog 接入cpu1
40G网络 9000巨帧

同步方式均为sync =disable
smb挂在win10 测试环境下 nvmepool和hddpool两个性能差不多。
突然纠结了 还不如吧P4610 给到hdd的metadata
HDD pool测试
  1. ------------------------------------------------------------------------------
  2. CrystalDiskMark 8.0.4 x64 (C) 2007-2021 hiyohiyo
  3.                                   Crystal Dew World: https://crystalmark.info/
  4. ------------------------------------------------------------------------------
  5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
  6. * KB = 1000 bytes, KiB = 1024 bytes

  7. [Read]
  8.   SEQ    1MiB (Q=  1, T= 1):  1325.483 MB/s [   1264.1 IOPS] <   790.15 us>
  9.   SEQ    1MiB (Q=  8, T= 1):  3011.104 MB/s [   2871.6 IOPS] <  2782.30 us>
  10.   RND    4KiB (Q= 32, T=16):   355.741 MB/s [  86850.8 IOPS] <  5877.88 us>
  11.   RND    4KiB (Q=  1, T= 1):    32.722 MB/s [   7988.8 IOPS] <   124.88 us>

  12. [Write]
  13.   SEQ    1MiB (Q=  1, T= 1):   771.639 MB/s [    735.9 IOPS] <  1357.34 us>
  14.   SEQ    1MiB (Q=  8, T= 1):  2086.703 MB/s [   1990.0 IOPS] <  4009.16 us>
  15.   RND    4KiB (Q= 32, T=16):   266.717 MB/s [  65116.5 IOPS] <  7841.01 us>
  16.   RND    4KiB (Q=  1, T= 1):    25.591 MB/s [   6247.8 IOPS] <   159.30 us>

  17. [Mix] Read 70%/Write 30%
  18.   SEQ    1MiB (Q=  1, T= 1):   970.761 MB/s [    925.8 IOPS] <  1059.66 us>
  19.   SEQ    1MiB (Q=  8, T= 1):  1748.281 MB/s [   1667.3 IOPS] <  4636.91 us>
  20.   RND    4KiB (Q= 32, T=16):   250.584 MB/s [  61177.7 IOPS] <  8153.00 us>
  21.   RND    4KiB (Q=  1, T= 1):    27.305 MB/s [   6666.3 IOPS] <   146.95 us>

  22. Profile: Default
  23.    Test: 1 GiB (x5) [Y: 87% (437/500GiB)]
  24.    Mode:
  25.    Time: Measure 5 sec / Interval 5 sec
  26.    Date: 2022/05/09 14:09:14
  27.      OS: Windows 10 Enterprise [10.0 Build 19044] (x64)
  28. Comment: HDD POOL
复制代码


NVME POOL测试
  1. ------------------------------------------------------------------------------
  2. CrystalDiskMark 8.0.4 x64 (C) 2007-2021 hiyohiyo
  3.                                   Crystal Dew World: https://crystalmark.info/
  4. ------------------------------------------------------------------------------
  5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
  6. * KB = 1000 bytes, KiB = 1024 bytes

  7. [Read]
  8.   SEQ    1MiB (Q=  1, T= 1):  1317.080 MB/s [   1256.1 IOPS] <   795.17 us>
  9.   SEQ    1MiB (Q=  8, T= 1):  3024.087 MB/s [   2884.0 IOPS] <  2770.88 us>
  10.   RND    4KiB (Q= 32, T=16):   357.534 MB/s [  87288.6 IOPS] <  5821.91 us>
  11.   RND    4KiB (Q=  1, T= 1):    31.921 MB/s [   7793.2 IOPS] <   127.86 us>

  12. [Write]
  13.   SEQ    1MiB (Q=  1, T= 1):   853.861 MB/s [    814.3 IOPS] <  1225.52 us>
  14.   SEQ    1MiB (Q=  8, T= 1):  2025.304 MB/s [   1931.5 IOPS] <  4117.50 us>
  15.   RND    4KiB (Q= 32, T=16):   242.170 MB/s [  59123.5 IOPS] <  8621.38 us>
  16.   RND    4KiB (Q=  1, T= 1):    25.493 MB/s [   6223.9 IOPS] <   160.04 us>

  17. [Mix] Read 70%/Write 30%
  18.   SEQ    1MiB (Q=  1, T= 1):   976.627 MB/s [    931.4 IOPS] <  1050.01 us>
  19.   SEQ    1MiB (Q=  8, T= 1):  2160.824 MB/s [   2060.7 IOPS] <  3745.44 us>
  20.   RND    4KiB (Q= 32, T=16):   272.736 MB/s [  66585.9 IOPS] <  7539.79 us>
  21.   RND    4KiB (Q=  1, T= 1):    28.086 MB/s [   6856.9 IOPS] <   143.16 us>

  22. Profile: Default
  23.    Test: 1 GiB (x5) [Z: 57% (1748/3072GiB)]
  24.    Mode:
  25.    Time: Measure 5 sec / Interval 5 sec
  26.    Date: 2022/05/09 14:12:50
  27.      OS: Windows 10 Enterprise [10.0 Build 19044] (x64)
  28. Comment: NVME POOL
复制代码
发表于 2022-5-9 14:35 | 显示全部楼层
hanyou7 发表于 2022-5-9 14:13
环境:
truenas scale
x11dph-NT 双路

补充一个32G大文件的测试
CrystalDiskMark_20220509142234.png

  1. ------------------------------------------------------------------------------
  2. CrystalDiskMark 8.0.4 x64 (C) 2007-2021 hiyohiyo
  3.                                   Crystal Dew World: https://crystalmark.info/
  4. ------------------------------------------------------------------------------
  5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
  6. * KB = 1000 bytes, KiB = 1024 bytes

  7. [Read]
  8.   SEQ    1MiB (Q=  1, T= 1):   970.348 MB/s [    925.4 IOPS] <  1078.48 us>
  9.   SEQ    1MiB (Q=  8, T= 1):  1675.075 MB/s [   1597.5 IOPS] <  4987.04 us>
  10.   RND    4KiB (Q= 32, T=16):    76.442 MB/s [  18662.6 IOPS] < 27096.91 us>
  11.   RND    4KiB (Q=  1, T= 1):    23.091 MB/s [   5637.5 IOPS] <   177.05 us>

  12. [Write]
  13.   SEQ    1MiB (Q=  1, T= 1):   641.626 MB/s [    611.9 IOPS] <  1632.66 us>
  14.   SEQ    1MiB (Q=  8, T= 1):   685.428 MB/s [    653.7 IOPS] < 10461.80 us>
  15.   RND    4KiB (Q= 32, T=16):    23.151 MB/s [   5652.1 IOPS] < 84220.55 us>
  16.   RND    4KiB (Q=  1, T= 1):    17.680 MB/s [   4316.4 IOPS] <   231.24 us>

  17. [Mix] Read 70%/Write 30%
  18.   SEQ    1MiB (Q=  1, T= 1):   851.714 MB/s [    812.3 IOPS] <  1207.60 us>
  19.   SEQ    1MiB (Q=  8, T= 1):  1487.908 MB/s [   1419.0 IOPS] <  5497.58 us>
  20.   RND    4KiB (Q= 32, T=16):    54.206 MB/s [  13233.9 IOPS] < 37750.19 us>
  21.   RND    4KiB (Q=  1, T= 1):    22.835 MB/s [   5575.0 IOPS] <   175.85 us>

  22. Profile: Default
  23.    Test: 32 GiB (x5) [Y: 87% (437/500GiB)]
  24.    Mode:
  25.    Time: Measure 5 sec / Interval 5 sec
  26.    Date: 2022/05/09 14:22:17
  27.      OS: Windows 10 Enterprise [10.0 Build 19044] (x64)
  28. Comment: HDD POOL
复制代码


CrystalDiskMark_20220509143057.png
  1. ------------------------------------------------------------------------------
  2. CrystalDiskMark 8.0.4 x64 (C) 2007-2021 hiyohiyo
  3.                                   Crystal Dew World: https://crystalmark.info/
  4. ------------------------------------------------------------------------------
  5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
  6. * KB = 1000 bytes, KiB = 1024 bytes

  7. [Read]
  8.   SEQ    1MiB (Q=  1, T= 1):   955.716 MB/s [    911.4 IOPS] <  1095.77 us>
  9.   SEQ    1MiB (Q=  8, T= 1):  1703.520 MB/s [   1624.6 IOPS] <  4915.97 us>
  10.   RND    4KiB (Q= 32, T=16):    76.219 MB/s [  18608.2 IOPS] < 27380.07 us>
  11.   RND    4KiB (Q=  1, T= 1):    23.366 MB/s [   5704.6 IOPS] <   174.98 us>

  12. [Write]
  13.   SEQ    1MiB (Q=  1, T= 1):   771.733 MB/s [    736.0 IOPS] <  1356.01 us>
  14.   SEQ    1MiB (Q=  8, T= 1):  1959.284 MB/s [   1868.5 IOPS] <  4268.24 us>
  15.   RND    4KiB (Q= 32, T=16):    83.485 MB/s [  20382.1 IOPS] < 24993.06 us>
  16.   RND    4KiB (Q=  1, T= 1):    20.434 MB/s [   4988.8 IOPS] <   200.06 us>

  17. [Mix] Read 70%/Write 30%
  18.   SEQ    1MiB (Q=  1, T= 1):   833.032 MB/s [    794.4 IOPS] <  1234.49 us>
  19.   SEQ    1MiB (Q=  8, T= 1):  1482.179 MB/s [   1413.5 IOPS] <  5504.27 us>
  20.   RND    4KiB (Q= 32, T=16):    86.702 MB/s [  21167.5 IOPS] < 23427.75 us>
  21.   RND    4KiB (Q=  1, T= 1):    22.319 MB/s [   5449.0 IOPS] <   179.87 us>

  22. Profile: Default
  23.    Test: 32 GiB (x5) [Z: 57% (1748/3072GiB)]
  24.    Mode:
  25.    Time: Measure 5 sec / Interval 5 sec
  26.    Date: 2022/05/09 14:30:55
  27.      OS: Windows 10 Enterprise [10.0 Build 19044] (x64)
  28. Comment: NVME POOL
复制代码


大文件拷贝 本地硬盘为SN750 1T

hdd情况下速度不稳定
Snipaste_2022-05-09_14-34-06.png
nvme情况下比较稳定
QQ图片20220509143527.png
 楼主| 发表于 2022-5-9 16:22 | 显示全部楼层
hapshon 发表于 2022-5-7 20:32
J叔请教个问题,请问你的HBA 9400-16i是否设置了顺序启动?,我是9400-8i在bios里没找到顺序启动相关的设置 ...


我没去动过, 修改要用storcli, 方法User Guide有 https://docs.broadcom.com/doc/MR-TM-SW-UG
 楼主| 发表于 2022-5-9 16:44 | 显示全部楼层
hanyou7 发表于 2022-5-9 14:35
补充一个32G大文件的测试

不错的双路测试
发表于 2022-5-9 17:20 | 显示全部楼层

nvme的池 性能在大文件才有点点提升 正常使用和hdd池没什么区别
纠结要不要把nvme给hdd做元数据
发表于 2022-5-10 10:07 | 显示全部楼层
看了看我两块 16G 傲腾启动盘,心疼自己
 楼主| 发表于 2022-5-10 11:32 | 显示全部楼层
hanyou7 发表于 2022-5-9 17:20
nvme的池 性能在大文件才有点点提升 正常使用和hdd池没什么区别
纠结要不要把nvme给hdd做元数据 ...

PCIe NVMe SSD Pool在ZFS 3.0出来之前限制较大, 有多余磁盘的话还不如给HDD Pool做Special Vdev
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2024-12-25 21:43 , Processed in 0.017117 second(s), 7 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表