告别单盘组建TrueNAS SCALE终极家用OpenZFS File Server, VM & More

zexin4

围观一下，太强了。
直接接在pcie转接U.2的卡上那6块盘挨的那么近会不会散热有问题啊

nichfung

这个厉害，太强了

jerrytsao

T.JOHN 发表于 2022-3-28 00:26
19我只能说充分利用CPU
scrub和smart长测我觉得不用两周一次那么频繁的，一个月一次就很充分了。白 ...

小试了下视频文件ZSTD-19是毫无意义了, 且传输变得非常不稳定, 我感觉TrueNAS似乎无法吃CPU多线程?

目测只有LZ4和ZSTD无后缀里二选一, ZSTD Level 1-5之间差异也不大, 另外好像ZSTD并不是一定比LZ4压缩比更高?

T.JOHN

jerrytsao 发表于 2022-3-28 16:02
小试了下视频文件ZSTD-19是毫无意义了, 且传输变得非常不稳定, 我感觉TrueNAS似乎无法吃CPU多线程?

目测 ...

如果实测LZ4比ZSTD还好的话，那肯定用LZ4了，虽然这个结果和我测得不一样。

是否支持多线程取决于Truenas带的软件二进制包，现在lz4和zstd都支持多线程的。比如我现在用的centos 8 stream版本自带的是v1.8.3，当启用压缩时候，zfs会调用它，但至于用不用多线程，zfs的代码说了算，要么给用户一个设置选项，实际上貌似没有。
https://github.com/lz4/lz4/issues/807#issuecomment-549481307


TrueNAS论坛上最近的测试比较20年做的：
https://www.truenas.com/community/threads/lz4-vs-zstd.89400/


我回帖之前做了下测试
storage是我zpool目录，我没用压缩，空间够。分别用 1.切尔诺贝利视频和 2.centOS IOS安装镜像做的测试
测试命令，0和5分别是压缩起始和结束级别

1. zstd/lz4 -b0 -e5 /文件

复制代码

这样你就不用在zpool里面改来改去了，很直观看到你机器压缩性能的速度。这里只用单线程的，因为zstd-cli支持多线程调用，lz4-cli不支持，单线程也方便控制变量看速度。

可以看到ISO文件压缩以后节省6%-9.5%空间，而且zstd更好，解压速度不如lz4，但3.5+GB速度不影响传输，除非网卡是40GB的。考虑到压缩速度，zstd选择1-2就很好，lz4也是1-2最好

压视频就坑爹了，lz4压缩完以后体积比之前更大，显然不能用了。zstd起码比原来小一丢丢，但压缩率连0.1%都没，所以视频文件没啥可压缩的。

你这样测一下会比在windows里面看体积更准也更直观

kingkiss

T.JOHN 发表于 2022-3-27 21:36
你写的时候clat percentiles(us)是HDD水平，lat(msec) 10=89.7%，意思延时总体是10ms，我看了下我之前机 ...

我把fio命令里面的/zpool/GAMES替换成/mnt/GAMES写入速度就正常了，很神奇。
看来应该是truenas 共享的问题了，我ISCSI和SMB用crystaldisk mark测试读取有1.7G/S到2.5G/S，但是实际读取只有1G/S，写入甚至只有400M/S左右

mkkkno1

goat 发表于 2022-3-26 23:43
但是现在snapraid要跑crontab，flex好像几乎处于停滞状态。开箱即食，又可以整合一堆乱乱七八糟容量且带 ...

试试OMV（openmediavault）啥，虽然我用的是ubuntu+snapraid+mergerFS，因为我装OMV不是这里有点问题就是那里有点问题。

jerrytsao

T.JOHN 发表于 2022-3-28 17:21
如果实测LZ4比ZSTD还好的话，那肯定用LZ4了，虽然这个结果和我测得不一样。

是否支持多线程取决于Truena ...

感谢测试, 你这个应该是128KiB Record Size下的吧, 我刚才还是在Win下SMB简单测试了下128KiB, LZ4倒没有压缩变大的情况



首先7T83线程占用没啥大问题, 是昨晚观察错误

其次确认1MiB对CPU的压力相比128KiB大很多, 毕竟128K下视频文件几乎没有压缩, 128K下开ZSTD-19传输就比较稳定, 只有稍多一丢丢波动

我这数据肯定选1MiB, Google一搜有太多测试证明1MiB大多数情况下没有副作用, 除非全是数据库小文件, 我还是选ZSTD无后缀好了

T.JOHN

kingkiss 发表于 2022-3-28 18:54
我把fio命令里面的/zpool/GAMES替换成/mnt/GAMES写入速度就正常了，很神奇。
看来应该是truenas 共享的问 ...

fio命令肯定要用真实路径/挂载点，不能用GUI里面显示路径。我写的那个zpool是举例用的，如果你输入了相当于在linux根目录下测试，你可以ls /zpool看到你之前留下的测试文件，根目录等于是在系统盘里面读写。

共享的话理论你iscsi或smb的crystal读写测试应该是和实际传输一样的，如果速度不达标参考上文smb优化或者你换个操作系统，用linux做客户端测下也许能提速

T.JOHN

jerrytsao 发表于 2022-3-28 19:36
感谢测试, 你这个应该是128KiB Record Size下的吧, 我刚才还是在Win下SMB简单测试了下128KiB, LZ4倒没有 ...

是的，我是用默认128KiB做的测试，看来应该是recordsize差异造成的测试结果不同。
看来1MiB确实非常适合存视频，size on disk省了好多（如果是真省的话）。副作用就是之前说的降低IOPS，不适合数据库16k小文件，不过不是你的使用场景，无需考虑。

goat

mkkkno1 发表于 2022-3-28 19:07
试试OMV（openmediavault）啥，虽然我用的是ubuntu+snapraid+mergerFS，因为我装OMV不是这里有点问题就是 ...

omv看功能里没提可以合并不同vol。我主要需求就是一堆旧硬盘塞归档，要求带校验。目前符合需求有人维护的也就unraid。其实snapraid+mergerFS是最经济+合理，但是因为万一手贱更新/bug导致cron没跑，又有硬盘下线就

mkkkno1

goat 发表于 2022-3-28 21:41
omv看功能里没提可以合并不同vol。我主要需求就是一堆旧硬盘塞归档，要求带校验。目前符合需求有人维护的 ...

你搜索下omv+mergerFS 呀。 肯定可以，不过要装omv-extras，而且名字变成了unionfilesystem

Mufasa

这个门槛确实太高了。。。。

TrueNAS的权限系统折腾得头大，后来删除不要了，装Windows完事。

goat

mkkkno1 发表于 2022-3-28 21:46
你搜索下omv+mergerFS 呀。 肯定可以，不过要装omv-extras，而且名字变成了unionfilesystem ...

thx，等有时间再折腾了

MatthewLXJ

太强了...7T83的NAS。
之前尝试过TrueNas scale和core做全机械纯存储的NAS，尝试搭配CX3 pro 40G eth + 8盘RAIDZ提速，在没有SSD的情况下性能也太惨了...单纯拿去刷刷PT lz4也作用不大，关键偶尔还会卡I/O导致PT掉速，转了一圈又回到了单盘JBOD，配合WIN Server支持RDMA的SMB局域网速度也还不错。

jerrytsao

T.JOHN 发表于 2022-3-28 20:10
是的，我是用默认128KiB做的测试，看来应该是recordsize差异造成的测试结果不同。
看来1MiB确实非常适合 ...

连上12900K默认+Z690 Formula的AQC113, 未作任何巨帧等优化Windows 11初步跑10GbE SMB, 我觉得还是用回LZ4吧...

blackbeardever

J叔大作，收藏了慢慢消化

jerrytsao

leeosx 发表于 2022-3-26 23:53
大佬。我全默认设置 18个18t...为啥samba共享下面读写速度基本上就是600/200的样子raidz2...文件是单个60 ...

我PC上换到10GbE试了, 没有任何网络性能上的大问题, 就是1MiB+压缩会影响一点持续写入

tunluan

mark 感谢分享

sojoke

呵呵，这个牛哦，那么多硬盘，全部18t

yaoiverson

我也不知道该回复点啥  但是啥都不说也不好，只能我艹，牛逼

leeosx

感觉我的性能限制是不是因为用的是带背板扩展造成的。。

jerrytsao

kingkiss 发表于 2022-3-27 08:23
期待关于网络配置和测试的文章，我也组了个TRUENAS SCALE，全NVME固态池25G网卡SMB读取只能跑1.2G/S还很不 ...

有没有设primarycache=metadata, NVMe SSD建议等OpenZFS 3.0上线看DirectIO实际表现, 能真正绕过ARC/RAM

jerrytsao

MatthewLXJ 发表于 2022-3-29 09:10
太强了...7T83的NAS。
之前尝试过TrueNas scale和core做全机械纯存储的NAS，尝试搭配CX3 pro 40G eth ...

目前很多测试看下来, TrueNAS/Windows 11极限都在25GbE左右, 所以40G/100G往上没有两头都支持的RDMA是干不到的, 可以尝试下KSMBD

HDD回到单盘JBOD, 那还需要SMB Direct的网络? 你如果设置了SSD Special Vdev肯定不会慢的, 我这HDD Pool随机性能直接变SATA SSD

sunneyboy

J大佬，我的nas10块6T HDD，8块sata ssd 1.46T，池建议怎么创建能保证性能。谢谢

crye

膜拜大佬，看的我热血沸腾，无奈钱包不给力

jerrytsao

sunneyboy 发表于 2022-3-31 05:26
J大佬，我的nas10块6T HDD，8块sata ssd 1.46T，池建议怎么创建能保证性能。谢谢

建议弄2-3个960GB或1.92T DWPD=1的数据中心NVMe SSD镜像组那个Special Vdev, SATA SSD的话怎么说呢, 还是单独组个池吧

sunneyboy

jerrytsao 发表于 2022-3-31 10:16
建议弄2-3个960GB或1.92T DWPD=1的数据中心NVMe SSD镜像组那个Special Vdev, SATA SSD的话怎么说呢, 还是 ...

组Special Vdev性能会提升吗？ 同平台TrueNAS SCALE比CORE慢了很多

dominicchen

J大，问下，GEN8能装这个TrueNAS SCALE 么？能不能装在U盘上？还是必须装在SSD上呢？

明石的果汁

我也装了一个True nas  用了 12T*36  480G*2 系统   双万兆做的BOND 标准浪潮服务器来弄的。用于商用备份
SMB/NFS/ISCSI 我都在使用，都还行，ISCSI 不兼容esxi 的 VMFS 6 ,挂不上，我看国外也有好多报错，最后只能降级到5。主页报错过一次，进不去，SSH 提前开了，一个命令就能修复，其他稳定性都还行。

leavelost

jerrytsao 发表于 2022-3-31 10:16
建议弄2-3个960GB或1.92T DWPD=1的数据中心NVMe SSD镜像组那个Special Vdev, SATA SSD的话怎么说呢, 还是 ...

向LZ求助，新买的9405W-16i，刷了最近的P22 mix固件，接了P4510的4T盘(也是最近固件0184），跑分不正常，不知有啥解决思路吗？
帖子地址：https://www.chiphell.com/forum.p ... ;extra=#pid49588494