告别单盘组建TrueNAS SCALE终极家用OpenZFS File Server, VM & More

jerrytsao

sunneyboy 发表于 2022-3-31 12:48
组Special Vdev性能会提升吗？ 同平台TrueNAS SCALE比CORE慢了很多

我原贴里已经详细解释了啊...还有那最后那个CDM随机读写

jerrytsao

dominicchen 发表于 2022-3-31 13:18
J大，问下，GEN8能装这个TrueNAS SCALE 么？能不能装在U盘上？还是必须装在SSD上呢？ ...

和是不是Gen 8没关系, 最好单独SSD做Boot

jerrytsao

明石的果汁 发表于 2022-3-31 15:29
我也装了一个True nas  用了 12T*36  480G*2 系统   双万兆做的BOND 标准浪潮服务器来弄的。用于商用备份
S ...

3个12盘Pool? 还有个Pool做啥用, 2*10GbE速度如何?

jerrytsao

leavelost 发表于 2022-3-31 20:19
向LZ求助，新买的9405W-16i，刷了最近的P22 mix固件，接了P4510的4T盘(也是最近固件0184），跑分不正常， ...

https://www.chiphell.com/thread-2316899-1-1.html
https://www.chiphell.com/thread-1819639-1-1.html

关于这个问题我之前有说过好多次, Broadcom(LSI)这类HBA卡依然需要走SOC芯片, 并不适合PCIe NVMe SSD, 跑不满很正常

你需要的是超微Retimer拆分卡, 如Gen 4的AOC-SLG4-4E4T/AOC-SLG4-2E4T, 或Gen 3的AOC-SLG3-4E4T和AOC-SLG3-2E4T, 服务器上都用这种

HomeLab日常可以用我首页那种SZ产转接卡拆分PCIe Gen 4 x4/x4或者x4/x4/x4/x4, 这也是最直通最无损耗的方式

etfgert

太强了J叔，先收藏了

明石的果汁

jerrytsao 发表于 2022-4-1 02:22
3个12盘Pool? 还有个Pool做啥用, 2*10GbE速度如何?

对，12盘一个组，最后一个组还未使用，速度没做测试，很快就拉完了，跟商用的华为集中存储也差不了太多，当然取决于组内盘的数量。 比较遗憾的就是不支持VMFS6，VMFS5单盘最大上线64T，这个问题一直没解决，不知道你那边有测试过没。 还有就是稳定性，家用肯定够，但是跟商用的比还是差点意思，商用的集中存储都是双控，多路径，挂任何一个，包括升级，都是无停机，无切换的，Truenas我没找到双机的方案，不停应用，写入状态，如果挂了会很麻烦。

houyuzhou

膜。。。膜拜j叔
我觉得还是买个dell服务器走传统硬raid简单一些。。。。

jerrytsao

明石的果汁 发表于 2022-4-1 09:15
对，12盘一个组，最后一个组还未使用，速度没做测试，很快就拉完了，跟商用的华为集中存储也差不了太多， ...

我肯定没有这种需求...你这种我觉得上Ceph啊

voandrew

我去。。。8条64G内存！！！！！！！！我服了

T.JOHN

明石的果汁 发表于 2022-4-1 09:15
对，12盘一个组，最后一个组还未使用，速度没做测试，很快就拉完了，跟商用的华为集中存储也差不了太多， ...

你这和操作系统没关系，需要硬件级别的支持，参考PEX芯片的备份双控方案，起码在CHH我还没见过这种硬件

sunhaine

请教下,三星DDR4 3200 ECC内存去哪里买比较靠谱呢

chestermax

太可怕了，LZ的拉满和我想象中的拉满完全不同

LightningWu

NB收藏了，以后要搭建前先认认真真看一遍

magiclu

我用的windows系统装的snapraid，没觉得单盘速度不够用
bt下载和看视频完全够了
zfs再牛 运气不好也是能团灭的 速度的提升你也感觉不出 跑分除外

jerrytsao

sunhaine 发表于 2022-4-1 11:46
请教下,三星DDR4 3200 ECC内存去哪里买比较靠谱呢

TB/海鲜市场找呗

nlnjnj

帮顶下顺便也交个作业，很多参考了您的选择

https://www.chiphell.com/forum.php?mod=viewthread&tid=2404734

crystone

进来围观大户人家

jerrytsao

nlnjnj 发表于 2022-4-2 11:17
帮顶下顺便也交个作业，很多参考了您的选择

https://www.chiphell.com/forum.php?mod=viewthread&ti ...

666666   

weston

膜拜楼主，真的牛逼

Security

T.JOHN 发表于 2022-3-28 17:21
如果实测LZ4比ZSTD还好的话，那肯定用LZ4了，虽然这个结果和我测得不一样。

是否支持多线程取决于Truena ...

如果储存大量虚拟机的qcow2和快照，lz4 + RecordSize 8K + dedup 更合适吧 ？

T.JOHN

Security 发表于 2022-4-5 13:09
如果储存大量虚拟机的qcow2和快照，lz4 + RecordSize 8K + dedup 更合适吧 ？

理论上是这样，不过dedup开起来内存(GB):存储(TB)可能需要3:1

jerrytsao

2022-04-06 Update 40GbE

因为有了sunneyboy的这个SCALE vs CORE帖子, 开始折腾之前扔在垃圾堆N年的"古董级"网卡


由于之前两块ConnectX-4 VPI MCX456A-ECAT 2*100GbE Lenovo OEM(4年前的测试见此)不知为何闲置着就挂了

反倒是更早eBay买的ConnectX-3 Pro VPI MCX354A-FCCT 2*40GbE还活着, 只能先将就用着



一上机发现网卡显示不出来, 但是Shell里输lspci能看到设备, Google后发现大概率是端口类型默认是IB的原因

突然想起来上次用mlxconfig改过端口是坏掉的100G, 这两块40G之前只在Windows下改过端口类型, 但并没有用mlxconfig修改并写入EEPROM

果断拔下插到Windows, 下载安装MFT(Mellanox Firmware Tools)工具包, 输入mlxconfig命令修改默认VPI(InfiniBand)为ETH(Ethernet)

1. mlxconfig -d mt4103_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

复制代码

另外其实默认不改端口也可以显示出来, 就是需要在系统设置->高级里的Sysctl添加Variable, 和FreeBSD TrueNAS CORE下Tunables是一个道理

不过还是建议上面直接EEPROM里写入以太网的方法兼容性更好

1. sys.device.mlx4_core0.mlx4_port0 = eth
   
2. sys.device.mlx4_core0.mlx4_port1 = eth

复制代码

mlxconfig改完后重新插上就可以在TrueNAS SCALE自动显示40G ETH网卡了



手上DAC铜缆只有两条HPE OEM 845406-B21, 对应Mellanox MCP1600-C003 3米, 意外发现QSFP28 100G线材也能用在QSFP+ 40G端口上

由于QSFP+ 40G, QSFP28 100G, QSFP56 200G, QSFP-DD 400G以及QSFP-DD800 800G都采用了相同大小规格的收发器, 线缆向后兼容也并不意外



在Windows的MCX354A网卡上设置单独的网关10.0.0.X和IP 10.0.0.X, 并在TrueNAS端MCX354A改IP地址为10.0.0.X, 即可握手40GbE



如此就可以做到PC和TrueNAS之间走40GbE, 同时不影响PC和TrueNAS已有的10GbE和局域网内其它设备以及WAN外网的互联

这个时候在这台PC上可以通过两个IP地址进入TrueNAS Dashboard, 默认10GbE通过交换机的192.168.X.X, 以及网卡之间互插的10.0.0.X



我这边TrueNAS SCALE HDD 2*Z2 40GbE SMB测出来的极限为27GbE, 毕竟不能和多年FreeBSD优化相比, 加上Win本身的限制, 不过会慢慢会优化的



CDM v8.0.4跑1GiB(SMT On), Special Vdev提升整个HDD Pool部分随机性能>SATA SSD, 在没有RDMA的情况下算是不错了

[Read]
  SEQ    1MiB (Q=  1, T= 1):  2242.112 MB/s [   2138.2 IOPS] <   467.34 us>
  SEQ    1MiB (Q=  8, T= 1):  3196.626 MB/s [   3048.5 IOPS] <  2615.14 us>
  RND    4KiB (Q=  1, T= 1):    80.535 MB/s [  19661.9 IOPS] <    50.75 us>
  RND    4KiB (Q= 32, T=16):   435.586 MB/s [ 106344.2 IOPS] <  4803.52 us>

[Write]
  SEQ    1MiB (Q=  1, T= 1):  1176.851 MB/s [   1122.3 IOPS] <   890.14 us>
  SEQ    1MiB (Q=  8, T= 1):  1669.667 MB/s [   1592.3 IOPS] <  4985.51 us>
  RND    4KiB (Q=  1, T= 1):    46.335 MB/s [  11312.3 IOPS] <    88.27 us>
  RND    4KiB (Q= 32, T=16):   143.955 MB/s [  35145.3 IOPS] < 13889.98 us>

[Mix] Read 70%/Write 30%
  SEQ    1MiB (Q=  1, T= 1):  1746.924 MB/s [   1666.0 IOPS] <   599.57 us>
  SEQ    1MiB (Q=  8, T= 1):  2363.504 MB/s [   2254.0 IOPS] <  3541.11 us>
  RND    4KiB (Q=  1, T= 1):    49.138 MB/s [  11996.6 IOPS] <    83.01 us>
  RND    4KiB (Q= 32, T=16):   177.827 MB/s [  43414.8 IOPS] < 11661.94 us>

TrueNAS SCALE HDD 2*Z2 -> PC拷贝88GB的数个大视频文件, 平均在2.4GB/s上下, 为消除任何Q1T1读写瓶颈PC端采用的磁盘是P5800X 1.6TB



PC -> TrueNAS SCALE HDD 2*Z2拷贝88GB的数个大视频文件, 1MiB Record Size + LZ4实时压缩导致速度稍慢, 平均在1.4GB/s上下



这一波测试之后机器应该不会移到弱电箱而是在书房待着了, 接下来准备换上200GbE互联折腾RDMA和NVMe-oF Target/Initiator Offloads

594WEH米奇林

聽說 阿凡達 的 CG動畫渲染 存儲空間超過1PB
樓主大約可裝進半部
看過伺服器裝2.5吋的SSD有裝到24顆
但3.5吋還是第一次看到有這麼多 每顆容量還是18TB

magicq

Smartcraft 发表于 2022-3-26 22:34
能启用RDMA需要点挺多的。
- 如果是RoCEv1， Ethernet Switch需要支持FPC。
- 如果是RoCEv2， Switch/Rou ...

大佬，群辉6.2.3支持rdma吗

hanlongjay

哇哦 哇哦 太赞了 解释了很多疑问

siyiye

nas大神

Smartcraft

magicq 发表于 2022-4-6 10:07
大佬，群辉6.2.3支持rdma吗

不清楚！
如果是SMB共享文件协议：
Windows Server 2019及以上都支持RDMA。
如果是linux，好像samba还在开发中。《https://samba.plus/fileadmin/proposals/SMB-Direct.pdf》

但是无所谓了。如果想获得更高吞吐磁盘系统，请搜索NVMe over RDMA。

Smartcraft

@jerrytsao，200GbE需要在NVMe target上叠SSD RAID的了吧。Intel平台有VROC RAID0可以使用。但是我测试的时候仅能使用Intel自己的SSD（intel已经把自己SSD厂卖了）。而且一般的主板没有 intel VROC key插槽。所以无法使用其他RAID模式。

jerrytsao

Smartcraft 发表于 2022-4-6 22:38
@jerrytsao，200GbE需要在NVMe target上叠SSD RAID的了吧。Intel平台有VROC RAID0可以使用。但是我测试的时 ...

没用过VROC那垃圾...两块P5800X 1.6TB在TrueNAS内建一个单独的SSD Pool, 然后可以试试primary cache=metadata

两块Stripe Barebone极限持续读写混合带宽在15GB/s左右, 100GbE稍微不够点, 200GbE理论余量就很多了



接下来准备做的测试是Zvol做Linux NVMe-oF Target, 效率还不错的StarWind Windows NVMe-oF做Initiator

不过在OpenZFS 3.0的DirectIO到来之前, NVMe SSD在ZFS上的表现不用期望太多