TrueNAS Core vs Scale怎么选？

nardow12

现在大致上硬件已经准备的差不多了，但有点不确定在TrueNAS Core和Scale里怎么选
硬件大致上会用:
E5 2650v4 12核, 4x32GB ECC, X99
磁盘上会用4-6块18TB的HC550

但对于TrueNAS和ZFS仍有几个问题，想请教一下大家


关于磁盘RAIDz的问题：
不确定目前Core或者Scale中所带的版本是否支持后期vdev扩容，以及如果ZFS要做加硬盘vdev扩容的话是否是一个耗时长有风险的活动
如果扩容可以并且风险不高的话我可能会选RAIDz1 3+1或者z2 2+2之后再扩1-2块盘，但如果耗时长风险高的话可能就稍微晚一点装机加点预算再买两块盘（目前手上有4块了）
另外好像在URE/Unrecoverable Read Error方面ZFS似乎比传统RAID5有优势，如果有一块盘坏了在重建中遇到单一URE只影响URE本身影响的文件而不是全部数据，不知道这个信息是否正确？如果URE影响确实是只影响单一文件的话，我个人更倾向组RAIDz1（重要数据会有另一个NAS用两块HGST 10TB企业盘RAID1储存），因为硬盘都是很新的企业盘，坏两块盘的概率不是那么高

关于Core/Scale：
似乎外网的评价是Core稳如狗，但是Scale不遇到问题的话因为是Linux所以对于VM什么的支持更好
目前的计划用途主要是储存，多媒体（Plex, 最多同时1个4K或者两个1080），同时做一个** HOST（我是远程工作，在其他城市的话用路由可以连回家里的网络就不用跟公司报备了）
会跑一两个小VM和几个Docker
不知道各位建议是Core还是Scale，以及如果ZFS储存弄好了，以后只是从Core改到Scale或者Scale改Core容易吗？


最后是多媒体解码：
应该是搞Plex转码，最多是同时一个4K或者两个1080P
GPU的话现成的有RTX 3060，有一块待修的GTX 1080，或者可以搞一块Intel A750/770，Intel这个虽然现在Linux和FreeBSD好像支持不行但是本身多媒体很强大，不知道A7xx是否比3060更适合

chnfeeeeeef

这套功耗不低啊

guitengyue

你要跑docker，那就是scale

guitengyue

个人建议，存储就光光存储吧，转码的话另外架设系统；
真要搞的话，底层esxi，阵列直通truenas，显卡直通win搞转码
truenas对阵列卡直通支持的还是很好的，不像某晖，sata口还是王道
反正x99的pcie很充裕

Victor.dou

对小文件性能有要求装Core，其他装Scale。

新增vdev是即时完成的，而且目前truenas UI 都不支持扩容vdev。
zfs扩容可以这么搞：搞2个vdev，里面塞不同容量的硬盘。 (我没那么多硬盘，拿虚拟机搞得）


ZFS硬盘能够在任何支持ZFS文件系统中导入，不论什么系统，支持ZFS就行（其实zfs也有版本兼容设置，搜索 zpool-features(7)）

Core 解码需要虚拟机直通显卡。

Scale 试过N+I都没啥问题，直接用。

附送一个ZFS中文资料，一个大学生写的，写的很好。 https://www.wolai.com/littlenewton/gJvungs54zWgZ3YfoXAvKW#bQG4egY7f7bDS2j7yAsSCD

多崎作

不嫌弃麻烦的话，esxi或pve底层，直通阵列卡和网卡给TrueNAS Core当纯存储系统，然后Debian或者乌班图直通GPU安装docker和媒体服务器，虚拟机再在esxi或pve直接创建。

kkrace

要用Plex, 跑Docker 没有其它选择只有Scale.  Scale只是在磁盘性能上略弱一些。你可以先装Core试试。不合适再升级成Scale都可以。但不能再返回去了。
ZFS 你可以选择N+2， 一次性配足，后期在Zool里是无法再扩展了。当然你也可以建二个Zpool 但这种情况数据写入就不会自动分配磁盘，而且你用N+1这种方式。任何一个Pool 坏二块全挂。

解码建议整个3050 插上。或者用3060也行。Intel Arc 驱动是个**烦。

tenl

都说要跑docker了，还用选择吗？ 必须Scale啊。
扩容的话，后期scale肯定支持，不过不知道要等到什么时候。

WHOISCHARLIE

用VM和Docker的话，就只有Scale了

softz

关于磁盘RAIDz的问题：ZFS扩容是个麻烦事，有能力一步到位，否则也别指望能轻松扩容，另外，我得NAS跑的是Scale，data1/58.6T，data2/58.6T，data3/48.3T，都是RAIDz1，没放数据之前，R2和R3我都创建过，实测磁盘IO下降的比较厉害，就看你想要容量和安全，还是想要读写速度了，我选择的是后者
关于Core/Scale：你要跑Docker和VM，我只建议选择Scale，要注意Scale的Docker官方不支持ipv6，要曲线救国实现
多媒体解码：搞一块N卡然后直通就好

PS：TrueNAS Scale的VM性能非常一般，我是强烈不建议在Scale的VM上跑Win系列，也许跑跑Linux还行

testcb00

要用Docker行的服务 可以用 Jail 搭建吧
Plex/Jellyfin 还是用 VM + 显卡直通吧

5jwoj

https://www.youtube.com/watch?v= ... A%E5%91%BD%E5%90%8D
可以参考一下这个。

氧化李

建议不做 All-in-One，可以考虑 Application Server + Storage Server 的组合。

TrueNAS 如果没有特别的需求，用 Core 吧，后期 Core 的核心会慢慢切到 Scale 的核心上。
  - 存储建议一步到位，别折腾扩展了，太麻烦。
多媒体，建议 Plex Media Server 单独放到 Application Server 上，再扩展几个其它服务，这样灵活性会大很多。

Juzi丶

为什么要转码？
是要在PSP上播片还是在手表上看黄片

Juzi丶

而且vdev扩容不会增加利用率，比如5盘的z1空间为57%左右扩容为12盘的利用率应该为73%左右，但是在重写扩容后的整组vdev之前空间利用率是不会到达73%的

MolaMola

zfs的扩容，要不就是增加一个vdev，就是再搞一套raidz2（当然可以用别的配置），但有上面说的利用率问题，虽说接下来的使用会动态平衡，但原本存好的内容没法自动享受raid0的待遇；要不就是把原来的raidz2每一张盘都换成更大容量的盘（这个方案超级费时费力但也还算安全）
core很稳但个人用我觉得不会用出啥差距，所以推荐兼容和方案都更全的scale，资料分享啥的都好找一些

杰迪武士

我两个版本都在用，我的意见是纯存储就用core，要用显卡解码就用scale，存储池在两个版本中可以自由无损导入

现阶段两个版本都不用考虑vdev加硬盘动态扩容的事，这个feature遥遥无期，所以初期建pool的时候要规划好。四颗盘还是建议用Z1

foxever

支持 楼上exsi +truenas core硬盘直通的方案。

另外，还有一个all in boom方案。性能没太大要求的话可以把轻量服务跑在软路由上。
intel新出了i3 N300系列的cpu。可以上个软路由，底层用pve/esxi，内存最大好像可以上到32G，可上双nvme硬盘。

上面虚拟机跑
1.openwrt主路由
2.linux虚拟机跑docker和威屁恩（考虑wireguard吧）。
3.GPU直通给另一个windows/linux   guest，跑plex转码。

525165

Victor.dou 发表于 2022-12-27 15:31
对小文件性能有要求装Core，其他装Scale。

新增vdev是即时完成的，而且目前truenas UI 都不支持扩容vdev。 ...

哈哈，作者是PhD，不过也算是大学生

foxever

525165 发表于 2023-2-4 18:06
哈哈，作者是PhD，不过也算是大学生

怎么看出来是PhD的？   

在看他写的两篇文章的时候还在想，现在的本科生文档写的太溜了，配图，文字都很舒服。

catabao

guitengyue 发表于 2022-12-27 15:05
个人建议，存储就光光存储吧，转码的话另外架设系统；
真要搞的话，底层esxi，阵列直通truenas，显卡直通wi ...

转码的话另外架设系统

请教这个该如何操作？

liusha1010

Victor.dou 发表于 2022-12-27 15:31
对小文件性能有要求装Core，其他装Scale。

新增vdev是即时完成的，而且目前truenas UI 都不支持扩容vdev。 ...

scale用什么显卡？n卡可以不？

hanyou7

杰迪武士 发表于 2023-1-3 11:14
我两个版本都在用，我的意见是纯存储就用core，要用显卡解码就用scale，存储池在两个版本中可以自由无损导 ...

日常哪个为主呢？

goat

虽然知道会找人打，但是考虑慢慢加盘还是避开zfs为妙。这东西最好一步到位，后期扩也是替换所有增容。

hanyou7

goat 发表于 2023-8-5 17:18
虽然知道会找人打，但是考虑慢慢加盘还是避开zfs为妙。这东西最好一步到位，后期扩也是替换所有增容。 ...

出了加盘不方便 其他挺好啊

huanghetv

哇，学习了。。一直没有这样看过

kkrace

跑Docker 和VM 那只能选Scare， Scale也稳如老狗。只是在磁盘绝对性能上还是略输与Core，另外Core可以无缝升级成Scale，但Scale确不能降为Core。
关于ZFS， 6块的话做z1，后续你加盘的话容量完全一致的情况是可以加到现在的Storage里，加入的速度非常快，但如果容量不同，那可能另外建一个Storage了。ZFS内存最好是ECC，大内存对磁盘性能有蜜汁加成。

杰迪武士

hanyou7 发表于 2023-8-5 16:05
日常哪个为主呢？

主力存储在core，虽然只有32G内存

zleepp

多崎作 发表于 2022-12-27 15:31
不嫌弃麻烦的话，esxi或pve底层，直通阵列卡和网卡给TrueNAS Core当纯存储系统，然后Debian或者乌班图直通G ...

非常支持此看法，我就是踩了很多坑，最终差不多就是这种方案

hanyou7

杰迪武士 发表于 2023-8-5 22:56
主力存储在core，虽然只有32G内存

core的硬件支持还是不如linux好 在三代双路志强上 scale反而比core性能好点。。