关于存储系统的选择

闲痴 · 发表于 2023-7-5 15:02

本帖最后由闲痴于 2023-7-6 22:38 编辑

之前数据一直是在自己电脑上，看各位大佬玩NAS心痒，最近就准备上一台服务器，硬件已经攒好了，但系统上有点犯难
目前考虑的是PVE作为宿主机，硬盘直通给一台虚拟机专门负责管理存储安全与共享，网盘等外围服务全部在另一台虚拟机通过挂载存储池获得数据与空间

现在在负责管理存储的系统选择上有犹豫，我不希望将数据条带化，更倾向于单盘保存，但需要数据的定期完整性校验，最好能有数据快照，对在线率没有要求，但对安全性要求比较高
不要说备份，我也知道备份很好很重要，但受限于钱包和数据量真做不到全部数据异地备份，只能把最核心的一部分数据靠网盘备份，其他的只能尽量在一台机器上实现冗余，总比连冗余校验都没有来得强。
在自己电脑上我是用的snapraid，也考虑过要不要直接debian挂载单盘然后继续用snapraid，但这样就没有快照等高级功能，而且有点浪费捡来的256G内存，考虑过trueNAS，但raidZ必须要多个大小一致的盘，而且也条带化也会增加数据风险，带来的性能优势又是我不太需求的
想象中最理想的方式可能是结合ZFS和snapraid的特点，底层使用ZFS单盘提供快照和校验，并且能利用上大内存缓存，同时通过snapraid进行冗余，即使损坏超过冗余也不会损失整个阵列，但不知道trueNAS是否支持这样使用

目前的硬件配置：
CPU：7D12
主板：krpa-u16
内存：256G 2666 ECC
网卡：X520-DA1 万兆光模块
电源：HG650
机箱：define r6
硬盘：8T x1
14T x1
16T x2

mqwxp · 发表于 2023-7-5 15:04

机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

momo77989724 · 发表于 2023-7-5 15:26

不浪费现在内存不值钱使劲塞好了

阿崔 · 发表于 2023-7-5 15:46

想用快照+arc还要snapraid冗余的话，直接PVE里面zfs就好了。每个都是单盘的zvol挂给你跑snapraid的系统就行了。虚拟化的TrueNAS性能还是有损失的。

蓝色星芒 · 发表于 2023-7-5 15:52

个人widnows 2022，hyperv+3台存储用的虚拟机，三台都是debian，分别是中资源的omv+nextcloud，一台高资源跑docker（数据库什么的），一台低资源跑docker（控制器，监视器等）
然后2022上装个nc的终端，同步到另一块硬盘。nc的数据盘可以通过omv做各种共享。
还有一个vm是win10，用来跑各种软件。2022上只有必备的服务类型软件，其它一律进入虚拟机

闲痴 · 发表于 2023-7-5 16:21

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

想法很好，但简单来说就是穷

闲痴 · 发表于 2023-7-5 16:21

momo77989724 发表于 2023-7-5 15:26
不浪费现在内存不值钱使劲塞好了

不仅是内存，而且也确实馋写时拷贝之类的高级特性，再说内存都装上去了不用也是浪费

闲痴 · 发表于 2023-7-5 16:22

蓝色星芒发表于 2023-7-5 15:52
个人widnows 2022，hyperv+3台存储用的虚拟机，三台都是debian，分别是中资源的omv+nextcloud，一台高资源 ...

OMV好用么？之前有听说过但没怎么了解，大家也不怎么提

闲痴 · 发表于 2023-7-5 16:25

阿崔发表于 2023-7-5 15:46
想用快照+arc还要snapraid冗余的话，直接PVE里面zfs就好了。每个都是单盘的zvol挂给你跑snapraid的系统就行 ...

PVE原生支持ZFS么？宿主机感觉尽量少功能比较好，所有功能都放虚拟机或者容器里
trueNAS直通硬盘后主要就是CPU性能低一些吧？如果这样倒还好，反正7D12本来就有点过剩的

蓝色星芒 · 发表于 2023-7-5 16:25

本帖最后由蓝色星芒于 2023-7-5 16:27 编辑

闲痴发表于 2023-7-5 16:22
OMV好用么？之前有听说过但没怎么了解，大家也不怎么提

OMV现在对我的作用就是，创建nc所用的磁盘，并且做共享，同时有wireguard什么的，方便。其实可以算做是网页版的且主要做共享的debian

最开始是pve，但是有一点，pve的话，每块硬盘要加到对应的vm去，否则就只有所有硬盘作为池，也就是条带化了。而且不少软件尤其是htpc来用的话，pve不方便，所以我还是2022了，连了线到电视机，既可以jellyfin网络，也可以直接播

YsHaNg · 发表于 2023-7-5 17:01

不在乎性能 unraid

闲痴 · 发表于 2023-7-5 17:32

YsHaNg 发表于 2023-7-5 17:01
不在乎性能 unraid

unraid不带完整性校验，这个不能接受

YsHaNg · 发表于 2023-7-5 17:43

闲痴发表于 2023-7-5 09:32
unraid不带完整性校验，这个不能接受

我以为它是有的 btrfs+效验盘

jimmyjin · 发表于 2023-7-5 17:53

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

雷电的直通网络被微软和intel做得像一坨屎

uuyyhhjj · 发表于 2023-7-5 18:05

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

等10T SSD价格到1000以内再说，至于网卡有RDMA短时间根本看不到要淘汰的样子，再来个10年都没问题

zzc02063 · 发表于 2023-7-5 18:25

战马

闲痴 · 发表于 2023-7-5 18:31

YsHaNg 发表于 2023-7-5 17:43
我以为它是有的 btrfs+效验盘

至少年初的时候研究unraid是不行的，有btrfs+的校验，有冗余盘，但这两个不能联动，只能查错不能用冗余去修复

阿崔 · 发表于 2023-7-5 19:44

闲痴发表于 2023-7-5 16:25
PVE原生支持ZFS么？宿主机感觉尽量少功能比较好，所有功能都放虚拟机或者容器里
trueNAS直通硬盘后主要就 ...

PVE原生支持ZFS都好多年了，可以直接用ZFS特性给虚拟机做快照什么的，和LVM、Ceph一样都是官方推荐的存储环境之一。功能放虚拟机/容器没错，但是磁盘存储可是基础设施，你只要别把SMB之类的共享放在PVE里就好了。虚拟TrueNAS的主要问题是虚拟化pcie设备和内存之间通信的延迟相比非虚拟化部署差至少一个量级，造成随机访问性能下降非常非常严重，连续访问也会有一定损失。

rx_78gp02a · 发表于 2023-7-5 19:59

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

雷电怎么做到多人共享，同时存取？线长也是问题

Aapejiang · 发表于 2023-7-5 20:04

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

长远看雷电速度不够吧，mellanox的拆机卡40G那款理论速度就跟雷电4持平了，成本几十块

闲痴 · 发表于 2023-7-5 21:27

阿崔发表于 2023-7-5 19:44
PVE原生支持ZFS都好多年了，可以直接用ZFS特性给虚拟机做快照什么的，和LVM、Ceph一样都是官方推荐的存储 ...

明白了，多谢，我在测试环境试一下这个方案看看

Misyo · 发表于 2023-7-5 21:46

闲痴发表于 2023-7-5 18:31
至少年初的时候研究unraid是不行的，有btrfs+的校验，有冗余盘，但这两个不能联动，只能查错不能用冗余去 ...

现在最新版支持ZFS

YsHaNg · 发表于 2023-7-5 21:54

闲痴发表于 2023-7-5 10:31
至少年初的时候研究unraid是不行的，有btrfs+的校验，有冗余盘，但这两个不能联动，只能查错不能用冗余去 ...

是要手动从备份恢复受损文件不够自动化看起来还不如群晖的自动数据巡检方案 https://blog.synology.com/how-da ... nst-data-corruption

Every time data scrubbing is conducted, the file system will recalculate the checksum and compare it with the previously stored data checksum. Meanwhile, the data checksum will cross-check its corresponding metadata checksum to make sure the data checksum itself is intact. In other words, if the recalculated checksum does not accord with the data checksum, a cross-check with its metadata checksum will be followed to see whether it is the file or data checksum that goes wrong. Once data corruption is detected, the system will try to repair the corrupt data by retrieving the redundant copy (RAID 5).

tankren · 发表于 2023-7-5 21:55

在CHH不搞个量子计算机做NAS说不过去

ONEChoy · 发表于 2023-7-5 21:56

Aapejiang 发表于 2023-7-5 20:04
长远看雷电速度不够吧，mellanox的拆机卡40G那款理论速度就跟雷电4持平了，成本几十块 ...

咋这么容易跟着节奏走呢雷电是啥狗屁啊桌头到桌尾都不够长比啥？带宽400g都是狗屁

mqwxp · 发表于 2023-7-6 08:48

Aapejiang 发表于 2023-7-5 20:04
长远看雷电速度不够吧，mellanox的拆机卡40G那款理论速度就跟雷电4持平了，成本几十块 ...

雷电很多主板自带，CPU原生支持，普及只是时间问题

Aapejiang · 发表于 2023-7-6 15:01

ONEChoy 发表于 2023-7-5 21:56
咋这么容易跟着节奏走呢雷电是啥狗屁啊桌头到桌尾都不够长比啥？带宽400g都是狗屁 ...

倒没这么不堪。。。苹果还在用AQC的10G电口，换雷电4网桥提升很大了，跑sn640这样的3.0固态刚刚好。
下半年DIY个全闪NAS放桌上，0.8米的雷电线接Mac就够了。再插个CX4121A的双口25G接PC和交换机。

lucifersun · 发表于 2023-7-6 15:06

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

雷电直连，那是DAS还是NAS？

Aapejiang · 发表于 2023-7-6 15:21

mqwxp 发表于 2023-7-6 08:48
雷电很多主板自带，CPU原生支持，普及只是时间问题

1. 40G上限太低了，100G的CX5洋垃圾可以期待一下

2. 线短+贵
3. 跟数据中心的光口方案比起来是消费级vs企业级

rx_78gp02a · 发表于 2023-7-6 15:45

lucifersun 发表于 2023-7-6 15:06
雷电直连，那是DAS还是NAS？

就一大号U盘

账号		自动登录	找回密码
密码			加入我们

[存储] 关于存储系统的选择