群晖上，只是备份重要数据的话，选ext4还是btrfs？

weiweiwitch · 发表于 2024-7-13 15:30

我之前一直选ext4。原因就是群晖坏了，我可以将硬盘放到Ubuntu的台式机里面转移数据。另外就是ext4相当的成熟了，而btrfs比较新，而且btrfs我不熟，不知道要怎么搞。

但是今天给群晖加硬盘。看到btrfs后，我稍微去了解了下。
然后看到btrfs有校验和，能防止静默数据错误。这个让我很心动。毕竟照片啊，电影啊啥的，肯定不希望放N年后出现损坏。
然后静默数据损坏，备份也解救不了，毕竟源坏了，备份的数据一起坏。然后备份时校验的话，大容量数据的代价太大了。不可能几十T的数据每次备份都校验一遍。

那么，如果只是备份大容量的重要数据，是否应该选择btrfs这个文件系统？

魔语者 · 发表于 2024-7-13 15:32

选RAID5 或者RAID10

Misyo · 发表于 2024-7-13 15:34

Mark一下，看讨论的结果

Evalyn · 发表于 2024-7-13 16:05

然后看到btrfs有校验和，能防止静默数据错误。

这玩意前提是你跑数据巡检，而且越复杂的文件系统才需要这玩意，说白了就是，btrfs为了快照这些功能，把整体文件系统可靠性拉下去了。然后又不得不加一个数据巡检去保证不出问题。有点像面多了加水水多了加面。

考虑你需不需要这些特性，不需要的话，simple is better。
现在企业级硬盘的误码率已经很低了，简单可靠的文件系统应对基础备份需求足够了。
如果你真要高可靠性，别指望一块盘或者什么FS能一劳永逸解决问题，多处备份才是王道。

pdvc · 发表于 2024-7-13 16:05

群晖2015年就上btrfs了，没听说出过什么问题。

备份重要数据要遵循321规则，不能指望一个分区格式

秋尘 · 发表于 2024-7-13 16:20

本帖最后由秋尘于 2024-7-13 16:25 编辑

Evalyn 发表于 2024-7-13 16:05
然后看到btrfs有校验和，能防止静默数据错误。

这玩意前提是你跑数据巡检，而且越复杂的文件系统才需要这 ...

群晖的说明：启用数据总和检查码以实现高级数据完整性：若要用 CRC32 总和检查码和写入时复制策略保护共享文件夹，可在创建共享文件夹时启用数据总和检查码以实现高级数据完整性。应用 CRC32 总和检查码可检查数据是否与最初写入时相同，系统将自动使用 RAID 冗余来修复损毁的数据。“写入时复制”功能有助于提高系统异常关闭时的数据一致性。
注：
此选项仅适用于使用 Btrfs 文件系统的存储空间。
可在各共享文件夹创建时启用/禁用此选项。一旦共享文件夹创建后，此选项将无法修改。
启用此选项可让系统执行全面数据清理。了解更多关于数据清理的信息
为确保服务质量，建议在将共享文件夹用于以下服务时，不要启用数据总和检查码：
托管数据库或虚拟机
存储 Surveillance Station 录制的视频
运行需要小型和随机写入模式的服务
注意: 为确保服务质量，若符合以下情景，建议您不要启用数据总和检查码,
在此共享文件夹中托管数据库或虚拟机
在此共享文件夹中存储 Surveillance Station 录制文件
使用 Active Backup for Business 代理程序备份整台 Synology NAS

这玩意是什么原理，会这么大地影响小文件性能吗？

对性能影响实际上有多大？

Evalyn · 发表于 2024-7-13 16:29

秋尘发表于 2024-7-13 16:20
群晖的说明：启用数据总和检查码以实现高级数据完整性：若要用 CRC32 总和检查码和写入时复制策略保护共 ...

btrfs说白了青春版zfs
提供文件系统快照，写时复制（类似于zfs的dedup）提供块存储级别的去重。

这些功能都强依赖于CPU+内存，然后由于文件系统又集成了对块设备的管理（而不是传统文件系统基本只管理sector），导致复杂度上升厉害。
大量的CPU计算+内存拷贝在非ECC设备上很容易出现可观测到的Bit Error，所以又引入了块设备管理的RAID系统常用的定期数据一致性巡检（就是你说的校验和检查），这玩意本质就是数据读一遍，同时和校验数据做核对，以此保证数据完整性。

另外，ZFS推荐是1T存储配1GB内存，上不封顶。
zfs本身就是小白勿碰，btrfs我不建议任何不懂原理的人去用这玩意。群晖用这玩意甚至主推，只是它需要这玩意作为功能噱头以及SHR+btrfs绑你上车罢了。
和上云一个道理，上去容易下来难。

weiweiwitch · 发表于 2024-7-13 17:22

Evalyn 发表于 2024-7-13 16:29
btrfs说白了青春版zfs
提供文件系统快照，写时复制（类似于zfs的dedup）提供块存储级别的去重。

这么解释的话，的确是太复杂了。有点坑。
ECC的亏，我已经吃了好几次了。这文件系统的计算这么依赖ECC的话，那没有上的必要了。
不然就是捡了芝麻丢了西瓜。

秋尘 · 发表于 2024-7-13 17:42

本帖最后由秋尘于 2024-7-13 17:47 编辑

Evalyn 发表于 2024-7-13 16:29
btrfs说白了青春版zfs
提供文件系统快照，写时复制（类似于zfs的dedup）提供块存储级别的去重。

老哥的意思是，这个CRC校验码是在写入新文件的时候创建的，但是只会在检查数据一致性的时候被用到，因为对每个文件都要创建CRC校验码，所以对会产生大量小文件或者频繁写入的系统会造成明显负面影响，是这个意思吗？

老哥能提供启用这个校验对性能的影响的案例吗？网上很难找到讨论btrfs对性能的影响的文章。

YsHaNg · 发表于 2024-7-13 17:45

weiweiwitch 发表于 2024-7-13 09:22
这么解释的话，的确是太复杂了。有点坑。
ECC的亏，我已经吃了好几次了。这文件系统的计算这么依赖ECC的 ...

不用ecc。。。半年巡检一次设置定时没人用的时段 unraid曾经用过现在转投zfs 那玩意才是ecc强依赖

ANSANGLI · 发表于 2024-7-13 18:50

本帖最后由 ANSANGLI 于 2024-7-13 19:06 编辑

群晖的 btrfs 是2015~2016随 DSM 6 发布全面引入的，在这之前几年btrfs就已经能用于生产环境了。可以用，稳定性不错，我用了十年群晖了，一直是这样用没出现问题，半年做一次校验可以接受的。
尤其是SHR模式，可以用btrfs大大提高安全性。
另外提醒既然都用上了btrfs就不要用raid5，尽量用raid1, raid5有Write Hole问题。

nn1122 · 发表于 2024-7-13 19:02

都可以用，但群辉的很多特性只支持btrfs，数据损毁可以用ubuntu读取，在win下也可以用UFS软件读，包括群辉的RAID都可以读

goat · 发表于 2024-7-13 19:19

Evalyn 发表于 2024-7-13 16:29
btrfs说白了青春版zfs
提供文件系统快照，写时复制（类似于zfs的dedup）提供块存储级别的去重。

cow不是dedup

litguy · 发表于 2024-7-13 19:21

btrfs 20 年了

腿毛飘飘 · 发表于 2024-7-13 19:21

btrfs的性能非常糟糕。

zexin4 · 发表于 2024-7-13 22:17

btrfs，及空间，炸了，数据丢失一个盘的。。

jcd_chh · 发表于 2024-7-13 23:06

btrfs，如果不用，虚拟机、activebackup啥的都用不了

如果只存东西，历史更久的支持广泛的ext4很好

klxyy · 发表于 2024-7-14 10:03

其它不知道，只知道群晖BTRFS性能非常差

mosigan · 发表于 2024-7-15 14:22

weiweiwitch 发表于 2024-7-13 17:22
这么解释的话，的确是太复杂了。有点坑。
ECC的亏，我已经吃了好几次了。这文件系统的计算这么依赖ECC的 ...

听他瞎扯，btrfs和zfs有毛线关系，btrfs不靠谱的地方是它的卷管理，或者说它的阵列功能，群晖没用btrfs的阵列功能，只用了btrfs的文件系统功能，btrfs现在大部分linux发行版都支持了你说能用不。还有zfs所谓的1t配1g内存是做重复数据删除的情况下的要求，不开启这个功能的话内存需求并没有那么高，zfs性能大部分情况下也比btrfs慢，不过其开发时间比较早确实算得上先驱。

wei73 · 发表于 2024-7-15 16:50

Evalyn 发表于 2024-7-13 16:05
然后看到btrfs有校验和，能防止静默数据错误。

这玩意前提是你跑数据巡检，而且越复杂的文件系统才需要这 ...

兄弟有没有可能新的文件系统为了解决旧系统的问题，比如静默损坏，无法还原等问题而开发的呢？

啥叫可靠性下降了不得加校验？意淫也有个限度吧

weindy · 发表于 2024-7-15 18:00

只备份重要数据？再来一台冷备着。不然炸了啥格式都没用。

1dayPianist · 发表于 2024-7-16 00:08

用btrfs。

1. 最讨厌不懂还乱科普的。DSM会在读取文件时自动检查校验和，因此，即使不做data scrub，也不影响其有效。（当然还是建议定期做）

2. 快照！用了btrfs你才能有快照，设置好定期快照任务，一般的勒索病毒伤不了你。

greatXin · 发表于 2024-7-16 00:56

btrfs在存储池损毁时跑修复命令只需要remount成rw就行，方便不少

bxhaai · 发表于 2024-7-16 08:24

照片可以多备份几份，电影我个人感觉无所谓，丢了就丢了

不可思议 · 发表于 2024-7-16 09:29

我也是最早用的Ext4，当时考虑的和你一样，但是btrfs现在已经成熟很多了，各大linux发行版都默认使用总不能有安全性问题，最近在考虑下次扩容时升级转换为Btrfs，主要是为了文件夹配额和快照这两个功能。

sagewatermelon · 发表于 2024-8-7 07:16

1、ECC对BTRFS跟ZFS都不是强依赖，当然有的话更好。按照数据中心的统计一台电脑期望上运行十年以上才会遇到一次内存故障，家用用户的吞吐量一辈子能不能碰上一次都难说，更别说冷备份这种情况了。内存要是真坏了EXT4存的东西也会炸掉
2、ZFS不需要1T 1G内存，实际内存需求跟你的热数据规模有关，不开dedup的话100T的池子用16G内存问题都不大。家用最多也就2.5G，不是万兆的话这点性能损失根本不会形成瓶颈。
3、ZFS跟BTRFS相比传统文件系统性能都不行，好处是方便，比如ZFS自带RAID+加密+压缩+快照+校验

caileipk · 发表于 2024-8-7 11:35

我原来是ext4，后来换了btrfs.主要是7.0开始很多功能只允许btrfs的硬盘格式允许。如虚机

badfox · 发表于 2024-8-7 16:04

ANSANGLI 发表于 2024-7-13 18:50
群晖的 btrfs 是2015~2016随 DSM 6 发布全面引入的，在这之前几年btrfs就已经能用于生产环境了。可以用，稳 ...

btrfs不能改用raid5指的不是madam创建的raid组。

ai：实现层面：Btrfs RAID5 是在文件系统层面实现的，而 mdadm RAID5 是在设备层面实现的。

robles · 发表于 2024-8-7 20:39

basic多盘备份，再搞个冷备份

yikang · 发表于 2024-8-7 20:47

重要数据，弄个alist，开个网盘挂载，多端备份才是王道

账号		自动登录	找回密码
密码			加入我们

[NAS] 群晖上，只是备份重要数据的话，选ext4还是btrfs？