找回密码
 加入我们
搜索
      
查看: 15694|回复: 66

[NAS] 浅谈家庭数据的备份

[复制链接]
发表于 2023-6-15 19:17 | 显示全部楼层 |阅读模式
本帖最后由 uprit 于 2023-6-15 19:16 编辑

算是第一次正经发一个分享帖。首发个人博客,链接就不贴了。

起因
差不多去年这个时候,我入了一个ds920+,然后开始折腾数据相关的备份。陆陆续续差不多折腾了一年,对备份有一些粗浅的理解,整理一下,分享给大家。如有偏颇的地方,还请各位大佬指正。

基础原则
首先,对数据有一个最基础的认识:
  • 磁盘,总会坏的。
  • 数据,必须有备份。

数据分级
分级的目的,是为了对自己的数据有一个基础的认识,进而选择不同的策略。
首先,根据对数据的读写频次,可大致分为两类:
  • 冷数据。也就是低频读写的数据,这类数据,对磁盘的读写性能要求不高,就家用环境来说,我们大部分的数据资料,比如照片、视频、软件包、旧的工作文档等等,都属于这类。这个是我们关注的重点。这类数据,更关注磁盘容量,就当下环境来说,HDD依然是最适合存储这类数据的。
  • 热数据。需要频繁读写的数据。家用环境下,对数据读操作较多的,应该是系统本身的各类软件,而高频写入的场景,比如下载、监控等。这类数据,几乎每时每刻都在进行写入,适合使用SSD进行存储。同时,这类数据另一个特点是:具有临时性。

接下来,按数据重要程度,对数据进行分类
  • 1级。个人生产的数据。是个人劳动的成果,具备全网唯一性,一旦丢失,无法重现。比如:个人拍摄的照片、视频,工作生产的文档等。这类数据,最好有多种方式进行备份,比如321备份。
  • 2级。稀缺资源。找起来麻烦,或具有较高获取成本,可替代性低。丢失后可恢复,需要花费一定精力。比如一些被禁的书影音、小范围公开的内容。这类数据,可以做简单备份。
  • 3级。非稀缺,公开网络上容易获得。比如:主流网站上的影音资源。这类数据,可以不备份。

备份策略
经常提到的“321备份”,指的是:3份数据、2种介质、1个异地。
具体来说:
  • 3份数据。指的是:“原件、副本1,副本2”。关于原件,就家庭来说,应当指的是多个人、多种设备共同产生的第一份数据。你可以通过各种方式先汇总起来,比如都汇总到NAS里,或者都汇总到iCloud里,然后再考虑之后的副本。当然,也可以不汇总,直接生成副本。这是一个管理问题。暂且不谈。
  • 2种介质。指的是不同的存储方式,比如:NAS、移动硬盘、工作电脑,“云存储”也能算一种,后面会专门谈一下“云”。
  • 1个异地。这个好理解,比如:家、公司、老家。

数据的持久性
我们去折腾数据备份的目的,是提升数据的“持久性durability”。也就是,数据不会丢失。即便发生各种意外,我们也能找回数据。所以,这里再次强调下:

RAID不是备份

很多人把RAID1当成备份来用,这是一种片面的理解。实际是混淆了数据的“持久性”和“可用性”。RAID1或RAID5、RAID6、RAID10,提升的是“可用性availability”,它能保障在硬盘出现问题时,数据依然可被访问、服务依然能被提供,也就是很多人提到的服务在线率。

举个简单的例子,就很好理解。假设,你的数据目前都放在一台设备上,甭管你这设备上的磁盘做的什么RAID,RAID1也好,RAID6也好,然后有一天:
  • 你家遭贼了,这台设备直接被小偷搬走了。
  • 或者,家里突然发生火灾,你只穿个裤衩逃了出来,等回去时,家里一片焦土。
  • 设备被入侵/中毒了,所有文件全被加密,你需要往指定账户上打入一笔巨款才能解除

这些情况,都是有真实例子的,不是我在杞人忧天。

闭上眼想一下,如果你遭遇这种事儿,你存了二十几年的照片、你工作十几年的文档,还能不能保得住?

这种情况下,唯一能救回自己数据的,只有备份。所以,再次提醒自己,RAID不是备份。

那,有那么多人在搞RAID还有意义吗?当然有意义了。人家搞RAID有人家的需求,你搞RAID得好好想想自己是什么场景,如果你搞了个服务,要给全公司员工用,或者有几百上千用户在用,7*24服务不能断,那RAID就很有意义。如果,你在家里搞了个影视中心,全家就你和老婆孩子在用,服务断了就断了,这种情况搞RAID还真就没啥意义。

你说,你搞RAID是为了管理方便,一个存储池,我可以挂上好多个盘。对,既然你用RAID把多个盘弄成一个盘来用,那这一堆盘,它现在就是一个盘了。既然数据都在一个盘上,那就不能当作有备份。当你搞RAID时,系统告诉你你有“冗余”了,实际上,是你的数据可访问性有冗余了,你的数据提供的服务有冗余了,是有“冗余”了,不是有“备份”了。

啰啰嗦嗦说这么多,借用下这个图,我们折腾备份,是为了提升数据的“持久性”

datebackup

datebackup


数据的备份
在有了上面的基础理解后,终于可以开始谈谈关于数据的备份了。

1. 数据梳理
第一步:自然是梳理自己的数据,并制定相应的策略。比如我自己梳理的:

1级数据
  • 数据类型:照片视频、工作文档
  • 数据量:目前不超过1T
  • 介质选择:尽量用正规渠道的新硬盘来存储。比如各家的企业级磁盘,8T以上的。我目前用的HC320
  • 备份策略:321备份
  • 原件:本地NAS上一份。
  • 副本1:本地NAS之外,用硬盘再存一份(我目前用的)。未来计划:公司里再放一台机器,把数据备份到公司一份。
  • 副本2:云端一份

2级数据
  • 数据类型:稀缺书影音资料、软件。
  • 数据量:目前不超过2T
  • 介质选择:尽量用正规渠道的新硬盘来存储。比如各家的企业级磁盘,8T以上的。我目前用的HC320
  • 备份策略:简单备份
  • 原件:本地NAS一份
  • 副本1:本地NAS之外,用硬盘再存一份(我目前用的)。未来计划:公司里再放一台机器,把数据备份到公司一份。

3级数据
  • 数据类型:当下热门音视频、大型游戏/软件等。
  • 数据量:10T以上
  • 介质选择:大容量的便宜磁盘,可接受k盘,不接受清零盘。
  • 备份策略:不备份
  • 定期巡视,如果发现某些资源开始变得稀缺,升级成2级数据。
  • 如果某些资源内容较差,定期清理。


热数据
  • 数据类型:下载、摄像头监控视频、系统软件
  • 数据量:不超过2T
  • 介质选择:SSD
  • 备份策略:不备份
  • 下载的数据,定期转移
  • 监控视频,新数据做简单备份,旧数据定期清理

2. 盘位规划

DS920有4个HDD盘位,2个M2盘位。M2位默认是用作缓存的,通过SSH进入系统设置后,可以重新挂载成基础的存储池来使用。

首先,不使用RAID或SHR模式,所有盘位都使用Basic模式。

然后,根据上面的数据梳理,可以对盘位进行如下规划:

  • HDD 1,8T,存储1级数据、2级数据
  • HDD 2,8T,仅用于数据备份,使用Cloudsync把2级数据同步到此硬盘,(也可以顺带把1级数据备份了),此硬盘可随时拔出来。
  • HDD 3,16T,存储3级数据。暂时够用
  • HDD 4,空。后续补充硬盘,或升级硬盘用。
  • M2-1,2T SSD,存储热数据。
  • M2-2,2T SSD,暂时没存东西,后续考虑搞一个TimeMachine文件夹,备份工作电脑。

云存储

云存储,或者说网盘,一直是一个不错的方案。就当前来说,其实还是在处于一个发展阶段。可选的厂家目前也不少。

网盘这个东西。消费端的早期产品,最早应该是QQ和不少邮箱提供的。我最早接触的第一个真正意义上的网盘,应该是大概2010年时盛大提供的,有15G容量,我把自己的当时资料,大概几个G,都上传上去了。然后,没多久,这个网盘宣布关闭,让1个月内导出自己的资料(记不清了,反正我一个文件也没导出来)。然后,它就没了。再后来,国内出现了网盘大战,涌现出很多网盘产品,狂送容量拉新,后来活下来的没几个,为了活下来,有的搞限速,有的卖容量,还有的偷偷把送出去的容量收回去。

经历过这些乱象,对网盘的态度,需要有一些谨慎。当然,除了消费端的网盘,还有面向企业端的云存储也可以考虑,比如AWS的S3、阿里云的OSS、腾讯云的COS,这些我用的不多,暂不展开。不过,在考虑不同云端存储的特点时,我也会把这些考虑进来。

云存储,或者网盘,可以用,但需要选择可靠的厂商,同时,不能把鸡蛋都放在一个篮子里。可以考虑根据不同云存储的特点,选择不同的策略。以下是我根据自己的经验和理解,进行的整理,仅代表我自己的观点:

iCloud
  • 最大2T,国区¥816/年
  • 可家庭共享,备份照片、整机备份,可微信记录

Google Photos
  • 通过Pixel设备可免费无限制备份原片,照片智能分类
  • 风险点:需要梯子,后续Google政策可能发生变化,或Pixel设备老化导致无法继续使用

Microsoft Onedrive
  • 可以申请开发者账户E5,免费5T容量
  • 风险点:免费90天有效期,不保证一定能续期成功,微软政策不保证一直不变

阿里云盘
  • 免费账户差不多能有1T永久容量
  • 风险点:国内网盘对文件内容敏感,免费账户后续有限速的可能

微云/百度云/115等
  • 免费账户要么容量小要么限速,较低月付可以获得很大容量
  • 风险点:国内网盘对文件内容敏感

云厂商提供的云存储服务
  • 这部分费用比较复杂,有不同的存储类型,以及不同收费项目
  • 以腾讯云的COS为例,100G的数据,其低频存储费用大概是¥64/年,下载下来的流量费用大概¥30+。其他还有一些请求费用、管理费用。

云存储总结
基于以上特点,针对网盘的使用,可以有一些简单的结论(仅代表我自己的情况):
  • iCloud,可以考虑付费订阅,家人共享,手机数据备份
  • Google Photos,对自己的照片备份,作为其中一种备份途径
  • Onedrive,可以考虑用E5作临时的网络备份
  • 阿里云盘,用作Alist挂载,不用作备份
  • 其他国内网盘,不用作备份
  • 云厂商的云存储。1级数据,整理后打包压缩,进行低频存储。(群晖支持不少厂商)

以上,就是我结合自己的的需求目前使用ds920+进行家庭数据规划的粗浅理解,仅供大家参考。

<完>

评分

参与人数 6邪恶指数 +66 收起 理由
烈马2009 + 10 赞同思路 感谢分享
hawie + 5 支持一下
梵谷的左耳 + 20 感谢分享
lucaslee + 5 感谢分享
Mufasa + 6 666
fisheess + 20

查看全部评分

发表于 2023-6-15 19:27 | 显示全部楼层
这种东西教科书上都有,产品也有,关键是费用。
 楼主| 发表于 2023-6-15 19:34 | 显示全部楼层
jie_chen 发表于 2023-6-15 19:27
这种东西教科书上都有,产品也有,关键是费用。

非从业者,也没啥计算机背景,都是些粗浅的理解。
在磁盘和云存储的选择上,我已经尽量结合自己的需求降低费用了。

发表于 2023-6-15 19:39 来自手机 | 显示全部楼层
太复杂 iCloud最省事儿
发表于 2023-6-15 19:40 | 显示全部楼层
我是本地电脑存一份,异地电脑存一份,国内主流网盘3个各存一份,国外主流网盘4个各存一份,有些容量太大不好传的就压缩一下,图片压成avif,视频压成hevc+opus
 楼主| 发表于 2023-6-15 19:57 | 显示全部楼层
zhao137314 发表于 2023-6-15 19:39
太复杂 iCloud最省事儿

iCloud是挺方便,不过覆盖场景有限。云存储作为补充备份是挺好的,我也在用。

 楼主| 发表于 2023-6-15 20:00 | 显示全部楼层
xsdianeht 发表于 2023-6-15 19:40
我是本地电脑存一份,异地电脑存一份,国内主流网盘3个各存一份,国外主流网盘4个各存一份,有些容量太大不 ...

在多个网盘多种备份还是挺有必要的。

发表于 2023-6-15 20:05 | 显示全部楼层
所以你也没有异地备份哦。
异地备份或者第二个机器备份还是要的。
很多人折腾nas,系统搞来搞去,一不小心数据就没了。
发表于 2023-6-15 20:08 | 显示全部楼层
raid这个需要修正一下,除了raid0只提升读写速度,其他的raid包括shr和raidz,都会提供最基础的也是第一道数据完整性防线,在一盘甚至多盘(shr2,raidz2,raidz3等等)出现错误时可以保证数据不丢失,给用户时间和机会替换坏盘并保证数据完整性,对一级和二级数据来说是不可或缺的。
发表于 2023-6-15 20:12 | 显示全部楼层
本帖最后由 zhuifeng88 于 2023-6-15 20:13 编辑

全部本地一份, 本地冷备份一份(30天历史记录), 云端完整冷备份一份(30天历史记录), 人懒, 辨识数据重要性太麻烦了, (广告推荐blackblaze b2, 国内上传可以满百兆上行, 价格优势明显)
发表于 2023-6-15 20:13 | 显示全部楼层
本帖最后由 raiya 于 2023-6-15 20:17 编辑

我反正都是手动复制的。重要的东西三份,一般的两份,分开在不同物理盘里。从来不把几个盘合并成一个存储,觉得风险变大。


异地的话我我只上传一些不太容易找到的软件游戏类的备份,其他一些上传有些东西违法。
 楼主| 发表于 2023-6-15 20:22 | 显示全部楼层
zgpnhhy 发表于 2023-6-15 20:05
所以你也没有异地备份哦。
异地备份或者第二个机器备份还是要的。
很多人折腾nas,系统搞来搞去,一不小心 ...

嗯,确实。
我目前暂时将“云备份”理解成一种异地,也就是除了家里,其他地方还有至少一份数据。
所以,在公司里再放一台机器用于备份也是在计划中。

发表于 2023-6-15 20:25 | 显示全部楼层
虽然没有楼主这么清晰的思路,但是我有三台电脑,一个机械移动盘,一个固态移动盘,目前任何资料都可以在其中两个地方找到,基本达成了楼主提出的要求,窃喜
发表于 2023-6-15 20:33 | 显示全部楼层
这都赶上大型数据中心的备份策略了
个人备份一冷一热就够了,最好定期检查
发表于 2023-6-15 20:34 | 显示全部楼层
异地备份主要是为了一件事情,就是对付病毒。
 楼主| 发表于 2023-6-15 20:37 | 显示全部楼层
fisheess 发表于 2023-6-15 20:08
raid这个需要修正一下,除了raid0只提升读写速度,其他的raid包括shr和raidz,都会提供最基础的也是第一道 ...

学习了。关于数据的完整性,我还确实没考虑过这个问题

发表于 2023-6-16 09:31 | 显示全部楼层
本帖最后由 葱花鱼 于 2023-6-16 09:33 编辑

对于1级数据来说,为了防止数据静默损坏,定期 scrub 同样重要(但是 scrub 一般依赖于 RAID,所以显得 RAID 重要,很多人其实没分清楚这一点)
发表于 2023-6-16 09:57 | 显示全部楼层
其实3级数据的影音可以拉朋友玩,互相备份算异地容灾了
发表于 2023-6-16 10:22 | 显示全部楼层
说的很详细,但是累。
简单来说,家用就2种,丢了不心疼的,绝对不能丢的。后者网盘,NAS,脱机各搞一份。前者随便扔。

发表于 2023-6-16 10:25 | 显示全部楼层
普通家庭其实也就照片视频珍贵一些,一般来说放在固定的机械硬盘里也没啥丢失的风险,大不了多备份一份就行
发表于 2023-6-16 10:26 | 显示全部楼层
简单来说就是321备份策略,适合绝大多数场合,本人就是NAS收集数据,1U服务器4盘位保存动态数据(可随时更新,丢了也无妨,顺便备份NAS数据),用群晖cloud加密备份照片等私密数据到百度网盘,其中百度网盘9T保存一些网络分享的资源
发表于 2023-6-16 10:51 | 显示全部楼层
我也对数据比较看中,全部能控的机子都做了raid,不管是0、1、5、50都有了。但是我依旧有备份,raid给我提供了在线率,因为我经历过系统盘突然暴毙,但是因为有raid,我的所有服务都正常运行了几天直到新盘到了重新插上去,都不止一两次,因为手头就四五个机子,那么多年了,出问题总是有的。我也在建成了四地一中心的备份模式,就是在四个不同地方做备份(不同形式的备份),一台中心机负责提供对外服务。剩下就没啥好做了。只要系统不出问题就不管了。
对于我来说,数据都是宝贵的,因为都是自己花时间弄进去的,我最不希望发生的就是花太多时间在机子钱来恢复数据,所以才用raid,但是备份也不会少,毕竟两个一起并不冲突。
发表于 2023-6-16 10:53 | 显示全部楼层
谢谢。已收藏,建议再补点图哈

发表于 2023-6-16 11:10 | 显示全部楼层
raid1 + 冷备 基本不会出问题了。
 楼主| 发表于 2023-6-16 11:19 | 显示全部楼层
煎饼果子chh 发表于 2023-6-16 10:26
简单来说就是321备份策略,适合绝大多数场合,本人就是NAS收集数据,1U服务器4盘位保存动态数据(可随时更 ...

数据打包加密备份到网盘这个,还是有风险的。
有看到过一个案例,这么操作后,直接被封号了,而且无法申诉。。。。
猜测的可能原因是,由于加密后,数据变成全网唯一,占用了真实存储空间,且厂商无法确定内容,被直接认定为风险账号。
 楼主| 发表于 2023-6-16 11:24 | 显示全部楼层
葱花鱼 发表于 2023-6-16 09:31
对于1级数据来说,为了防止数据静默损坏,定期 scrub 同样重要(但是 scrub 一般依赖于 RAID,所以显得 RAI ...

数据静默损坏,Data Scrubbing,这个还真没遇到过,学习了!
发表于 2023-6-16 11:26 | 显示全部楼层
raid1加冷备份,,或者双nas 互相备份,说白多了多机器还是懒的去手动备份文件。
发表于 2023-6-16 11:28 | 显示全部楼层
uprit 发表于 2023-6-16 11:19
数据打包加密备份到网盘这个,还是有风险的。
有看到过一个案例,这么操作后,直接被封号了,而且无法申 ...

我上传的个人数据全部加密,这个根本不需要考虑
你说的这种风险不属于数据安全,属于政策或服务商风险
发表于 2023-6-16 11:56 | 显示全部楼层
uprit 发表于 2023-6-16 11:19
数据打包加密备份到网盘这个,还是有风险的。
有看到过一个案例,这么操作后,直接被封号了,而且无法申 ...

哪家云服务商这么干的?肯定是国内的吧,这属于耍流氓!
发表于 2023-6-16 12:21 | 显示全部楼层
恭喜入坑,数据备份无止境,有得折腾。
个人经验,
配两台NAS,+1个网盘VIP。
一台热,7*24h开机,全固态。理由,无炒豆声,功耗低;
一台冷,定期开机,自动同步备份,全HDD。理由,容量大价格低,长期不用无闪存数据易失顾虑,盘坏数据仍可能恢复。
必须组带冗余盘的RAID,不然数据保护再好也意义不大。理由,多盘容错及冗余度内的数据静默损坏可自动恢复。
网盘,可支持一下国内的、速度快,开个VIP,启用Cloud Sync密钥进行同步,服务端看不到具体数据内容,规避国内网盘内容可能被无故封杀的风险。
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2024-11-27 20:02 , Processed in 0.016359 second(s), 7 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表