找回密码
 加入我们
搜索
      
查看: 18411|回复: 33

[NAS] 2018-2022,24盘All in One还好么~

[复制链接]
发表于 2022-5-19 20:07 | 显示全部楼层 |阅读模式
24盘位家庭虚拟化机架式服务器——路由AP下载NAS多合一

原来的老帖进旧贴归档了,机器仍然在跑,中间升级了几轮配置。

2018年配置:
CPU Intel 8700K
内存 镁光16G DDR4 2400 x1
主板 ROG Strix-F Z370
散热 大霜塔
HBA LSI-9311 8i
显卡 GT1030
国鑫24盘4U带Expander
硬盘 10TB ST10000NM0016 x2
系统盘 PM981

2022年配置:
CPU AMD 3950x
内存 镁光32G DDR4 3200AA ECC UDIMM x2
主板 MSI X570 Godlike
散热 利民银剑130

HBA LSI-9311 8i
显卡 GT1050ti
机箱 国鑫24盘4U带Expander
硬盘 10TB ST10000NM0016 x22
SSD 日立Ultrastar SSD400S x2
系统盘 Intel P3700 400G

2022年软件配置:
虚拟化:ESXi 6.5u3
软路由:Openwrt 自编译 21.02
NAS: Ubuntu 20.02 LTS
Windows :Windows 10 LTSC 2021

虚拟化方面:自测ESXi 6.7/7有直通显卡不能断电的bug,因此没升级,一直用6.5u3

软路由方面:最新的Openwrt发行版加上尽可能少的插件,十分稳定
                    三个家的All in One通过Wireguard互联,VxLan大二层测试部署中

NAS方面:2个日立HET-MLC超长寿SAS SSD做软RAID1,作为bcache缓存盘
                 22个希捷10T企业级SATA机械盘做bcache后端盘,被SSD阵列加速,启用读缓存,回写缓存
                 22个bcache设备使用linux LUKS加密成为/dev/mapper下的设备
                 22个/dev/mapper设备创建Btrfs文件系统,SYS为RAID1c4(4副本RAID1),Meta为RAID1c4,Data为Duplicate(双副本),可用空间为50%
                 按文件分类创建18个子卷,定时使用Btrfs快照功能进行备份
                 条带式阵列顺序读写倍增,但随机读写略弱于单盘。副本式阵列顺序读写和随机读写皆倍增,但空间利用率低。(大企业都三副本+校验和了)

                 停用Nextcloud,改换Syncthing做同步
                 新增Prometheus+Grafana做性能统计
                 更新qBittorrent做BT/PT下载
                 rclone负责将80TB+的数据加密同步到GD/OD网盘
                 apcupsd串口连接施耐德SP1K UPS,其他虚机安装apcupsd进行计划关机
                 业务docker化
                 文件共享Webdav/SMB/FTPS多样化

Windows  主要负责B站录播姬等Windows应用运行。
                 Plex私人影库用的不多,又整了免费版的EMBY应对削刮好的内容。
                 安装海康iVMS 4200连接另一个家的监控作为异地录像备份(使用NAS上的iSCSI目标盘)。

总体效果  断电来电后可以自启自行恢复网络并更新,典型离线硬重启周期大概3个月,虚拟化从来没出过问题。
               不过22个10w功耗的机械盘还是挺高的,这些盘大概每月一块的节奏购进,如果全换成16T单盘减少盘数,功耗会少很多。
               有Linux可以实现高性能阵列和文件共享以及自编译Openwrt,有Windows可以跑传统应用,挺好。
发表于 2022-5-19 20:17 | 显示全部楼层
强大。。。。
发表于 2022-5-19 20:18 | 显示全部楼层
国家电网合作伙伴?
发表于 2022-5-19 20:21 | 显示全部楼层
强········
发表于 2022-5-19 20:46 | 显示全部楼层
24.。。。。。。。
发表于 2022-5-19 21:13 | 显示全部楼层
考虑到1050ti也有点老了,现在有啥新点的PLEX硬解刀卡推荐吗
发表于 2022-5-19 21:27 | 显示全部楼层
问下为什么不用snapraid了 正常用性能也够了吧
用snapraid就不存在只能加10t的盘的问题了 可以慢慢加更大的盘

Grafana,apcupsd 你可以试下home assistant里自插件也有的 干脆把这个也折腾了起来
发表于 2022-5-19 23:18 | 显示全部楼层
你拿这块主板上ECC内存 = 没用,你有事吗?

https://tw.msi.com/Motherboard/MEG-X570-GODLIKE/Specification

支援 ECC UDIMM 记忆体 ( 非-ECC 模式 )
发表于 2022-5-19 23:34 | 显示全部楼层
强无敌 再来电图片更爽了 哈哈
 楼主| 发表于 2022-5-20 08:51 | 显示全部楼层
Dk2014 发表于 2022-5-19 21:13
考虑到1050ti也有点老了,现在有啥新点的PLEX硬解刀卡推荐吗

GTX1650 GDDR6版本,半高
http://www.360doc.com/content/20/1026/16/72127748_942464724.shtml
好像是安培架构的NVENC,比1050Ti新一代。老1650 GDDR5和1050ti是一样的nvenc

我有个半高双槽1650 GDDR6,没有的话不如单槽1050
发表于 2022-5-20 09:35 | 显示全部楼层
这功耗又要上一层楼了
发表于 2022-5-20 09:39 | 显示全部楼层

哈哈哈。。。我也觉得家里的NAS盘太多真的是给电网送钱。。。
发表于 2022-5-20 09:56 | 显示全部楼层
楼主应该是从原来2t的硬盘都换成了10t的吧,成本很可以啊
发表于 2022-5-20 11:19 | 显示全部楼层
bcache先给HDD加速,再做btrfs这个思路不错,回头试试看。
发表于 2022-5-20 11:22 | 显示全部楼层
"自测ESXi 6.7/7有直通显卡不能断电的bug"

求教是什么样的bug?是指esxi host关机卡在system halted么?
发表于 2022-5-20 11:26 | 显示全部楼层


主流消费级AMD主板似乎只有华擎支持ECC,屏蔽牌据说后期出的某些型号也支持(存疑)
发表于 2022-5-20 11:35 | 显示全部楼层
Pau1 发表于 2022-5-20 11:26
主流消费级AMD主板似乎只有华擎支持ECC,屏蔽牌据说后期出的某些型号也支持(存疑) ...

https://www.gigabyte.com/tw/Moth ... ELITE-rev-10/sp#sp=
随便一块技X低阶X570都可以

https://www.gigabyte.com/tw/Moth ... ION-D-rev-10/sp#sp=
后期的VISION D系列也是归列为创作者系列,也能支援
发表于 2022-5-20 11:40 | 显示全部楼层
                 
                 新增Prometheus+Grafana做性能统计
                 更新qBittorrent做BT/PT下载
                 rclone负责将80TB+的数据加密同步到GD/OD网盘
                 apcupsd串口连接施耐德SP1K UPS,其他虚机安装apcupsd进行计划关机
                 业务docker化
                 文件共享Webdav/SMB/FTPS多样化


哈哈哈 这些软件我也是这么用的,不过我的底层是Proxmox虚拟化。
当然盘也没那么多,主要还是威联通的NAS做集中存储。
发表于 2022-5-20 11:58 | 显示全部楼层
解码什么的为啥都忠于GTX1650 GTX1050Ti
P400不香吗?
T400不香吗?
发表于 2022-5-20 12:04 | 显示全部楼层
哇哦 大佬很久以前就看过您的帖子
发表于 2022-5-20 12:07 | 显示全部楼层
alex76 发表于 2022-5-20 09:39
哈哈哈。。。我也觉得家里的NAS盘太多真的是给电网送钱。。。

我装了一大堆存储服务器,根本不敢开机。。。。电费太贵

现在就开了一台All in One,一个HDD一个SSD,跑ESXi里面虚拟黑群。
性能低一点,问题不大,耗电少就行。。。。
 楼主| 发表于 2022-5-20 15:29 | 显示全部楼层
erudin 发表于 2022-5-20 11:22
"自测ESXi 6.7/7有直通显卡不能断电的bug"

求教是什么样的bug?是指esxi host关机卡在system halted么? ...


我碰上的是宿主机冷启动,虚拟机启动,OK。但是虚拟机重启动,代码43。只能重启物理机解决。

也就是虚拟机重启没法模拟正常上电循环

经测试GTX20系和GTX30系没这个bug
发表于 2022-5-21 20:42 | 显示全部楼层
这一套不带硬盘得多少w
发表于 2022-5-21 20:54 | 显示全部楼层
强大。。。我也上了两个24盘位服务器
发表于 2022-5-22 10:39 | 显示全部楼层
本帖最后由 做题家 于 2022-5-22 10:45 编辑

比较感兴趣这个4u机箱的移动支架,是只靠两边的挂耳固定吗

看了下原帖回复,有个问题是只有上面有固定,机箱这么长可以稳定吗
发表于 2022-5-22 10:45 | 显示全部楼层
B站录播姬有docker版的
发表于 2022-5-22 11:05 | 显示全部楼层
Pau1 发表于 2022-5-20 11:26
主流消费级AMD主板似乎只有华擎支持ECC,屏蔽牌据说后期出的某些型号也支持(存疑) ...

华硕大部分都支持,我用的是TUF GAMING B550M-PLUS支持ECC没问题。
发表于 2022-5-22 11:20 来自手机 | 显示全部楼层
ltycomputer 发表于 2022-5-20 15:29
我碰上的是宿主机冷启动,虚拟机启动,OK。但是虚拟机重启动,代码43。只能重启物理机解决。

也就是虚拟 ...

了解了,感谢!
 楼主| 发表于 2022-5-25 14:37 | 显示全部楼层
做题家 发表于 2022-5-22 10:39
比较感兴趣这个4u机箱的移动支架,是只靠两边的挂耳固定吗

看了下原帖回复,有个问题是只有上面有固定,机 ...


可以,质量好的服务器机箱挂耳非常结实
发表于 2022-5-25 14:42 | 显示全部楼层
ltycomputer 发表于 2022-5-20 08:51
GTX1650 GDDR6版本,半高
http://www.360doc.com/content/20/1026/16/72127748_942464724.shtml
好像是安 ...

700左右可以买个t400
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-1-15 22:05 , Processed in 0.014230 second(s), 5 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表