捣鼓了十几天，为了摆脱黑群晖，尝试存算分离

gasment

从6.1开始，用了四五年的黑群晖，玩法基本都摸透了，到放弃为止，比较依赖的就是photo/drive/surveillancestation/audio station这4个特有套件
7.2.2官方开始蜜汁操作，砍掉服务器端解码，强制在线安装surveillance station，加上rr引导的mlx5网卡驱动小问题困扰，遂产生了放弃黑裙的想法


为了平替黑裙，我需要功能差不多的开源项目，翻查了一些，最终方案为：

1、photo使用immich替代，满意度120%：可以使用核显编解码相册视频，使用核显做机器学习形成特定物体相册和关键词搜图，
配套的移动端app也不错，能实现photo的全部功能（我需要用的），而且额外多了机器学习的功能

2、drive使用seafile替代，满意度80%：在seafile 6版本的时候就玩过一段时间，现在到11版本，貌似功能也没多大变化，使用上与drive基本没差，
pc端也可以按需下载，也有版本管理，3个用户内可以白嫖专业版，需要自己对接office插件，没弄，不大需要这个，
不同点是drive存储是文件形式，可以有其他途径读写，seafile将文件切块分散，本地没有完整可供读写的文件，必须通过web和客户端上传和修改，
如果系统崩了要抢救文件，会麻烦一些

3、surveillancestation使用frigate替代，满意度80%：frigate的重点是对象识别和homeassistant联动，全时录像显得没有存在感，没办法多机位同步回放，
对象识别和视频编码可以调用核显，由于识别跑的是ai模型，准确度比surveillancestation高很多，也更省资源，
frigate没有移动端（app可以用网页快捷方式代替）也没有中文，这个是美中不足

4、audio station没有找到替代方案，暂时用jellyfin兼容一下，主要是我需要支持carplay的app来回放本地音频，打算使用DS cloud接入jellyfin来播放音频，
未实践，未知可行性


以上服务都在pve中部署，抛弃虚拟机和pcie直通，使用lxc套docker的方式，减少资源占用和方便整体备份还原；
储存服务由另一台truenas主机提供smb/nfs，由pve统一连接远程目录，提供给lxc挂载
pve每天dump备份到truenas和另一台定时开关的冷备机子，出问题随时回滚

下面是硬件折腾：
之前在用的一台小主机，魔改转针cpu + 小厂寨板 + 寨内存 + 不知名atx-dc电源和模块，之前跑pve都很稳定，但是这下跑frigate对象识别一会就死机，
换cpu也无解，于是直接换机，考虑再三，入了联想tiny主机 m920x，我有闲置的笔记本内存与双口万兆卡，添一个cpu就可以上岗了


cpu考虑价格和性能，而且必须要有核显，选择了原配的8600


网卡是现有的mcx4121a,改了主动散热（改得非常狗啃）



使用一块16G傲腾安装pve，一块500G铠侠存放数据文件，内存为闲置的8+16


网卡挡板自己用全高挡板手搓了，成品贵了点，使用25G aoc线缆直连truenas，独立网段通讯，使用10G光模块连接交换机作为vmbr


这小主机热了点，搞两个12cm风扇对吹一下，日常待机连同两个风扇，40~50w功耗，考虑网卡和光模块也吃不少，裸机应该不到30W，也还可以接受吧


最后合影下（4盘位那台还是跑了黑裙，主要是冷备，我需要用abb来全盘备份pc，这个还没有替代的）



服务一览，算是网-算-存 三分离了，代价是整架功耗+40。。。。
目前存的东西不多，硬盘基本利旧，后期有💰了就用大容量的整合一下。。。

pdvc

我用的N100小主机搞的存算分离，待机8W，满载12-15W。消耗大的就是LXC上部署的qB和迅雷。

有LXC就不用再套docker了，原生性能更好，无损失。

Hzylucky

膜拜对象~

8owd8wan

企业方案我们都在做超融合，家用捣鼓存算分离

gasment

pdvc 发表于 2024-10-17 16:50
我用的N100小主机搞的存算分离，待机8W，满载12-15W。消耗大的就是LXC上部署的qB和迅雷。

有LXC就不用再套 ...

用alpine套，损失基本忽略，很多项目都只有docker版，不套不行

pdvc

gasment 发表于 2024-10-17 16:56
用alpine套，损失基本忽略，很多项目都只有docker版，不套不行

强迫症，docker有2-3%左右损耗。我还把PVE换了xanmod内核😂

pdvc

8owd8wan 发表于 2024-10-17 16:55
企业方案我们都在做超融合，家用捣鼓存算分离

主要是白裙CPU性能太弱了，而且跑应用和虚拟机，硬盘就不能休眠。还有楼主那种黑裙兼容性问题的。

BH1PXK

存分离很舒服。
我一台arm的威联通当存储
一台i5的nuc做多媒体服务器和下载机。
没有访问的时候，不影响nas硬盘休眠。
nuc全固态，多媒体服务器，各种海报小图片，小文件访问也快速

狼心独怆

也想入这款mcx4121a网卡，但问是闲鱼卖家和网上的资料https://forums.servethehome.com/ ... page-74#post-407122

似乎不能在P330 Tiny中运行，还需要改电容什么的。楼主的卡运行的如何？发热呢？请抽空告知，谢谢🙏！

chip_discovery

我最近也在折腾这个，和楼主不谋而合呀，U我也用的是8600，不过准系统我用dell optiplex 5060 mt，256G sata SSD +3块2T NVME+4T NVME+ 20T机械+ 32G内存条+x710-da2 网卡，待机才17-19W，（其实最初用hp 800 g4 twr,无奈没多久主板挂了起不来才换了dell）,从truenas omv 来回折腾了一圈最后也上了PVE的贼船，不过PVE上也走了OMV LXC 和OMV VM 的歪路，最后还是PVE 全上LXC，没LXC的安装LXC-docker 中搞定，再安装一个NFS和SMB服务
不得不说LXC是真香，比docker 感觉还方便，docker 有时候要映射文件夹还给我带来了不少麻烦，因为有些容器不支持改地址和端口，为此排查问题浪费我不少时间。
感觉PVE 再装一个WIN 虚拟机 基本上可以解决99%的问题了，像某些刁钻的云盘这种下载资源只有win客户端，还得留一个win虚拟机以备不时之需。

我的惟一一个需求暂时还不能脱离群晖的就是USB 硬盘盒（其实我是硬盘柜）文件展示、备份和播放的功能，这个在群晖上很简单，但是OMV我看了下，只能复制和备份USB硬盘，但是没找到文件展示和播放的地方，因为我是按需开硬盘柜的，所以不可能一直挂着的，备份完或者看完文件就弹出下线。

audio 我说下我的解决办法，直接音乐文件存阿里云盘，用ever play 挂载云盘，既不占用我的上行带宽，又白嫖云盘带宽给我放音乐哈哈

yueyue

求问最后三张图是什么软件

iRay

音频可以用服务端navidrome+客户端音流

conzz

audio station 在CarPlay 下 每次都要登陆，而且不在手机端点开也登陆不上，楼主在使用时候 怎么操作的

mdk2000

主玩lxc可以试试这些脚本
https://tteck.github.io/Proxmox/#proxmox-ve-tools

tenll

同样的系统，pve加lxc真方便，pve主机尽量不动，保持稳定，各种服务在lxc下，方便备份，折腾还不影响系统稳定性。

Anderson997

可惜immich的machinelearning不支持老pascal了。

赫敏

8owd8wan 发表于 2024-10-17 03:55
企业方案我们都在做超融合，家用捣鼓存算分离

本质上是因为家用只有“存”，根本没有“算”

crcrane

学习了

魔语者

pdvc 发表于 2024-10-17 16:50
我用的N100小主机搞的存算分离，待机8W，满载12-15W。消耗大的就是LXC上部署的qB和迅雷。

有LXC就不用再套 ...

N100功耗是很好,但是扩展太差了~PCIE一个没有..光网卡和SSD都没法加..

hawie

佩服楼主折腾无止境。我这些年来是反其道而行之，越用越简。比如上面的楼主需求，我会选择停留在7.2.1，再把DSM藏在内网，避免未及时更新可能引起的安全漏洞暴露。
越用越简的终极目标，是当自己不存在时，家人仍可以正常使用与维护。

微笑丶在脸上

搞了台N5105装黑群，7.2.1不动了。内网设备问题应该不大，跑跑photo、docker、jellyfin和transmission

qaw123232qaw

黑裙版本不升级不就成了？

pdvc

魔语者 发表于 2024-10-18 08:03
N100功耗是很好,但是扩展太差了~PCIE一个没有..光网卡和SSD都没法加..

用来搞存算分离N100正合适，只要计算能力，存储就就一个2TB SATA SSD，临时存BT/PT数据用。网卡用的新出的USB 5Gbps，sata那边读写正好是500MBm/s，足够了。

af_x_if

我理解存算分离主要应对两种需求
一个是解耦，折腾计算时不牵连储存，反之亦然，适合爱折腾硬件，但是觉得能省事一点也还是省事一点的人。
一个是对储存的要求太高，值得专门搞一台数据服务器的人。

cokebear

immich这种不收钱的东西，总觉得有被当小白鼠的风险

jiano

完全可以用8600T，睿频啥的，只是略低，放在nas上性能几乎没影响，主要是待机状态温度要低得多。我的是HP的8代95w小主机，用8100待机就挺烫的，换成8500T就好了很多，待机摸着没啥温度，安静了许多。

fatppmm

关于硬解码，如果是虚拟机的话，显卡不够，一个win系统需要显卡，特别是要外接显示器，这样群晖就无法用了。如果就安装群晖，用于硬解，win系统只能远程了。

现在我是把显卡给win，在win上安装jellyfin，群晖上用cpu来解码了。

cocoa

楼主12盘的机箱是哪款？

gasment

cocoa 发表于 2024-10-18 10:56
楼主12盘的机箱是哪款？

梵隆的半高12盘

gasment

conzz 发表于 2024-10-17 21:11
audio station 在CarPlay 下 每次都要登陆，而且不在手机端点开也登陆不上，楼主在使用时候 怎么操作的 ...

我用的是ds player，车机点开会自动登录，用起来没啥毛病