找回密码
 加入我们
搜索
      
楼主: gasment

[NAS] 捣鼓了十几天,为了摆脱黑群晖,尝试存算分离

[复制链接]
 楼主| 发表于 2024-10-18 11:08 | 显示全部楼层
狼心独怆 发表于 2024-10-17 18:41
也想入这款mcx4121a网卡,但问是闲鱼卖家和网上的资料https://forums.servethehome.com/index.php?threads/ ...

我的是tiny5 m920x,不用改啥就用原厂的pcie转接卡,即插即用,最好改个主动散热吧,我这个日常网卡核心60多度,模块40多度,还可以
 楼主| 发表于 2024-10-18 11:10 | 显示全部楼层
yueyue 发表于 2024-10-17 20:47
求问最后三张图是什么软件

homeassistant,自己手搓的卡片布局
 楼主| 发表于 2024-10-18 11:13 | 显示全部楼层
Anderson997 发表于 2024-10-18 05:27
可惜immich的machinelearning不支持老pascal了。

我用核显跑的openvino,聊胜于无
发表于 2024-10-18 12:38 | 显示全部楼层
音频用roon
发表于 2024-10-18 14:11 来自手机 | 显示全部楼层
学习下替代方案
发表于 2024-10-18 14:38 | 显示全部楼层
希望有active backup for business的替代品
发表于 2024-10-18 14:53 | 显示全部楼层
赫敏 发表于 2024-10-18 05:46
本质上是因为家用只有“存”,根本没有“算”

以前也想着非换个强大的U,天天盯着cpu的算力有没有空闲,内存用完没,看看是不是多跑几个虚拟机,多部署几个服务,跑几个docker,后来久了发现尽是折腾,最后一个白裙丢那,安逸了事还省电哈哈。

不过不折腾,哪有快乐呢
发表于 2024-10-18 14:54 | 显示全部楼层
我只期待白裙哪天脑子清爽点,可以单独卖license
发表于 2024-10-18 18:49 | 显示全部楼层
gasment 发表于 2024-10-18 11:08
我的是tiny5 m920x,不用改啥就用原厂的pcie转接卡,即插即用,最好改个主动散热吧,我这个日常网卡核心6 ...

好的,谢谢,我去淘块试试😄

发表于 2024-10-19 09:34 来自手机 | 显示全部楼层
allenwfz 发表于 2024-10-18 14:53
以前也想着非换个强大的U,天天盯着cpu的算力有没有空闲,内存用完没,看看是不是多跑几个虚拟机,多部署 ...

用不着强大U,白裙性能太弱了,还不如N100。然后跑应用和docker,硬盘不能休眠,很费电。

用N100存算分离以后以后,我这白裙省了100W待机功耗,硬盘终于能休眠了😂
发表于 2024-10-19 18:11 | 显示全部楼层
pdvc 发表于 2024-10-17 16:50
我用的N100小主机搞的存算分离,待机8W,满载12-15W。消耗大的就是LXC上部署的qB和迅雷。

有LXC就不用再套 ...

想问一下LXC上的qbittorrent ipv6是怎么解决的,PVE现在已经拿到v6地址了,QB的那个LXC进控制台 ip -6 addr show 能看到一个v6的地址,但是好像连上的节点都是V4的
发表于 2024-10-19 18:37 | 显示全部楼层
pdvc 发表于 2024-10-17 16:58
强迫症,docker有2-3%左右损耗。我还把PVE换了xanmod内核😂

请教一下,这个内核直接安装仓库的包就可以了么?还是要针对pve在修改配置编译?
发表于 2024-10-19 18:41 | 显示全部楼层
gasment 发表于 2024-10-17 16:56
用alpine套,损失基本忽略,很多项目都只有docker版,不套不行

假如只用lxc和docker容器的话的,个人推荐incus,lxc和docker的包都能跑,不用另外装docker,也不用lxc套docker。要不是这货虚拟机不能设置usb启动,我就放弃了pve了。
发表于 2024-10-20 21:45 | 显示全部楼层
waio0 发表于 2024-10-19 18:37
请教一下,这个内核直接安装仓库的包就可以了么?还是要针对pve在修改配置编译? ...

对,按xanmod官网的说明装就行,最多选一下版本。
发表于 2024-10-20 21:52 | 显示全部楼层
chip_discovery 发表于 2024-10-19 18:11
想问一下LXC上的qbittorrent ipv6是怎么解决的,PVE现在已经拿到v6地址了,QB的那个LXC进控制台 ip -6 ad ...


qB要延迟启动半分钟左右,不然拿不到ipv6。
发表于 2024-10-21 10:46 | 显示全部楼层
存算分离是趋势,超融合已经过时了
发表于 2024-10-21 11:23 | 显示全部楼层
audio station的有subsonic兼容。
移动设备有付费play:sub(别问为啥有开源免费还上付费app,不知道是链路传输还是s/c兼容或者老古董设备解码问题,动不动没歌)除了没有根据设备选预设dsp,剩下基本满意。当然有得选还是android的Symfonium,问题是这边只能上android auto。
服务端有多用户隔离需求可以funkwhale,直接一个大库的话navidrome之类就行。



另外想问下immich的备份怎么样,可以直接自动备份/选择性本地保留然后其他删除吗?群晖基本除了这个其他都可以换了
 楼主| 发表于 2024-10-21 14:19 | 显示全部楼层
goat 发表于 2024-10-21 11:23
audio station的有subsonic兼容。
移动设备有付费play:sub(别问为啥有开源免费还上付费app,不知道是链路 ...

可以后台备份,可按需选择备份的相册,app里删除会把系统相册里的也一并删掉,我这边是ios,安卓不清楚
发表于 2024-10-22 20:24 | 显示全部楼层
用了十几年,纯windows NTFS单盘,windows共享文件夹,然后Hyper-V虚拟机安装owncloud、svn server等,省心省力。
发表于 2024-10-22 20:35 | 显示全部楼层
存算分离的概念是相对存算一体来说, 存算一体的前提是分布式的架构理念, 分布式是水平拓展, 纵向拓展就是增加单台主机硬件, 超融合是在原虚拟化(计算池化和内存池化)上的存储池化和网络池化, 池化的落地就是软件定义.

不过就是一个网络文件系统, 一个最传统的集中式网络存储, 怎么就存算分离了? 是你的计算资源能弹性扩展还是存储资源能弹性扩展? 存算分离适用于什么应用? 存算分离的主要目的是什么?

可别存算分离了, 差十万八千里了, 遇到个概念别自己脑补, 先去查查定义, 好吗?
发表于 2024-10-22 22:20 | 显示全部楼层
存 算分离确实挺有必要,
我的winserver 虚拟了一个群晖,但是开着这个服务器着实费电,
不如低功耗群晖+ 单独一台 随时可以关机的高性能服务器
发表于 2024-10-22 22:28 | 显示全部楼层
真有精神搞机啊,系统这么复杂。。。没点专业知识真搞不定
我一个黑裙24h开机,一个冷备(1-2周开一次,开机后自动备份)
然后没了,随便玩玩就
发表于 2024-10-22 22:56 | 显示全部楼层
wsbpj 发表于 2024-10-22 07:35
存算分离的概念是相对存算一体来说, 存算一体的前提是分布式的架构理念, 分布式是水平拓展, 纵向拓展就是增 ...

现在超融合有哪些产品比较有竞争力?看了storagereview的几个感觉都不太行,超融合理想情况下是可以接近本地存储的性能+线性增长,目前看的几个都在20%本地性能以下
 楼主| 发表于 2024-10-22 22:56 | 显示全部楼层
wsbpj 发表于 2024-10-22 20:35
存算分离的概念是相对存算一体来说, 存算一体的前提是分布式的架构理念, 分布式是水平拓展, 纵向拓展就是增 ...

那确实是,没有你们这些大手子懂
发表于 2024-10-22 23:29 | 显示全部楼层
本帖最后由 wsbpj 于 2024-10-22 23:32 编辑
赫敏 发表于 2024-10-22 22:56
现在超融合有哪些产品比较有竞争力?看了storagereview的几个感觉都不太行,超融合理想情况下是可以接近 ...


没有, 存算分离的性能也不高, 分布式(存算一体)解决的是单机的性能瓶颈(只是解决瓶颈), 所谓的线形增长目前是绝对没法实现的, 链路都变长了, 怎么可能线形, 分布式主要瓶颈也不是利用率, 主要还是规模瓶颈(能支持千台规模的架构寥寥无几, 大部分都是几十台到几百台)

存算一体的劣势在于, 当你要拓展计算或者存储时, 有一个需求不足就要一起拓展, 成本太高, 需要计算时拓展计算, 需要存储时拓展存储, 就是存算分离, 存算分离的优势一是成本的下降, 二是架构设计上可以承载更大的规模, 代价就是更低的利用率, 但是优点就是本地的利用率虽然低了,  但是整体的利用率更高了, 除了特殊的性能和延迟应用(很少数), 大部分应用都可以迁移.

虚拟化的优势在于跨平台, 即在linux上虚拟windows, 但是在如今linux占据服务器市场96%的份额(我记得是21年还是22年的数据, 现在只会更多), 只需要linux虚拟linux, 也就是隔离环境, 说白了就是只需要隔离linux进程之间的环境, 这个技术就是linux内核的命名空间技术(隔离计算), 存储的隔离技术是影子文件系统(隔离存储)典型的就是overlay, 打包这些系统api做成好用的应用api接口的公司叫Docker, 技术叫容器, 得以大规模部署的容器调度工具是Kubernetes, 但是大规模存储的调用接口使用POSIX是十分昂贵的, 且POSIX不是面向这种需求的, 所以有了一个新的存储接口协议S3, 存算分离不一定用kubernetes, 但是我没听到不用S3的, 因为存算分离是只有上规模后才值得使用的架构, 而且主要还是拓展存储, 不是计算.
发表于 2024-10-22 23:39 | 显示全部楼层
tedaz 发表于 2024-10-22 20:24
用了十几年,纯windows NTFS单盘,windows共享文件夹,然后Hyper-V虚拟机安装owncloud、svn server等,省心 ...

一样主WINDOWS SERVER坚持了十几年了,就是AUDIO STATION找不到一个好的替代,偏偏家里人对这个需求最多,一堆人要远程听歌/有声书/小说。。。。。。
发表于 2024-10-22 23:53 | 显示全部楼层
wsbpj 发表于 2024-10-22 10:29
没有, 存算分离的性能也不高, 分布式(存算一体)解决的是单机的性能瓶颈(只是解决瓶颈), 所谓的线形增长目 ...

我的看法是现在无论是s3还是azure blob或是google bigtable都可以很好的胜任“扩展”这一需求。对于spark来说每个节点访问任何数据都是差不多一样的速度(虽然速度不快)

但付出的代价是没有利用数据本地性来做优化(当然可以本地化的比例跟query本身有关),而这些分布式系统设计之时是ssd普及前,那时候网络传输速度要远快于磁盘,而现在网络速度相比本地ssd就有些小丑了。所以想出了所谓超融合,即以本地访问为主,同时也兼容远程访问来搭建分布式文件系统。但现在看到的产品只能说一言难尽吧
发表于 2024-10-23 00:51 | 显示全部楼层
相册,推荐 MT Photos,有win版,

评分

参与人数 1邪恶指数 +10 收起 理由
dexterchen + 10

查看全部评分

发表于 2024-10-23 07:22 来自手机 | 显示全部楼层
maniacwj 发表于 2024-10-22 23:39
一样主WINDOWS SERVER坚持了十几年了,就是AUDIO STATION找不到一个好的替代,偏偏家里人对这个需求最多 ...

音频文件体积很小,我是直接拷贝到各个客户端的,袁阔成单田芳三体阿龙郭德纲……
发表于 2024-10-23 08:41 | 显示全部楼层
与楼主的方案不谋而合!学习了!
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-4-23 03:32 , Processed in 0.013666 second(s), 6 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表