非常不Home的HomeServer搭建总结

tkdm

看到论坛里好多大佬都show了自己的HomeServer方案，我也来凑个热闹

先上几张成品图，再看方案。




实物图如上，只是下面topo里的AS 53701局点。事实上，下图topo中的每一个BGP AS号都代表一个独立的局点。



首先，请别问我搞这么多设备一个月电费多少，没仔细算过，似乎几百块也搞定了。
几百块多不多？对于一般居家用途来说是很多了，但是相对于能带给我的价值来说，一点都不多~

房子不主住人，做了隔音和制冷，不怕吵也不怕热。

设备全是小黄鱼上来的，家里没有矿，就是喜欢而已。

简单叙述一下方案吧，

云上云下是通过云服务商提供的IPSec打通的，按流量收费，0.6元/G。平时云上云下主要是一些对外发布的数据同步，交互的流量并不多，成本不高。

AS53701 在某二线城市自己一处闲置的房产，是核心局点。核心局点嘛，至少要整个像点样子的柜子，温度和功率监控是要有的。
电信50M专线+联通1000M家宽+移动500M家宽，另外有个移动的IMS+联通MGCP两条语音线路。
（PS：IMS线路现在做在freepbx上了，MGCP的线路还没搞明白怎么玩，有明白的大师欢迎指点一下~）
防火墙是USG6306E，光口电口一大堆，美中不足的是只有2个10GE SFP+。移动的光猫很好换，家宽和IMS已经换成PON Stick直接插在墙上了（联通的MGCP也换了，就是不会用）。
交换机是收来的广达T3048-LY2R，这个机器性价比还可以功能也不差，就是系统和命令有点不一样，花时间研究了一下。下级是个华为S5720-28X-LI-DC，需要48V供电，跟联通的光猫（直流版本的MA5616）共用了一套-48v通信电源。

服务器是超微的，号称“8子星”，4U内放了8个节点，密度确实可以。8个节点通常实际运行4~5个，剩下的都standby了，相对能节能一点。

后端存储是用一台Dell R530装了Freenas实现的，40GE网卡连到交换机，实测带宽瓶颈不大。


关于虚拟机和业务功能这些，经过几年的摸索，演进出了这些东西。。。

系统多了，虚机多了，用户名密码和身份管理就很麻烦，那就用个ActiveDirectory吧。
所有局点的AP都在中心局点的AC上统一管理了，那么多局点那么多AP那么多人，密码也难管理，搞个802.1x对接到AD统一管理起来吧。
有域，有域名，云上云下也通了，那AzureAD+Office365不安排上就显得有点亏了，，搞。
网络设备那么多，监控也是要的，eSight和zabbix也要安排上。
终端多了，IP地址分配和OS安装也难免搞得乱七八糟，所以DHCP+WDS用上了也方便些。
偶尔开发个小应用，涉及到数据库的，有个数据库调试环境也是很提高效率的，安排。
内网的服务越来越多，用ip地址访问肯定不行了，内网可以用AD来充当DNS做解析，外网也要单独搭个dns解析一下。
老婆是个前端工程师，写了东西要有个地方挂上来调试看一下，其他环境也懒得搞，宝塔来一套。
用于局点之间的测速，iperf3安排。
崽子出生了，照片数量激增，photoprism安排。

用了段时间黑群晖的notestation，稳定性一般，功能也一般，那self hosted joplin搞一套试试吧。

至于www proxy是干啥的，我不说你也懂得~


Atlas 500是个内置ARM+NPU的边缘小站，丢在这里跑测试代码用，本职工作的日常需要。

出差在外，可以用Softether远程连回来。改了下代码重新编译了，分离路由功能可以用了，比防火墙自带的接入功能似乎清爽一些。

最近搞了几个openwrt的小路由，装个SoftetherClient接回中心局点，quagga+zebra+bgpd打通路由，出差跟在家一样用全部功能，速度略慢而已。

其余的硬件嘛，对于过去3年停电不超过5次，每次时间不超过5分钟的地方，UPS和电池能有效的避免断业务，是比较基础的需求了。

除了以上这些，计算资源其实还剩不少。有些工作需要搞的东西就不细说了，总之是对提升效率有不小的帮助的~


这个HomeServer可以说是非常不Home了，拿给大家看看，没有实际需求的不要学我。

lzbnet

不明确厉

creceine

LZ你的AS number不是合法的啊，是美国一个大学的。自己用请使用private AS

tkdm

creceine 发表于 2021-12-20 16:25
LZ你的AS number不是合法的啊，是美国一个大学的。自己用请使用private AS

BGP全部运行在mGRE隧道中间并不与外网交互，AS Number在全内网环境中还要考虑合法不合法怕是说严重了。。。
我ip地址6开头还不属于中国呢。。。要说缺点确实也有，比如我访问某国国防部的地址会在内网里寻址，不会跳到外网去。但是这个确定会影响到我么？我觉得并不会。
内网和外网就是相对的概念吧~

超级大猫

散力架

楼下

危

creceine

tkdm 发表于 2021-12-20 16:40
BGP全部运行在mGRE隧道中间并不与外网交互，AS Number在全内网环境中还要考虑合法不合法怕是说严重了。。 ...

内外有别所以IANA有相关的规定，当然合法非法只是我们口头说法。
不知道你这个结构内部有啥必要跑BGP。跟外网连你又没有跑BGP，multi-homing好麻烦你每个上联口做一个NAT？
话说回来CM/CU万一要真把你AS泄露出去了够他们吃一壶的。

tkdm

超级大猫 发表于 2021-12-20 16:49
散力架

楼下

有道理。之前是计划把电池放在外面的，算了一下重量还远远不到标准，后来找不到合适的架子就把电池放里面了，忘了重新算一下重量。。。
过两天安排上

tkdm

creceine 发表于 2021-12-20 16:49
内外有别所以IANA有相关的规定，当然合法非法只是我们口头说法。
不知道你这个结构内部有啥必要跑BGP。跟 ...

据我所知，国内很多大厂和云供应商的内部互联网络在内网里也是用了一堆非私有AS号，合法不合法合规不合规的就不讨论了。
用BGP的原因有不少，懒得维护静态路由，ospf对于p2mp的场景的厂家兼容性有点折腾人，而且跟openstack对接，可参考的资料也相对多一些。
不过CM和CU倒是还这没法把我的AS泄露出去，我不peer到运营商，他想泄露又奈何呢

Wolverine

太厉害了

bxhomd

够专业，学习了。。。

wuhao0015

搞了好复杂啊。

michaelzyh

楼主对home server有误解，散了吧

wuzheng40

一点都不HOME。。。

高子

UPS的电瓶直接裸露的吗？

ctj

服务这么多，应该在弄个grafana大屏监控。
zabbix的微信告警功能也可以搞上

ctj

图里面的voip是内网通话用还是有接到ims的电话上面

ctj

看错时间，挖坟。。