码农的家庭全万兆企业级组网分享，包括软件及硬件

coolwdp

作为一名职业码农 SRE，在新家装修的时候也犯了职业病，想把企业网络在自己家复制。
所以在装修的时候家里预留了 8U的机柜，然后所有屋子走了超六类网线。

先说说组网原则吧：
1.组网原则是参考企业级网络架构，准确的说是 IDC 级别，不搞多层 NAT，旁路由等旁门左道，也不搞软路由。
2.尽量做到内网全万兆打通，并有三层能力。
3.内网可直连服务器以及云主机。
4.部署企业级服务。

依照这个原则给家里选购了网络设备，全tplink企业级硬件，先上一张机柜图吧。


然后分享下网络拓扑图。




具体组网如下：
1. 上行路由选择的tp-link ER-2260T，tplink的平民神器，四千兆电口，两万兆光口。
其中第一个电口连接猫的上网口，猫改为桥接模式（我们这联通客服不错，上门装猫可以直接要求改桥接并提供公网 IP），剩余三电口组建网桥，分别接 IPTV 线，家庭服务器的一个千兆口，以及IPTV电视盒子，用做 IPTV 交换机。
第一个光口接核心交换，核心交换选择的目前最便宜的全万兆电口交换机，TL-ST5416，带三层能力。第二个光口接电模块，接一个树莓派。

2.核心交换划分为四个 VLAN：
VLAN 1 用于接上行路由器。
VLAN 2 用于接家里的各种网口。
VLAN 3 用于接 WIFI 及电视，电视盒子等设备，需要在一个 VLAN 中手机才能投屏。
VLAN 4 用于家庭服务器。

3. ER-2260T 带 AC 功能，所以免了 AC 的钱。但目前还没有 10G POE 交换机，所以在选择 AP 的时候非常纠结，很难组建 POE 10G 网络。
当时最大的失误是没有选择 TL-SH5210PB ，万兆上联三层 2.5G POE 交换机，导致目前 WIFI 缺乏 VLAN 换分能力没有办法组建隔离的 IOT和访客网络。
最后选择了 1206 这个10G 上行 2.5G 裸交换机，以及 1005PB  POE 交换机这个奇葩组合。
AP 这一块就比较好选了，TL-XHDAP11009GC，目前的最强 AP，就是供电麻烦，直插 10G 核心交换，外置电源单独供电。（专门在走廊房顶预留了网口和供电）
两个小卧室，走 POE 供电，用的 TL-XAP3022GI 和 TL-XAP5400GI。

4.服务器这块，自己从淘宝，咸鱼买配件攒了一台，CPU 6148，主板x11spl-f，256G内存，X540-t2万兆卡，以及 nv T600 显卡。千兆口插 IPTV，管理口直连核心交换，万兆口双口做链路聚合，20G 网络。

大概网络硬件如上。如果有兴趣再继续分享细节吧。

软件这块，职业病比较严重
1. 路由器第二个光口接的树莓派（通过电模块），部署 zerotier，通过 SDN 与我的云服务器互联，并且路由打通。家里直接访问云服务器。自然也有一些特殊用途，你懂的。
2. 内网部署了全套 Prometheus 监控系统，监控内网PING，服务器资源占用，以及各类服务的情况。
3. 部署 openv~p~n 并且通过 DDNS 解析家里 IP 到个人域名，在外可以直接网络连回家。
4. 当然也有 LDAP，内网全服务一套账户搞定。
5.码农的 gitea 自然也不少，还有 特斯拉的 teslamate 车机数据监控等等一堆。。。

放一些内网服务截图吧。

gtv

楼主是开发哪一块的 懂这么多网络知识 莫非是在思科工作？

coolwdp

gtv 发表于 2023-1-28 23:51
楼主是开发哪一块的 懂这么多网络知识 莫非是在思科工作？

SRE，网站稳定性工程师，或者叫高级点的运维。基本上前端到后端的所有技术，包括网络，硬件，软件都得懂点。
参考：https://baike.baidu.com/item/SRE/1141123

gtv

coolwdp 发表于 2023-1-28 23:54
SRE，网站稳定性工程师，或者叫高级点的运维。基本上前端到后端的所有技术，包括网络，硬件，软件都得懂 ...

专业 涨知识了

cmh

哇，这个职业应该老挣钱了，挣老钱了

testcb00

好奇问问为什么不搞软路由？
看你的图好像连防火墙都没 不怕被攻击？

ren3ge

感谢分享~~
请教一下，家里面要分这么多个VLAN吗，为什么将有线网口和wireless的wifi分在两个不同的VLAN？
我想到要分VLAN来限制层2广播域，可能的主要场景分隔：
1. Guest网络 VLAN，朋友过来玩，需要从wifi到上网都与自家服务隔离开
2. IPTV VLAN ， 组播流的隔离
3. 自家VLAN， 家里人可以访问任何自家应用服务

coolwdp

testcb00 发表于 2023-1-29 00:45
好奇问问为什么不搞软路由？
看你的图好像连防火墙都没 不怕被攻击？

软路由那些功能我有单独服务器都能支持没啥必要。我之前一直玩openwrt和routeros，玩玩可以稳定性堪忧。至于防火墙，2260t自带一些功能，并且ipv4环境出访有nat，天然隔绝很多攻击。

coolwdp

ren3ge 发表于 2023-1-29 00:52
感谢分享~~
请教一下，家里面要分这么多个VLAN吗，为什么将有线网口和wireless的wifi分在两个不同的VLAN？  ...

主要就是隔离广播域，我服务器有很多组播的服务，扔无线里就悲剧了。还有就是安全，避免一些服务的内网扫描。有线一些要求和无线互通的比如电视投屏也在无线vlan里。

火边的阿狄丽娜

楼主，请问不是只要前面的设备建好不同的网段然后不同的SSID绑到不同的vlan上就可以让不同的wifi分开了吗？为何还需要SH1206这个位置的交换机也要具有网管功能才行呢？

xm23340

为啥不用zabbix监控？

sad1111

都挺好 差个理线器

wswcx

三层兼POE的话，不考虑一下1930HP，虽然这个不是最优解~

nn1122

同为2260T主路由（后面可刷openwrt），缺点是v6没有防火墙，TP所有几乎所有的路由型号都禁止了v6防火墙，默认全通，导致下面获得v6公网地址的设备全端口暴露在互联网中。所以我在下面部署了opnsense二级路由，opnsense上运行DDNS和open威皮恩，把TP主路由下发的V6地址放在opnsenseWAN口上，开启V6的NAT功能，使opnsense下面的设备和服务都具有双栈访问能力，也方便V6的DDNS集中指向一个公网V6地址。另外opnsense的open威皮恩有额外的OTP配置，让客户端实现用户+密码+SSL证书+手机APP动态密码二次认证，也就是别人拿到了你的用户密码SSL证书也连接不了。这样在任何互联网环境的手机端，都可以通过APP实现内网安全访问，远程唤醒（TP APP），远程关机（esxi app）

coolwdp

火边的阿狄丽娜 发表于 2023-1-29 02:13
楼主，请问不是只要前面的设备建好不同的网段然后不同的SSID绑到不同的vlan上就可以让不同的wifi分开了吗？ ...

ap需要接到具有三层网管能力的接口上才能启用vlan隔离，不然只能在一个vlan中无法做到ssid在不同vlan中。

coolwdp

xm23340 发表于 2023-1-29 08:23
为啥不用zabbix监控？

zabbix落后啦，zabbix目前只适合交换机等网络设备监控，服务器和业务更适合prometheus

coolwdp

nn1122 发表于 2023-1-29 08:46
同为2260T主路由（后面可刷openwrt），缺点是v6没有防火墙，TP所有几乎所有的路由型号都禁止了v6防火墙，默 ...

nat6 不算标准协议了，支持设备不多。openwrt对 ipv6支持还可以，开启防火墙和slaac就行。

nn1122

coolwdp 发表于 2023-1-29 09:42
nat6 不算标准协议了，支持设备不多。openwrt对 ipv6支持还可以，开启防火墙和slaac就行。 ...

openwrt默认是v6防火墙入站端口和协议全关，比较安全。但如果要使用v6的DDNS，就只能开启openwrt的nat6模式，DDNS指向一个v6地址，使内网v6地址段的所有设备都具有同一个公网v6地址，也方便v6的威皮恩连进来访问内网设备。另外openwrt的open威皮恩的安全性不高，个人认为opnsense额外的动态密码二次认证相当于又加了一把动态锁，安全性非常高！

xm23340

coolwdp 发表于 2023-1-29 09:40
zabbix落后啦，zabbix目前只适合交换机等网络设备监控，服务器和业务更适合prometheus ...

但我看prometheus 好像报警这块没有 zabbix好 ，我当时想搞的 一直没搞起来 。zabbix感觉 更好操作。

yuan8

感谢分享
那么小的箱子，散热和噪音噪音怎么处理？目前我的16U网络机柜放在楼顶阁楼，一到夏天都要打开后盖2把12CM的暴力风扇去抽热风出去也35-40度之间，同时加上DIY NAS风扇，在楼道声音还是比较明显的

是不是把网路设备的硬件使用率、网口流量一起监控，监控界面感觉更加良好（不过并没有什么卵用）

弱弱也问下现在SRE需要技术栈？

c2h6o

这个三层VLAN网络看着怎么这么个奇怪。
一般的三层网络都是核心启用3层，作为VLAN交换，TRUNK连接下面汇聚或者接入的二层网管交换机以及AP。

michaelzyh

抱歉，本只想点进来看看家用万兆组网，可惜走错了片场

nn1122

c2h6o 发表于 2023-1-29 12:52
这个三层VLAN网络看着怎么这么个奇怪。
一般的三层网络都是核心启用3层，作为VLAN交换，TRUNK连接下面汇聚 ...

可以理解，楼主并非搞网络出身，经典的三层应用没用到很正常。一般典型的做法是三层做核心时，划分多网段Vlan以及Vlanif，开启DHCP，写静态路由指向核心路由，发挥三层交换机的NAT能力，且核心路由上要写对应的回程路由！

imluvian

我觉得最牛逼的地方在于这么多东西居然给你塞进弱电箱了

c2h6o

nn1122 发表于 2023-1-29 13:40
可以理解，楼主并非搞网络出身，经典的三层应用没用到很正常。一般典型的做法是三层做核心时，划分多网段 ...

哈哈，这个也只能算是网络结构最基本的了吧。

coolwdp

nn1122 发表于 2023-1-29 09:52
openwrt默认是v6防火墙入站端口和协议全关，比较安全。但如果要使用v6的DDNS，就只能开启openwrt的nat6模 ...

DDNS 这个是个问题， IPv6 启用 SLAAC 之后，会所有下面的设备随机生成IPv6地址，并且一个设备会有多个，一个服务一个地址，很难再固定 IP 了。

** 这个，我们线上服务如果用的话，固定设备或者少数用户一般用用户证书，如果是大规模给员工用会上 radius + privacyidea，启用 LDAP 账户密码加 OTP 一次性密码。相对来说证书还算最安全的方式。
open** 我之前自己写过一个脚本，用来快速生成证书和配置 **的， 你可以参考下 github

nn1122

coolwdp 发表于 2023-1-29 18:51
DDNS 这个是个问题， IPv6 启用 SLAAC 之后，会所有下面的设备随机生成IPv6地址，并且一个设备会有多个， ...

一旦证书用户密码被别人拿到（其实很轻松，电脑被植入木马后可直接获取到这些），一样可以连接，所以二次认证有必要

Cyberpangk

这接入层也太画蛇添足了

koney

作为码农，我用了tp全家桶，感觉已经过了折腾的年纪了

coolwdp

yuan8 发表于 2023-1-29 12:13
感谢分享
那么小的箱子，散热和噪音噪音怎么处理？目前我的16U网络机柜放在楼顶阁楼，一到夏天都要打开后盖 ...

我 8u 还好。贴了隔音棉。
tplink的设备支持 SNMP，可以通过 snmp 监控。
至于技术栈，我主要是后端服务运维，linux 技术是第一的，撸码的话，我主要用 python，会一点其他的比如 golang和 java。