基于iKuai虚拟软路由的家庭网络拓扑

voandrew · 发表于 2023-1-27 23:40

本帖最后由 voandrew 于 2023-1-28 09:56 编辑

年前时候发现当使用qBittorrent下载，很快就会出现断网。然后从上海电信入户光纤、光猫（路由/桥接）、网线等一路排查下来发现问题出在新购置的UDM SE上。再把从Unifi控制器导出的系统支持文件发给ubnt的售后部门分析后得出结论，网络负载上去后会出线Wan口mac地址丢失的问题，年后准备走售后流程换新。过年的时候，各大论坛都有限时站免的活动，所以前几日就把UDM SE下线了，使用iKuai软路由来担任原先UDM SE的所有工作。

手头正好有一台新组的机架式服务器，宿主机操作系统选择之前使用过的ESXi 7.0u3c。

服务器一共有2个100M/1G电口（i210）和2个100M/1G/2.5G/5G/10G电口（X550），规划1个千兆口作为ESXi的管理口，2个万兆网口直通给iKuai软路由作为wan口和lan口，虚拟的OpenWRT旁路由通过虚拟交换机连接iKuai。此外，由于UDM SE下线后，原本的Unifi控制器也就无法再使用了，因此选择使用Docker版控制器来管理Unifi交换机和AP，底层系统使用最小化安装的ubuntu server。另外还设置了一台虚拟ubuntu server，上面主要跑了DDNS-Go和Adguard Home之类的网络基础应用，当然这3个容器完全可以集成到iKuai和OpenWRT里面。不过为了折腾方便，我还是喜欢把这部分功能从路由里面独立出来。

基于iKuai虚拟机的家庭网络拓扑图.jpg

图看上去比较复杂，主要是因为把端口组画了出来，但其实部署起来还挺快的。目前，ESXi里面就两台虚拟交换机，一台是ESXi默认的vSwitch0，桥接到千兆口，作为管理口。另一台是新建的虚拟交换机VLAN-Trunk，接了两台软路由。在这台交换机上新建了vlan-trunk和vlan101两个端口组。vlan-trunk端口组trunk了所有vlan，用于ikuai的下联。openwrt是被我划到了vlan101这个vlan里面，给这个vlan里的设备加密科学加速上网用。

由于设备性能依旧有非常多的冗余，准备再往里面加3个虚拟机玩玩，主要是三个功能：
1. ikuai双机热备（折腾主ikuai虚拟机的时候，能够自动切换到备用ikuai上，保持网络通畅）
2. OPNsense防火墙
3. JumpServer堡垒机

目前拓扑图的构想如下，不知道野路子能否搞明白了。

ikuai hot backup + OPNsense + JumpServer.jpg

ikuai hot backup + OPNsense + JumpServer.jpg

fyc858 · 发表于 2023-1-27 23:51

家庭宽带没万兆wan直通纯浪费，用个千兆口直通就行了，lan口无需直通，esxi虚拟机lan之间数据交换不经过软路由系统的，op这种千万别勾桥接接口，所以不存在lan to lan的转发，无需直通

voandrew · 发表于 2023-1-28 00:23

fyc858 发表于 2023-1-27 23:51
家庭宽带没万兆wan直通纯浪费，用个千兆口直通就行了，lan口无需直通，esxi虚拟机lan之间数据交换不经过软 ...

1. 2000兆的FTTR套餐，直通个千兆口咋够用？
2. esxi虚拟机管理口其实是可以桥接到ikuai的后面的那台交换机上的，只是我没那么做，后续确实可以这么整
3. op不需要桥接，op通过一个虚拟网口连接虚拟交换机连接ikuai和外部交换机。在op内部网卡物理设置可以把桥接钩上。

木小偶 · 发表于 2023-1-28 01:42

机架难道是CHH标配了吗？我用软路由加16口交换机，感觉已经是周围朋友里最豪华的配置了

voandrew · 发表于 2023-1-28 01:43

木小偶发表于 2023-1-28 01:42
机架难道是CHH标配了吗？我用软路由加16口交换机，感觉已经是周围朋友里最豪华的配置了 ...

只是烧得有点狠而已

fyc858 · 发表于 2023-1-28 08:48

voandrew 发表于 2023-1-28 00:23
1. 2000兆的FTTR套餐，直通个千兆口咋够用？
2. esxi虚拟机管理口其实是可以桥接到ikuai的后面的那台交换 ...

op内部绝对不能勾桥接，不然当你op做旁路由性能损失会很大，假如某个设备网关直连主路由的，它跑流量的时候，流量理论上不经过旁路由，但你勾了桥接流量就会经过op网桥造成op占用和主路由一样的cpu资源，这也是我最近才发现的，前段时间来chh问过结果没人回复后来自己抓包才发现的问题

jaynfs · 发表于 2023-1-28 08:51

求前置IO口的服务器机箱型号

voandrew · 发表于 2023-1-28 08:52

还有这种事情？谢兄弟解释。我回头也抓一下看看

voandrew · 发表于 2023-1-28 08:52

jaynfs 发表于 2023-1-28 08:51
求前置IO口的服务器机箱型号

研华IPC-603

nsis · 发表于 2023-1-28 09:11

fyc858 发表于 2023-1-28 08:48
op内部绝对不能勾桥接，不然当你op做旁路由性能损失会很大，假如某个设备网关直连主路由的，它跑流量的时 ...

一般不都是主路由勾，旁路由不勾吗

fyc858 · 发表于 2023-1-28 09:39

nsis 发表于 2023-1-28 09:11
一般不都是主路由勾，旁路由不勾吗

只要是双路由都不能勾，不然你如果是2条线路2个路由也一样会出这个问题，跑一条线路，另外一条线路的路由也会有CPU占用，流量小感觉不出来，流量一大就宕机

voandrew · 发表于 2023-1-28 09:58

fyc858 发表于 2023-1-28 09:39
只要是双路由都不能勾，不然你如果是2条线路2个路由也一样会出这个问题，跑一条线路，另外一条线路的路由 ...

不过仔细想想也确实是不需要勾选。桥接是多lan口才需要勾选的，单口确实完全没必要。

nidrbingge · 发表于 2023-1-28 10:41

我之前也用爱快+op，多年使用下来只觉得爱快很方便，但实际使用体验不如ROS，本来也想买UDMSE，因为家里都是UBNT AP，后来还是买了CCR2004，现在用下来感觉当时的选择没错，ROS确实要比爱快体验更好

yoakam · 发表于 2023-1-28 10:59

看了文中写着使用Docker版控制器来管理Unifi交换机和AP，我想问问用这个比ubuntu server安装控制器更好吗？我一直是ubuntu的，新版本测试的时候临时用Windows或者macos上。docker折腾过就是没成功过。
当前还是第一代的unifi全家桶，2022年陆陆续续捡了 4x4 ac wave2的就是三款后缀HD的ap。也想升级udm se，或者更简单点换udr一体机。
udm se 10g口暂时用不上，udr又只有一个wan口，来点建议吧。
AP方面我应该是802.11n智能设备及部分ipc；ac主用，ax就一台。

wswcx · 发表于 2023-1-28 11:06

超级复合体

yuan8 · 发表于 2023-1-28 11:29

yoakam 发表于 2023-1-28 10:59
看了文中写着使用Docker版控制器来管理Unifi交换机和AP，我想问问用这个比ubuntu server安装控制器更好吗？ ...

docker版本搜一下也挺多的

fyc858 · 发表于 2023-1-28 13:10

本帖最后由 fyc858 于 2023-1-28 13:11 编辑

voandrew 发表于 2023-1-28 09:58
不过仔细想想也确实是不需要勾选。桥接是多lan口才需要勾选的，单口确实完全没必要。 ...

主要OP默认桥接都是打勾的，一般也不会去改这个设置，这个细节我看各大UP主在教双路由的时候都没提到，我也是在复制大文件到群晖的时候速度变慢才发现的，原本单路由下可以跑满10G的，搞了个旁路由速度掉到2.5G了，再一看ESXI宿主的CPU占用率都快冒烟了，旁路由一关机就又好了，这个问题研究了几天，最后抓包发现问题把桥接取消，这几天单挂PT跑满100M上传功耗和之前比降了5-7W

wswcx · 发表于 2023-1-28 15:44

fyc858 发表于 2023-1-28 13:10
主要OP默认桥接都是打勾的，一般也不会去改这个设置，这个细节我看各大UP主在教双路由的时候都没提到，我 ...

请教一下大佬，桥接接口的勾去掉的话，接口总览那的状态就一直是正在收集数据，显示不了IP地址、数据包信息了，这是啥问题，能解决否？

fyc858 · 发表于 2023-1-28 16:47

wswcx 发表于 2023-1-28 15:44
请教一下大佬，桥接接口的勾去掉的话，接口总览那的状态就一直是正在收集数据，显示不了IP地址、数据包信 ...

能正常用就换个浏览器看看

zxy2001 · 发表于 2023-1-28 16:49

这走线，强迫症看了表示很巴适。。。

voandrew · 发表于 2023-1-28 17:12

yoakam 发表于 2023-1-28 10:59
看了文中写着使用Docker版控制器来管理Unifi交换机和AP，我想问问用这个比ubuntu server安装控制器更好吗？ ...

ubuntu server最小化安装直接安装docker组件。unifi控制器我选用了linuxserver封装的容器，网络模式选择host

voandrew · 发表于 2023-1-28 17:14

nidrbingge 发表于 2023-1-28 10:41
我之前也用爱快+op，多年使用下来只觉得爱快很方便，但实际使用体验不如ROS，本来也想买UDMSE，因为家里都 ...

ros反应速度比ikuai快

voandrew · 发表于 2023-1-28 17:16

yoakam 发表于 2023-1-28 10:59
看了文中写着使用Docker版控制器来管理Unifi交换机和AP，我想问问用这个比ubuntu server安装控制器更好吗？ ...

这还真没发给建议，硬件多点性能冗余倒也无所谓。2.5g上行，双10g做下行，其中一个接nas都可以

voandrew · 发表于 2023-1-28 17:16

fyc858 发表于 2023-1-28 13:10
主要OP默认桥接都是打勾的，一般也不会去改这个设置，这个细节我看各大UP主在教双路由的时候都没提到，我 ...

谢兄弟提醒，我确实没发现这个问题，我也取消桥接了

voandrew · 发表于 2023-1-28 17:18

zxy2001 发表于 2023-1-28 16:49
这走线，强迫症看了表示很巴适。。。

哈哈，手搓的，除了手疼，别的倒没啥

iooo · 发表于 2023-1-28 17:50

网卡干嘛不做SR-IOV，性能比vswitch要好一些给寄主机的压力也小一些
虽然ikuai和ROS用起来也很省心，但定制化的openwrt也是非常爽的-只保留需要的模块和驱动，速度和稳定性也是极好的

lasx · 发表于 2023-1-28 17:56

Adguard Home效果怎么样？我感觉没啥用。。

voandrew · 发表于 2023-1-28 18:10

lasx 发表于 2023-1-28 17:56
Adguard Home效果怎么样？我感觉没啥用。。

现在用处确实不大，dns缓存现在哪里都有，拦广告聊胜于无

normanlu · 发表于 2023-1-28 18:10

家庭用户，路由器自带防火墙足够用了。

单网口旁路由无所谓桥接不桥接，不影响。

voandrew · 发表于 2023-1-28 18:12

normanlu 发表于 2023-1-28 18:10
家庭用户，路由器自带防火墙足够用了。

单网口旁路由无所谓桥接不桥接，不影响。 ...

野路子瞎折腾嘛，硬件都有，又不花钱

账号		自动登录	找回密码
密码			加入我们

[网络] 基于iKuai虚拟软路由的家庭网络拓扑