万兆家庭网络改造：由TP全家桶至mikrotik CCR2004 方案分享

wengong8 · 发表于 2024-7-16 23:59

去年3月决定新家的网络环境做规划选择了tplink ER2260T作为主路由。在坛里也发表了（https://www.chiphell.com/thread-2532730-1-1.html）原计划组网篇去年就发，但因为2260T自身问题无奈雪藏至今。

tplink ER2260T为tplink商用产品线。刚到手的测试还行，随着时间推移，去年年底到今年年后这大半年间问题不断。如果经常看帖子也能看到有部分贴或者楼中楼也有反映到问题接下来部分内容会引起某些人不适
【叠甲】反映的问题只代表个例，只代表我手中tplink er2260t这一款产品的使用体验，我从未联系tplink支持获得所谓“内部固件”来解决问题，从上线到下线整个大半年期间er2260t只接收官方ota更新。

23821712914597_.pic.jpg

以我大半年的使用体验来说，tplink er2260t作为「企业级」路由器是不合格的，以「消费级」产品来评价2260t也同样不合格。罗列几条问题：

1、网络进行重拨号之后LAN掉线，解决只能用手机上的tplink商云app强制重启er2260t。这个问题是去年底的最新版本才开始明显被观察到，到我的2260t下线也没有推送新固件。

2、网络的间歇性断开一直存在，每个固件版本都有观察到，去年秋天的版本稍微稳定了一点，这符合大多数网工对tplink的刻板印象（）

3、单一设备跑大连接请求场景下（比方PT刷流）其他设备网络几乎瘫痪，反映到实际就是打开个网页都要等大几秒或者是直接没网，手机直接回退数据网络。对于我本人来说是难以接受的。

4、自带的多宽带流量均衡很简陋，1.0固件就给一个开关，1.1固件多给一个很简陋的优先级选项；单用户多线程没法利用双宽，而且流量均衡疑似会影响网络稳定性。

5、nat端口映射随时爆炸。该问题只有1.1+固件存在。1.0固件升级1.1固件后所有端口映射都失效。且一段时间后端口映射就会爆炸，重新配置后只能不断重启来让几十条规则能生效，或者一条条删掉重新手动创建端口映射，现在机器里还有启用的但莫名不生效的十几条端口映射规则；

6、自带的ddns解析不是很稳定，并发测试全国只有约2/3的省份可以ping通

我真正意识到问题是今年3月帕鲁火的时候在lab上开了个vm给客户进行测试，客户跑了一周探针测出来er2260t这套网络的sla在线率只有90%，因为这件事情当时也闹的很不愉快，该事件加速推动了替换掉tplink全家桶。

在深受tplink设备困扰期间本人也在不断寻找替代品，最终看上了mikrotik的ccr2004；同时在看ubnt 的UDM SE设备在硬件层面接近，但udm se的2.5g网口有稳定性问题，能搜到负面反馈。
23901712919944_.pic.jpg

MikroTik CCR2004 有至少三个版本：标准版25G速率MikroTik CCR2004-1G-12S+2XS、10g速率CCR2004-16G-2S+（分主动被动散热两款)和一个使用 PCIe 插槽取电且25g速率的CCR2004-1G-2XS-PCIe，该款类似于 Nvidia bluefield DPU 的设计思路。在产品形态也很接近DPU ；

并且CCR2004-1G-2XS-PCIe 具有双口25gbps的spf28端口以及一个1gbps 的rj45端口，如果只有两条宽带的话刚好够用，

回收本帖标题：万兆指主路由的硬件端口最大速率，所以本次升级实际上是10G → 25G

23871712919909_.pic.jpg

拆机可以看到ccr2004-pcie采用了板载ecc内存，容量4GB，核心是亚马逊aws同款的alc52400，四核a57。虽然形态上类似pcie网卡，但其是一台完整的路由器，除了没有千兆交换芯片和其他ccr2004无异。到手即插即用路由界扛把子routerOS且正版L6授权。

需注意CCR2004-1G-2XS-PCIe对宿主有要求，仅支持5.15内核以上的Linux，也就是说，CCR2004-1G-2XS-PCIe不支持Windows以及esxi系统。但严格意义来说，该卡仅需要pcie供电，宿主和其完全脱钩也是能正常运行的。也可以将其插到pcie底座上，只供电这玩意也可以跑。

关于CCR2004-1G-2XS-PCIe的合适宿主。在去年确组网方案时还考虑过一款体积小巧的 1L 小主机：戴尔wyse 5070。

23881712919910_.pic.jpg

购入时考虑是配置为软路由旁路模式配合2260t使用。ccr2004以独立形式运行ros系统保证系统的稳健性，wyse5070本体使用pve虚拟化平台切出不同的kvm虚拟机以及docker、lxc等形式运行自定义化的服务。网络出口和服务层解耦，可以稳定和扩展——达到：既要、也要

关于wyse5070，这货原本是长这样的，原本定位是一个云服务的瘦客户机。
截屏2024-04-12 下午7.24.01.png

换用由@[AlphaArea_](https://space.bilibili.com/1292029)开源的diy方案后体积可以压缩很多，且保留扩展性，开源项目地址：[github.com/KCORES/KCORES-5070](http://github.com/KCORES/KCORES-5070) ，包含亚克力外壳，和riser的pcb设计，铜柱尺寸M3x14mm四枚M3x6mm四枚，在这里感谢原作者的贡献。
原作者也设计了一个铝铣的被动散热，如果进弱电箱建议用原装主动散热。唯一缺点就是不能使用原装19v电源，只能使用12vdc电源，使用第三方供电会导致wyse5070的cpu被禁止睿频，降低性能。

wyse5070很挑内存，我这里两条8g 2r*8内存能进bios但是开不了机，拔掉一条就可以正常使用
23851712919167_.pic.jpg

wyse5070本身的扩展性在同级里也较好，标准的pcie2.0*4外加pcie2.0*1的m2wifi，存储上支持emmc芯片或ngff（m2sata）硬盘一块。

改造前后的网络拓扑图：
23541711454417_.pic.jpg

原方案是使用2260t主路由兼作ac，管理xap3022，xap4500，xap6300三个2.5g端口的86面板ap。2260t先使用sfp+光口连接到万兆poe交换机，再接入若干ap。

关于ap的选择。2.5g上联端口ap现在可选项很少，除tplink外只有顶级旗舰产品才会配备。价差2.5g较g口可达2-3倍，所以暂且不替换掉tplink的ap。

可以看到拓扑图中，改造后是MikroTik CCR2004使用sfp+光口连接到万兆poe交换机，再接入tplink ac100控制器和tplink ap。poe交换机到homelab的交换机是2.5g电口的链路，后续视情况有留空间可以随时升级10g。

在三个月实际使用中，没有遇到任何ap掉线或者不稳定的问题。

一个隐藏优势，MikroTik CCR2004 PCIe的涡轮扇可以给自带sfp28光口提供有效的风道，如果你使用猫棒来拨号，散热能力ccr2004pcie比被动散热的光口管理交换机好不少。我这里使用g7615 v2光猫，就不需要折腾猫棒了。

实测web浏览加载速度快且稳定，体感能察觉比tplink更快。推测和ros内置dns缓存有关。

实测双宽带。routeros使用内置pcc负载均衡对比tplink ”企业级“负载均衡很明显的优势就是测速软件可叠加，可以跑出很漂亮的1+1=2的测速成绩，不过tplink负载均衡可以把每条宽带ipv4和ipv6同时拉满，pt可以30兆上行跑出60兆的效果。ros就不行了，是负载均衡策略的取向不同。

速度 or 稳定，必选 → 稳定
23801712914375_.pic.jpg

再快意义不大，因为瓶颈在wifi数据链路上，wifi6（160mhz 2*2mu-mimo）实用带宽是1800mbps（有干扰会跌到不足1600mbps），现在的状态就是几乎跑满无线带宽。

所以家宽现在如果有「跑满强迫症」，只推荐1500m套餐或者开1000兆和500兆两条宽带。或者拿全尺寸ccr2004拨三条500兆宽带也挺好，只要有足够多的入户纤

之前的大连接场景问题也特意实测，pt 刷流20万包每秒拉满1000mbps下100mbps上的同时进行网页、app浏览测试。没有任何问题，和空载加载速度完全一致。

1300兆拉满cpu负载45～50%，ccr2004 pppoe拨号没有硬件加速全靠cpu硬刚，也不具备任何的L3卸载功能。极限就只适用2000兆宽带了。假设您是高贵的万兆宽带用户或者ptn专线，推荐你购买mikrotik的ccr2216系列旗舰路由，内置16*a72核心，可以暴力拉满万兆pppoe，且有L3硬件卸载。或使用「正品」DPU刷固件安装ros也不错。

关于温度。在密闭的弱电箱里：j5005处理器温度49.C，ccr2004路由器核心温度58.C,风扇转速3000转左右，万兆光转电模块温度51.C。

声音关上盖板后近乎为零。

截屏2024-04-12 下午7.20.11.png

功耗。wyse5070功耗极低，只有5w不到，具体移步视频BV1JY4y117vH查看。ccr2004从上图能看出，功耗闲置是3w满载大概4-5w。

很节能环保，和本人的epyc homelab动辄上百瓦「五级能耗」强到不知道哪里去（）

另附alc52400核心特写：

23861712919908_.pic.jpg

如果有补充和讨论请至评论区。 23781712914184_.pic.jpg

后续预告：

gylj7058 · 发表于 2024-7-17 08:57

比较给力的产品力量

heishou · 发表于 2024-7-17 09:01

这连个盒子都没有啊

浅梦 · 发表于 2024-7-17 09:03

看着你们折腾真带劲，自己就不想动了，哎，上了年纪的男人

gravely · 发表于 2024-7-17 09:16

2260T那个固件，赶紧换OP吧，AC的功能用AC100替换就够了。

十指奉承 · 发表于 2024-7-17 09:17

看别人弄都很激动，到了自己，人一懒手机不卡就行

人到中年，动手力再也不强。

vincentcici · 发表于 2024-7-17 09:59

原来2260t这么多坑啊

wengong8 · 发表于 2024-7-17 10:22

heishou 发表于 2024-7-17 09:01
这连个盒子都没有啊

玩的就是硬核

冷眼旁观 · 发表于 2024-7-17 10:29

谢谢分享，好好学习用得上。

jimmyjin · 发表于 2024-7-17 10:37

请教下LZ， AP+AC 方案的话，是不是AC 只是个管理功能，所以在自己有MultiG 万兆交换机的情况下，完全可以AC 接个千兆口，然后AP 接2.5G口，10G口均可， AP wifi5, wifi6, wifi6E, wifi7 随便换，能符合AP+AC协议就行？

cnstal · 发表于 2024-7-17 10:53

看都看不懂，不知道原理是什么？

octan · 发表于 2024-7-17 10:55

我十年前装修就埋的6类线，今年才把8根线拉通上了千兆，你这都25千兆了……
主要是有娃了懒

sonc · 发表于 2024-7-17 11:34

实在没力气拉网线了。。。那么，别墅用，跑满速的主路由器选个啥呢，6个ap+30个监控

jessuse · 发表于 2024-7-17 11:45

我去年年初也考虑过这个，但是看了一圈也没找到VMware兼容不妆容，官方倒是直接标明了兼容pve。

legendab · 发表于 2024-7-17 12:13

很爽啊。

jeff.kwan · 发表于 2024-7-17 12:20

cnstal 发表于 2024-7-17 10:53
看都看不懂，不知道原理是什么？

千万不要懂，数码这回事懂了就要开始费钱了

Aim1021 · 发表于 2024-7-17 14:06

jeff.kwan 发表于 2024-7-17 12:20
千万不要懂，数码这回事懂了就要开始费钱了

无法反驳，简直太有道理了

ladexi · 发表于 2024-7-17 14:11

术有专攻乐此不疲

Wolverine · 发表于 2024-7-17 14:25

网卡真狠

粉墨home · 发表于 2024-7-17 14:26

感谢分享！

gottes · 发表于 2024-7-17 15:07

年纪大了，不想动了。。。买了威联通的万兆路由和交换机放家里3个月了都还没动，就像健身卡一样感觉办了就健过了

violente · 发表于 2024-7-17 15:25

想升级全光万兆局域网+ap，但没精力搞这玩意了感觉。软路由宕机几个月了我都不想重装。

Snail99 · 发表于 2024-7-17 17:16

折腾党永不为奴。

wengong8 · 发表于 2024-7-17 17:33

jessuse 发表于 2024-7-17 11:45
我去年年初也考虑过这个，但是看了一圈也没找到VMware兼容不妆容，官方倒是直接标明了兼容pve。 ...

不兼容esxi

wengong8 · 发表于 2024-7-17 17:33

sonc 发表于 2024-7-17 11:34
实在没力气拉网线了。。。那么，别墅用，跑满速的主路由器选个啥呢，6个ap+30个监控 ...

可以抄本篇作业，或者买标准尺寸的ccr2004

wengong8 · 发表于 2024-7-17 17:34

jimmyjin 发表于 2024-7-17 10:37
请教下LZ， AP+AC 方案的话，是不是AC 只是个管理功能，所以在自己有MultiG 万兆交换机的情况下，完全可 ...

理论上是这样，ap支持 kvr即可，实际会有各种玄学兼容问题

NeaRoNG · 发表于 2024-7-17 18:05

看着666啊，前段时间在小黄鱼看到这块板子有点想入...
转念一想自己本来就300m的宽带就算了，
被迫中断想躁动的心了哈哈哈～

voodoosys · 发表于 2024-7-17 18:09

mikrotik有一套的.以后我也会买这个牌子的相关产品用.

Autobahn · 发表于 2024-7-17 19:16

学习了正好新家在装修顺便网也弄一下

iroi_1984 · 发表于 2024-7-17 20:03

本帖最后由 iroi_1984 于 2024-7-17 20:06 编辑

RB5009用户过来顶贴，这个还是A57嘛，我记得5009都是A72了啊，我当时也想买这个来着，还好了解到必须Linux宿主
话说PVE这种基于Linux内核的虚拟化平台就可以直接对接这样的PCIe路由器，还是说必须在PVE上搭建个带Linux内核的虚拟机？
另外AP的话，不介意二手的话可以淘一下Aruba的RW版，515这种800多就能拿下，2.5G上联，5Ghz 4x4，支持160Mhz的
我刚刚把Wifi的Unifi全家桶出清，现在是555 535 515各一个

账号		自动登录	找回密码
密码			加入我们

[电脑] 万兆家庭网络改造：由TP全家桶至mikrotik CCR2004 方案分享

评分

[电脑] 万兆家庭网络改造：由TP全家桶 至mikrotik CCR2004 方案分享

评分

[电脑] 万兆家庭网络改造：由TP全家桶至mikrotik CCR2004 方案分享