一些Mikrotik （ROS）网络设备使用经验分享

pdvc

rx_78gp02a 发表于 2023-8-4 12:26
差点就入了这个机器，开Fast Path占用还那么高，那确实意义不大。RouterBoard没有RPS，多核不均衡，好处 ...

ROS的硬件更适合多路小带宽聚合的非PPPOE的商宽用，针对的市场也主要是小型ISP/网吧聚合带宽使用。并不适合家用大带宽，如果你有聚合多路小带宽的需求可以购入，不然建议直接用ZTE AX5400Pro+那种offload性能好的设备（建议搭配同方案的F7607P光猫），不到千兆带宽的用ER-X也可以。

当然了，如果是暴力的高频x86平台去跑CHR，那还是不容易有瓶颈的。

gnattu

pdvc 发表于 2023-8-4 19:47
测的是BT么？上行PPS我看你那很少。

现在关键是延迟抖动/重传率和offload的是有明显区别的，明显是不一 ...

你等我搭个环境我测测 BT已经是相对极端的使用情况了 你甚至说这个是家用环境常态我都不一定能同意你 要在实验室环境里模拟也挺难的 我试试线程比较多的UDP上下行同时跑

以及你不要就说有明显区别 你给出点测试方法和你认为“足够好”的数字指标 我好对应去看而不是我去盲猜 至少在我目前的的实验室条件下单核瓶颈在千兆带宽下真的很难成立

不过我知道一个可能性 就是你BT使用了大量的IPv6连接 但是ROS的IPv6无法使用Fasttrack 所以你可能会得出Fasttrack对PPPOE没什么作用的结论 如果是这样一切都说得通 我也认可这种情况是会有CPU瓶颈（实验室条件也就1G多）如果重度依赖大流量的IPv6那CPU单核心瓶颈是必然出现的 感觉这个就是我们测试结果大相径庭的根源

pdvc

gnattu 发表于 2023-8-4 20:21
你等我搭个环境我测测 BT已经是相对极端的使用情况了 你甚至说这个是家用环境常态我都不一定能同意你 要 ...

测试环境其实很简单，就是普通家宽，测试开个迅雷就行了。BT也不极端吧，正常家用而已。

实验室环境可以打表测一下TCP重传率，对比有offload的设备很明显，还比不过MT7621那种。

其实，4011这种单核瓶颈问题国外也早有大带宽用户反映了。

我是2020年测的了，那会ISP还没给IPv6，不存在这个问题的。

至少从数据上来看，ROS的PPPOE/NAT性能应该是看单核IPC了。5009换了SoC，可能有改善，4011用在家宽大带宽上现在是可能瓶颈了。

softz

pdvc 发表于 2023-8-4 20:43
测试环境其实很简单，就是普通家宽，测试开个迅雷就行了。BT也不极端吧，正常家用而已。

实验室环境可以 ...

21年我就是因为4011的CPU占用爆了没办法，才狠心用x86跑ROS，我每天都在跑PT，固定上传在25M/s浮动，下载也在180-200M/s之间浮动，4011如果没有任何rules还能勉强撑得住（47%左右的CPU占用），但是我上了Wireguard跑GFW，瞬间就挂了，只要PT跑起来，CPU直奔90%去了，是真的不行（Mangle 100条规则，AddressList 28300条），后来直接用x99的板+双E5-2696v4来跑ROS，一切都云淡风轻了~

pdvc

softz 发表于 2023-8-4 20:48
21年我就是因为4011的CPU占用爆了没办法，才狠心用x86跑ROS，我每天都在跑PT，固定上传在25M/s浮动，下载 ...

你当时看的47%的CPU占用是整体吧？你打开CPU详情看，单核应该跑满了

我那测试单核44%时，整体才12%

跑PT多，还要科学，硬路由+旁路由比较适合你这种情况，要多条带宽混合的那只能暴力x86了~

gnattu

pdvc 发表于 2023-8-4 20:51
你当时看的47%的CPU占用是整体吧？你打开CPU详情看，单核应该跑满了

我那测试单核44%时，整体才12%

但是能设置比较复杂路由表的选择也不多 不去捡企业级洋垃圾也就mikrotik用用了 我现在也是几千条路由表用着 加密都不跑mikrotik上

pdvc

gnattu 发表于 2023-8-4 20:57
但是能设置比较复杂路由表的选择也不多 不去捡企业级洋垃圾也就mikrotik用用了 我现在也是几千条路由表用 ...

可以考虑直接用linux折腾。

企业级都不待见PPPOE的，甚至还有用CPU跑NAT的，然后也有单核瓶颈

qq775812376

CRS305买回来当傻瓜用，另外啥是L3卸载能力？

kevinho86

qq775812376 发表于 2023-8-4 21:19
CRS305买回来当傻瓜用，另外啥是L3卸载能力？

可以看看18楼的解释

rx_78gp02a

gnattu 发表于 2023-8-4 20:21
你等我搭个环境我测测 BT已经是相对极端的使用情况了 你甚至说这个是家用环境常态我都不一定能同意你 要 ...

BT的包量比测速高的多，尤其是上行。随便两百个种子不限连接数就能达到顶峰。
I5-3470 物理机ROS+CAKE流控，下行1200Mbps/104kpps，平均包1442Byte；上行50Mbps/92Kpps，平均包67Byte，CPU 40%

C3958 物理机ROS+CAKE流控，下行1140Mbps/102kpps，平均包1397Byte；上行50Mbps/91Kpps，平均包68Byte，CPU 56%

I5-3470 物理机ROS+CAKE流控，下行1150Mbps/105kpps，平均包1369Byte；上行50Mbps/86kpps，平均包72Byte，CPU 45%

I5-3470 物理机ROS+CAKE流控，下行1150Mbps/105kpps，平均包1369Byte；上行50Mbps/84kpps，平均包74Byte，CPU 45%

mypchas6fans

RB2011用了很久，前两天穿出去2016年上海Mikrotik User Meeting的T恤还被同事问~

arieslo

我觉得家用的话，RB450Gx4真的很适合。。

发热低、小巧、性能够用、网口也够用等等。。。

a1990330

大老請問
如果是使用 外網 2G 速度  PPPOE
有沒有 "具备L3卸载能力"  會有重大影響嗎

525165

再也不对喷 发表于 2023-8-3 00:20
可惜没有cap ax的评测

性能可参考hap ax3，硬件配置基本一样（cap ax没有2.5G接口）

525165

a1990330 发表于 2023-8-9 13:05
大老請問
如果是使用 外網 2G 速度  PPPOE
有沒有 "具备L3卸载能力"  會有重大影響嗎 ...

不会有大影响，只是CPU占用会高一些
2Gbps的PPPoE可考虑5009，ax3，4011

525165

hawie 发表于 2023-8-3 17:18
正在考虑入这款，是哪方面的故障？信号跟TPLINK XDR5480/6088之类比较，相差大吗？功耗实际大约有多高？
...

没用过您说的这几款，所以不好对比
ax3的信号和性能我认为都是不错的，算一款不错的机器
功耗数据请参考：

hawie

525165 发表于 2023-8-9 17:20
没用过您说的这几款，所以不好对比
ax3的信号和性能我认为都是不错的，算一款不错的机器
功耗数据请参考 ...

换成了rb5009， 无线部分保留用原来的。这个5009的bridge，只要启用多于一个，对应端口的hw offload就看到关掉了，似乎这里只是L2的offload吧。
L3卸载能力，用什么命令或哪个位置确认支持程度？

kevinho86

hawie 发表于 2023-8-9 17:51
换成了rb5009， 无线部分保留用原来的。这个5009的bridge，只要启用多于一个，对应端口的hw offload就看 ...

5009的交换芯片是不支持L3 HW offload的

7月30日已经和官方技术确认支持L2 HW（包括vlan-filtering和bond），但不支持L3 HW，代表二层内网是线速转发，但三层路由，需要经过CPU处理，所以使用RB5009时，内网IP最好在一个网段，跨网段要过CPU处理，交换芯片到CPU只有10G总线，大家需要考虑好网络规划！

原文

hawie

kevinho86 发表于 2023-8-9 17:56
5009的交换芯片是不支持L3 HW offload的

7月30日已经和官方技术确认支持L2 HW（包括vlan-filtering和bon ...

果然，看来只能妥协了。需要支持多一个内网段，那另一个网段分配尽量少的端口吧。

有个关联的问题请教，两个网段情形下的IPv6如何配置？目前就启用了一个网段的IPv6。这方面有参考资料么。

kevinho86

hawie 发表于 2023-8-9 18:15
果然，看来只能妥协了。需要支持多一个内网段，那另一个网段分配尽量少的端口吧。

有个关联的问题请教， ...

没有接触过相关设定

老饭

其实吧，一般家里用，跨vlan流量能有多少

pdvc

a1990330 发表于 2023-8-9 13:05
大老請問
如果是使用 外網 2G 速度  PPPOE
有沒有 "具备L3卸载能力"  會有重大影響嗎 ...

4011可能有单核瓶颈了，5009大概好点。

hawie

kevinho86 发表于 2023-8-9 18:22
没有接触过相关设定

这方面的资料真少，只好研究了一下，刚基本搞定了。

luodidao

多崎作 发表于 2023-8-2 15:28
在用rb750gr3，使用感受就是稳如老狗，一年下来从来没出过问题，性能有硬件加速可以跑个1000M也没问题。
配 ...

想入手这款，可惜都是千兆口，能是2.5g就好了，
万兆不考虑了，价格太高，体积也大，放不到弱电箱了

声色茶马

这又是一位在家里搞百万机柜的大佬？

阿崔

gnattu 发表于 2023-8-2 20:33
只有非常极端的情况会受到影响。。。
首先触发瓶颈的前提是你这个转发一定要过CPU 那基本上局域网传输的 ...

实际情况更复杂，一般硬件的L3的offloading都只限于简单的NAT和MTU调整，稍微复杂一点的能支持无状态的防火墙（只通过一个包的内容进行规则判断），大部分防火墙规则都无法适用，一般用在设备众多的公司/机房环境。而家用环境进行网络的划分更多是出于安全考虑，而不是带宽或者可维护性，需要复杂的防火墙/QoS规则，反而子网络之间的流量不高，就算存在，也是突发的，这种情况下硬件的offloading起不了什么作用，基本就是单纯增加成本的摆设。

l0stc0mpass

升级款的5009国内有正规渠道么，多少钱？

kevinho86

l0stc0mpass 发表于 2023-8-29 12:58
升级款的5009国内有正规渠道么，多少钱？

店铺名含“Mikrotik”几家不算是正规渠道吗？
捷联迅通是M家官网也写明是官方分销商

2100至2300不是这个价钱吗？

qq775812376

CRS305使用tp的2.5G光电模块不能自动协商速率，另外wsOS模式都不能选2.5G以上的速率