ROS软路由并发及PPPOE小包测试

rx_78gp02a

kerafyrm 发表于 2024-10-23 22:32
ROS的话试试加个25条规则后的小包转发率呢，都用这个系统了不可能纯转发

配置25条过滤指令，action采用passthrough，这样保证即使匹配当前规则，依旧会顺序匹配接下来的所有规则，保证每个包必须匹配完25条规则并且记录结果。
因为server和client分别采用48.0.0.0/8和16.0.0.0/8两组IP，因此设置两个匹配组，分开测试，一个方向使用一组规则。

测试结果：
J4125+PPPOE+NAT+25IP过滤 255流发送930.64Kpps，接收678.19Kpps
J4125+PPPOE+NAT 255流发送1.045Mpps，接收734Kpps

J4125+NAT+25IP过滤 255流发送1Mpps，接收1.17Mpps
J4125+NAT 255流转发单向1.06Mpps

J4125+25IP过滤 255流发送1.22Mpps，接收1.25Mpps
J4125 255流转发单向1.78Mpps

PPPOE+NAT+25IP过滤，发送930.64Kpps，作为对比无过滤规则转发1.045Mpps

20

PPPOE+NAT+25IP过滤，接收678.19Kpps，作为对比无过滤规则转发734Kpps

21

NAT+25IP过滤，发送1Mpps，作为对比无过滤规则转发1.06Mpps

22

NAT+25IP过滤，接收1.17Mpps，作为对比无过滤规则转发1.06Mpps

23

25IP过滤，发送1.22Mpps，作为对比无过滤规则转发1.78Mpps

24

25IP过滤，发送1.25Mpps，作为对比无过滤规则转发1.78Mpps

25

baicaiwow

准备把bpi-r4给换了，现在在琢磨换啥，搞个1L小主机呢还是别的，主要1L小主机可以自己上网卡比较方便，但又怕功耗爆炸

hepan2004

先赞再看，

hepan2004

用一般的千兆网卡，比方82576或是螃蟹8111g  8111e 8111f不知道小包和连接怎么样

rx_78gp02a

hepan2004 发表于 2024-10-24 11:56
用一般的千兆网卡，比方82576或是螃蟹8111g  8111e 8111f不知道小包和连接怎么样 ...

没找到RTL8111的机器，这个配置的我只有J1900但是不在手上，倒是有个82583V的机器，但是cpu不同，仅供参考。
测试机器：I5 3470+H61+INTEL 82583V
测试系统：ROS 7.16.1 物理机
测试结果：
255流纯转发单向654.37Kpps/527.72Kpps，双向516.97+506.8=1.02Mpps
单向单核满载，双向双核满载，已开启RPS
纯转发单向654.37Kpps

01

纯转发单向527.72Kpps

02

纯转发双向516.97+506.8=1.02Mpps

03

farwish

rx_78gp02a 发表于 2024-10-24 12:50
没找到RTL8111的机器，这个配置的我只有J1900但是不在手上，倒是有个82583V的机器，但是cpu不同，仅供参 ...

ros 能内嵌科学吗？如果能就完全完美了

kerafyrm

rx_78gp02a 发表于 2024-10-24 11:40
配置25条过滤指令，action采用passthrough，这样保证即使匹配当前规则，依旧会顺序匹配接下来的所有规则 ...

看来25规则对ROS软路由影响不大，10%性能损耗。估计硬路由会大幅性能下降

hasuboy

dcl2009 发表于 2024-10-23 22:45
看来你不是重度用户，我20年-22年玩PCDN开网心云，用所有硬路由都顶不过两天，包括硬路由刷op，必卡爆， ...

先申明不讨论软路由的问题，只为你那句“用所有硬路由都顶不过两天”，我这里千兆对等线路，同样用某心云测过一堆硬路由，并没有遇到阁下说的所有的硬路由2天都顶不过的情况，当然确实有少部分顶不住。这几天在测BCM4916，已经运行14天，无任何问题，高峰期几乎都是顶满上行在跑，而且我不认为你那个线路的并发连接数有我这个大，连接数大了对设备的考验更加残酷。

dcl2009

hasuboy 发表于 2024-10-24 13:50
先申明不讨论软路由的问题，只为你那句“用所有硬路由都顶不过两天”，我这里千兆对等线路，同样用某心云 ...

现在PCDN已经收敛很多了，可追踪的连接数基本上小于100k，我玩网新云的时候，双路2696开了32台虚拟机，16T nvme，每台虚拟机的可追踪连接数都能上1m，硬路由真心顶不住，症状就是刚开始挺好，第一天也不错，然后管理页开始变卡，直到完全卡死，流量倒是正常在跑。要不是ROS没有Full Clone Nat我也不会找硬路由。

21年玩了几个月，收回成本就不玩了，毕竟办了那么多宽带也是有风险的

数不清

farwish 发表于 2024-10-24 13:41
ros 能内嵌科学吗？如果能就完全完美了

可以通过Container 安装 sing-box 或 clash，实现你的要求。

https://www.youtube.com/watch?v=6MqvdgWuAOg

hepan2004

rx_78gp02a 发表于 2024-10-24 12:50
没找到RTL8111的机器，这个配置的我只有J1900但是不在手上，倒是有个82583V的机器，但是cpu不同，仅供参 ...

感谢，先看为敬，现在用光猫做主路由，是在网上听到软路由小包不行，然后光猫做主路由也够用，之前喜欢用单臂路由，有多张主板有软网卡8111g 8111h，也有硬网卡 8111f 8111gn 82576网卡 。

hepan2004

rx_78gp02a 发表于 2024-10-24 12:50
没找到RTL8111的机器，这个配置的我只有J1900但是不在手上，倒是有个82583V的机器，但是cpu不同，仅供参 ...

要仔细研究一下，感谢楼主提供的测试。

kenyloveg

大佬是否可以再测一下那些8845HS的小主机，带双口2.5G网卡的那种，谢谢

hepan2004

rx_78gp02a 发表于 2024-10-24 12:50
没找到RTL8111的机器，这个配置的我只有J1900但是不在手上，倒是有个82583V的机器，但是cpu不同，仅供参 ...

i5 3470要比4125强不少，看来网卡区别很大。

hasuboy

dcl2009 发表于 2024-10-24 14:08
现在PCDN已经收敛很多了，可追踪的连接数基本上小于100k，我玩网新云的时候，双路2696开了32台虚拟机，16 ...

我感觉你的说法刷新了我的认知，我想先确认一下你的其中一个用词“可追踪连接数”是什么意思，并且你是如何得知这个所谓的“可追踪连接数”到底有多少的？

啵妞妞

dcl2009 发表于 2024-10-24 14:08
现在PCDN已经收敛很多了，可追踪的连接数基本上小于100k，我玩网新云的时候，双路2696开了32台虚拟机，16 ...

你办的是什么宽带，是专线吗？

hasuboy

啵妞妞 发表于 2024-10-24 14:55
你办的是什么宽带，是专线吗？

先申明我这条上下行对称的线路是带固定IP的专线，如果他的不是专线，我认为这个问题就没有讨论下去的必要，不管他说的“可追踪连接数”到底是啥，我甚至可以给他下定论家用的线路连100K都到不了，更不要说什么1M了。

farwish

数不清 发表于 2024-10-24 14:18
可以通过Container 安装 sing-box 或 clash，实现你的要求。

https://www.youtube.com/watch?v=6MqvdgWu ...

wokao  wokao!好啊，那支持ros的软路由，有推荐的吗，最好是更新cpu的

啵妞妞

hasuboy 发表于 2024-10-24 15:02
先申明我这条上下行对称的线路是带固定IP的专线，如果他的不是专线，我认为这个问题就没有讨论下去的必要 ...

是的，家用宽带的话最大连接数能给你一个10k就已经很给你面子了

dcl2009

啵妞妞 发表于 2024-10-24 14:55
你办的是什么宽带，是专线吗？

家用线路可带不起来

farwish

更新的处理器支持吗，另外这种支持ros的成品有吗，成熟的品牌货有吗，栓q

小把戏

farwish 发表于 2024-10-24 15:09
wokao  wokao!好啊，那支持ros的软路由，有推荐的吗，最好是更新cpu的

楼主的测试不是说了么，ros系统吃单核。也有层主说更强的单核性能对比更高的能耗不划算。
主要还是看你的需求吧，不是跑pcdn这种吃满的工况，并不需要太强的CPU，4125也够，还要看网卡性能也重要。
另外ros系统有官方硬件，只是没那么划算，也并不是开箱即用，有一定学习门槛。

dcl2009

hasuboy 发表于 2024-10-24 14:50
我感觉你的说法刷新了我的认知，我想先确认一下你的其中一个用词“可追踪连接数”是什么意思，并且你是如 ...

连接分两类，一类是局端，一类是本地，他俩要尽量一致，不然效率做不到最大，而且局端不是傻呵呵的只限制UDP发包量，有的会监测UDP虚连接

可追踪指的是活着的本地连接数，TCP就不说了，PCDN多数是UDP虚连接，需要有个脚本监测是否活着，死掉的需要处理掉，这个应该是PCDN基本操作吧，或者你没搞过？

我几年前用的是专线，风险太大，不到三个月就撤了，后来买了几个京东云在家养老

dcl2009

啵妞妞 发表于 2024-10-24 15:15
是的，家用宽带的话最大连接数能给你一个10k就已经很给你面子了

家用没这么多了，很久以前还能上10k，现在普遍给1k，有的就几百个，有的更狠，UDP虚连接和TCP半连接都算连接数，搞得只要开迅雷，网页都打不开

Ls12

dcl2009 发表于 2024-10-24 14:08
现在PCDN已经收敛很多了，可追踪的连接数基本上小于100k，我玩网新云的时候，双路2696开了32台虚拟机，16 ...

ROS 有 FullCone 的

1. /ip firewall nat add action=endpoint-independent-nat chain=srcnat protocol=udp out-interface=pppoe-out1 place-before=0
   
2. /ip firewall nat add action=endpoint-independent-nat chain=dstnat protocol=udp in-interface=pppoe-out1 place-before=0

复制代码

dcl2009

Ls12 发表于 2024-10-24 16:06
ROS 有 FullCone 的

这个是7.10开始支持的吧我记得，21年还不支持

rx_78gp02a

kenyloveg 发表于 2024-10-24 14:33
大佬是否可以再测一下那些8845HS的小主机，带双口2.5G网卡的那种，谢谢

8845HS这种高端机我是没有的，我可以测一个I225的性能，但是我没有2.5G的环境，借用万兆交换机，只能测试千兆的性能。
测试机器：R86S+I225
测试系统：PVE+ROS 7.16.1
测试结果：
255流纯转发单向1.48mpps/1.48mpps（千兆极限），双向1.19+1.19=2.39Mpps
255流25IP过滤转发单向1.48mpps/1.48mpps（千兆极限），双向0.83+0.83=1.66Mpps
255流CAKE流控转发单向586Kpps/468Kpps（管理口偏低），双向338+334=672Kpps

I225长时间打流会掉速至1.9Mpps，可能是过热？
千兆环境限制单向极限1.48Mpps

1

千兆环境限制单向极限1.48Mpps

2

双向1.19+1.19=2.39Mpps，CPU跑满

3

千兆环境限制单向极限1.48Mpps

4

千兆环境限制单向极限1.48Mpps

5

双向0.83+0.83=1.66Mpps，CPU跑满

6

CAKE流控是CPU负荷最大的任务

7