软路由小包转发

Wilson163abc · 发表于 2024-10-8 16:52

rx_78gp02a 发表于 2024-10-8 11:49
公司9月流量，一共150多台设备，最大速率1090/70.53Mbps，最大包速率96.22/60.05Kpps，最大连接6.72/6.27 ...

这是硬件路由，还是软路由的界面？

Wilson163abc · 发表于 2024-10-8 17:03

想测试下自己的软路由来着，不过没搜到Trex V3.05这个软件的教程
用vmware edge 680装的OPNsense，16核心C3958+32内存
不知道性能如何

rx_78gp02a · 发表于 2024-10-8 17:18

Wilson163abc 发表于 2024-10-8 16:52
这是硬件路由，还是软路由的界面？

zabbix的监控画面，采用snmp协议抓取流量并记录

rx_78gp02a · 发表于 2024-10-8 17:22

Wilson163abc 发表于 2024-10-8 17:03
想测试下自己的软路由来着，不过没搜到Trex V3.05这个软件的教程
用vmware edge 680装的OPNsense，16核心C3 ...

C3958 比较菜，我没测过小包，但是有一块大唐的HSCTDa1主控板，配置是16G ECC + C3958 + xxv710 25G x2，实际使用和I5 3470差不多，1285L V4的一半性能，也就是N5105差不多的性能。

Wilson163abc · 发表于 2024-10-8 17:26

rx_78gp02a 发表于 2024-10-8 17:22
C3958 比较菜，我没测过小包，但是有一块大唐的HSCTDa1主控板，配置是16G ECC + C3958 + xxv710 25G x2 ...

了解，cpu一样，那大差不差，就不测了

cp8869 · 发表于 2024-10-8 22:01

rx_78gp02a 发表于 2024-10-8 09:35
如果只是测转发，无状态发包可以测双向，也好调节发包速率。
start -f stl/bench.py -m 100% -t size=64 ...

很拉跨了，cpu干到100

summerq · 发表于 2024-10-8 22:13

rx_78gp02a 发表于 2024-10-8 17:22
C3958 比较菜，我没测过小包，但是有一块大唐的HSCTDa1主控板，配置是16G ECC + C3958 + xxv710 25G x2 ...

我测过c3558，单核5mpps。c3958有16核，自带两个x553万兆sfp，用12核能跑满两个万兆，剩下4核也干不了啥，这cpu速度极慢。作为对比，最新的13900，用w个小核就跑满双万兆了，新老cpu的差距太大了

myway · 发表于 2024-10-8 22:56

本帖最后由 myway 于 2024-10-8 23:04 编辑

summerq 发表于 2024-10-8 22:13
我测过c3558，单核5mpps。c3958有16核，自带两个x553万兆sfp，用12核能跑满两个万兆，剩下4核也干不了啥 ...

这种Atom C3000系列不是单纯比拼CPU的处理能力，且产品定位多数都是SD-WAN之类的。场景都是site-2-site **之类，所以QAT加速才是核心能力。

这里恰巧有个参考数据，不过比较遗憾的是没有写是那个型号的CPU，以及网卡是什么。

https://docs.vyos.io/en/sagitta/ ... ration.html#example

另外，以阿里巴巴云网关产品为例，它给了一些千兆网络的包转发数据， 600Kpps，遗憾的是没说具体的信息。
https://netmarket.oss-cn-hangzho ... 9c4fef6a5643f14.pdf

估计上游ODM是研扬科技的 fws-2360
https://www.aaeon.com/cn/p/desktop-network-appliance-fws-2360
https://newdata.aaeon.com.tw/DOW ... ystems/FWS-2360.pdf

凑巧了。。。
研扬科技携手 VyOS Networks，实现精英开源软件与强大白盒平台的融合 - 2024-08-21
https://www.aaeon.com/cn/ni/vyos-networks-partnership

summerq · 发表于 2024-10-8 23:52

本帖最后由 summerq 于 2024-10-8 23:54 编辑

myway 发表于 2024-10-8 22:56
这种Atom C3000系列不是单纯比拼CPU的处理能力，且产品定位多数都是SD-WAN之类的。场景都是site-2-site * ...

atom c3000的qat真的没什么用。首先它可以加速ipsec，但是并不能跑到线速。64B只能跑到9g左右。而且它只支持aes128-cbc。如果比较新的chacha20，就需要qat gen4的硬件。目前有xeon d2700以及4代xeon以上，功耗爆炸。我用vpp加ipsecmb，在13900上比qat gen2 快得多，特别是小包。
我也试过intel 的qat加速卡8970，它也只是qat gen2，只支持aes128-cbc，换句话说只能加速ipsec，虽然它能跑到100g，但是wireguard也能跑万兆啊，qat在通讯加密方面就没什么优势了。

qat另一个用途是压缩加速，譬如说zfs压缩文件系统，但是随着ssd价格下降，qat就没有这方面的市场了。

在我看来，qat营造了一个很好的广告，但是实际家庭使用中，即便是我这种万兆对等网络，也看不到特别需要的领域。

最后，我有个qat 8970的卡，你收么…….

myway · 发表于 2024-10-9 00:35

可我只花了 500 人民币啊，，，再说了，我的科学服务商哪会给我这么高带宽，要能能实现 Trojan 的 TLS 加解密加速我已经心满意足了。

silverymoon · 发表于 2024-10-9 01:22

dpdk/vpp类似物做到单核9mpps不意外，但是所谓玩软路由那群人有几个能玩明白这一套，目前社区没有任何一个可用的现成方案（尤其是pppoe）
商用的netgate tnsr/cisco csr1000v已经出来有一阵了，云厂商也有自己的类似物做sdwan用
实际来说用十倍功耗的设备来对比不可取，硬路由在他的设计场景下大部分情况转发性能确实占优

summerq · 发表于 2024-10-9 02:23

本帖最后由 summerq 于 2024-10-9 02:34 编辑

silverymoon 发表于 2024-10-9 01:22
dpdk/vpp类似物做到单核9mpps不意外，但是所谓玩软路由那群人有几个能玩明白这一套，目前社区没有任何一个 ...

你说到我很有感触。主要是时间成本太高了。我是从2016年开始折腾软路由。从openwrt到pfsense再到tnsr，其中前两个大约一两周就能玩起来，但是tnsr我却是花了差不多4年时间。花了这么多时间，主要是因为这个软件开始有很多bug，又不稳定，来来回回跟社区反映修改。两年前我把家里升级到了万兆，同时开始用硬路由加旁路由，那真的是发觉世界立刻安静下来了，也没那么多烦心的bug。最近半年我又换成了AIO，主要是为了降低功耗。目前一个ms-01加上一个万兆交换机，就没有别的东西了。功耗上也就是60瓦左右。原来硬路由加旁路由实现万兆要90-100瓦。其实我也不差这点电费，只是自己有一颗爱折腾的心，总觉得要完美。现在回想起来，其实不如一开始就上硬路由。专业的事，还是应该交给专业的人去做。我自己其实也不是零linux基础。20多年前我上大学那会，是国内第一个信息对抗专业毕业的。依稀记得那时候有个gui是国内北京一个公司开发的，叫做minigui，我是国内第一个把它移植到了pxa270上的人。为此我还专门在他们那个论坛上发了帖，浏览量一度到达了max，可惜后来他们那个论坛也没有了。后来我也没有以网络安全作为我的职业，但是闲来无事也会折腾一下，只图一乐而已

rx_78gp02a · 发表于 2024-10-9 09:07

cp8869 发表于 2024-10-8 22:01
很拉跨了，cpu干到100

这是硬转发还是软转发？印象中mips的核很弱鸡。

rx_78gp02a · 发表于 2024-10-9 09:35

summerq 发表于 2024-10-8 22:13
我测过c3558，单核5mpps。c3958有16核，自带两个x553万兆sfp，用12核能跑满两个万兆，剩下4核也干不了啥 ...

Freescale很早就提供了在LEDE上跑DPDK的参考设计，用的Qoriq LS1046；Marvell CN9130应该也有DPDK的开发套件；博通PS225-H16也是跑的DPDK，但开源社区一直对其不感冒，也许大家用OP更多的是为了插件，而不是性能。
现在ARM也开始往DPDK方向走，辅助各种硬件卸载，可以把性能推得比X86更高。
Snipaste_2024-09-09_14-35-35 CN9130_88F8040_LS1046_C3558 DPDK小包转发性能.png

Snipaste_2024-09-09_14-35-35 CN9130_88F8040_LS1046_C3558 DPDK小包转发性能.png

Snipaste_2024-09-05_09-29-17 CN9130转发.png

cp8869 · 发表于 2024-10-9 09:56

rx_78gp02a 发表于 2024-10-9 09:07
这是硬转发还是软转发？印象中mips的核很弱鸡。

应该是硬的，感觉er4这代cpu出力都很多。

525165 · 发表于 2024-10-9 10:24

只说结论：

同价格（档次）软路由小包转发能力和数据包转发延迟比硬路由都差的多得多

功耗也没得比

以上都是硬伤，无解

rx_78gp02a · 发表于 2024-10-9 10:41

525165 发表于 2024-10-9 10:24
只说结论：

同价格（档次）软路由小包转发能力和数据包转发延迟比硬路由都差的多得多

我桌上这台50包邮5口千兆交换机总转发速率高达14.88Mpps，微秒级延迟，2瓦极低功耗，不限流数，请战各位硬路由。
结论：硬路由一个能打的都没有！

525165 · 发表于 2024-10-9 10:47

rx_78gp02a 发表于 2024-10-9 10:41
我桌上这台50包邮5口千兆交换机总转发速率高达14.88Mpps，微秒级延迟，2瓦极低功耗，不限流数，请战各位 ...

你是真不懂还是？

我说的是路由器，ok？

啵妞妞 · 发表于 2024-10-9 11:01

rx_78gp02a 发表于 2024-10-9 10:41
我桌上这台50包邮5口千兆交换机总转发速率高达14.88Mpps，微秒级延迟，2瓦极低功耗，不限流数，请战各位 ...

兄台入魔了吗呵呵拿二层跟三层做转发对比有可比性？
其实131楼的兄弟已经说出来了问题所在软路由并不是不能跑出高的小包吞吐量只是就实际应用场景来说不符合现阶段的市场需要跑出这么高吞吐量的条件门槛都很高说白了就是太小众了，没几个人玩的转跟硬路由相比没有可比性没有现实意义

silverymoon · 发表于 2024-10-9 11:11

summerq 发表于 2024-10-9 02:23
你说到我很有感触。主要是时间成本太高了。我是从2016年开始折腾软路由。从openwrt到pfsense再到tnsr，其 ...

我也是，很早就看不上openwrt那个原生网络栈性能，仗着自己本来也是专业的从dpdk折腾到tnsr，中间每次碰到bug修的时候都被家里人吐槽又把网搞崩了，最后热情消耗的差不多了换回硬路由+旁路网关幸福太多了。。。现在回想起来，那些大公司没那么快在2b业务转dpdk/vpp这套是有原因的，早年那个产品质量卖出去不得赔钱赔死，也难怪这么慷慨放出来让我们当小白鼠

啵妞妞 · 发表于 2024-10-9 11:20

silverymoon 发表于 2024-10-9 11:11
我也是，很早就看不上openwrt那个原生网络栈性能，仗着自己本来也是专业的从dpdk折腾到tnsr，中间每次碰 ...

对，说白了就是不成熟，各种问题拿不到实际应用场景我可以说这是镜中花，水中月，看得到你又摸不到即便摸到你也吃不下去 Bug问题一堆最后的结果还是老老实实换回硬路由

cigiti · 发表于 2024-10-9 11:23

summerq 发表于 2024-10-9 02:23
你说到我很有感触。主要是时间成本太高了。我是从2016年开始折腾软路由。从openwrt到pfsense再到tnsr，其 ...

折腾尽头是抱残守缺安心躺平，省电省心第一。

各种系统玩下来，尤其openwrt这种自己频繁编译浪费时间，然后总觉得不是个完整系统，最后还是买个低功耗路由了事。

家用没什么真正性能需求，说实话如果没有向广大亚非拉欧美善良淳朴的众生传播科学发展观一带一路的需求，谁浪费那么多时间折腾路由器，多睡睡懒觉晒晒太阳不香么。

最后的体会，为了省心关键是解耦，用一台设备跑个透明网关（并不需要多强性能），把DNS (mosdns) 和科学发展观（大鹅）跑在里面，需要科学发展观的设备，在主路由里指定下网关（比如不管是爱快这种分段ip设置还是routeros用dhcp option设置）。这样主路由随时可以换，基本上系统无关。

其实不是那么频繁滴科学发展需求，完全不需要任何折腾，需要的时候电脑桌面端开一下了事。

折腾是为了学习，学习差不多了也就不用为了折腾而折腾了。

summerq · 发表于 2024-10-9 11:24

rx_78gp02a 发表于 2024-10-9 09:35
Freescale很早就提供了在LEDE上跑DPDK的参考设计，用的Qoriq LS1046；Marvell CN9130应该也有DPDK的开发 ...

broadcom那个卡为什么咸鱼上很多就是因为商业化失败了没有大企业用。而且broadcom对开源社区向来都不配合，辣鸡的要死

summerq · 发表于 2024-10-9 11:26

啵妞妞发表于 2024-10-9 11:20
对，说白了就是不成熟，各种问题拿不到实际应用场景我可以说这是镜中花，水中月，看得到你又摸不到 ...

补充一句 netgate吃完开源社区的红利之后就开始收费了。pfsense年费120刀，tnsr年费1000刀，吃像很难看

myway · 发表于 2024-10-9 11:50

summerq 发表于 2024-10-9 11:26
补充一句 netgate吃完开源社区的红利之后就开始收费了。pfsense年费120刀，tnsr年费1000刀，吃像很难看 ...

补充++
VyOS去年开始在搞VPP了，然后现在VPP addon也并没有开源，目前看来大概率就是收费项目了。

论坛这个帖子很长，核心就一点，继承了Vyatta的VyOS，打着开源旗号，吃了社区红利，然后也类似TNSR一样，LTS收费。现在用着DPDK/VPP开源底层，然后推出 vpp addon，估计也是要收费。

以及之前关闭repo就已经吃相难看了，哎。。。

https://forum.vyos.io/t/vpp-addo ... l-open-source/13177

cigiti · 发表于 2024-10-9 11:55

myway 发表于 2024-10-9 11:50
补充++
VyOS去年开始在搞VPP了，然后现在VPP addon也并没有开源，目前看来大概率就是收费项目了。

这也是我安心用RB5009抱残守缺的原因，因为erx的经历，对Vyos感兴趣有期待，然后慢慢看着喊着海誓山盟好听口号，转身就一入侯门深如海了，Vyos选的路基本上就渐渐和普通玩家无关了。

myway · 发表于 2024-10-9 12:20

本帖最后由 myway 于 2024-10-9 13:39 编辑

cigiti 发表于 2024-10-9 11:55
这也是我安心用RB5009抱残守缺的原因，因为erx的经历，对Vyos感兴趣有期待，然后慢慢看着喊着海誓山盟好 ...

ER-x ER-4 我都用过或者在用，很稳定，稳定到可以遗忘它。若不是升级到 2000M 宽带，我都不想折腾。哎，一折腾，太多事了

rx_78gp02a · 发表于 2024-10-9 12:52

鉴于有聪明的小伙伴说硬路由转发延迟低，所以对手上的AP8220 IPQ8071A 做了一个简单的延迟测试，结果已经更新到对应的帖子，这里做个搬运

多流转发，无新增Flow，UDP单向发包，测传输延迟。
2K流，单向2Mpps无丢包，平均延迟197/215us，最大延迟410/416us，抖动72/73us
4K流，单向1.46Mpps有丢包，平均延迟2622/2680us，最大延迟3191/3266us，抖动104/76us
6K流，单向0.777Mpps有丢包，平均延迟3566/3400us，最大延迟5780/5550us，抖动681/607us
12K流，单向0.37Mpps有丢包，平均延迟5275/5654us，最大延迟7257/6950us，抖动819/773us

作为对比：
E5卵路由在每秒35.6K新增连接，19W活动连接，440W 跟踪连接表测试条件下（具体测试图看BPI-R4的测试帖）
转发1.11Mpps，单向速率9.65Gbps。延迟情况平均81/25uS，最大408/223uS，抖动21/3us

其实这个对比不公平，因为硬路由没有新增连接，流数量也少的可怜，没办法它的跟踪连接太少，一上压力就炸了。

ANDYS · 发表于 2024-10-10 00:15

summerq 发表于 2024-10-9 02:23
你说到我很有感触。主要是时间成本太高了。我是从2016年开始折腾软路由。从openwrt到pfsense再到tnsr，其 ...

铭凡MS-01吗？

summerq · 发表于 2024-10-10 00:52

ANDYS 发表于 2024-10-10 00:15
铭凡MS-01吗？

是的。用下来性价比还可以的。

账号		自动登录	找回密码
密码			加入我们

[网络] 软路由小包转发

点评

评分