Intel网卡确实拉跨，sriov不能跑满线速

summerq

今天我有空测试了一下x710的sriov性能，结论如下，欢迎讨论：
1. 硬件为ms-01，自带x710。虚化平台为pve8.2
2. 如果直通网卡，用13900h的两个小核可以跑满线速。同时再降频到2.0GHz，依然可以跑满！此时整机功耗只有40瓦，cpu温度不高。
3. 如果开启sriov，对两个vf做dpdk打流测试，则不能跑满线速。其中两个小核只能跑到50%线速左右，即便是4个大核心，也只能跑到80%线速，此时cpu占用已经90%以上了。
4. 换mellanox connectx-4 lx，connectx-6 lx和connectx-6 dx，开启sriov，两个小核心均可以跑满

结论：
1. x710很拉跨
2. x550性能还不如x710
3. mellanox yyds。。。。。。不论是驱动完整性，网卡工作效率还是极限性能，都无可挑剔

moeclub110

一直都是mellanox强无敌吧

summerq

moeclub110 发表于 2024-5-31 23:47
一直都是mellanox强无敌吧

没错，mellanox确实强。虽然以前很多人在论坛上说了这个结论，但是我今天具体测试了一下，也算是实锤了。intel的卡也不是说一塌糊涂，不开sriov也还是可以的，直通就完事了。

eeechi444

感觉只有E810双芯片的卡玩拆分8*25G化身另类交换机可以玩玩了

iooo

牙膏的强项是兼容性吧，在exsi8下面似乎没这么拉跨，mcx4，5的sr-iov在Linux下掉ipv6，直通不会，牙膏有的掉有的不掉

xt970dr3

请问楼主dpdk测试和iperf3有什么区别

网仙

eeechi444 发表于 2024-5-31 23:58
感觉只有E810双芯片的卡玩拆分8*25G化身另类交换机可以玩玩了

这个玩法，用的是软交换，还是卡上硬交换？

summerq

xt970dr3 发表于 2024-6-1 01:33
请问楼主dpdk测试和iperf3有什么区别

iperf是1500字节大包，跑万兆只需要大约800kpps，也就是每秒钟80万个数据包就可以跑满。dpdk是发64字节小包，万兆跑满需要14.8mpps，也就是每秒钟1千4百80万个数据包。同时由于以太网是双向的，因此线速是每秒钟29.7mpps，也就是每秒钟发送2千9百70万个数据包。

summerq

eeechi444 发表于 2024-5-31 23:58
感觉只有E810双芯片的卡玩拆分8*25G化身另类交换机可以玩玩了

E810我没有。期待你的分享哈

OstCollector

iperf用udp打就可以发64B小包了

brucelee1126

应该是sriov没有卸载功能

summerq

OstCollector 发表于 2024-6-1 07:50
iperf用udp打就可以发64B小包了

iperf走内核协议栈，性能上不去的

summerq

brucelee1126 发表于 2024-6-1 08:24
应该是sriov没有卸载功能

具体为什么这样 我也不知道。反正自己试了一下，心里就有底了。其实跑8mpps也够了，128字节以及以上都满了

eeechi444

网仙 发表于 2024-6-1 01:45
这个玩法，用的是软交换，还是卡上硬交换？

卡上双芯片，这2个芯片没有直联，就是说1个芯片可以拆分4*25G，这4个口的数据之间可以芯片交换，但和另外1个芯片拆分的4*25G需要走一次PCIE

https://www.bilibili.com/video/B ... 3e84269a7908cc4e07e

eeechi444

summerq 发表于 2024-6-1 02:02
E810我没有。期待你的分享哈

哈哈，我也没有，这双芯片版本的E810太贵了

ksong

550t2/x710/e810，我在pve下都跑过，sriov，iperf3，12600单核就能跑满。dpdk倒是没测

summerq

ksong 发表于 2024-6-1 13:35
550t2/x710/e810，我在pve下都跑过，sriov，iperf3，12600单核就能跑满。dpdk倒是没测 ...

大包小意思 都没问题的

eeechi444

summerq 发表于 2024-6-1 13:51
大包小意思 都没问题的

要不试试QL41262?
号称最强25G网卡

土星实验室

你要用了螃蟹家的你就不会这么说了，反正下载2.5G的intel家基本能跑满，螃蟹家起起落落只能8成

网仙

eeechi444 发表于 2024-6-1 09:58
卡上双芯片，这2个芯片没有直联，就是说1个芯片可以拆分4*25G，这4个口的数据之间可以芯片交换，但和另外 ...

这个双口100G确实不错，弄成一个8口交换机。
看了下，价格确实太高了，下不去手。
还是搞个四口25G的先玩玩吧。

请教下，4口25G的E810网卡，如果做交换机用（卡上交换），需要怎么设置才能实现？

eeechi444

网仙 发表于 2024-6-2 17:45
这个双口100G确实不错，弄成一个8口交换机。
看了下，价格确实太高了，下不去手。
还是搞个四口25G的先玩 ...

这个你得去问B站UP主了，我也没搞过

tank陈

summerq 发表于 2024-5-31 23:51
没错，mellanox确实强。虽然以前很多人在论坛上说了这个结论，但是我今天具体测试了一下，也算是实锤了。 ...

intel的优点是有条esxi添狗，无论多老的硬件都支持。其它品牌性能再好，价格再便宜都只维护一两个版本就砍了支持说它们太老。

summerq

tank陈 发表于 2024-10-13 20:43
intel的优点是有条esxi添狗，无论多老的硬件都支持。其它品牌性能再好，价格再便宜都只维护一两个版本就 ...

esxi对mellanox支持的一直都很好啊

魔语者

我用X520的瑟瑟发抖...哈哈哈哈~

inSeek

大家早就在说 N卡网速快，你偏不信

tank陈

summerq 发表于 2024-10-13 21:05
esxi对mellanox支持的一直都很好啊

cx3连SRIOV都不给使用，esxi7就不给用了。还好cx4 5 6 esxi8还是支持的。

lshower

intel的网卡主要是用稳定 这个倒是我最看重的。。。

summerq

lshower 发表于 2024-10-13 21:59
intel的网卡主要是用稳定 这个倒是我最看重的。。。

我就举一个反例，你就说i225稳不稳吧 哈哈

chip_discovery

牙膏的优点实际上应该是功耗低吧，一张x710万兆卡功耗4W都不到，相当可以了。我亲测dell 5060准系统+i5 8600+32G + 3条2Tnvme固态+ 256G sata固态 + 20T机械+x710 功耗才16-20W 之间，非常省了。缺点还有认模块（换DAC线就没有限制）

卖螺丝的么,兼容性、性能什么的都是最佳的，某鱼服务器退役的网卡也非常便宜，缺点么也明显，忘记了具体是不支持ASPM 还是即使支持ASPM也不给你开， 功耗也降不下来，反正顺带地也影响CPU的C-state。服务器么不在意这么点功耗的增加，低功耗家用的话就有区别了，没记错的话，我CX4-LX 插上机至少增加10W的功耗。

summerq

chip_discovery 发表于 2024-10-14 12:13
牙膏的优点实际上应该是功耗低吧，一张x710万兆卡功耗4W都不到，相当可以了。我亲测dell 5060准系统+i5 860 ...

网卡芯片确实功耗不高。但是把，你接上两个10g电口后，每个端口增加3-5w功耗。其实就10g网络来说，我是跑dpdk的，aspm本身不但没用，开了反而有副作用，就跑不满线速了。如果说性能不重要，那又何必上10g呢