Intel网卡确实拉跨，sriov不能跑满线速

chip_discovery

summerq 发表于 2024-10-14 12:53
网卡芯片确实功耗不高。但是把，你接上两个10g电口后，每个端口增加3-5w功耗。其实就10g网络来说，我是跑 ...

我是SFP+ 的，一根DAC线才0.1W的功耗。
所以咱们的需求不同，x710就适合我这种低功耗家用NAS的场景，不会一直跑满，空闲时不影响c-state,这也就是为什么我先买的是4411A，后来又收了个x710，
而大佬你更适合用卖螺丝

rx_78gp02a

cx4 lx对标的是intel XXV710，都是25G的卡，XXV710标称8.6W，CX4121A标称9.6W，其实差不了多少，加上intel祖传没有rdma支持，不支持multi-host direct，功耗低点也正常。

imyz

巧了，我之前的板子板载的正是 X710-AT 双口，在 ESXi8U3 下可以打开 SR-IOV，最近也上了万兆交换机，粗略试了下水，想让大佬帮看下这个结果算不算好？

这是我采用的方式：

1. CPU 是 Ryzen 5750GE，ESXi8 启用两个 X710-AT2 的 SR-IOV；
2. ESXi8 下新建两台 WinServer 虚拟机，并分别使用 1 中两个 SR-IOV 设备作 VF 网卡；
3. 物理网线是接在一台 Cisco 三层万兆交换机，switchport trunk allowed vlan all；
4. iperf3.17.1-x64 开 4 个线程测。

因为是头一回上万兆，也不清楚这个成绩算不算合格：

这是禁用 Jumbo Frame/Packet，4 线程：


而这是开启 Jumbo Frame/Packet，4 线程：

summerq

imyz 发表于 2024-10-14 14:54
巧了，我之前的板子板载的正是 X710-AT 双口，在 ESXi8U3 下可以打开 SR-IOV，最近也上了万兆交换机，粗略 ...

你发个单线程看看

imyz

summerq 发表于 2024-10-14 17:14
你发个单线程看看

刚又分别作了几次 禁/启 Jumbo Frame 单线程测试。iperf3 客户端的 CPU 占用全程不超 15%，而服务端只要开测，若是 Jumbo=Disabled，CPU 始终在 45~50% 间浮动，而 Jumbo = 9014 时 CPU 会在 50-54% 间浮动。具体请看截图：

先看客户端的：


Jumbo = Disabled,


Jumbo = 9014

summerq

imyz 发表于 2024-10-14 20:42
刚又分别作了几次 禁/启 Jumbo Frame 单线程测试。iperf3 客户端的 CPU 占用全程不超 15%，而服务端只要 ...

你这速度没问题，很好啊

lshower

summerq 发表于 2024-10-13 22:23
我就举一个反例，你就说i225稳不稳吧 哈哈

目前还在千兆。。= =还没用到10g的。。。。

v62pmonr

搭车请教一下楼主，我两块mellanox connectx-4 lx直连，两边都是pcie4的nvme，可单口文件传输速度只能到1.7GB/s，是哪里设置问题还是就是CPU不行呢。（9代CPU，CC150和8500T）
正常的传输速度或者iperf测速应该是多少呢？
多谢了。

imyz

summerq 发表于 2024-10-14 21:43
你这速度没问题，很好啊

谢谢！这样我又能开心个半天，哈哈哈哈

summerq

v62pmonr 发表于 2024-10-15 06:48
搭车请教一下楼主，我两块mellanox connectx-4 lx直连，两边都是pcie4的nvme，可单口文件传输速度只能到1.7 ...

具体网卡型号，连接方式，操作系统，测试方法你都没说，我也没办法给你建议

v62pmonr

summerq 发表于 2024-10-16 00:27
具体网卡型号，连接方式，操作系统，测试方法你都没说，我也没办法给你建议 ...

两块4121a，都是windows11.直连，然后SMB共享拖拽文件速度差不多1.7G左右。

rx_78gp02a

v62pmonr 发表于 2024-10-16 05:49
两块4121a，都是windows11.直连，然后SMB共享拖拽文件速度差不多1.7G左右。

1700Mbyte/1500Byte=1.133Mpps  这个包率对8500T这样的CPU来说压力已经很大了，再加上文件系统的负荷，我认为跑不满很正常。
传输时看下CPU占用率，是否过高，要么换更强的CPU，要么开9000巨帧，开巨帧的话，包速率降低为
1700Mbyte/9000Byte=188.8Kpps 有六倍差距

kerafyrm

我用的x710-T4L，非常满意
1，支持网速5模（100m，1g，2.5g，5g，10g）
2，兼容性好，几乎所有虚拟机系统都原生支持，支持市面上200块的2.5g交换机
3，功耗低发热低，四口10g才14w
家用软路由和nas应该是最好的了

网仙

kerafyrm 发表于 2024-10-16 09:49
我用的x710-T4L，非常满意
1，支持网速5模（100m，1g，2.5g，5g，10g）
2，兼容性好，几乎所有虚拟机系统都 ...

如果支持卡上交换，直接做个10G的软交换机就更完美了。
目前我的all in bomb主力网卡也是X710-da4.开sriov虚拟化使用中。

v62pmonr

rx_78gp02a 发表于 2024-10-16 09:10
1700Mbyte/1500Byte=1.133Mpps  这个包率对8500T这样的CPU来说压力已经很大了，再加上文件系统的负荷，我 ...

多谢指教。