ESXI系统AIO，RDMA网卡可以减缓虚拟机之间数据交换的CPU开销吗？

keng868 · 发表于 2024-9-20 18:27

在装AIO方案，看到CX4621A的25G网卡也不贵，支持RDMA功能，想着要不加一张试试
我的设备是EPYC单路主机，ESXI系统。插了这网卡可以让ESXI内的群晖、路由器、Windows之间的数据交换不走CPU么？

tyy474 · 发表于 2024-9-20 18:34

这CPU还缺这点开销吗？

Garming · 发表于 2024-9-20 18:35

我记得有博主说过如果服务器用SR-IOV，最好CX5起步。。。

zhuifeng88 · 发表于 2024-9-20 18:45

本帖最后由 zhuifeng88 于 2024-9-20 19:31 编辑

RDMA不是TCP/IP前提下的优化方案, 而是扔掉TCP/IP, 甚至扔掉以太网, 另起一套

你再想想你跑的东西能扔掉TCP/IP吗

直接说你想要的东西的话
用CX4621A降低CPU开销, 可以, 但和RDMA没有任何关系
另外降低CPU开销并不意味着可以更快, eswitch的带宽是比正常软交换低的多的

网仙 · 发表于 2024-9-20 19:28

你说的开销是指哪一级的开销？
比如，你ESXI下虚拟机有软路由openwrt，有群晖，有windows，有trueNas这些。
你用一个物理网口直通作为WAN口，另一个物理口使用SRIOV虚拟化，所有的虚拟机都使用这个srivo下的网卡，
此时，当你在truenas，windows，群晖之间拷贝文件,或者用这个windows里面通过openwrt高速下载数据，此时CPU在网络的开销是很小的，比用esxi下的纯虚拟交换机要好很多。
但是，如果你使用这个物理口连接外部交换机，这时候就避免不了需要CPU的运算，也就是物理口与sriov虚拟层之间的转换开销，这个是避免不了的。

老饭 · 发表于 2024-9-20 22:18

esxi的vswitch是软的，mellanox cx5的片上交换只支持OVS，esxi不行

mdk2000 · 发表于 2024-9-21 10:15

我记得mellanox那个虚拟软交换卸载要求很高,系统+软件+驱动,缺一不可

LambdaDelta · 发表于 2024-9-21 10:26

难道不是考虑sriov么

Johnsnow-s · 发表于 2024-9-23 16:05

mdk2000 发表于 2024-9-21 10:15
我记得mellanox那个虚拟软交换卸载要求很高,系统+软件+驱动,缺一不可

是的，只给裸金属的配置命令和API接口，其他自己折腾，挺麻烦的

iooo · 发表于 2024-9-23 17:26

sriov已经非常低的系统占用了，性能还解决独立卡

账号		自动登录	找回密码
密码			加入我们

[网络] ESXI系统AIO，RDMA网卡可以减缓虚拟机之间数据交换的CPU开销吗？