关于 ESXi 网卡直通VM无法添加 PCI 设备和打开电源失败的问题

红色狂想 · 发表于 2023-4-1 14:23

wun_008 发表于 2023-4-1 08:37
我也是esxi 6. 7 我也是万兆直通给爱快软路由，我的虚拟机用上vnet3， winserver 也是显示10g 但是我从来没 ...

你是电口万兆还是光口万兆，有没有用iperf测过带宽速度？

红色狂想 · 发表于 2023-4-1 14:27

Dreamwalker 发表于 2023-4-1 00:07
你忘记了，我已经拆了，哪有什么风扇墙

没忘，拆了一个风扇墙虽然没了，但进iLO会显示一条警告信息，你说膈应人不

wun_008 · 发表于 2023-4-2 09:29

红色狂想发表于 2023-4-1 14:23
你是电口万兆还是光口万兆，有没有用iperf测过带宽速度？

两个万兆一个光一个电

Dreamwalker · 发表于 2023-4-3 17:55

红色狂想发表于 2023-4-1 14:27
没忘，拆了一个风扇墙虽然没了，但进iLO会显示一条警告信息，你说膈应人不 ...

开机的时候还有两条告警，反正当没看见就行了，安静了很多

Dreamwalker · 发表于 2023-4-7 15:01

楼主你的机子上有这个选项嘛？

huantty · 发表于 2023-4-7 16:18

红色狂想发表于 2023-3-29 13:36
你不是全万兆网卡吗，有没有用iperf测试过在ESXi下带宽速度是否正常？

我机器上那个HP FlexFabri ...

网卡插的pci口是不是默认x1模式的，我之前就是这样，后面换个口就好了，能跑9G多

红色狂想 · 发表于 2023-4-7 20:57

Dreamwalker 发表于 2023-4-7 15:01
楼主你的机子上有这个选项嘛？

刚才添加新注册虚拟机向导试了一下，怎么我的没有这个IOMMU选项，是新建之初就有还是新建好启动后才会有？

捕获 input output memory management unit.JPG

zh21688 · 发表于 2023-4-7 21:02

红色狂想发表于 2023-4-7 20:57
刚才添加新注册虚拟机向导试了一下，怎么我的没有这个IOMMU选项，是新建之初就有还是新建好启动后才会有 ...

https://space.bilibili.com/3057241 B站有讲解，可以去了解一下！

红色狂想 · 发表于 2023-4-7 21:10

huantty 发表于 2023-4-7 16:18
网卡插的pci口是不是默认x1模式的，我之前就是这样，后面换个口就好了，能跑9G多 ...

我那个是FLR网卡，与普通的标准PCIe接口不同，是HP机架式服务器独有的FlexibleLOM接口，不可能是x1吧，至少也得是3.0 x8，如果是x1能跑到4Gbps吗？

huantty · 发表于 2023-4-7 21:56

红色狂想发表于 2023-4-7 21:10
我那个是FLR网卡，与普通的标准PCIe接口不同，是HP机架式服务器独有的FlexibleLOM接口，不可能是x1吧，至 ...

我那个就是flr，用了转接卡，插普通主板最后一个pci插槽，最高可以跑四五百M，也就是4G，后面觉得不对，看主板说明书，最后那个插槽默认是x1，2.0的X1理论上是5G

红色狂想 · 发表于 2023-4-7 22:58

huantty 发表于 2023-4-7 21:56
我那个就是flr，用了转接卡，插普通主板最后一个pci插槽，最高可以跑四五百M，也就是4G，后面觉得不对， ...

嗯，35#楼那位@Dreamwalker 和我是同一款机器，他的FlexibleLOM口上插的是万兆电口，速度大概能跑到10Gb带宽的80%，所以应该能排除不是插槽的问题

Dreamwalker · 发表于 2023-4-8 00:16

红色狂想发表于 2023-4-7 20:57
刚才添加新注册虚拟机向导试了一下，怎么我的没有这个IOMMU选项，是新建之初就有还是新建好启动后才会有 ...

我的G9也没有这个，但另外一台ESXi server就有这个选项，主板不一样，都是6.7u3，折腾一下午都没找到原因

红色狂想 · 发表于 2023-4-8 14:06

Dreamwalker 发表于 2023-4-8 00:16
我的G9也没有这个，但另外一台ESXi server就有这个选项，主板不一样，都是6.7u3，折腾一下午都没找到原 ...

另外一台ESXi Server是什么型号，也是DL360 G9吗？

Dreamwalker · 发表于 2023-4-8 15:19

红色狂想发表于 2023-4-8 14:06
另外一台ESXi Server是什么型号，也是DL360 G9吗？

另一台是超微的板子，自己攒的

红色狂想 · 发表于 2023-4-9 13:01

Dreamwalker 发表于 2023-4-8 15:19
另一台是超微的板子，自己攒的

那不结了，HP服务器主板电路设计存在RMRRs限制，所以板载RAID卡才无法直通，想必就是这个原因导致不支持IOMMU的吧

Dreamwalker · 发表于 2023-4-10 00:13

红色狂想发表于 2023-4-9 13:01
那不结了，HP服务器主板电路设计存在RMRRs限制，所以板载RAID卡才无法直通，想必就是这个原因导致不支持I ...

我折腾了一下，vmx加了个配置， IOMMU可以启用，但还是没有上面向客户操作系统公开的选项

ganboing · 发表于 2023-4-13 18:43

红色狂想发表于 2023-4-7 20:57
刚才添加新注册虚拟机向导试了一下，怎么我的没有这个IOMMU选项，是新建之初就有还是新建好启动后才会有 ...

检查你VM的hardware version，如果版本太低这个选项可能不会出现。另外如果只是直通PCIe给VM，不必启动这个选项，他的目的是为了你虚拟机里面再嵌套虚拟机，然后再直通用的，或者是特殊场景，比如dpdk

红色狂想 · 发表于 2023-4-13 20:59

ganboing 发表于 2023-4-13 18:43
检查你VM的hardware version，如果版本太低这个选项可能不会出现。另外如果只是直通PCIe给VM，不必启动这 ...

怎样检查VM的hardware version，这个选项在编辑虚拟机的哪个地方？你说的DPDK是Data Plane Development Kit吗，DPDK介绍
如果不玩儿虚拟机嵌套，启用这个功能对万兆网卡数据交换和PCIe NVMe SSD性能也毫无提升吗？

红色狂想 · 发表于 2023-4-13 21:03

Dreamwalker 发表于 2023-4-10 00:13
我折腾了一下，vmx加了个配置， IOMMU可以启用，但还是没有上面向客户操作系统公开的选项 ...

你折腾这个IOMMU想提升哪方面的性能，怎样给vmx加配置，有教程吗？

Dreamwalker · 发表于 2023-4-14 11:37

红色狂想发表于 2023-4-13 21:03
你折腾这个IOMMU想提升哪方面的性能，怎样给vmx加配置，有教程吗？

这个IOMMU开放给Guest可以用来装kvm或者docker之类的吧

配置加个这个 vvtd.enable = "TRUE"

ganboing · 发表于 2023-4-14 13:49

红色狂想发表于 2023-4-13 20:59
怎样检查VM的hardware version，这个选项在编辑虚拟机的哪个地方？你说的DPDK是Data Plane Development K ...

vIOMMU开的话性能不下降就已经很不错了，性能上不会有任何提升。如果确实要追求极致性能的话，用7.0U2或以上，然后延迟敏感度选择"高"

红色狂想 · 发表于 2023-6-14 22:44

声色茶马发表于 2023-3-31 10:41
噗。大佬都是这么顽皮的么？LZ这个肯定有点儿啥问题吧，脸背不了这锅啊。

我建议先试试在ESXi下iperf打 ...

还是之前的软硬件环境，又用iperf3跑了几圈测试，发现多线程可以达到8.93 Gbits/sec，基本合格了，但单线程只能达到5.91 Gbits/sec，这种情况是因为网卡或交换机未开启Jumbo Frame巨型帧吗？据说开巨型帧并不是万能的，有些应用场景反而会造成劣势

红色狂想 · 发表于 2023-6-14 22:54

Dreamwalker 发表于 2023-3-31 10:13
没关系，但你这差这么多，只能说脸不好了

最近又用iperf3跑了几圈测试，只不过这次尝试了一下多线程，速度终于上去了，ESXi环境下直通网卡和VMXNET 3都能达到8.93 Gbits/sec，详见52#楼的回帖……

红色狂想 · 发表于 2023-6-14 23:01

wun_008 发表于 2023-4-2 09:29
两个万兆一个光一个电

万兆能跑到900 MB/s不是已经很正常了吗？如你以上描述，900 MB/s就相当于9 Gbits/sec啊

红色狂想 · 发表于 2023-6-14 23:09

ganboing 发表于 2023-4-14 13:49
vIOMMU开的话性能不下降就已经很不错了，性能上不会有任何提升。如果确实要追求极致性能的话，用7.0U2或 ...

我就不追求极致性能了，稳定最重要

声色茶马 · 发表于 2023-6-15 08:53

红色狂想发表于 2023-6-14 22:44
还是之前的软硬件环境，又用iperf3跑了几圈测试，发现多线程可以达到8.93 Gbits/sec，基本合格了，但单线 ...

我自己之前测试，ESXi 7.0和win11打流，单线程只能1G，我也不知道为啥。10线程能拉满10G，双机对拷速度也能超过500MB，算球不折腾了，凑合用着吧。

折腾网络的玩意儿真是心力交瘁，比折腾单机DIY幺蛾子多十倍不止。

红色狂想 · 发表于 2023-6-15 13:18

声色茶马发表于 2023-6-15 08:53
我自己之前测试，ESXi 7.0和win11打流，单线程只能1G，我也不知道为啥。10线程能拉满10G，双机对拷速度也 ...

你是四川的吗？我们这儿叫去球，不折腾了。。。Windows资源管理器拷文件应该也是基于多线程的

声色茶马 · 发表于 2023-6-15 13:32

红色狂想发表于 2023-6-15 13:18
你是四川的吗？我们这儿叫去球，不折腾了。。。Windows资源管理器拷文件应该也是基于多线程的 ...

非川娃，算球好像是跟个山东兄弟学的。

很多网络应用都能多线程，所以说单线上不去就上不去吧。以后不定啥时候折腾啥，突然问题就结解决了。

Dreamwalker · 发表于 2023-6-20 00:42

红色狂想发表于 2023-6-14 22:54
最近又用iperf3跑了几圈测试，只不过这次尝试了一下多线程，速度终于上去了，ESXi环境下直通网卡和VMXNET ...

恭喜，这把终于圆满了，不过我总觉得这东西跟CPU主频还有点关系

9到10 就差一步

红色狂想 · 发表于 2023-6-23 13:12

Dreamwalker 发表于 2023-6-20 00:42
恭喜，这把终于圆满了，不过我总觉得这东西跟CPU主频还有点关系 9到10 就差一步 ...

10就反而不正常了，不可能达到理论值的，还有链路层开销，9才是合理值，况且我这是直通网卡给虚拟机测的，分配的CPU数量也才16核

账号		自动登录	找回密码
密码			加入我们

[软件] 关于 ESXi 网卡直通VM无法添加 PCI 设备和打开电源失败的问题