【求助】组纯闪NAS遇到个PLX拆分和PVE冲突的问题

zhuwe123

设备是NUC9，使用PLX芯片拆分的nvme硬盘。

NUC9直接安装系统不管是黑群晖还是windows，都没有任何问题，

安装PVE直通NVEM设备：

虚拟机都是用的Q35，直通勾选了pcie

如果是黑群晖，在io高负载（dd直接写入测试）就会直接报存储池损坏进入只读模式。
如果是Ubuntu，格式化成ext4或者xfs在io高负载直接就出现io错误，但是能完成写入测试。
如果是windows虚拟机，格式化ntfs使用磁盘测速工具没有任何错误。
找到一个类似的错误但是也没有解决办法：https://www.reddit.com/r/intelnu ... vme_plx_cards_help/

dcl2009

我有一个PLX，供电问题，总掉盘，后来返修好了

YoshinoSakura

高负载会寄……
该不会是电不够吧

zhuwe123

终于找到原因了，主板bios的问题，nuc9这个板子需要修改pcie那个供电需要取消PCIE省电那个模式。
NUC9有两个天坑，一个是机器自带的2个m2有一个不能直通，群里也有人说，另外一个就是这PCie的设置问题。

chip_discovery

问一下你的PLX扩展卡是那种上面直接插m2的卡？
我的直插m2的扩展卡，插上4盘以上就会插电自检不过，表现为卡上的灯一直在闪，CPU风扇转-停-转-停，我估计是我的nas（dell optiplex 5060）主板供电不足所以自检卡住不断重启。估计PCIE供电能力没有75W。

正常情况应该是插电-电源灯亮起-硬件自检-自检通过-电源灯关闭

zhuwe123

chip_discovery 发表于 2024-12-5 09:39
问一下你的PLX扩展卡是那种上面直接插m2的卡？
我的直插m2的扩展卡，插上4盘以上就会插电自检不过，表现为 ...

我的还不一样，我走的nuc9的拆分板是有独立供电的

zhuwe123

看起来还是不行，重启以后又悲剧了，ubuntu又开始报错了。
[  141.689747] EXT4-fs warning (device nvme0n1p1): ext4_end_bio:343: I/O error 10 writing to inode 12 starting block 927936)
[  141.689776] buffer_io_error: 8182 callbacks suppressed
[  141.689777] Buffer I/O error on device nvme0n1p1, logical block 925696
[  141.689795] Buffer I/O error on device nvme0n1p1, logical block 925697
[  141.689803] Buffer I/O error on device nvme0n1p1, logical block 925698
[  141.689816] Buffer I/O error on device nvme0n1p1, logical block 925699
[  141.689823] Buffer I/O error on device nvme0n1p1, logical block 925700
[  141.689830] Buffer I/O error on device nvme0n1p1, logical block 925701
[  141.689842] Buffer I/O error on device nvme0n1p1, logical block 925702
[  141.689855] Buffer I/O error on device nvme0n1p1, logical block 925703
[  141.689862] Buffer I/O error on device nvme0n1p1, logical block 925704
[  141.689869] Buffer I/O error on device nvme0n1p1, logical block 925705

zhuwe123

都是直通，windows就不报错，系统事件日志里和磁盘相关什么错误都没有。

feilong4397

我的是PLX8748转四个M2的那种卡，黑群错误一样，拷贝东西只要大一点，存储池必损毁，系统用的是ESXI，而且用其中一个NVME转的6 SATA，也是同样问题

zhuwe123

feilong4397 发表于 2024-12-5 11:25
我的是PLX8748转四个M2的那种卡，黑群错误一样，拷贝东西只要大一点，存储池必损毁，系统用的是ESXI，而且 ...

应该都是同样问题，就是plx卡的直通在高io压力上有问题，但是找不到问题点，如果不直通就没问题。但是windows不报错我也不理解了

zhuwe123

又测试了一轮，NUC9宿主机安装PVE，打开直通plx上的nvme硬盘。

直通：群晖7.2、Ubuntu2204，有问题IO负载高就会io错误，马山又能恢复。
直通：Win11、Macos、TrueNasCore，都没问题。

怎么感觉是linux有什么和这个冲突呢。

蒙古国海军司令

我的 PVE 是另外一种表现，PLX 3.0 x 16 拆分出两个 SFF-8654 8i + 4个m2。想要部分直通给 guest，必须开启 iommu 分组，不然必然 guest 一启动就文件系统错误进 readonly 模式，目前 grub 配置是这样的

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction i915.enable_guc=3 i915.max_vfs=7"

关键是 iommu=pt pcie_acs_override 这几个参数，解释可以看下 https://github.com/ivanhao/pvetools/issues/34

改过后目前还没碰到高负载文件系统错误，可能是我的负载不够高？

zhuwe123

蒙古国海军司令 发表于 2024-12-5 15:21
我的 PVE 是另外一种表现，PLX 3.0 x 16 拆分出两个 SFF-8654 8i + 4个m2。想要部分直通给 guest，必须开启 ...

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction net.ifnames=0 biosdevname=0"

参数差不多，你可以直接dd写入测试一下。

joshfix

最近我在 unraid上使用了一张 PLX PEX 8749的拆分卡 转了8个m.2出来

我将其直通给了黑群晖，并在黑群晖中给这几张卡创建阵列

一切都很正常，但是一旦高负载写入就会造成有3张m2提示严重错误无法写入 然后存储空间被迫只读

楼主的ASPM关闭之后是否有效解决这个问题呢？因为设备不在手边，我查看了lspci -vv 发现 ASPM L1 enabled

我这个拆分卡有独立供电 所以应该供电不是问题

coldso

使用PLX芯片的小厂产品，驱动不够完善。

15SU

PLX PEX 8749  39com家的卡，PVE直通只认卡，看不到挂上面的U2盘，大佬们有使用过的吗指点下，拜托了

zhuwe123

15SU 发表于 2025-1-31 23:04
PLX PEX 8749  39com家的卡，PVE直通只认卡，看不到挂上面的U2盘，大佬们有使用过的吗指点下，拜托了 ...

没遇到过，我用pex没啥问题，没出现过不认卡的情况

15SU

zhuwe123 发表于 2025-2-3 09:38
没遇到过，我用pex没啥问题，没出现过不认卡的情况

解决了，线的问题