有没有大佬知道PM1733/PM1735怎么启用SR-IOV

胡CHH

PM1733/PM1735罕见地支持nvme sr-iov，可以一块盘当成几块地使用。我尝试启用却发现好像不想网卡那样容易，失败了，网络上也没找到正确的教程，有没有大佬知道该怎么enable吗？

Juzi丶

不是sriov，是namespace

ACSOUV

我看了下超微的说明书 里面只有一个在BIOS/UEFI里
PCIe/PCI/PnP Configuration打开SR-IOV Support
然后就没了 看说明这是个Single Root IO Virtualization Support

虽然我也用PM1735 但是我是用Intel VROC Premium做RAID10用的
一般超微主板有额外功能的硬件 在Advanced页面下应该有单独的硬件名称 点进去设置
或者走虚拟机（以上是我的猜测）

其他帮不了你

胡CHH

Juzi丶 发表于 2022-9-6 15:50
不是sriov，是namespace

这两个不一样，namespace只是多个命名空间，sr-iov是多了块硬盘

胡CHH

ACSOUV 发表于 2022-9-6 15:58
我看了下超微的说明书 里面只有一个在BIOS/UEFI里
PCIe/PCI/PnP Configuration打开SR-IOV Support
然后就没 ...

BIOS开启，然后os里还需要设置才可以。

fkpwolf

1. find /sys -name sriov_numvfs

复制代码

直接找找看看，网卡是有的，还有看看驱动是否支持。

1. modinfo igb
   
2. ...
   
3. parm:           max_vfs:Maximum number of virtual functions to allocate per physical function (uint)

复制代码

第一次听说nvme可以划分的，这样性能也是直接切分么？

胡CHH

fkpwolf 发表于 2022-9-6 17:37
直接找找看看，网卡是有的，还有看看驱动是否支持。

有这个文件。echo 4 > …会报错。跟网卡不一样

Juzi丶

胡CHH 发表于 2022-9-6 17:29
这两个不一样，namespace只是多个命名空间，sr-iov是多了块硬盘

一个命名空间等于一个硬盘

jiangcuo

楼主还在吗？同1735，
sriov参考这个https://stackoverflow.com/questi ... m1733-1735-nvme-ssd
但是我这有点问题，请问一下你lspci -vs <1735的pci id> 有Sriov的信息吗
我这里都不显示sriov

1. 
   
2. root@pve:~# lspci -vs 03:00
   
3. 03:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X (prog-if 02 [NVM Express])
   
4.         Subsystem: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
   
5.         Flags: bus master, fast devsel, latency 0, IRQ 26, NUMA node 0, IOMMU group 22
   
6.         Memory at fcb10000 (64-bit, non-prefetchable) [size=32K]
   
7.         Expansion ROM at fcb00000 [disabled] [size=64K]
   
8.         Capabilities: [40] Power Management version 3
   
9.         Capabilities: [50] MSI: Enable- Count=1/32 Maskable- 64bit+
   
10.         Capabilities: [70] Express Endpoint, MSI 00
    
11.         Capabilities: [b0] MSI-X: Enable+ Count=64 Masked-
    
12.         Capabilities: [100] Advanced Error Reporting
    
13.         Capabilities: [148] Device Serial Number c2-bd-01-01-99-38-25-00
    
14.         Capabilities: [178] Secondary PCI Express
    
15.         Capabilities: [198] Physical Layer 16.0 GT/s <?>
    
16.         Capabilities: [1c0] Lane Margining at the Receiver <?>
    
17.         Capabilities: [3a4] Data Link
    

复制代码

jiangcuo

jiangcuo 发表于 2022-10-6 00:00
楼主还在吗？同1735，
sriov参考这个https://stackoverflow.com/questions/65350988/how-to-setup-sr-iov-w ...

可以加我q 1551264964 交流一下

胡CHH

jiangcuo 发表于 2022-10-6 00:00
楼主还在吗？同1735，
sriov参考这个https://stackoverflow.com/questions/65350988/how-to-setup-sr-iov-w ...

我的有啊
Capabilities: [160 v1] Single Root I/O Virtualization (SR-IOV)

胡CHH

jiangcuo 发表于 2022-10-6 00:01
可以加我q 1551264964 交流一下

你用的是什么版本的1735？

jiangcuo

胡CHH 发表于 2022-10-6 13:52
你用的是什么版本的1735？

HPE的盘

胡CHH

jiangcuo 发表于 2022-10-6 14:22
HPE的盘

你有这个文件吗？/sys/class/nvme/nvme1/device/sriov_numvfs

kqwkn

胡CHH 发表于 2022-9-6 18:54
有这个文件。echo 4 > …会报错。跟网卡不一样

我这边倒是可以用命令开出来，但下一步该如何使用不会了，跟网卡不一样，网卡直接在虚拟机里添加PCI设备就行，硬盘貌似不行，不知道楼主现在搞定了没有
root@pve1733:~# echo 8 > /sys/class/nvme/nvme0/device/sriov_numvfs
root@pve1733:~# lspci
00:00.0 Host bridge: Intel Corporation Xeon E3-1200 v6/7th Gen Core Processor Host Bridge/DRAM Registers (rev 06)
00:01.0 PCI bridge: Intel Corporation 6th-10th Gen Core Processor PCIe Controller (x16) (rev 06)
00:13.0 Non-VGA unclassified device: Intel Corporation 100 Series/C230 Series Chipset Family Integrated Sensor Hub (rev 31)
00:14.0 USB controller: Intel Corporation 100 Series/C230 Series Chipset Family USB 3.0 xHCI Controller (rev 31)
00:14.2 Signal processing controller: Intel Corporation 100 Series/C230 Series Chipset Family Thermal Subsystem (rev 31)
00:16.0 Communication controller: Intel Corporation 100 Series/C230 Series Chipset Family MEI Controller #1 (rev 31)
00:16.1 Communication controller: Intel Corporation 100 Series/C230 Series Chipset Family MEI Controller #2 (rev 31)
00:17.0 SATA controller: Intel Corporation Q170/Q150/B150/H170/H110/Z170/CM236 Chipset SATA Controller [AHCI Mode] (rev 31)
00:1c.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #1 (rev f1)
00:1d.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #9 (rev f1)
00:1d.1 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #10 (rev f1)
00:1d.2 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #11 (rev f1)
00:1f.0 ISA bridge: Intel Corporation C236 Chipset LPC/eSPI Controller (rev 31)
00:1f.2 Memory controller: Intel Corporation 100 Series/C230 Series Chipset Family Power Management Controller (rev 31)
00:1f.4 SMBus: Intel Corporation 100 Series/C230 Series Chipset Family SMBus (rev 31)
01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.2 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.3 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.4 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.5 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.6 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.7 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:01.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X (rev ff)
01:01.1 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X (rev ff)
03:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
04:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
05:00.0 PCI bridge: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge (rev 03)
06:00.0 VGA compatible controller: ASPEED Technology, Inc. ASPEED Graphics Family (rev 30)

weston

多个虚拟机用同一个硬盘，都分一次区，这数据咋记录？还是说它还是一个vm文件？

summerq

使用方法如下：
1 使用nvme命令分配namespace，同时指定大小
2. 创建ssd的vf
3. 分配namespace到每个vf
4. 每个vm直通vf，则可以把预先分配的空间映射到一个pcie设备里，从而提高性能
5. 总带宽受ssd性能限制，每个vf的qos可以单独设置

具体每一步可以自己google