2020年末 AM4平台PCIe虚拟化情况

Juzi丶 · 发表于 2020-12-14 04:47

本帖最后由 Juzi丶于 2020-12-14 05:15 编辑

主板只以华擎为准
华硕/技嘉有待实验
微星连ECC都不给开说个锤子呢（笑

BIOS版本不太重要，毕竟需要东西初始BIOS都会有了
重点是AGESA版本，理论上Combo-AM4 1.0.6.0开始就已经非常完善了
这里说到的都是版本Combo-AM4 V2 1.1.0.0或之后的为前提，AMD总不会又把做好的东西缩回去对吧（不过AMD确实这么做过，笑

例子主板用的B550M Phantom Gaming 4
CPU不建议使用Zen1/Zen+

BIOS中设置
SR-IOV开启
AMD CBS中设置
IOMMU开启
PCIe ARI及其关联选项全开

先说下Linux下的（以下说到的组件全部apt安装）

系统版本Ubuntu 20.04.01
内核版本linux-xanmod-lts-5.4
内核参数加

amd_iommu=on iommu=pt

复制代码

但某些设备可能会因为PCIe ASPM问题而一直报错（内核log会被霸屏，虽然可以正常用），建议可以加多一条

pcie_aspm=off

复制代码

直接安装qemu和virt

sudo apt install qemu-kvm qemu-utils libvirt-daemon-system libvirt-clients bridge-utils virt-manager ovmf

复制代码

经过测试，驱动使用ixgbe，qede，mlx4，mlx5的设备都可以正常设置VF并且分配给VM
当然直接直通整个PF/PCIe设备也可以可以的

DPDK 19.11.03+OVS 2.13.0
排除掉OVS上DPDK的某些兼容性问题基本的功能都能用

然后是ESXI 7.0U1

PF可以整个直通，VF也能正常设置
直通整个PF/PCIe设备暂时没问题（当然不包括中断某些关键设备）
但分配VF给VM的话，某些系统会导致在引导期间整个VM崩掉（毛线报错都没有，正常的ACPI断电，不得不说ESXI真是阴间玩意）

Proxmox VE毕竟也是基于Debian所有情况和Ubuntu是一样的

总的来说兼容情况已经无限接近牙膏厂服务器平台了
但这些还有一个前提，就是虚拟化设备不能挂在那稀烂HUB（芯片组）上，因为那HUB上的设备是一整个IOMMU组

如果是PCIe x16+M.2 x4转接/PCIe x16分割卡/支持双X8的主板/大力出奇迹上PLX的情况下PCIe够用+内存带宽够用（只要颗粒能上，UDIMM ECC也是可以4000+的，时序难看点，带宽是能摸某些4通道屁股的，重点还是FCLK同步）完全可以用AM4平台做服务器使用，当然也不是没有缺失的地方，比如AMD PTDMA驱动还在linux next tree里面咕咕叫...

比如
双X8连CPU的主板可以选择，x8 网卡+x8 HBA/x8倍增x16的PLX+M.2 x4转PCIe
或者
单X16连CPU的主板可以选择，x16倍增x32的PLX+M.2 x4转PCIe
的方案都能够满足绝大多数人的需求了

~~PLX的话可能会遇到奇怪的DMA问题~~

重点还是CPU性能因为频率和IPC，核心数量一对一，绝大多数情况下无论单核多核性能都可以轻松超过Xeon和哪怕EPYC（内存带宽肯定是无的，但FCLK同步3600+的情况下至少也有53k的读写，而且延迟对比服务器平台不知低到哪里去了）

Juzi丶 · 发表于 2020-12-14 05:04

还有比较蛋疼的一点就是，用GF硅渣工艺做的io die功耗实在不行，PCIe通道拉满的情形最低都整个18w起步
相比之下1个Zen2核心在1.4V电压下满载都很难超过8w
半U密集节点里一个20A供电的48U标准长宽机柜中全部机器仅通电就因为io die吃掉至少1300w功耗了，而且这功耗是吃死的，开机就会有，也是对比LGA11xx做密集节点的一个劣势吧

蘭子・クリス · 发表于 2020-12-14 05:05

说起这个我就不困了，今年入了renoir之后一直在折腾虚拟化，啥都好就是核显么的直通

Juzi丶 · 发表于 2020-12-14 05:07

蘭子・クリス发表于 2020-12-14 05:05
说起这个我就不困了，今年入了renoir之后一直在折腾虚拟化，啥都好就是核显么的直通 ...

肯定不行的，其实还挺期待navi核显看农企搞不搞个定制能开sr-iov的，云桌面（不玩游戏那种）这下又能省钱了

goat · 发表于 2020-12-14 05:08

然而还是没有acs

Juzi丶 · 发表于 2020-12-14 05:09

goat 发表于 2020-12-14 05:08
然而还是没有acs

PCIe ACS的问题早就没有了

sqlamour · 发表于 2020-12-14 08:48

iommu開著的話，有些網卡開機一段時間之後就會瘋狂報IO_PAGE_FAULT的錯誤，的確實不影響使用。
原來是ASPM的問題嗎...搞的我都把IOMMU給關掉了

Juzi丶 · 发表于 2020-12-14 08:55

sqlamour 发表于 2020-12-14 08:48
iommu開著的話，有些網卡開機一段時間之後就會瘋狂報IO_PAGE_FAULT的錯誤，的確實不影響使用。
原來是ASPM ...

ASPM普遍有问题，反正开了的之后大概率是不生效的...或者还有各种PCIe节能的私有实现

goat · 发表于 2020-12-14 09:25

Juzi丶发表于 2020-12-14 05:09
PCIe ACS的问题早就没有了

只是吐槽本来标准为什么各家msdt都不实装。非要被黑白帽捅炸了、或者像Smart Access Memory一样“再”发明一次？

syjbmwpower · 发表于 2020-12-14 10:15

DDR5快到了，那时候家用条都全部支持ECC了，家用电脑当服务器就非常合适了。

sqlamour · 发表于 2020-12-14 14:36

話說微星好像有少數幾張X470是有做ECC的？
其實PCIe相關的東西可能真的是華擎做的比較好
但是永擎的AM4卻又做的非常糟糕...

Juzi丶 · 发表于 2020-12-14 14:42

sqlamour 发表于 2020-12-14 14:36
話說微星好像有少數幾張X470是有做ECC的？
其實PCIe相關的東西可能真的是華擎做的比較好
但是永擎的AM4卻又 ...

新版agesa没ECC开关的，配置了开检测到ECC内存就自动开了
永擎的话BIOS没本家好，BMC又放弃治疗不知道说啥好...

sqlamour · 发表于 2020-12-14 15:19

Juzi丶发表于 2020-12-14 14:42
新版agesa没ECC开关的，配置了开检测到ECC内存就自动开了
永擎的话BIOS没本家好，BMC又放弃治疗不知道说 ...

永擎幾乎是套公版的，但是連原生的AMD CBS/AMD Overclocking選單都會出現bug...
最近郵件問他們X470D4U的問題，他們表示要去問AMD才知道為什麼會有問題...

就一個電壓設置而已都能搞出問題來。

BMC我用起來是沒感覺到有太大的問題

Dudayev · 发表于 2020-12-14 15:34

还好之前捣鼓ESXI+软路由的时候躲开了AMD Zen2

nlnjnj · 发表于 2020-12-14 15:39

Juzi丶发表于 2020-12-14 14:42
新版agesa没ECC开关的，配置了开检测到ECC内存就自动开了
永擎的话BIOS没本家好，BMC又放弃治疗不知道说 ...

用过技嘉的bmc，真是怕了。

华硕本身好像也做服务器板子，和永擎分开的

julang · 发表于 2020-12-14 16:49

昨晚刚尝试a320m+200ge，unraid下，核显我放弃直通了，我想直接尝试unraid下驱动核显然后docker加Jellyfin（看了一下Jellyfin的官方文档，是支持linux下amd解码的），还没试试，晚上弄

sqlamour · 发表于 2020-12-14 17:19

nlnjnj 发表于 2020-12-14 15:39
用过技嘉的bmc，真是怕了。

华硕本身好像也做服务器板子，和永擎分开的 ...

技嘉之前的BMC是Vertiv的，不過EOL了就全部換AMI的了

杰迪武士 · 发表于 2020-12-14 17:46

微星也真特么搞笑，ECC都不给开，现在后悔买那Ace板了

Juzi丶 · 发表于 2020-12-14 18:06

nlnjnj 发表于 2020-12-14 15:39
用过技嘉的bmc，真是怕了。

华硕本身好像也做服务器板子，和永擎分开的 ...

技嘉现在还可以，虽然也是公版砌砖，但也是都能跑起来难看点而已

天道太酬勤 · 发表于 2021-12-22 17:04

本帖最后由天道太酬勤于 2021-12-22 17:11 编辑

对于低端服务器主板这块，本来PCIE就不足，需要精雕细琢，结果现在除了华擎之外都没啥出彩的产品了，可惜华擎也是把万兆网卡挂PCH上的
如果为了PCIE去玩EPYC或者Xeon，又缺少了核显
其实对家用来说X8还是很奢侈的，也就是40G网卡吧，可能用得到
直接原厂切成X8+x4+x4+x4，PCH这边外加1条M.2，2个Oculink（SATA/PCIE可选）就很好了

wjm47196 · 发表于 2021-12-22 17:13

Juzi丶发表于 2020-12-14 05:07
肯定不行的，其实还挺期待navi核显看农企搞不搞个定制能开sr-iov的，云桌面（不玩游戏那种）这下又 ...

显卡开直通之前是amd老外的红线
老黄最近上了估计amd也会上

lucifer6e · 发表于 2021-12-23 10:43

我选择EPYC Zen2，真香，PCIE管够

LambdaDelta · 发表于 2021-12-23 11:47

wjm47196 发表于 2021-12-22 17:13
显卡开直通之前是amd老外的红线
老黄最近上了估计amd也会上

AMD一直可以直通啊，至于SR-IOV AMD在Tonga时代就支持了，只是民用一直没有。

wjm47196 · 发表于 2021-12-23 12:21

本帖最后由 wjm47196 于 2021-12-23 12:29 编辑

LambdaDelta 发表于 2021-12-23 11:47
AMD一直可以直通啊，至于SR-IOV AMD在Tonga时代就支持了，只是民用一直没有。 ...

对对对我没说对搞乱了
应该是sr iov是amd老外的底线
老黄好像是今年才支持直通但是之前顺网云电脑搞那个其实就魔改了驱动给他们做支持了
好像还有云游戏需要虚拟显示器需要动eid还是啥 amd这边死活不给因为是pro上面的功能
nv也直接派团队改了驱动支持了顺网的那个驱动有很多普通卡根本开不出来的功能
包括30系列据说直接支持sr iov但是驱动锁了也是应大陆市场用户的要求做的主要是老黄自己的那些专业卡太tm贵了就算这代a6000价格不算特别离谱应对国内市场也贵

lucifer6e · 发表于 2021-12-23 15:27

原来是去年的帖子啊，现在有什么好主板推荐的吗

wmslecz · 发表于 2022-1-13 17:31

lucifer6e 发表于 2021-12-23 15:27
原来是去年的帖子啊，现在有什么好主板推荐的吗

啊，你都有eypc2了，我还在看4750g + B550 + ECC的组合。

osk666 · 发表于 2022-3-27 21:56

想问一下，现在主板b550m tuf gaming，搞万兆网卡sriov一直失败，vf做不出来。搞多了张t520cr还是失败。是否这是主板的限制？看了海外某评论说，am4想搞sriov得上acs和ari，所以一定要上华擎，这是否真的？
具体到主板，应该上哪个比较推荐？是否华擎b550和x570都行（x570功耗高其实不太想要，cpu只是4650ge）？本想搞个有3个pcie x16（长度）的，但看来基本只有b550符合，但某鱼上居然比x570还贵的多。

osk666 · 发表于 2022-3-31 16:25

想问问lz用什么cpu的，我用的是4650ge加ecc内存。
现在买了个二手华擎b550太极，
主板在升级bios后是有ari选项，但没acs。
windows server看iovsupportreason写不支持acs所以失败。看外网好像说apu都不支持acs所以主板上的选项屏蔽了。但现在pro系的cpu只有apu，而且有显卡耗电霸占pcie位也不爽。难道要回去买zen1的pro系列cpu？

osk666 · 发表于 2022-3-31 16:28

wmslecz 发表于 2022-1-13 17:31
啊，你都有eypc2了，我还在看4750g + B550 + ECC的组合。

4750g能成功开启acs和sriov吗？
外网说renoir开不了acs，
我的4650ge也不行。

accordingly · 发表于 2022-9-15 16:44

osk666 发表于 2022-3-31 16:28
4750g能成功开启acs和sriov吗？
外网说renoir开不了acs，
我的4650ge也不行。

确认了不，层主

账号		自动登录	找回密码
密码			加入我们

[CPU] 2020年末 AM4平台PCIe虚拟化情况