准备折腾一下all in boom，有几个问题恳请大佬讲解

gansokii

cpu 5900x
显卡 6800xt
主板 x570ace（网卡是i211,8125）
准备做all in boom，折腾一下openwrt、显卡直通给ubuntu再简单起两三个linux虚拟机做学习使用、还有块14t的机械做黑裙（存储需求不大，一块就够）
目前有几个问题：
1、底层选什么好呢？esxi、hyper-v、unraid、还是pve
2、显卡、sata直通哪个方便一些
3、网卡驱动会不兼容吗，比如esxi不识别i211之类的
4、给openwrt的网卡sr-iov还是直通好
感谢大佬们

散落烟灰

既然做黑裙，hyper-v首先排除了，除非换用vmware

se8en

来避免尴尬，我先破题

一、你all in one的诉求是什么？省电？性能使用最大化？系统集成爱好者？

     以我多年网络瘫痪、家人责难、各种熬夜苦战各种兼容、驱动、插件调试，个人感觉有限生命投入到无限的系统调试集成过程中完全是徒劳的，所以现在家里日常开着3台PC机器
   
     主nas：10700es+64G内存+14Tx3+256G nvme x2+万兆光x2+2.5Gx2 +nv1050ti——只跑Unraid
     主路由：J4125+2.5Gx4  ——openwrt
     主AP：tplink XDR5480 x2
     
     ROON Server+hqplay回放：hp 800G6 DM （10400+32G内存+512Gnvme+ubuntu系统跑Roon sever+vmware虚拟win10 跑roon点播挂接外部相框显示器 支持触摸点歌）

二、虚拟化技术 直通 非直通 是最折腾的（没有虚拟化系统 专门为HTPC 设计这一块）

     显卡直通 nv 1050ti如何跟intel集显共存 一个解码一个虚拟机输出 就折腾死 unraid还是说最亲民的
     所以 尽量别多显卡分开直通 比较麻烦、vmware可以折腾，但是 又想弄好的raid系统，又得虚拟

三、2.5G的网卡驱动是坑，提前备好驱动

     虽然很多系统支持2.5g螃蟹卡了，但是要清楚，这个2.5g在商用严苛系统选型里，2.5g不受待见

四、网卡直通效能需要关注一下

     因为比较在意千兆网（办了千兆宽带）所以，不希望家里的客户端受网络限制，所以基本不使用网卡虚拟化，都是直接直连

最后最后，确实这些系统，电费每月肯定几十电费跑不了，也可能过百，但是省精力，我的时间也挺贵呢

蓝色星芒

因为没有黑裙的需求，所以，直接windows hyperv。一个ikuai，一个op，1个debian的nas+nc，1个debian+sql+redis+其它功能docker，1个debian+其它管理docker，还有其它几个测试debian，跑服务的debian。windows装了qb，jellfin等所需。稳定一年多了，中途从32G升级到64G。一直没断过

xeon13

1、底层选什么好呢？esxi、hyper-v、unraid、还是pve
>> 不折腾就不用小众的，反正我觉得esxi最好，没必要用最新版的，如果硬件太新必须用新版，要宁愿降级点硬件去用老版本软件

2、显卡、sata直通哪个方便一些
>> sata直通需要直通sata控制器，如果没有板载的可以直通，还需要单独买块阵列卡，还要考虑是要买RAID卡还是HBA卡

3、网卡驱动会不兼容吗，比如esxi不识别i211之类的
>> 非主流网卡就算用起来了，也不见得能稳定使用或者没有其他缺点，比如CPU占用高，比如卡驱动BUG， 如果搭homelab的目的是学习linux集群技术，而不是学习怎么hack硬件，其实没必要把事情搞复杂

4、给openwrt的网卡sr-iov还是直通好
>> 性能上直通可能更好，

bxhaai

你这配置24小时开机功耗太大了，没啥特别吃性能的长时间应用需求，还是折腾点现成的方案吧

voandrew

我来尝试回答一下，不见得都正确：

1、底层选什么好呢？esxi、hyper-v、unraid、还是pve
>>我觉得看啥对你最重要，每个系统都有优缺点。
如果这套系统虚拟机更重要的话，那就选esxi或pve，pve是linux改过来的，驱动更新最快，如果不是用最新的硬件，pve和esxi都可以，这两个系统的教程也很多，而且虚拟机管理的模块也是最完善的。PVE系统直接支持LXC，还可以在底层系统安装docker，不过这可能会污染底层系统，我一般不会这么干。虚拟机平台我目前用的是esxi，建了一个openwrt和一个ubuntu的虚拟机，openwrt专门用来跑软路由，和一些加速器插件，docker系统做在ubuntu server上，用portainer加命令行来管理，还是非常方便好用的。

如果NAS是主要的需求，而且对磁盘性能要求不高，想尽可能的提高磁盘空间利用率的话，可以考虑unraid，虚拟机性能不差，但是管理模块比较薄弱，而且权限控制几乎你可以当他没有，但这个系统各种设置操作起来真的是很方便，很杂食。另外对docker的支持很好，比如macvlan或者ipvlan设置方面太方便了。另一个缺点就是付费，我个人还是不太推荐开心版。我目前DIY NAS用的都是Unraid，用起来各种方便，当然有时候也会遇到bug，崩过几次，但重启一下就好了。底层系统稳定性没有esxi和pve高。

hyper-v只以前win server 2012和2016上短暂接触过，给我的感觉是全虚拟化，底层系统资源开销不算小，没横向对比过，后来就转向pve和esxi了，两个系统反应速度都比server上的hyper-v快。

2、显卡、sata直通哪个方便一些
>>直通方面esxi最方便，直接web界面打个勾应用一下就可以。
unraid还算方便，但是不方便的地方是每次直通设置完都要重启系统才可以，这点比较麻烦。
pve我没有用过直通功能，当时我玩的时候只需要全虚拟化，而且我记得当时直通是要命令行操作的，觉得有点麻烦，也不太重要，就没搞。
hyper-v玩的少，但我记得当时除了硬盘挂在了物理硬盘，别的我都没搞，但我记得也不是特别方便。
所以直通方便性这方面，我站esxi。

3、网卡驱动会不兼容吗，比如esxi不识别i211之类的
>>驱动方面esxi更新最慢，毕竟人家内核都是自己开发的，linux和windows的驱动支持都很好，一般很少遇到网卡驱动出现问题的。目前主流显卡的驱动，esxi都可以通过自己注入系统完成，注入方法还挺简单的。Community Networking Driver这个官方社群里面的网卡驱动包一直保持更新，还挺好用的。

4、给openwrt的网卡sr-iov还是直通好
>>我的openwrt虚拟机是做旁路由，所以我没有直通，直接用esxi上虚拟化解决了，但虚拟化毕竟要占用算力，所以能直通当然是直通好。而且如果是用来做主路由，更建议直通，而且别怕性能浪费，可以稍微给多点cpu，内存无所谓，一般我就直接给个1G，其实512MB也就够了。

liusimin

1.底层肯定是ESXI没有之一

2.Sata直通好一些，显卡直通最好不要搞

3.网卡驱动有补丁，愿意折腾没所谓

4.openwrt一般不需要直通

以上，个人见解

gansokii

散落烟灰 发表于 2023-1-3 11:46
既然做黑裙，hyper-v首先排除了，除非换用vmware

哦哦好的，第一次玩虚拟的黑裙，之前的黑裙是拿旧笔记本做的，感谢

gansokii

se8en 发表于 2023-1-3 12:03
来避免尴尬，我先破题

一、你all in one的诉求是什么？省电？性能使用最大化？系统集成爱好者？

主要是自己折腾着玩哈哈，搭一套环境自己学习下虚拟化，顺便带个openwrt、群晖这样子
感谢大佬详细的讲解排坑

gansokii

蓝色星芒 发表于 2023-1-3 12:28
因为没有黑裙的需求，所以，直接windows hyperv。一个ikuai，一个op，1个debian的nas+nc，1个debian+sql+re ...

感谢大佬回复，请教下hyperv的话安装win的什么版本呢？第一次玩这些，昨晚试了win server 2022，安装amd的主板驱动提示不兼容人有点懵

gansokii

xeon13 发表于 2023-1-3 12:29
1、底层选什么好呢？esxi、hyper-v、unraid、还是pve
>> 不折腾就不用小众的，反正我觉得esxi最好，没必要 ...

感谢大佬回复，那我主要还是重心放在linux上，把底层当作工具

gansokii

bxhaai 发表于 2023-1-3 12:31
你这配置24小时开机功耗太大了，没啥特别吃性能的长时间应用需求，还是折腾点现成的方案吧 ...

哈哈目前是先折腾两天玩玩的心态

gansokii

voandrew 发表于 2023-1-3 13:50
我来尝试回答一下，不见得都正确：

1、底层选什么好呢？esxi、hyper-v、unraid、还是pve

非常感谢大佬这么详细的回复，诚惶诚恐。我先下载个esxi跑一次体验一下

gansokii

liusimin 发表于 2023-1-3 14:20
1.底层肯定是ESXI没有之一

2.Sata直通好一些，显卡直通最好不要搞

感谢大佬，准备先入坑esxi啦

meng83

我也想学习一下

该ID用户不存在

你这8125的网卡ESXI兼容不行只能安装6.7的。建议你用PVE吧

蓝色星芒

gansokii 发表于 2023-1-3 14:46
感谢大佬回复，请教下hyperv的话安装win的什么版本呢？第一次玩这些，昨晚试了win server 2022，安装amd ...

2022
服务器操作系统，有的驱动是需要修改inf文件的，因为很多驱动的安装文件里说没有服务器操作系统的，只有win10 win11之类的

rad.io

前面的回答的很细，赞。 我觉得：
1. 如果学习linux, 那么选择Windows不要变，随便vmware, virtualbox, hypber-v都行
2. 如果玩玩虚拟化，没有太多Linux基础，选ESXi
3. 如果学习Linux里面的虚拟化，选pve

网卡直通或sriov容易出问题，很头大，经常会导致学东西的目标被“折腾”搞没了。
Openwrt直通还是sriov我认为可能还不是你现在需要考虑的问题。

voandrew

gansokii 发表于 2023-1-3 14:52
非常感谢大佬这么详细的回复，诚惶诚恐。我先下载个esxi跑一次体验一下

刚没看到你网卡有8125。这个esxi驱动不了，玩儿的话，就搞个便宜点的pcie网卡吧。

wangfenghun

1、底层选什么好呢？esxi、hyper-v、unraid、还是pve
不需要底层DOCKER和存储的，ESXI最好。稳定性，操作性都很好。UNRAID相比ESXI的优势在于可以装容器和他自带的特色阵列。稳定性也好，相对ESXI应该略有不如，毕竟UNRAID不是面向企业级。
2、显卡、sata直通哪个方便一些
显卡直通，sata直通ESXI我记得都有界面，UNRAID也行了，不过需要调试，PVE我记得最复杂，当然调好了都能用。
3、网卡驱动会不兼容吗，比如esxi不识别i211之类的
esxi的驱动最难打，我以前折腾ESXI的时候最常干的一件事就是打驱动，所以这个要折腾，要有成本。
4、给openwrt的网卡sr-iov还是直通好
OPENWRT直通或者SRIOV来说需要看你的需求。以你的CPU来说，就是虚拟网卡也不是问题。所以这个你可以自行折腾。
感谢大佬们

蓝色星芒

如果需求度不高，又不太会，那还是win serv。
如果有能力，那就pve
esxi怎么说呢，对新硬件不太友好，而且直通没有pve好。
我个人是因为有win系统的需求，比如播放蓝光什么的，用pve的话，只能显卡直通给win，但是直通后，解码也要放在win上，多此一举了。

airbeta

把播放电影那块独立出来一个设备搞,能少折腾一个是一个,关键效果更好
其他慢慢折腾

Dk2014

5000x系列自带垃圾iod，待机徒增20w功耗

chnfeeeeeef

PVE硬件兼容性比较好，已经来来回回换了几个intel平台（E3,E5,9代,12代）了，硬盘插上直接就能用

c2h6o

想要好好用，好好学，就不要折腾ALL IN ONE，否则出问题或者不出问题都是折腾。

DEM

all in one话最好用pve，本身就是一个debian的发行版，可以启动桌面环境，避免了显卡直通

binne

1、底层选什么好呢？esxi、hyper-v、unraid、还是pve
》之前，J4125 的8125网卡在win 2019有断流重启的问题，换esxi遇到两次windwos虚拟机蓝屏，就换到了PVE，现在稳定在PVE上了，2年了。
2、显卡、sata直通哪个方便一些
》PVE，按教程来都很方便，但是如果硬件有坑，那就不知道了。
3、网卡驱动会不兼容吗，比如esxi不识别i211之类的
PVE的网卡驱动都能自己打上。这211常用网卡，集成驱动了。
4、给openwrt的网卡sr-iov还是直通好
》你的机器cpu都那么好了，不在乎cpu占用，我的j4125用virtio。稳定压过一切。我试过直通，遇到过一次爱快死机，就换了。

gansokii

meng83 发表于 2023-1-3 14:55
我也想学习一下

一起学习呀

gansokii

该ID用户不存在 发表于 2023-1-3 14:57
你这8125的网卡ESXI兼容不行只能安装6.7的。建议你用PVE吧

8125目前我直通给openwrt用了，先用两天看openwrt稳不稳。感谢大佬