NUC9 iSCSI无盘工作站/服务器札记 — PXE安装及引导 Win11 成功

yang2jie1

imyz 发表于 2022-10-25 18:19
看到你讲的这个，我感觉可能我之前对瘦客户机有些误解了，所以顺便也纠正一下我 16# 楼的回复。

我又回 ...

我看了一下帖子。 我感觉楼主折腾的目的是，nuc9只是做一个cpu密集型的计算单元，不在乎 ISCSI网络挂载导致的IO瓶颈。 更多的可能是准备多几个启动镜像，放不同的运行环境。 切换环境的时候 只需要 让机器关机，挂载好目标的映像 WOL一下，就换个马甲起来了。数据集中存储在服务器，不需要冗余的维护数据同步 安全备份等等一系列的事情了。
而且楼主应该是有方案洁癖或者执念在里面，就是不想用瘦客户端这种方案去操作1个服务器, 这种性能完全依托于中央计算节点了。  楼主的方案是反其道而行，数据在中央节点，计算就放客户端。 这样不会占用中央节点过多的性能，因为只有1份系统，性能消耗也就是 管理ISCSI的cpu性能以及 磁盘IO 网络IO。 需要计算的时候，就召唤牛马起来拉磨~  不用了就退退退~   不知道我是否get到楼主的思路。。

imyz

yang2jie1 发表于 2022-10-25 19:06
我看了一下帖子。 我感觉楼主折腾的目的是，nuc9只是做一个cpu密集型的计算单元，不在乎 ISCSI网络挂载导 ...

兄台理解到位了！

我之所以反复提集中存储、NAS 这些概念，而不提 “集中计算/算力”、“云” 也是这个意思，还是我的表达能力有限、没抓住中心思想和关键词啊。

NAS 这种本身就不需要强大的算力的，手上这台 LaCie 5big 还是 Atom 4核，让它作计算服务器！？它也不是那块料啊

Mufasa

楼主精神可嘉

不过，我还是选择买一个一百块钱的SSD，简单粗暴的解决问题。

至少启动部分用本地SSD，速度会好一些。
存储部分，我也打算用iSCSI挂载。。。。

imyz

Mufasa 发表于 2022-10-25 19:58
楼主精神可嘉

不过，我还是选择买一个一百块钱的SSD，简单粗暴的解决问题。

哈哈哈哈，这个就是个人喜好。实际上就和很多人喜欢外接一块 U 盘来装 ESXi 的 OS，Datastore 独立开来差不的意思。

ESXi 就不说了，原生支持这种 iSCSI 方式安装，唯独 Windows 的脾气倔，但我不吃那套，硬要上...... 将来我这台 NUC9 也是打算配合 NAS 通过 iSCSI 的方式将 OS + Datastore 尽数集中存储，跑些负载不高的虚拟机，加上它还有 PCIe 槽，可玩性还是蛮高的。

Mufasa

imyz 发表于 2022-10-25 21:33
哈哈哈哈，这个就是个人喜好。实际上就和很多人喜欢外接一块 U 盘来装 ESXi 的 OS，Datastore 独立开来差 ...

我准备套娃

先用ubuntu装一套ceph，这样就提供了 iSCSI

成员组服务器，用一个小SSD启动ESXi

在ESXi里面挂载iSCSI作为存储虚拟机的容器

最后 ESXi 里面装Windows Server

imyz

Mufasa 发表于 2022-10-25 22:05
我准备套娃

先用ubuntu装一套ceph，这样就提供了 iSCSI

我不了解 Ceph，只是知道它也是个存储解决方案，不晓得和 VMware vSAN 是不是同一个概念？

另外，既然你的 Ceph 已经提供了 iSCSI target，若不介意的话，可以尝试将那台成员组服务器的小 SSD 替换成 iSCSI target？我亲测过，ESXi 原生支持这种方式安装、引导的，并且我看你启动 ESXi 后最终也是 iSCSI 挂为 Datastore

terry0086

这个思路挺好的，现在家庭用电脑都算力过剩了。像华为开始出nas和手机上可登录云主机，以及它的全光网络主路由带子光终端FTTR等类似的思路来看，它要是出一套独立主机带几个极低配置的显示输入终端供各个家庭用户办公上网和存储的话感觉会有市场。。。

imyz

terry0086 发表于 2022-10-26 16:45
这个思路挺好的，现在家庭用电脑都算力过剩了。像华为开始出nas和手机上可登录云主机，以及它的全光网络主 ...

我这个 iSCSI 的方式应该与华为的云主机的概念还是不同的。云主机首先要解决本地主机 OS 的问题后，再由本机 OS 访问云主机，手机 OS 也属本机主机。

而 iSCSI 本身不是为了云主机而产生的，纯粹就是让本地主机无盘，将原本需要安装到本机 SSD/HDD 中的 OS 通过 iSCSI 安装到家庭 NAS 中。然后，是否继续用它来上云主机与否，不是 iSCSI 或这个教程的涵盖范围。

allenchueng

pp0pp 发表于 2022-10-25 17:59
我想了解一下“瘦客户机之害”主要表现在哪些地方？

　　我很早很早就已经用NT Server 4.0做电教室的Windows 95无盘系统了，RPL引导，NetBEUI协议传输，还不是iSCSI。那时候可没有交换机，而是集线器！相较于大批量采购硬盘的成本，天价服务盘其实都很省钱了。
　　大量的碎片回写导致服务器卡（那时的SCSI的I/O性能其实非常低）、客户机卡（比如16口Hub，总上行100Mbps，每台机器能分到多少？单位是bps哦！）。
　　NT Server 4.0的稳定性可以说是每个做过网管的人的恶梦！动不动全员瘫痪。嘿嘿。

　　Server 2000发布的时候跟着出来的iSCSI技术我其实是馋了很久想体验的，可惜那段时间没环境来玩。

　　之后自己做网吧的时候，已经是Server 2003、无盘XP了，PXE引导、iSCSI传输已经很成熟很稳定了。可是那时候还没有哪家公司去研究本地回写技术，只有我们一个小圈子里面在折腾RAMDisk做本地回写。
　　各种蓝屏，各种重启，各种启动不成功（RAMDisk加载延迟导致的一系列问题），哈哈！可是相较于服务器回写，RAMDisk本地回写的性能直接起飞，我们只能“将就”咯！

　　再之后就是网吧大面积普及服务器大内存缓存、SSD缓存、SSD回写、本地内存回写（国内第一家貌似是网维大师研究出来的驱动），零几年的时候不记得了，几乎新开的网吧都已经干到万兆主干、千兆到桌面了。相比机械硬盘，客户机的体验是非常之爽的。
　　但是，但是，那时候可是会有很多人带着U盘来网吧做文案的哟！客户机一个重启，芭比Q。这种情况我自己都遇得不少，更别说顾客了。

　　所以啊，发誓不再碰无盘……哈哈！
　　这只是分享我自己的经历、体验以及因此给自己带来的影响罢了，不影响楼主的研究哦！

Predator

allenchueng 发表于 2022-10-27 22:25
　　我很早很早就已经用NT Server 4.0做电教室的Windows 95无盘系统了，RPL引导，NetBEUI协议传输，还不 ...

D-link的hub
3c905的大卡
8139各种屎一样的ROM

握个手，我那时也干过一段时间RPL

Predator

Mufasa 发表于 2022-10-25 19:58
楼主精神可嘉

不过，我还是选择买一个一百块钱的SSD，简单粗暴的解决问题。

我家大概从15年开始
台式机全都ITX加一个小SSD，大散热器低速风扇
全部存储包括游戏都存去NAS——至于是用iSCSI还是windows共享，这个就见仁见智了

但是现代大企业的虚拟桌面体系，要满足的东西不一样

比如一个全球跑的高管人员，他可以：
1. 在香港办公室桌上瘦客户机开机进入桌面，这个系统其实在德州乡下某机房的VMware上面
2. 洲际飞行的时候拿出ipad，用app登录进自己的桌面，打开前一天没做完的文件
3. 回到上海的老家，从家里的电脑上用网页方式登录回自己的桌面
于此同时，公司的IT人员升级他的系统，备份他的文件，都直接在服务器上面操作

另一方面对于一些有高性能要求的行业，比如CAD，photoshop这一类，同样的使用这种方式，终端使用者那边只是一个高档的显示器/键鼠。CPU算力和图形能力全部都在服务器端。从服务器到客户端传输的都是键鼠操作和桌面视频演算结果（这个部分可以去看看PCOIP）

集中管理，集中分配资源，集中升级换代
这个方式能显著的降低企业IT设备的TCO
已经和早年那种主力解决存储成本问题的“无盘”不是一个目的了

manowar0330

技术贴。。。。nb

Mufasa

Predator 发表于 2022-11-14 15:07
我家大概从15年开始
台式机全都ITX加一个小SSD，大散热器低速风扇
全部存储包括游戏都存去NAS——至于是 ...

不同企业根据自身需求，选择适合自己的方案。

我们本地数据量比较大，上云的部分很少，
所以选择了自己弄一个山寨机房，在里面搞后端存储，和前端运算。

公网部分，买几个腾讯云作为跳板，frp穿出去就好。

因为个人习惯问题，我喜欢用廉价SSD启动系统，包括服务器上的那些ESXi，也是弄个廉价SSD来启动，我觉得比用优盘启动ESXi要放心一些。。。。

ctz556

太复杂了，定制PE、WDS、ADK，这些都没有接触过，没看明白。问题的关键是网卡驱动吗？

曾经简单尝试使用Hyper-V把Win10安装到VHDX，然后ipxe启动，结果因蓝屏无法启动而告终。以为Win10免驱的网卡能直接这么启动。

对于不追求纯iscsi（以及没法在UEFI/BIOS中直接绑定iscsi的机器）来说，是否有更简单的解决方案。比如系统安装过程在非无盘的环境下完成，如hyper-v虚拟机或者其他工具，又或者有盘安装再克隆的方式？

huihuige

太长了
先收藏再看
好像很复杂的样子……

683599

厉害
好家伙

imyz

ctz556 发表于 2022-11-25 11:33
太复杂了，定制PE、WDS、ADK，这些都没有接触过，没看明白。问题的关键是网卡驱动吗？

曾经简单尝试使用Hy ...

问题的关键是：正确地定制一个能支持 iSCSI 的 WinPE 引导映像。

对于 UEFI/BIOS 中无法配置并写入 iSCSI 配置的机器来说，采用 iPXE + TinyPXEServer + wimboot 来引导那个定制的 WinPE 应该就是最简单的了。关于这一点，1/2楼教程中有提到

eonghk

技术贴要支持下。对于单纯存储中央化的家庭网路来说挺合适的，数据备份和管理会变得很容易，同时因为调用的是本地的CPU+GPU，如果有游戏需求的话还是比较理想的。这个和硬盘成本其实没啥关系。

imyz

eonghk 发表于 2022-11-25 17:49
技术贴要支持下。对于单纯存储中央化的家庭网路来说挺合适的，数据备份和管理会变得很容易，同时因为调用的 ...

是的，原本也不是为了省本地磁盘的钱，主要还是希望能 “集中存储”，只是顺带可以将原本花在本地磁盘的钱用在建 10Gb 网或 NAS 存储上

realzoc

楼主太强了 希望需要的人能找到这个帖子

eonghk

imyz 发表于 2022-11-25 22:07
是的，原本也不是为了省本地磁盘的钱，主要还是希望能 “集中存储”，只是顺带可以将原本花在本地磁盘的 ...

我赶巧遇到了一波mellanox的设备，就直奔40G了，直接上架两个4U总共48盘。外加一台2U负责docker跑应用，一个小机柜扔车库问题就都解决了。家里电脑基本不用操心存储空间和备份了。iSCSI + PXE 对于Linux来说更加友好，Windows略折腾点。重点还就是中央存储，而不是无盘启动。

imyz

eonghk 发表于 2022-11-25 19:57
我赶巧遇到了一波mellanox的设备，就直奔40G了，直接上架两个4U总共48盘。外加一台2U负责docker跑应用， ...

壕无人性

Windows 的确在这方面太折腾了，这也是我为了搞这个前后花了好几个月的时间

ctz556

imyz 发表于 2022-11-25 17:33
问题的关键是：正确地定制一个能支持 iSCSI 的 WinPE 引导映像。

对于 UEFI/BIOS 中无法配置并写入 iSCS ...

关键怎么会是PE？通过这个定制的预安装环境安装的系统和其他方式安装的系统会有什么不同？不都是释放install.wim到磁盘吗？

imyz

ctz556 发表于 2022-11-25 20:26
关键怎么会是PE？通过这个定制的预安装环境安装的系统和其他方式安装的系统会有什么不同？不都是释放inst ...

你大可以不用我的方法和工具，仅将网卡驱动用 DISM 直接添加进官方默认的 WinPE.wim 中以及 install.wim 中看看会不会 BSOD

ctz556

imyz 发表于 2022-11-25 20:31
你大可以不用我的方法和工具，仅将网卡驱动用 DISM 直接添加进官方默认的 WinPE.wim 中以及 install.wim  ...

分享一下折腾经历。

本人是个爱瞎折腾的人，什么有意思的然后对自己或许有那么一丁点用的东西都喜欢去折腾，比如这个iSCSI无盘系统。

然后还得说到自己患有严重的系统洁癖及强迫症，总是希望系统保持纯净的状态，不愿意安装任何非必要或者不可靠的软件，特别是国产软件普遍比较流氓。对于某些偶尔又不得不用的软件，总是希望使用后不留任何痕迹，这几乎是不可能的事情。而对于喜欢各种瞎折腾而又有洁癖的我来说，利用vhdx的差分功能创建多个系统分支实现快速系统恢复还原，正是我在这条路上踩过坑并一度放弃但看到楼主的分享后又决定尝试的原因。

感谢楼主分享的PE创建脚本，小白不明白自己之前一直失败的原因，所以直接拿来用了。

Routeros的主路由环境，所以DHCP和TFTP（ipxe)服务器都由ROS提供。虽然用的WinNAS但没有用WDS甚至TinyPXE Server这种集成工具，也是强迫症在作怪。当然HTTP服务还是由WinNAS下的绿色软件hfs提供。

ipxe相关文件上传到ROS的flash/ipxe文件夹下

设置tftp文件目录

1. /ip tftp
   
2. add real-filename=flash/ipxe/ req-filename=.*

复制代码

设置启动文件名及tftp服务器

1. /ip dhcp-server network
   
2. add address=192.168.1.0/24 boot-file-name=undionly.kpxe gateway=192.168.1.1 next-server=192.168.1.1

复制代码

开机用网卡启动PE就能成功安装系统了。一口气安装了多个系统包括Win10 LTSC Pro Ent和Win11多个系统。

但是安装Windows11时踩了一个坑并还没能跳出来，就是Windows11用Legacy BIOS模式安装的系统无法启动，启动过程没有任何反应（未出现Windows LOGO)，像是启动了个没有引导信息的硬盘，实际用虚拟机启动这个安装好后的vhdx是能够引导的。但是用UEFI模式安装启动很顺利。

然而我首选安装的几个版本的Win10都是Legacy BIOS模式安装的，不想再重装一遍，而且UEFI ipxe在我古董B85主板的螃蟹卡启动时有不小的几率卡在ipxe启动阶段。而又不想在Legacy BIOS和UEFI网络启动时来回修改dhcp-server的boot-file-name。于是又在网络上找到使用dhcp-server matcher设置来指定Legacy BIOS和UEFI两种模式使用相应的boot-file。

这里又踩坑了，UEFI网启时通过dhcp-server option 67的办法原本配置正确的snponly.efi文件名，启动时却自己加上了一个乱码导致找不到文件而无法启动。所以只好设置dhcp-server的boot-file-name为UEFI启动的snponly.efi文件。通过匹配客户端code 93(Client System)的值0x0000指定Legacy BIOS的启动文件undionly.kpxe。这样就不必手动来回修改dhcp-server的boot-file-name了。

1. /ip dhcp-server network
   
2. add address=192.168.1.0/24 boot-file-name=snponly.efi gateway=192.168.1.1 next-server=192.168.1.1
   
3. 
   
4. /ip dhcp-server option
   
5. add code=67 name=boot-uefi value="'snponly.efi'"
   
6. add code=67 name=boot-bios value="'undionly.kpxe'"
   
7. 
   
8. /ip dhcp-server option sets
   
9. add name=boot-uefi options=boot-uefi
   
10. add name=boot-bios options=boot-bios
    
11. 
    
12. /ip dhcp-server matcher
    
13. add address-pool=default-dhcp code=93 disabled=yes name=ipxe-uefi option-set=boot-uefi server=DHCP-default value=0x0007
    
14. add address-pool=default-dhcp code=93 name=ipxe-bios option-set=boot-bios server=DHCP-default value=0x0000

复制代码

一整折腾，vhdx文件保存在NAS的HDD上时基本上为不可用状态，开机时长2分钟，磁盘请求占用经常100%，网络和HDD双重性能瓶颈啊。于是给NAS加固态，启动时间缩短到1分钟之内，有点香了。然后家庭网络只有1G，于是给客户机加固态，直接VHDX本地启动。嗯，强迫症是病，得治！

imyz

ctz556 发表于 2022-12-25 15:29
分享一下折腾经历。

本人是个爱瞎折腾的人，什么有意思的然后对自己或许有那么一丁点用的东西都喜欢去折 ...

兄弟你还真的爱折腾啊，装了这些个系统 ？而且还要分 UEFI + BIOS 两个方式...... 自认爱折腾的我看完你这都甘败下风

另外，我对其中一点不是很明白：

利用vhdx的差分功能创建多个系统分支实现快速系统恢复还原

首先你的 iSCSI Target 也是 WinNAS 提供，基本能确定每个 LUN 对应一个 WinNAS 中的 VHDX 文件，然后你上面这句的意思是用 WinPE 成功引导后，并不是直接安装而是在那个虚拟 iSCSI 盘的空间中又创建 vhdx 文件用 diskpart 挂载后再将 Windows 安装进这个新建的 vhdx 文件中？？

若是这样，我算下看：WinNAS 用 vhdx 提供 target 已经算套一个娃了，然后又在这个 target 中再建 vhdx 套第二个娃？

ctz556

imyz 发表于 2022-12-25 21:09
兄弟你还真的爱折腾啊，装了这些个系统 ？而且还要分 UEFI + BIOS 两个方式...... 自认爱折腾的我看完你 ...

不是不是，装了这么多系统仅仅只是测试安装流程，实际再怎么爱折腾也用不上这么多呀！[尴尬]。uefi和传统bios同时用到也仅仅是因为legacy bios模式无盘启动win11不成功，所以因为win11又多弄了个uefi。

另外我所说的vhdx的差分功能并不是套娃的意思。而是利用这一特征来快速创建多个不同用途的系统，而只要简单通过删除或者重新创建子vhdx文件的方法，就能快速实现系统还原。例如把一个完成初试安装的vhdx作为父文件，创建多个子vhdx文件，就相当于安装了多个系统了，而不必占用重复的磁盘空间，这对于喜欢折腾的人来说实在太方便了。

qp6g3o

牛逼 真的有钻研技术的精神~

jameszjq

在OptiPlex 7080Micro上照着折腾了一下，受限于现在7080<-->NAS之间的千兆环境，读写速度不太符合预期。暂时转回有盘之路。待家庭网络环境全部万兆化（或者客户机与服务端局部万兆化）之后再玩。

imyz

jameszjq 发表于 2023-2-17 20:17
在OptiPlex 7080Micro上照着折腾了一下，受限于现在7080NAS之间的千兆环境，读写速度不太符合预期。暂时转 ...

千兆环境下 iSCSI 启动的确相对本地盘尤其是 SSD 来说慢上不少，而且还得看 NAS 提供的 iSCSI target 自身的磁盘 4K 随机读写性能、最大 IOPS，所以它是个综合问题，并不是只要上万兆就能和本地 SSD 一样的。

我目前 iSCSI 无盘就是上个网、看个电影，再就是阀门社的老游戏，如：L4D2 这类，只要是完成了 OS 启动后还是够日常用的。

春节前新整了一套带万兆的家用服务器，接下来看价格逐渐过渡到家庭万兆