舒服了，迷你全闪 AIO Intel 版交作业了
本帖最后由 CMGS 于 2024-4-7 22:03 编辑我是没想到，从弓长老哥帖子「舒服了，迷你全闪NAS服务器升级大改完工交作业了」加了团购群入坑之后，竟然搞了 8 个月，才把这个 Intel 版本的迷你全闪 NAS 服务器搞定……是时候来给大伙们讲讲这一路以来踩过的坑了…
首先放黑白群晖 SA6400 同步老的 DS1618 数据监控图…可以看到 DS1618 的小 CPU 是扛不住万兆 rsync 同步的…而我的新 SA6400 嘻嘻嘻，压根就没压力嘛…
我入坑的时候群里大伙的方案基本都是抄弓长老哥，无外乎就是 7D12 换性能好一点的 7282 一类，但都没核显。当时我家里的服务器配置是 unifi UDM pro + 2 台 XG6POE 带 AP 做骨干网，存储 DS1618，计算单独搞了一台带 PCIE 的 DELL 7090 11700T 版本 + X550T2 搞幺蛾子，自然也就是这台 1L 的 'AIO' 上通过 esxi 虚拟 plex 来跑家庭影音中心。
但坡县的电实在是太贵了，这套配置动不动 230W 往上走，以至于夜深人静我还得把群晖关掉来省那么一丢丢的电。因此入坑的时候我就决定了，整合 AIO 和群晖，所以一定要一个带核显的 CPU，而且考虑我必然是用 esxi 做 hypervisor，只能全大核。那么市面上最高，也就买到 12500…其实当时我是想买 T 版本的，但群里老哥说了，你 65W 的标压可以限制成 35W 的 T，但 T 可是跑不回 65W 的…
而且这 35W 的 T 版本比来路不明的散货标压贵…这就怪不得我了…
板子方面因为箱子支持 Deep-ITX，asrock rack 有一块神奇的 W680/Z690 Deep-ITX 版本，W680D4ID-2T/G5/X550/Z690D4ID-2T/G5/X550，在总代那边问了下，Z690 竟然更贵，脑子一拍直接 W680，没想到这就是灾难的开始。
我朋友帮我接了货后，自然要点下试试看，结果这板子……他喵的点不亮。Asrock rack 那店家就这一块，好到手第二天发回送修，店家说得送回台湾，一修就修了 3 个月……是的，这车还没开，发动机就返厂了，说的就是我……
板子回来后，这板子是可以上 ECC DDR5 的，贵是贵了点，但你喵的写在 OVL 里面的海力士 32G UDIMM 条子怎么点不亮啊…又送回店家换货，3 条等 1 根，从他喵的 2023 年 9 月换到 2024 年 2 月…以至于换回来后，4 根 32G DDR5 4400 只能跑上 3600 …算了就这样吧。
但这都是「小插曲」，是的即便这样都是小插曲…因为板子再修，去年也到手了，条子无外乎就用 2 根先测试嘛，又不是不能跑，但我把所有玩意包括 PCIE Switch （PLX 系列）接上后？？？
是的，卡自检…或者说自检都过不了…在漫长的 5 个月中，我收过全新的 Linkreal 的 PLX 卡，咸鱼 8654 口的卡，弓长老哥帖子里面普通 8643 口等 5 张还是 6 张基于 PLX 的 PCIE 拆分卡都试过了，甚至中途 Asrock RACK 还放出了最新的 W680D4ID 的 BIOS 和固件也试过了（这也是想吐槽的另外一个玩意，妈的初始版 IPMI 连日期都没法设置…），都不行，就卡给你看…
尝试不仅限于：
- 只有卡
- 板子直连盘 （这板子+M2可以提供 5 个 'OCULINK'）
- 笼子接卡但不接盘
- 拆主力 PC 接盘判断盘是否有问题
都！不！行！，开机就是 connect driver forever.
也尝试过先拔线能过自检再说，反正热插拨嘛，从 Windows 到各类 linux，反正接盘必挂…那段时间真是折磨…人家欢天喜地用全闪，我被 PLX 爆杀…唯一值得慰藉的是，一般来说硬件随着时间的流逝会降价（比如 12500 / DDR5 ECC 这都降价了），但我之前准备的 6 块 SN640（是的没买 8 块，实在是太耗电了！）他喵的涨价了啊……这涨的价格，已经差不多可以覆盖大部分其他硬件的开销了……
兼容性问题是无解的，本来我都打算放弃，要不带回国闲鱼出了算了，直到有一天我在闲鱼看到了这个…
360 要啥自行车，反正 intel 原厂配 intel 笼子没毛病吧，肯定 QC 过吧…要是能用 4 个口，加板子 3 个 OCU，凑合凑合就这样了……等了小半个月后，这卡漂洋过海来到我手中，开机！
我曹？成功了！？卧槽槽槽？？
是的，这块基于 micron px 芯片的卡一次开机成功……intel 不骗 intel 好吧，但这卡确实有点战斗成色…连挡板都氧化发霉了…既然其他硬件约等于没花钱，那么下重金买个超微的玩意似乎也不是不行是吧。于是淘宝闲鱼搜索一番超微 AOC-SLG3-8E2P 无果之后，果断选择了 ebay。这美国老大哥一日不发货，我一日惶恐不已。又过了半个月后，这张崭新的超微 AOC-SLG3-8E2P 送到坡县……
说实话我不是没考虑过 P411W-32P，又贵不了多少，后来还是担心 PLX 和这挑食的 W680 不兼容，还是买了 8E2P。后来想想，他喵的 Z690 的板子贵是有贵的道理啊……
8E2P 解决了盘的问题后，我还定制了 8611 的线，标准 50cm 太长，32 cm 挺好的，阿里巴巴找了个工厂搞了 8 根，盘不够线要足。考虑到风道也换了金钱豹散热，这飞机起飞的声音真是纯…考虑到机箱 4 个利民 B8，直接换了利民 B6 小扇子…不是猫头鹰买不起，是这 12500 真不配…
于是，差不多 8 个月后，这机器第一次全硬件点亮……然后……？？？怎么死机了！？
不管是 PVE 还是 esxi 亦或是标准 Linux 发行版，总之就是开机过几分钟必然死机……我他妈当时一口老血啊。突然也不知道哪根筋想到了 intel 的 cstate 问题，进 BIOS 一关，嘿它还真好了……
麻溜的装好 esxi，装好群晖直通 SN640，设置好 SRIOV 万兆「直通」，开始逐步清退之前 AIO 的虚拟机和老的 DS1618，这台坡县唯一，也应该是坡县最强的全闪 AIO 就这样上岗啦…
目前待机在 100W 附近，我平日主要还是得开几个虚拟机的，NAS 满载可以到 180W。对比之前的老架构，DS1618 满载在 100W 附近，AIO 满载也差不多，还是省了一丢丢的。而且目前这样我还能再下掉一台 XG6POE，又可以省一丢丢，机柜总功耗控制在 200W 以内不是梦（目前差不多峰值在 250W 左右）。
已知的话还有一些问题的，有些能解有些不能
- SA6400 在虚拟环境会报 loader 的磁盘错误，和 rr 作者确认过无解，一条 syslog 过滤器 disable 日志完事，没日志就没发生对吧
- 12代在 esxi 中核显没法 SRIOV，这样想群晖通一个跑 photo，plex 虚拟机通一个跑硬解是没办法了，出门左拐有 PVE
- esxi 双 X550 一个开 SRIOV 的话要启用两个 switch，不能混！这我还是从 CHH 搜到的……
- X550 在空调房的前提下，IPMI 报 102° 我是不信的，关了直接 105 报警…那我不管你他妈给我干活！
- 虚拟群晖就没法热插拨了，至少群晖这么一说我也不敢去拔硬盘…
- 群晖的虚拟机关机能「关掉」整个硬盘笼，至少灯都不亮了，不过看功耗计，恩还是一样
- 理论上硬盘可以休眠，但目前我还没观测到
就这样了吧，反正又不是不能用… 哈哈哈，8个月，终于。。。 给老板劈个叉吧太NB了 老哥好强，点个赞[厉害] 非要用群晖，群晖自己都没这么骚的硬件。。。 我第一次表示看不懂... 哈哈哈哈哈，能用就不要动！没日志就是没毛病！ 同款机箱笼子，就等主板便宜点再折腾，也几个月了 那时候SN640的价格是真好 群主 你是 W680D4ID-2T/G5/X550 这块主板吗？我想买来着。Z690那块的兼容性是不是更好一些。 团购的群能不能推荐一下，谢谢。 请教 LZ， 群晖的Photo App 里核显用来干啥的？
“群晖的虚拟机关机能「关掉」整个硬盘笼，至少灯都不亮了，不过看功耗计，恩还是一样”
U2 NVME 如果直接接主板的m.2口， 会不会不一样？ 我PVE8.0 PM983直通给虚拟QNAP TS-872, 虚拟机关机可以看到功率计明显往下掉的
另外，群晖虚拟机 DS918， 我是直通了板载SATA控制器的， 不但虚拟机关机可以看到硬盘进入休眠， 虚拟机开着但是群晖闲着， 硬盘也能休眠（ 只要你APP够少） 夜雨寄北 发表于 2024-4-8 07:41
哈哈哈哈哈，能用就不要动！没日志就是没毛病！
哈哈我把错误日志都给过滤掉了…… kirl2010 发表于 2024-4-8 10:07
那时候SN640的价格是真好
一千多块出头 7T 多的 U.2 现在看起来跟不要钱一样 VIPER-LF 发表于 2024-4-8 10:16
群主 你是 W680D4ID-2T/G5/X550 这块主板吗？我想买来着。Z690那块的兼容性是不是更好一些。 团购的群能不 ...
是的，我是这块……怎么说呢，反正 Z690 那块卖得更贵……理论上兼容性要好一丢丢吧，至少我没见过 Z690 和 PLX 不兼容的 jimmyjin 发表于 2024-4-8 11:03
请教 LZ， 群晖的Photo App 里核显用来干啥的？
人脸识别… jimmyjin 发表于 2024-4-8 11:25
“群晖的虚拟机关机能「关掉」整个硬盘笼，至少灯都不亮了，不过看功耗计，恩还是一样”
U2 NVME 如果直接 ...
应该会不一样，休眠这个好搞，我估计还是因为 PCIE Switch 的缘故 好乐观的LZ 这个太强大了 CMGS 发表于 2024-4-8 11:35
是的，我是这块……怎么说呢，反正 Z690 那块卖得更贵……理论上兼容性要好一丢丢吧，至少我没见过 Z690...
好的呢，我也想搞一块玩玩，奈何真的有点小贵，团购的有群吗，我也想参与下。 VIPER-LF 发表于 2024-4-8 14:59
好的呢，我也想搞一块玩玩，奈何真的有点小贵，团购的有群吗，我也想参与下。 ...
已经无团购了，现在直接淘宝搜五花肉定制 nas 机箱好像就能搜到
页:
[1]