HP GEN8万兆+RAID卡双PCIE设备无损改装——低成本CPU自带PCIE拆分方案

wxcup · 发表于 2024-2-7 08:37

本帖最后由 wxcup 于 2024-2-28 13:50 编辑

HP的MicroServer GEN8发布已经将近十年了，作为一代经典入门级产品启蒙了无数网友的初代NAS体验。产品虽然经典，改装的帖子和套件也是风靡一时，可惜这款产品最大的问题就是两个千兆网口和一个PCIE插槽：如果加了万兆网卡，那自带的4盘位装不了几块硬盘；如果插了硬raid卡堆盘，两个千兆网口又拖了后腿。颇有点“茶壶里煮饺子——有嘴倒不出的”感觉。

同时看到之前CPU自带PCIE分拆的帖子和坛友使用基于PLX芯片的硬件PCIE拆分卡启发，几经摸索和测试终于找到一种使用CPU自带PCIE拆分的无损改装方法，最终以较低成本使得HP GEN8达成PCIE拆分成8x+8x后安装了双口万兆网卡+硬RAID卡的目标。

以下为改装过程整理，如有更好的建议和想法欢迎留贴讨论。

--------------------------------------------------------------

众所周知HP的MicroServer GEN8服务器不支持PCIE拆分，bios里也没有对应的选项，但是其实查看intel的文档，该机使用的E3-1200 v2系列ivy bridge服务器CPU和C204芯片组是支持PCIE通道拆分的。

同时后续因为缺少资料和指引无法继续改装直到看到一篇关于cpu拆分的文章——“Intel部分桌面级CPU的pcie通道拆分另类低成本实现”，有兴趣的坛友可以自行搜索，这里就不再赘述了。

上图为i3-3450 cpu的针脚示意，与我手头的E3 v2系列CPU是同一代产品，理论上说是可以通用的。

改装之前的机器塞了大概4块HDD+6块SATA SSD+1块SAS SSD，可惜因为网速限制，无法发挥出SSD的性能

移除机器电源侧挂装的几块SSD，可以看到唯一的PCIE插槽上装了一块DELL H730P硬RAID卡，PCIE8X速率，没能充分利用上板载的16x PCIE速率

拆出整个主板托架，结构简洁可靠，以现在眼光来看当年的设计都不能算是过时，不愧是一代经典产品。

移除CPU散热器，E3-1220L V2的cpu，功耗只有17W，正好可以拿来练练手。

祭出铜箔胶带大法，按帖子的提示进行短接，不过触点不大，操作起来需要两把镊子同时进行，需要一点耐心。

短接了8x8x的触点后，在HWinfo中果然能看到PCIE插槽最大带宽变为8x了（拆分前显示为16x）。
另外测试发现，8x+8x分拆后自检正常。短接另外两个触点（8x+4x+4x）发现会自检会卡住。

CPU拆分成功后接下来就需要挑选万兆网卡和PCIE拆分转接卡了，网卡我选用了OCP版的MCX4421，SPF28接口，最高支持25GBps速率，兼容10Gbps。

转接卡自带5V风扇，对ocp网卡散热更佳，使用SFF-8654信号线接分拆出来的pcie8x信号

ocp网卡和PCIE拆分卡安装到主板上的示意图，此时已经可以在系统中认到这块网卡了。

接下来就要考虑拆分出pcie 8x后raid卡的安装位置了，参考了坛友《HP Gen8 突破万兆瓶颈！万兆网卡和NVME鱼和熊掌兼得》的帖子，也决定将raid卡和转接卡倒置安装。

倒置安装后可以看到RAID卡的位置已经十分紧凑，几乎挨着主板供电插口的位置

接入PCIE转接卡和RAID卡开机简单测试，系统中已经可以认到RAID卡了，pcie分拆通道也是正常的8x。
至此PCIE通道分拆基本达成，只使用CPU和芯片组自带的pcie分拆功能，并未使用基于PLX芯片的硬件PCIE拆分卡。

随后将主板托盘以及RAID卡安装到位，同时加了一个5cm风扇直吹，解决RAID卡散热问题。

主机后视图：主板托盘并未进行切割及其他有损改装。双口万兆网卡接了光模块和电模块各一个，测试结果均正常。

进入ESXI系统后也可以正常识别万兆网卡和RAID卡，下挂的SSD和HDD盘均可以正常访问

久违的万兆速率终于出现在gen8上了

虚拟机里的群晖系统终于可以达成万兆的速率了，只不过目前使用的还是vmxnet驱动。

使用iperf打流虚拟机，速率大概只有6.xG多，目前怀疑是群晖系统过于老旧（DSM6）和vmxnet驱动开销，之后准备升级一下虚机和驱动后再测。

------------------------------------------------------

后续改装：

机箱合盖运行一段时间后发现RAID卡还是有点过热，roc温度大概有65°左右，因为空间限制raid卡和网卡紧贴在一起加剧了发热量的堆积。
于是在上图所示的位置加了两个4cm的风扇以改善raid卡散热情况。

改装之后温度下降明显，运行一天之后raid卡主控芯片温度大概只有56°，电池模块大概41°。

总结：
      1. 以最低成本达成PCIe通道拆分为8x+8x，极限空间内塞下了双口万兆网卡和RAID卡以及4HDD+6SATA HDD等设备。
      2. 刨去OCP网卡，铜箔胶带25M大概10元，PCIE拆分卡（带OCP接口）158元，20cm 8654线材一根 25元，8654 8i转pcie x8转接卡 71元，共计264元。比硬件PCIE拆分卡要便宜50%以上。
      3. HP Gen8发布十年，终于达成万兆和硬RAID卡共存，致敬经典！

zzhujian · 发表于 2024-2-7 08:58

gen8真是经典。我收藏一台一直不知道干嘛用。

mcafee6 · 发表于 2024-2-7 09:15

哇哈哈真的厉害！等我闲下来也来折腾这样一配套真的all in boom~~

weston · 发表于 2024-2-7 09:44

我就裸机跑的openwrt，看来有点大才小用啊

smallfount · 发表于 2024-2-7 09:48

Gen8的传说还在继续啊

idboyang · 发表于 2024-2-7 10:18

厉害了，实践出真知

imyz · 发表于 2024-2-7 10:29

动手能力强！

alsa · 发表于 2024-2-7 10:32

牛比，收藏一下。

mypchas6fans · 发表于 2024-2-7 10:51

牛x，收藏了

dominicchen · 发表于 2024-2-7 10:56

楼主厉害

梅林听风 · 发表于 2024-2-7 10:59

这个真厉害，考虑要不要搞一搞。

yapinning · 发表于 2024-2-7 12:02

本帖最后由 yapinning 于 2024-2-7 12:03 编辑

感谢分享，可以把我的老Gen8扶起来再战10年
另外想问下，raid卡买的是哪款啊？我也想加多几块ssd

九天御风 · 发表于 2024-2-7 12:13

好比浴火重生了

wxcup · 发表于 2024-2-7 12:30

yapinning 发表于 2024-2-7 12:02
感谢分享，可以把我的老Gen8扶起来再战10年
另外想问下，raid卡买的是哪款啊？我也想加多几块ssd ...

raid卡是DELL的H730P 2Gb缓存版，目前二手价格大概600元左右

iooo · 发表于 2024-2-7 21:13

买过gen8还全球联保修过主板，上了机柜后出了

conzz · 发表于 2024-2-8 11:05

现在整机功耗多少

wxcup · 发表于 2024-2-8 11:29

conzz 发表于 2024-2-8 11:05
现在整机功耗多少

正好接了个智能插座，日常待机大概80W不到，机械硬盘如果持续读写的话功耗接近90W

jxm · 发表于 2024-2-8 17:56

gen8 能上特斯拉显卡吗？想带带硬解

wxcup · 发表于 2024-2-8 18:22

jxm 发表于 2024-2-8 17:56
gen8 能上特斯拉显卡吗？想带带硬解

电源能带的动的情况下，应该问题不大，tesla p4貌似也就是75w的功耗

ggyy2000 · 发表于 2024-2-25 14:33

请问，有PCIE 拆分卡的链接吗，谢谢大佬。

wxcup · 发表于 2024-2-25 15:00

ggyy2000 发表于 2024-2-25 14:33
请问，有PCIE 拆分卡的链接吗，谢谢大佬。

已私信，请查收

cst4you · 发表于 2024-2-25 15:10

wxcup 发表于 2024-2-25 15:00
已私信，请查收

我也求一个

wxcup · 发表于 2024-2-25 15:19

cst4you 发表于 2024-2-25 15:10
我也求一个

已私信，请查收

ggyy2000 · 发表于 2024-2-25 17:57

想再请教下，用了raid卡，四个SATA硬盘速率能到多少？6个SATA是怎么来的？

ggyy2000 · 发表于 2024-2-25 18:04

ggyy2000 发表于 2024-2-25 17:57
想再请教下，用了raid卡，四个SATA硬盘速率能到多少？6个SATA是怎么来的？

4个HDD+6个SATA是怎么搞的？我现在似乎只能1个SSD+4HDD？

wxcup · 发表于 2024-2-25 18:14

ggyy2000 发表于 2024-2-25 17:57
想再请教下，用了raid卡，四个SATA硬盘速率能到多少？6个SATA是怎么来的？

使用上文的DELL H730p raid卡的话，四个SATA做raid5顺序读写大概1.4GB/s和1.3GB/s
6个sata都是2.5寸的SSD，电源侧面可以装两个，顶部光驱位2个SSD，另一侧内存条上方可以再固定2个，共计6个SATA 2.5寸SSD
当然固定方式可能需要灵活一点，电源侧可以弄个2.5寸的转接板；光驱位我是直接用魔术贴固定；内存条上方是使用磁吸螺丝外加魔术贴固定的。

wxcup · 发表于 2024-2-25 18:17

ggyy2000 发表于 2024-2-25 18:04
4个HDD+6个SATA是怎么搞的？我现在似乎只能1个SSD+4HDD？

4个HDD和4个SATA SSD接RAID卡，剩下两个SATA接主机自带的sata口

n4wh · 发表于 2024-2-25 18:25

楼主牛逼，竟然安装了这么多硬盘

，Gen8里面应该塞满了。

ggyy2000 · 发表于 2024-2-25 22:55

继续请教下，PCIE拆分卡（带OCP接口）跟OCP网卡，有什么关系吗？需要连接拆分卡和万兆OCP网卡吗？

wxcup · 发表于 2024-2-26 05:11

ggyy2000 发表于 2024-2-25 22:55
继续请教下，PCIE拆分卡（带OCP接口）跟OCP网卡，有什么关系吗？需要连接拆分卡和万兆OCP网卡吗？ ...

简单说就是pcie拆分卡拆出两个pcie x8信号，第一个x8给了ocp接口，所以要选用ocp的设备；
ocp网卡直接插到拆分卡上，然后网口就走gen8唯一的pcie挡片位置，节省了空间；
另一个8x接口通过sff-8654接口引出，接一个8654的pcie转接卡转成pcie插槽，这里既可以转接pcie设备也可以转接一个nvme SSD存储设备，可以根据需要自行选择。我这里选的是转成pcie插槽接了H730p的硬raid卡。

账号		自动登录	找回密码
密码			加入我们

[NAS] HP GEN8万兆+RAID卡双PCIE设备无损改装——低成本CPU自带PCIE拆分方案

评分