本帖最后由 myway 于 2023-5-31 23:36 编辑
由于去年将 16个 3.5寸SATA机械盘EMC KTN-STL3 磁盘柜（塞满了），全面更换为24盘位的2.5寸SSD（主要是SAS盘，太贵肉疼只有12个），后边又买入了知名的Intel A2U8X25S3PHS 8盘位热插拔笼子（兼容U.2/SAS/SATA），装满了8个U.2的盘，Intel/三星/凯侠都有
不安分的心躁动，最近一段时间又在捣鼓，因此有了本文，涵盖笼子、背板、卡、线，争取写完整吧。
首先，先给结论
1. 家里有650mm深度的空间，且不担心噪音， 直接上24盘的SAS/SATA，或者 24盘的NVMe 2U服务器最简单。
2. 前提一样，换成2U服务器+扩展柜，扩展柜优选EMC DAE SAE 24个2.5 SAS/SATA磁盘柜，双电双6Gb/s控制卡。
3. DIY，折腾一轮之后，我的方案如下， 噢对了，根据24PIN供电定义， 接好信号线后，实现了主控、磁盘柜开关机同步。
服务器：4U 500mm机箱
- 屏蔽牌服务器主板 MZ32-AR0，AMD EPYC 7282，128 REG ECC
- HBA: 超微AOC-SLG3-4E4T（PCIe Gen3, x16, Retimer)、超微AOC-SLG4-4E4T(PCIe Gen4 x16 , Retimer)、国鑫G0832RT-16X (PCIe Gen3 x16 , Retimer), LSI SAS3008/9300-16e，剩余一个PCIe Gen4 x16槽 预留给 Gen4 x16的HBA卡
- 网卡：OCP Mellanox MCX4411A 单口25G/10G光纤卡，PCIe Mellanox MCX4121A 双口 25G/10G光纤卡
- NVMe卡：Intel S4800X PCIe 750G
- 水冷：Alphacool XPX Pro 1U 冷头、ES 2U水箱、Laing DDC泵、Bykski CR-RD80XRC-TK 3个80cm风扇位的冷排
- 风扇：SanAce80 9RA 3个， SanAce60 1个（DIY了一个风道直吹PCIe卡）
- 电源：长城CRPS550冗余电源
磁盘柜：2U 24盘 SAS CSE-216机箱
- 自行截短为500mm，前部为24个SAS
- 电源：长城CRPS800冗余电源
- 中部NVMe笼子：Intel A2U8X25S3PHS、HP DL380 Gen10 8SFF NVMe背板+Gen8笼子
- 还有自行改动的SAS背板供电、NVMe背板供电、风扇温控版
目前无解：
- 接背板的线一大堆，这是为啥后边不想考虑Intel笼子的原因之一（ Oculink SFF-8611 8条）
- 除非哪天有价格合适、具备expander能力的、16盘位的NVMe背板，做得到4条线就能接16盘
PS, 超微 BPN-NVMe3-216N-S4 这种也是24个OCulink接口，，，若是不想线材外露，只有整机上，也就意味着650深度。。。
如下是一些细节及为什么目前的方案做成这样。
1. 为什么4U机箱，而不是2U机箱？
那堆HBA卡挤在一起，实在是火炉，空间太小不好处理散热，且机柜还有空间，因此就用4U吧。
屏蔽牌的主板是E-ATX的，没有450mm深度的机箱，也没有办法塞进水冷。
因此，索性不到两百，买了个OEM超微的4U500机箱。
2. 背板+笼子、HBA卡
先上图，折腾过的笼子与背板，左起HPE DL380 Gen10 BOX3位置 4个 SFF-8654型号背板、 Intel (型号不记得了)、Intel FUP8X25S3NVDK Cage Kit
其中，Intel A2U8X25S3PHS Cage Kit没有拆下来拍照了，大家都很熟悉了。
其实两个背板仅仅有没有焊上 SFF-8643接头而已， 没有两组白色 SFF-8643的仅能装 SATA/SAS， 而有SFF-8643的就可以装 4 个NVMe、4 个SAS/SATA
供电也是最简单，白色4PIN供电头，上边两个12V，下边两个底线。
与HBA卡的兼容性也是最好的
3. 为什么不继续用Intel A2U8X25S3PHS Cage Kit？
OCulink接口卡比较脆弱，总是生怕弄坏了端头的小卡口
8根SFF-8611线，很不好处理，我已经试过改造4U机箱，将两个笼子放进去了， 但是线太多，，，，很不好走线， 也不利于风道散热。。。
所以开始在海鲜市场翻找，目标 4 个 SFF-8654 ，但其实合适的、特别是价格合适的（相比较Intel笼子）、能买到的很少。
先上图
H3C R4900 G5的 8SFF Unibay，这个其实与HP的几乎一样，很怀疑是一个原始设计。
对比HPE的背板，同样用LATTICE的芯片
我是950买了个原厂套件， 再三询问是不是包含铁笼子，答复都是YES， 但实际到手仅有背板、供电线、数据线、四个堵头。
印象中，Chiphell有个帖子说折腾到最后，结果无法识别到U.2盘，
再加上，对应的笼子很不好找，价格都要4-500/个，就一个破铁笼子，，，，
对应的H3C G4/G5通用的磁盘托架，海鲜市场问了一圈，都要50/个。。。8个就400了，，全部加起来还不如买回Intel的。。。。
果断放弃
接下来，找到HPE DL380 Gen10的扩展笼， 这台服务器实际上可以更换三组8盘2.5的套件， 其中只有一组是NVMe、4个SFF-8654接口的，其它的都是8643接口的。
这个是拆机整套的，要价1500，带四条 8654线、供电线，但哪个PCIe riser card对不是DL380机器用就是废物，且，，，特么的磁盘托架又是分开买。。。
幸运的是在海鲜市场，还有单卖背板的，没有其他任何东西，，，￥350值得试一下。
而这个背板，值得注意的是，并没有类似H3C背板的AUX控制线。
关于供电的问题，过程不说了，结果是搞掂供电，自己买了6PIN MX3.0端子，母头。
实际上，以这个图来说：
1 | 2 | 3
4 | 5 | 6
1、6：12v
2、5：GND
3：空
4：未知，没查
通电之后，根据SFF-8939 U.2 Pinout定义，用万用表测过GND与12V端口，结果无误。而我仅用U.2盘，所以有12V就好，未知的就不管了。
一切就绪，国鑫G0832RT-16X + 8654 线接上背板， dala~~~~
SN640在接口1上，可以正常识别，但插在别的位置上不识别， 组合排查后，发现是背板与HBA卡之间的兼容性问题。
换成 超微AOC-SLG4-4E4T 就SN640接到背板任意端口都正常了。 等磁盘托架到了，，，（特么的超讨厌拆开卖一个破塑料架子），再接PM1733和P4800X一起测试一下。
4. HBA 卡
目前来说， 经过“SLG3、国鑫、SN640、Intel A2U8X25S3PHS 笼子、接不同端口”的组合测试，截图见后边。
我觉得同样是带Retimer芯片，PCIe Gen3, x16规格， 国鑫G0832RT-16X (PCIe Gen3 x16 , Retimer) 可以是 超微AOC-SLG3-4E4T 的平替， 关键是价格才￥216啊，而SLG3-4E4T要￥11-12xx
但兼容性，如上边提及，超微应该是更好。 但Intel+国鑫卡，应该是最佳性价比组合。
简单测试， FIO_bech的log还没有空处理。
暂时写这么多吧，困了。 |
310112100042806
发表于 2023-5-31 23:32
