本帖最后由 mofly 于 2022-2-13 13:20 编辑
起因
研发部门占用了一台VRTX，是生产环境的备机，计划节后要收回。但研发有些关键环境，已经在上面放了不少，迁移到其它机器上，工作量不少，可能还会影响研发工作。经过一番权衡，可以使用备件给研发组装一台VRTX替换那个备机，主要是有个下架的VRTX机箱在机房库房吃灰，可以继续发挥余热。 节前最后一天，让机房库房取出，寄到我家。趁着春节，还可以玩几天 。
这个机器市面上用得不多，对于小团队可能比较适合。我们单位生产环境有个机柜用了两台VRTX，又有点儿不放心，机柜一大半空间放着还是1U和2U机器，在上面放在核心关键服务，VRTX上放的都是冗余服务，即使有意外也不会被用户感知到。
准备开始干活～
机器配置
| 机箱 | 2,5寸*25硬盘背板和供电电缆，一套冷却风扇，4个后置鼓风机 | 基本就是空机箱 | | 主板 | 部件号：5MNF8 | | | 管理卡 | 部件号：34V0R或Y1F41 | 一块 | | 硬盘背板扩展卡 | 部件号：TJ2VK | 一块，需要它连接硬盘背板到主板上 | | 阵列卡 | Shared PERC 8 阵列卡，P3WV4 | 一块 | | PSU | 1100W，部件号：NTCWP | 两个 | | 交换机 | R1-2401 千兆交换机8口 |
| | 刀片 | M620 E5-2650v2 * 2，64GB，300G 15K * 2，万兆网卡，两个夹层卡 | 研发用的，放假了没有人用 | | 显卡 | 没有 | 支持3块单槽PCIe | | 硬盘 | 2块300G 15K，5块600G 10K | 都是机械硬盘 |
机箱本体
VRTX Chassis
箱子看着还行，磕磕碰碰，划痕不少，不影响使用。
VRTX Chassis-2
换个角度看下
VRTX Chassis Parts
这仨儿分别是全高扩展卡，配电板（用于主板和PSU连接），冷却风扇
PSU
这是两个电源1100W，在机箱上可以安装4个 还有一块中板在机箱上，是整个机箱的背板，主板，电源，交换机，刀片，后置风扇，通过它连接在一起
VRTX-Midplane-Board Front
正面是4个连接刀片的接口，上面3个接口是连接主板的，黑色那个接口连接配电板的
VRTX-Midplane-Board Rear
背面是连接交换机，和4个后置风扇接口
管理卡
机箱管理卡，机箱上存储，PCIe等设备，需要通过它指挥主板进行资源分配、更新固件、存储等管理。提供Web，CLI两种用户界面
CMC
主板
阵列卡提前安装好了，在B通道（以后解释）
VRTX Mainboard
看下背面
VRTX Mainboard-2
安装主板
VRTX Chassis with Mainboard
装回全高扩展卡
VRTX Chassis with Mainboard-2
配电板归位
TJ2VK Pakcage
硬盘背板扩展卡，这个要安装在硬盘背板上，通过SAS电缆连接到主板上，最多支持两块，主板上可以安装两块RAID卡，可以组成冗余模式，加强存储系统可靠性。不过要付出性能上代价，Reddit上有人抱怨在这个模式下IO读写速度很不理想。
TJ2VK Protect bag
扩展卡正面
TJ2VK Front
扩展卡背面
TJ2VK Rear
扩展卡SAS接口
TJ2VK Made in China
安装到硬盘背板上
TJ2VK with VRTX Chassis
交换机
R1-2401千兆8口交换机，连接到机箱背板IO接口，是机箱结构A的内部连接
背面
R1-2401 Bottom
安装到机箱上
IO With Chassis
接上网线，和电源线
HD With Trap
存储上的硬盘
Chassis Front
塔式套件放在办公室，没有拿出来，而且还要移动，只能横着放了
硬件架构（从用户手册摘的）
结构A
结构 A 是指安装在 VRTX 机箱背面的 I/O 模块提供给服务器模块的以太网连接。
结构 A 为每个服务器模块提供四个通路的内部连接，最多支持 16 个。可用的外部接口的数量取决于安装 的 I/O 模块。R1-2401 交换机与 R1-PT 直通模块提供最多 8 个 RJ-45 1 GbE 端口。R1-2210 交换机模块提供最多两 个 RJ-45 1 GbE 端口和四个 SFP+10 GbE 端口。
结构B和C
结构 B 和 C 是指服务器模块与 VRTX 机柜之间的连接。这些结构支持安装在服务器模块中的 PCIe 夹层卡。机柜 的系统板上集成了两个 PCIe 交换机(结构 B 和结构 C 交换机)，用于将服务器模块连接到共享 PoweEdge RAID 控制器 (PERC) 卡插槽和机柜上的 8 个 PCIe 扩展卡插槽。
结构 A 为每个服务器模块提供四个网口的内部连接，最多支持 16 个网口。可用的外部接口的数量取决于安装 的 I/O 模块。R1-2401 交换机与 R1-PT 直通模块提供最多 8 个 RJ-45 1 GbE 端口。R1-2210 交换机模块提供最多两 个 RJ-45 1 GbE 端口和四个 SFP+10 GbE 端口。
系统板上两个 PCIe 交换机
机箱主板上有两个 PCIe 交换机，见前面主板上两个涂着硅脂，带着两方框的芯片，就是它俩儿。靠他们实现存储，PCIe设备资源分配管理。
在每个刀片上两个夹层卡PCIe MEZZ，刀片通过这俩卡儿连接刀机箱主板结构B和C，才能访问机箱上存储，和PCIe扩展槽上硬件资源，还有A结构上网络交换机，
这个CLI端，查看A，B，C的配置情况
Chassis Powerstand
机箱上电
Chassis Powerstand CMC Booting
等待CMC启动
CMC Configure
配置CMC远程管理地址
CMC Login
机箱上的Enterprise License还在 。从仓库拿出来就是个空机箱，License存在哪里了 ，中板？前面板？诊断屏？
CMC Logon
嗯，第一个鼓风机有问题，刀片安装在第3槽，用不到它，先检查下其它组件：刀片，网络交换机都在，给刀片分配远程管理地址，过程……略，
Store
存储？机箱要接通电源，才能看到。前面上电只是启动CMC进入待机状态
Powerup
等了3分多钟，机箱才真正开机
Chassis Powerup
Chassis Powerup
存储系统概览
Store Overview
阵列卡和硬盘背板扩展卡
Store Topo
机箱上的硬盘
Store PHD
创建磁盘阵列，选用RAID5
Store New Array
还有个之前做好临时阵列
Store Alloc
两个阵列
Store VD
分配磁盘阵列给刀片
Blade Powerup by CLI
启动刀片，不习惯CLI，用Web端也可以开关机器
Blade Powerup by Web
看到分配磁盘了，创建文件系统，挂载到准备好的目录上
准备存储，挂载卷
多重分配，支持刀片之间共享同一个存储空间
结束硬件调试可以告一段落了，除了有个后置风散不能工作外，过程还是比较顺利。最大惊喜主要是机箱的License还在，相对而言，那个风扇问题就可以无视了。 稍后从生产环境拉一份最近数据快照，测试一下存储IO性能。
| 
310112100042806
发表于 2022-1-31 18:20
