Dell Poweredge R750简单体验

jcd_chh

      曾经的讨论区有网络设备、NAS，但是分享区好像没有，也不知道是不是应该放在这个地方，如果不对，烦请版主帮忙换地方。水的时间多了就觉得应该做点儿事情，距离上次发东西已经5年了。前面是购买的选择历程，后面是实拍和管理软件。

前言

      本来我的计划只是升级一下NAS，最后种种原因上了机架。先说下原有的NAS情况，一直用的是群晖的DS718+，作为千兆设备是非常合格的，自带外网访问、免费的DDNS，但是用作计算、跑应用就力不从心了，况且CPU还是著名的上过新闻的J3455。题外话，群晖的NAS如果有人想入坑，我是建议盘位一定要选足，外接的盘柜比如DX517实在是性价比太低了，价格甚至比主机都贵，接近再买一台4盘位主机。千兆网络的带宽对NAS而言比较微妙，勉强满足机械低速部分的要求，但连机械最大连续读写速度都发挥不出来；即便是所谓的链路聚合设置了，实际也只对多任务起效，所以在家用环境一般比较鸡肋。后来知道QNAP有万兆的532X、932X这样廉价的机型，本来打算转QNAP，但他们的处理器都是Annapurna Labs（亚马逊的）的Alpine AL-324；ARM架构设备用过树莓派，就raspberrypiOS的父亲debian而言，整体ARM软件生态还是不错的，但不会像x86这么省心（未来ARM会是服务器的一个趋势……也可能是RISC-V，至少短期内和我们没关系），早期的ARM芯片值得去担心性能（想想群晖这边直接不支持ARM上的docker），就暂时搁置了。万兆交换机先买了华为的S1720-28GWR-4X，无风扇的4万兆SFP+24千兆电口（现在这机器换代停产了）。
      后来需求改了，有了一点点的计算需求，主要需求是大内存、存储空间需求，目前家里服役的X299最高支持只有可怜的128GB（隔壁Yes厂的HEDT应该256GB了）；而且就使用来说，Linux在很多事情上用起来是真的比Windows舒服（但是我同意win10是最好的linux发行版 ），所以打算上个CPU性能凑合的机架式，然后自然而然地看了一圈Synology和QNAP两家的机架式，基本上芯片层级是ARM->Celeron/Pentium->Xeon-D->Xeon Scalable这个产品线划分，威联通多样点，中段市场有Ryzen、Core、兆芯的型号，但是Xeon Scalable的型号好像Xeon Silver 4210就顶天了，而且价格过于高贵，而且到了这个级别成品NAS省电的优势基本也没省下多少了，于是需求转投了服务器整机。
      太长不看版全文：在高性能需求上，机架式成品服务器的性能、性价比超过NAS整机，但是软件投入高。噪音不友好。功耗比较高。

用途

      基本用途是NAS。近期多出来了对内存要求比较高的计算。单纯用于计算云服务器不是不行，但是高配置云服务器价格本身很高，一年价格就能买一台同配置的了，还不算高昂的带宽费用，关机价格会便宜些，只需要付数据保存的费用。易用性上，云服务器不需要整体那些服务器管理的技术，但个人网络可怜的上传速度导致数据传输比较麻烦，如果有保密需求整个流程会更复杂。在坚固NAS这一点上，用现在的普通网络的上行带宽兼顾NAS是完全不可能
      因为没有很高的虚拟化需求，又想最大可能保留性能，所以没装纯虚拟化环境，偶尔的需求KVM搞定。当然费用也是个考虑的问题，免费的ESXi单个虚拟机最高8核心，授权版价格高到买不起；PVE价格不便宜，按照CPU插槽数量收费，免费版网上简单查过说有一些坑，省心就别想了。
      如果有很多有时间精力，组装服务器也是个好选择，但是组装机箱配件购买比较麻烦，而自己又只想搞个稳定的、售后好、备件易获取的设备，整机在这方面省心一些。超微、泰安的机器无论是整机、主板还是准系统都很有吸引力，但国内购买不是很方便，配件也有同样问题。
      二手服务器比如戴尔R740(XD)、R730、华为2288H v3这些机器也是可用的选择，没有选择一个原因是期望有最长的无故障使用寿命，另一个是矿潮已经把很多二手设备的价格抄了起来，并没有以前那么友好的价格了。
      有个插曲，作为一个不相关领域的人，我一度以为存储器就是NAS、USB硬盘柜这种东西，事实证明这东西和我认识的差距太大，家用基本不用碰（坛子里面看有大佬开箱过戴尔的ME存储器，远远膜拜 ）

台式机、工作站与服务器的区别

      以下均为个人理解。
      首先是ECC（以及Reg ECC），一般ECC只在工作站和服务器上支持，AMD先天支持但是很多主板并不给，Intel就是迷幻的操作，core大部分没有但是有的奔腾有……未来DDR5传说自带ECC，希望最后在MSDT不会刻意阉割。
      家用机、工作站相对而言用的高频处理器，工作站用的CPU现在和服务器的核心没区别但是是高频版。
      内存，服务器支持最高，最高每通道2条（2PDC），通道数也领先，目前世代的8通道对应就是每路16条插槽，RDIMM最大能到1TB、LRDIMM能到4TB，而工作站大部分应该还在1DPC上。
      可拓展性上，MSDT基本一直在20-24条PCIe徘徊，去掉M.2用掉的剩下的也就是1条x16，工作站和服务器平台现在是64-128条每路。
      剩下的就是24小时工作的稳定性，可能是玄学。
      另外一个就是在硬件设计思路是差异，服务器重在冗余、热插拔（归根到底还是不间断的思路），而家用机一般没这个东西；这一定程度也决定了组件拆装的体验。工作站及曾经的商用机在部件更换这点做的也不错（以前公用的一台XP时代的戴尔Optiplex，内部设计就非常不错，台式Precision的感觉）。
      服务器一般不用显示器、键盘、鼠标，显卡是板载的真亮机卡
      外形上，以戴尔的为例，基本是塔式（著名的HPE Microserver应该也属于这一类）、机架式、其他，塔式可能是类似普通机箱，或者是T6x0和T4x0那样的平放可转换为5U机架的机箱；机架可能是1 节点，也可能是密度更高的2U4N（常说的四子星，2U机架高度内4节点）；其他特殊类型的包括强化环境防护的（严格讲也是机架）、模块化（感觉就是刀片）、曾经还有很惊艳的VRTX这种塔式模块化。
      服务器开机速度稀烂姑且也算一个特点吧……

型号选择

      这一部分讲述了服务器各组件基础知识，以我选型中的一些思考为主，希望能给大家一个参考。

尺寸

      比较省心的存储配置是2U LFF（3.5寸），1U前面板存储只能4个大盘，2U最高能12个（一般有8*3.5或者12*3.5的选择）。3.5的基本只支持SATA、SAS，PCIe通道严重浪费，是低成本大容量的唯一选择（联想家可定制AnyBay配置，3.5寸接口兼容SATA、SAS、NVME三模式）；纯存储密度3.5寸已经输给单盘容量不比机械小很多而且盘位多的2.5寸机型了。不过3.5寸机器如果预算够的可以上后置NVMe硬盘位。现在应该正处在服务器迅速进化的时代，预计过不了几代2.5的U.2可能就会转战E1.s、E1.L这些基于NVMe的新的存储物尺寸标准，未来还可能有CXL内存，所以选当前最适合的就好，战未来不存在的
      部分塔式机器横放转成4U/5U也是不错的设备但重量大、也不如2U设计优雅，而且塔式型号选择非常少，有的型号也没更新处理器，所以不推荐。至于是不是噪音友好很多请大佬们补充
      2U服务器除了极少数型号（比如EPYC单路）外都是双路，部分是4路，所以选择2U双路基本不用纠结的（低成本方案可以在双路机器上只上1个CPU）。超微、泰安这些基础大厂可能有2U1P的Xeon，其他厂不多。
      还有一个需要考虑的问题是这东西重量都非常可观，我国普通住宅楼房每层承重最低要求是200kg/m2，一个1m深2m高的标准42U机柜能轻易吃掉这个数字的小一半，上设备比较多的需要考虑一下重量，不要发生机柜掉到楼下

品牌

      品牌上考虑过几乎所有的大厂：Inspur、Huawei、HPE、Dell、Lenovo。各家主流的2U型号其实没多少：三代Xeon的有浪潮英信NF5280M6、华为FusionServer Pro 2288H v6、HPE DL380 Gen 10 plus、Dell Poweredge R750、Lenovo SR650 v2，EPYC 2/3有HPE DL385 Gen 10、联想SR655、戴尔R7515和R7525。这些机型各有特色，比如浪潮有M.2、华为有板载10GE、联想有AnyBay；主流大厂的双路在内存支持上还是非常令人开心的，基本都是2DPC的配置，32条插糟一字排开（其实我很好奇下一代EPYC怎么办，传说EPYC 4是12通道，2U 2DPC就是48条插糟，并排32条已经是极限了，再往上19寸机架根本放不下了，只能前后？吃掉PCIe的地方？），主板、准系统的厂很多型号相对插槽会少一些。最终选择了Dell，因为经销商最多，官网在线可购、询价方便，淘宝配件也最好买的，所以基本就了解了Dell的；但是注意，Dell家的官网报价有的很准有的就比较随性，比如1条64G内存1w……建议心理价位内的官网价格可以直接上，有疑问直接找可靠的代理商咨询。
      其实对于整机，除了上面的以外，还有超微、泰安（Tyan）、华硕、屏蔽牌，国外媒体评的比较多，国内买起来相对于那几个整机大厂比较困难，对超微和泰安我还是挺有兴趣的可惜没啥渠道，屏蔽牌被Linus吐槽严重固件Bug也不修所以毫无兴趣。
      服务器噪声上，B站可听很多服务器的开机起飞声音，Dell 14代还有个声音表现官方文档 acoustical performance and dependencies可以参考，不知道15代的测试什么时候会出；这东西和具体配置、BIOS设置、环境温度都有关系，不能一概而论。

处理器

       处理器选择核心问题还是Intel Xeon or AMD EPYC，照着MRSP算算就能发现Intel现在在中低端的服务器CPU上每核心的性价比已经比AMD高了，毕竟这几代都是加量不加价，连之前铂金银铜区分的互联通道速度、AVX-512 FMA数量、最大内存支持都无脑下放了。AMD这几代同价位核心没明显价格变化，主要在IPC和频率上有明显提升。家里目前的主力机是X299平台，CPU是7940x，所谓的未来指令集AVX-512时至今日仍然活在未来……Linus Torvalds大神不仅换用了AMD ThreadRipper作为工作机（https://www.phoronix.com/scan.ph ... rvalds-Threadripper）而且表达了对AVX-512的不满（https://www.phoronix.com/scan.ph ... Torvalds-On-AVX-512）。Intel新的DLBoost机器学习指令集确实在测试中展现了超越对手的性能，但是存在软件适配成本，完整版的DLBoost指令集在Sapphire Rapids才会有（补全半精度浮点），IceLake-SP支持不完整。这CPU机器学习上的另一个观点是，机器学习指令集应该放到加速器上去做而不是集成到宝贵的CPU上，现在辅助处理器的发展非常迅速，GPU、TPU、DPU都在迅速发展，而未来新技术会更加促进其发展，我比较支持这一看法。Intel在MKL、OneAPI等一些自家优化的项目上还有有长时间的积累的也不能否认，本着省心、省钱的原则，选了Xeon。
      虽然本代的芯片在IPC、频率、制程都没优势（如果用最近的改名大法，制程差距仿佛不大了……），但Intel还是有可取之处的，更大的单芯片面积、极低延迟的socket间通讯、AVX-512（好吧这个可以不算 ）。虽然Ice Lake-SP的10nm和对手的7nm比不行，但是也算是自己的第二代10nm了。
      软件上，我还是挺看重Intel的MKL（目前Zen可以修改环境变量正常使用），网上有不少提及AMD软件问题的报告，比如一些电路设计软件、Intel赞助软件等，但是我个人经验在用过的东西里面除了MKL有差异，其他的没遇到兼容问题。我目前主力笔记本就是二代锐龙，没见到严重的软件问题。系统漏洞方面，两家都没好哪里去，五十步笑百步而已，不作为考虑内容。稳定性上，ServeTheHome专门写过一篇一代EPYC两年不停机运行的报道，可靠性两家都信得过。目前的一个决定性的差异是AMD的供货令人能力非常无语，三代EPYC在上个月询价那会儿货期是两个月起跳，不知道现在改没改善。
      以下内容基于为原指导价，至于特殊版本、未来二手价格等，均不在讨论范围内。
      至于买什么性能的，两家的第三代芯片即便是入门型号基本也能碾压大部分成品旗舰级NAS（本来I家有铜牌的，但是3代是银牌4309Y起步）；除了各家为高频优化的型号（全部价格上天，传说是为了应付专业软件按照核心数量收费的问题），其他型号基本是花多少钱办多少事儿，越靠近旗舰价格升得越快。性价比上，ServeTheHome有算好的图表可以去看看，在每代公布时候都会有。
      第三代Xeon Scalable（Ice Lake-SP），这次后缀有点多，而且官方放的Silver 4300、Gold 5300、Gold 6300、Platinum 8300系列对比写的都是最好的情况，里面有很多特例。好的方面是全系支持大内存，SGX也都有，只不过是空间大小区别（8、64、512三档），这个包括我在内的大部分人用不到；小坑也不少，比如N结尾的网络优化处理器内存都降到了2666频率，全系列最高睿频都一般般，主流是3.4G的单核，少数高频优化和高端型号能超过这个数值，而最早开卖的6330只有3.1G；这次Intel把全部的全核睿频都标出来了值得称赞。具体到型号，个人感觉这代的4310（传统良心系列）、4316和5318比较良心。从当前时代看可能并不出众，但上两代旗舰不过28C、3代前不过22C，而且这还是不计IPC的进步，时代进步还是很明显的。其他的区别比如Silver系列只有2条慢一些的UPI，（和上一代Gold 5200持平）。
      顺便简单说说Yes厂的，毕竟前期看了一大堆：EPYC 7003的产品线不如7002系列齐全，真·入门型号没更新，这一代最大的吸引力是频率的巨大提升，基本上有10~20%的频率提升，配合IPC提升，实际的进步比较可观。性价比上，每个型号都比类似定位的上一代略有涨价。高频系列价格一样很高，都是8个CPU die的设计，用来提频、分散热量。单路依旧比双路便宜太多。入门型号比较值得关注的是7313、7343、7413、7443、7443P这些16-24C的。需要注意的是，很多整机厂的EPYC的CPU是和本品牌主板绑定，更换将无法使用。
      我设备静息时间高于工作时间，所以对节能比较看重，查能耗数据的资源有以下几个：各厂的规划软件（比如浪潮的功耗计算器、Dell EIPT）、国外媒体（Anandtech的处理器评测、特别推荐专业的ServeTheHome、Storage Review、Phoronix，他们拿设备也早）、SPECpower数据库查询（更新比较慢）。但其实这些数据和BIOS、配置等的关系很大，各家测的差别非常大，而且评测环境主要都是以数据中心的需求为准，所以大部分都是旗舰型号CPU、插满内存和硬盘、高性能BIOS测出来的。Xeon x3xx和EPYC 7xx3的功耗差异不同机构测出来的出入很大，特别是我关心的静息功耗。Anandtech测到的EPYC 2/3的package idle power consumption可以用稀烂来形容，即便把I家芯片组的TDP都一起加上去都望尘莫及地高，它给出的解释考虑是IO Die的问题。但根据Phoronix的测试数据（https://www.phoronix.com/scan.ph ... elake-server-pstate），在不同BIOS设置下功耗的差别很大，同测试项目EPYC三代比三代至强可拓展待机、满载功耗更低，三代至强比二代的功耗增加明显。SPECpower还没有同厂家的结果，但是不同厂的EPYC Milan比Xeon IceLake的待机、各负载功耗稍低。ServeTheHome数据不完整而且精度不够（近期的测试质量有些下降）。

存储

      盘的选择：一般无非SFF（2.5寸小盘）、LFF（3.5寸大盘），3.5寸的可以插标准的3.5寸的硬盘和转接2.5的万转SAS硬盘及固态，极少数可以兼容U.2。2.5的可能支持NVMe（U.2）或者SATA/SAS或者都支持。具体支持需要看型号（看内部接线图最可靠）。此外就是盘位数量，一般3.5寸2U前面板能放下8个（2排）或者12个（3排），2.5寸一般8/16/24/25个，特别注意，虽然盘位多了，但是面板占满的排列（12个3.5或者24个以上的2.5）会有散热限制。拓展卡支持很多也受到盘位限制（比如有的12*3.5不能装GPU、后盘位占PCIe位置）。
      阵列卡：3种模式：软阵列（无阵列卡）、HBA卡、硬阵列（RAID卡），阵列卡是独立于OS之外的进行配置的，OS内也有配置工具，不同型号主要差异比较明显的是缓存有无及大小，对RAID 5/6比较有影响（所以最新一代的无缓存卡H345直接去掉了RAID 5/6支持）。NVME硬盘一般都是主板直插，但是现在最新型号的高端阵列卡是支持PCIe阵列的。
      硬盘：坛子里大部分人都比我熟。固态上，dell的分级分为读取密集型、混合使用型、写入密集型，都是各品牌混合供货，比较常见的Intel对应是SATA的读取密集=Intel S4510（事实打脸，发过来的是三星的PM883a），SATA的混合使用=Intel S4610，SAS的读取和混合应该对应的是Kioxia的RM5系列的两个型号，傲腾被标为极高性能。其他的信息难以查到。机械上，大容量硬盘都是企业盘，别买Archive用的SMR就没问题（还有个最新的WD HC650居然也是SMR ）；最高容量的都是氦气盘，分界点是10TB（包括10TB在内的以上的都是氦气，除了东芝的10TB，传说其他厂近期也会有10T空气，购买前请官网规格文档确认）。氦气盘的缺点是数据恢复极其困难，一个是氦气填充的要求，另一个是传说氦气盘都有固件锁。氦气盘的优点是功耗比空气低不少，待机5-6W，操作9-10W左右，类似的空气盘比如WD HC320或者希捷银河8TB在静息就有8W。SAS和SATA选择上，3.5寸 7200转的SAS盘叫NL-SAS，本质和SATA是一样的，功耗比SATA稍高（1-2W左右），但SAS可以提供一些特殊版本比如自加密特性仅提供SAS版（购买困难，日常使用用得到可能性小）。普通机械和固态之间还夹着个SAS的10k、15k转速的盘，是真正的SAS，而不是骗人SATA盘体的NL-SAS，前者最大容量2.4TB、后者应该是900GB，这个规格数据无论是容量还是性能都被SSD盖过去了，主要优势应该是性价比占优。

拓展卡

      机架式服务器最大的坑就在这个地方。首先，1U基本没啥能插的PCIe插糟，插卡数量很少。2U插槽数量还是很可观的，但由于物理尺寸限制，如果是直接插在主板上，那么就只能放得下半高卡（比如Dell的R7515和很多的超微、泰安的板子），所以2U方案主要都是依赖于提升卡（Riser），它将多条PCI-E插槽转90度接在主板上，以实现多卡拓展，还能放下全高、多槽宽度卡，按需选配；需要注意的是，多路对应的提升卡不同，如果只插单CPU会有一半以上的不可用（内置RAID卡、OCP/Mezz/NDC网卡占用的都是第一个CPU的PCI-E通道）。4U或者更大的尺寸可以直接插在主板上，比如塔式横放得来的5U（本质上和家用机结构基本一致，比较大的差别在供电、风道上）或者是超微那些直插深度学习服务器。
      然后是大家一定会关心的显卡，很遗憾，虽然二手服务器插显卡当主机的大有人在，但是机架式不适合上家用显卡。首先，服务器的风道是从前往后的，显卡的散热依赖机箱风扇，而家用卡的风扇朝向放在服务器上是直接被堵住的，涡轮卡现在又停产了（我记得有这个说法，剩下的很少）。其次，上显卡会影响整机很多地方的配置，比如散热风扇要求升级、导流罩需要改成GPU版、CPU散热器需要改成L形或者T形（普通2U散热器和全长卡打架）、提升卡必须是全长卡。再次，显卡供电可能需要专门的接线或者供电板，部分机型会直接在主板上去掉这些接口杜绝插卡（根据手册，12盘位的R7515就标明了无GPU供电接口）。总之，2U及以下的机架服务器比家用上显卡要考虑的东西多得多、烦得多，非计算用途台式机肯定香不少。更大尺寸的服务器或者专用的GPU服务器会有一定的优势，比如R750ra或者超微的专用GPU服务器。厂家的设计如此，但是如果提要求代理商会想办法的，比如校长的顶配R7525视频里面用的就是RTX3090。

网卡

先简单说一下名词：
      网卡，一般称为NIC（network interface controller，严格地讲这个说的是网卡的控制器），其物理的规格可以有很多种，包括常见的板载（LOM，LAN on mainboard，但是很多是专用接口也是做成卡式的）、PCIe网卡（分为全高和半高）、NDC（network daughter card，网络子卡，一些服务器上专用的接口）、OCP 2.0（open compute project，facebook牵头的组织，2.0的也叫mezz卡、夹层卡）、OCP 3.0（支持热插拔等），OCP和PCIe一般都是可互换的，其他的各厂差别比较大。
      网卡接口上，光口、电口（RJ-45），少数网卡会混合有两种口。光口有多种规格，一般对应不同速率，包括SFP、SFP+、SFP28、QSFP等，常见的10G一般都是SFP+，光纤上限很高，可以到200Gbps；距离很省心，入门的多模模块配上OM3的线最大能到300m。光口不一定是光纤，也可以在短距离上用DAC（ Direct Attach Copper, 直连电缆），DAC还有个好处是发热比光纤低（参见X710官方规格表）。电口上限比较小，常见的也就到10Gpbs，传说距离短，但是优势是可以用PoE一线解决数据+供电。电口连接模式大家都会直接略去，光口是两端各插一个光模块，中间光纤跳线连接，两端的模块要求同模式、同工作波长，可以是不同牌子，这样两边的设备都不会出现非官方模块不兼容，这一点我查了很久才明白 。光模块需要和网卡/交换机兼容，否则会警告或者直接报错（比如华为交换机和台式插的是万兆通的Intel芯片兼容模块，交换机会一直有个警告提示但是不会报错，使用上没有问题）。兼容性上，SFP28一般兼容SFP+，在SFP28接口上可以安装25G模块或者10G的SFP+模块，具体请查询网卡相关说明。
      品牌上，常见的厂基本上是Intel、Broadcom（NetXtreme）、Marvell（FastLinq）、Nvidia（Mellanox）这些，Marvell自己网站上有个各家的对比可以一看（最后肯定是做网站方的胜利……）。Intel网卡现在旗舰是E810，较高级型号是X710系列，我最后选择的也是它，虽然速率普通、高级特性比如RoCE、iWarp之类的RDMA功能都没有（配套其他设施过于昂贵用不到），但是能耗比优秀。
      然后是选择，这东西按需求吧，既然上服务器了怎么也得上个10G卡。因为10Gbps=1.25GBps（不计损耗下），超过了SATA 3.0和PCIe 3.0 x1但是不到PCIe 3.0x4或者SAS，应付SATA设备足够，而且设备选择多，成本低。SFP28的25GE和更高的40GE虽然美好，但是新交换机、模块和网卡开支都不小。100G及以上预算原地爆炸。
      P.S.：FC是光纤卡，速率8Gps、16Gbps、32Gbps，SAN网络用的，虽然长得像，但是不是以太网卡，用于和存储器的连接，交换机是特殊的。

电源

      冗余电源家用几乎没意义，家电就一条线路，只能防个电源自己炸了。家用环境也没有高压直流电。电源线需要注意很多机器默认的不是家用的。

其他的奇奇怪怪的可选部件

      内置microSD卡：这东西传说是推荐做成RAID 1用来做虚拟化的系统盘的，比如ESXi的系统。
      BOSS卡：全称应该是引导优化卡，推荐仅用于存储操作系统，比较奇葩的是这东西只能用M.2 2280的SATA盘，型号选择极少，价格高。
      QuickSync 2：大量设备时候快速定位设备、查看状态用，和手机联动的，配合有指示灯、按钮、蓝牙。
      TPM模块：这个应该现在都知道了，感谢Win11；加密用，无需求可以不用。传说1.2版本没有中国力量所以国内不准用，2.0可以。
      导轨：滑动式会较固定式在维护时极大提升用户体验。电缆管理臂是个折叠的架子，用于折叠后面的线缆，在拉出机器的时候不让线被拽掉。下文有简图。
      存储器：常见的协议有外置SAS（连接外置设备的阵列卡）、FC（光纤通道）、以太网，价格都比较感人，所以家用可以避开了。另外一个缺点是，各大厂存储柜都只支持自家的盘，成本和选择自由度上受到很大限制。

BMC

      带外管理，就是一个芯片无论是否开机始终运行，通过管理网口进行管理，能完成虚拟KVM、开关机、功耗、BIOS、RAID、固件更新等一系列操作。不同厂名字不一样，而且都分很多档，注意有的入门款只能监控不能用很多关键的高级功能，比如Dell的iDRAC只有企业版及以上才有虚拟KVM。还有的比如联想的是订阅制的（至少曾经是订阅制的）。

OS

      Linux里Ubuntu还是份额高，有后台（虽然Canonical商业公司而非开源社区作为后台维护这一点也被很多人诟病），软件管理可靠，软件源丰富，稳定和追新上比较平衡，软件上大部分在Linux发行的软件基本都会支持。加上LTS有相当长的软件支持期，所以最后作为首选。其他的优秀的发行版很多，比如Clear Linux、Arch、Gentoo、Debian（Ubuntu的祖宗），各有特长，但是综合来看Ubuntu算是最能打的。曾被网文劝入Manjaro，结果官方TUI安装盘有bug安不上，图形安装在Zen2 移动版默认装完连图形界面都进不去，终端改了一大堆设置才搞定直接脱粉……自己日常主力机是ThinkPad X13 AMD Gen 1，WWAN位置自己装了M.2 2242的固态做了双系统，因为这机器本身是Ubuntu认证机型，所以可以说是完全体的Ubuntu，操作流畅，驱动省心（不包括AMD ROCm，这么新的APU不支持简直离谱，应该是只支持高贵的数据中心），Ubuntu作为日常使用的障碍估计也就差个Office兼容问题了。还有个加分项是Ubuntu LTS在Dell是有官方支持的，其他的主流的受支持的都是Windows Server、SUSE、RHEL这类商用的收费系统。后来才知道RHEL有开发人员计划，可以申请免费许可，个人使用不限制。
      CentOS去年政策变了，成了RHEL的试验场，后面只有CentOS Stream，和Fedora处境类似。据说组织里面有情怀的大佬出来单干搞了Rocky Linux，遵循曾经的CentOS的做法，不久前出了正式版，未来可期。
      Windows不考虑，最好能拿新机器补全手头操作系统的缺损，日常机器就是Win没必要再来一个，再加上自己用的软件不是原生的windows软件；Windows Server在单位机器上用过（华为2288H v3），感觉在服务器上没Linux舒服。
      ESXi是好东西，但是订阅费用贵，免费版单机CPU核心数量有8个这个限制对有计算需求的来说完全不可接受。Proxmox是LTT比较推荐的，需要订阅才能正常更新，国内网络也不太友好。
      TrueNAS Core在虚拟机上试过，但是这类的ZFS和阵列卡八字不合、目前基于Linux的Scale版在开发阶段稳定欠佳、国内没有源。Unraid了解过，感觉整体倾向于家用方案，对阵列卡支持也不太清楚。

配置选择

      倾向更习惯的Intel，又等到了补齐内存通道、各种功能下放的Ice Lake-SP，所以R750没啥可犹豫的。这代模具主要是和R7525一致，电源这种零件是通用的，现在部件的购买途径少，但一定是未来主流。
      Dell 2U服务器从R740/R740XD到R750，仔细观察其规格表就能看出这是一个服务器使用逐渐专门化的过程，前面的机器在大盘的选择上还有8盘位的选择，而R750只剩下了12盘位（风扇必须高性能版，拓展卡能耗限制也不友好），不能上GPU；阵列卡也只剩下了PCIe的标准卡，不再有mini卡，改为前置PERC，只为2.5寸的设计，3.5寸阵列卡为后置适配器卡。其它细节还有内置USB模块化，电源规格从495W起步提升至800W起步。
      主要的考虑上面都写过了，CPU性价比较高的、性能还行的我选了4316，单核频率一般水平，核心数量给20核心比较良心。双路。但是值得注意的是，虽然Silver的UPI和上一代双路Gold比不落后，但是比这一代其他型号少量一条通道，且速率稍低。AVX-512 FMA单元数量2个，全系没缩水。
      内存需求比较高，选择64GB RDIMM*4。（无限预算请注意：LRDIMM看似很好，但是有散热要求，部分硬盘配置下128GB需要加强风扇、有环境温度要求，256GB单条只能1DPC最大容量也就是实际和128GB没区别；傲腾内存问题类似）。
      硬盘是读取密集型480GB做系统，然后一组RAID 1机械数据存储（Exos 12T）。
      RAID卡这一代进行了升级，经典的H730p、H740p退出，所以选取了适配器PERC H745。如果有NVME阵列需求可以考虑H755。
      Dell 15代电源800W起步，考虑满载和未来升级余量上了1400W，因无第二条电网线路，而且小区供电非常稳定，没要冗余电源。
      网卡Intel X710，能耗控制比较优秀，基本虚拟化功能有，没有高级的RDMA功能，性能过关，对于没有RDMA交换机的来说没有太大的影响。
      至于光模块，因为我不是学运维的所以知识匮乏，基本是连搜带猜。家里的交换机是华为S1720-28GWR-4X，最初买的万兆通的多模光模块，性价比不错，发的芯片是Intel的（根据兼容性选择可能有不同，未考证），交换机里面会有警告（但是不影响使用或稳定性）。STH对他家的模块有过评测，结果还不错。后来才知道光模块只要波长一致可以混用，淘宝找了华为自己的OMXD30000，换上后毫无异常且无警告。这次使用的也是万兆通的模块，无异常。
      购买途径，找经销商比较现实，官网可查询经销商，建议经销商咨询，服务态度很好，定制多样，消息通知及时。
      供货上，碰到了电子元器件大缺货，即便如此，Intel在供货上稳定，现在20天-30天左右货期，相比之下Yes厂需要至少2倍以上时间，根本yes不起来。缺货时代任何产品记得问货期，这个非常重要，官网有货的商品翻译后可能是等2个月就有希望有货……

体验

      下文为实拍和简测。箱子没拍，总之就是一个超大的箱子，上层导轨、电源线等配件，下层足量海绵包着机器。重量不是很大，官方规格是重量是装满硬盘的重量，所以空载轻很多。
附件
      有常规的说明书，长电源线（订单配置选择不慎，写了两根；而且更尴尬的是买的时候没选对插头，默认的不是家用的，最后当延长线了）。滑动导轨和线缆管理臂，管理臂用处是让线处于无张力状态，红笔是大概的线的走向。

外观
      标准2U高度，长度73.29cm，用1m深度机柜还有空间。

前
没买挡板，家用仍在机柜里没什么安保需求。12个3.5寸盘位，指示灯是状态和存取，都是导光条从背板上引出来的。左侧挂耳是状态灯，还有Quick Sync2指示灯（集群管理的运维可能用得上）。

quicksync

右边挂耳是久经考验的USB2.0以及VGA输出，还有个是iDRAC直连口。下面抽出了是服务编码等出厂信息。

硬盘位
金属边框标注硬盘编号

disk order

原厂出厂空位是挡板填充，没法装盘，所以淘宝搞定，实测14代和15代的Poweredge盘架其实是一样的（无论是外观还是使用）。严格地讲，其实15代的部件号是Y796F，名称是14G v2，而14代的标准的是X7K8W，但是我找不出除了部件号之外任何别的不同。2.5转3.5的转换器12G、13G、14G、15G都是一样的。
托架实际上没有任何的电子元件，灯是靠着导光条导出来的。

led

因为买2.5转3.5的时候（这次没安装，以后再用），店是搭售12G托盘的，所以多了个12G的，正好比较一下。老的托盘底面不是空白，但是塑料材料较多，但是前面开孔面积比新的少一些，但是老板的外露部分质感比新的好。

13G 14G cage

前部，下方为15代

cage front

后部，左侧为15代

cage back

硬盘是希捷Exos 12T（NM001G），慢扫无故障。选择氦气盘经过了纠结，因为传说一但故障数据维修困难，一方面是氦气填充、封闭门槛高，另一方面是新的硬盘固件加锁了，只有原厂有能力恢复数据。但是氦气盘的工作功耗和大容量空气盘的静止功耗差不多，这一点无论是节能还是散热都很香。本想找个西数的混用，但是没货和价格不好的原因放弃了。SAS没买，一个考虑是机械上没啥优势，另一个问题是家里就这一个能上SAS的设备，一旦故障数据没地方读。
固态是三星PM883a，本以为只有Intel结果火速打脸。2.5转3.5转换架也是新的部件号，但是实际上通用。

ssd

开盖//本来不想开，结果LOM卡报错，售后让拆下来确认，LOM卡必须在拆完主板后才能拿下来……
盖子上贴着个MAC地址小贴纸，所有的网口的。

mac

简单的开盖，不像家用产品贴着什么撕毁无效。内部的设计才是理想的电子产品的设计：结构清晰、更换简单、拓展性强、空间利用率高。
首先是说明，标明了顺序和是否热插拔

guide-2

guide-2

打开后全貌：上拓展卡区，中导流罩、下风扇和硬盘

inner

去掉导流罩、风扇和后部中央提升卡后，下层还有一个提升卡

inner

CPU
2路的散热器， 因为是150W的CPU所以只需要1U尺寸的（丐版）。GPU版本用的1U和这个不一样，那个是T形的。

inner-2

内存
空荡荡的RDIMM，只有256GB内存，不过照片也就这张还凑合好看一些。然后是很贴心的28个防尘片。顺便看下内存，镁光的。

cover

mem-back

风扇
6个Silver级高性能，12盘位必选（机箱海绵也是必选，应该就是机箱盖子上面的那个海绵条，至今不能理解其用途）。

fan

双层风扇，根据iDRAC里面的算下来应该转速20000rpm。

fan front

风扇组整体是可以统一拆卸的。

fans

PCIe
就一个阵列卡，入门级的PERC H745（PERC 10这一代），4GB缓存，SAS3516的芯片ARM架构（Power被摒弃了）；严格地讲这个芯片支持NVME，但是戴尔只有SATA/SAS版，直到新一代（PERC 11）的H755N才支持，而且又是二选一。值得注意的是有缓存阵列卡如果启用缓存必须带电池。
某个拓展卡的数据接口和固定柱子

riser

H745正面，散热片和电池

H745背面

raid-back

OCP 3.0走的通道也是PCI-E，是PCI-E 4.0 x8。这个是X710，如果有RDMA需求请移步E810或者Marvell、Broadcom、Nvidia。

ocp

主板一些细节
T形主板，主要空间被一字排开的32DIMM和2个LGA4189插槽占用了，后面是PCI-E的空间。后部端口包括USB在内都是用子卡连接上去的。
CPU、内存、前部接口整体观

cpu

后部整体观

board

主板后部连接IO卡、OCP 3.0和LOM卡（已移除）的部分

board-ocp

应该是GPU供电口

board-power

前部的CPU供电区和前部接口，可以看下供电，包括SATA、风扇、风扇固定器等。右下角的蓝色的是一个主板固定器，主板的拆装都是免工具的。

芯片。途中蓝色的是另一个主板固定器

pch

电源
厂家是LITEON，80plus白金级，服务器电源基本起步就是白金。

自己有小风扇。

psu-back

软件

iDRAC
如果买Dell的机器一定上至少企业版，否则连虚拟KVM都没有。只要上电就能登陆，有专用的接口和指示灯，机器只要上电就会启动自检过程。
iDRAC登陆界面

idrac-login

主面板。

idrac-dashboard

日志查看

idrac-log

安排的维护工作队列

idrac-jobs

阵列卡设置

idrac-raid

性能表现

idrac-perf

冷却信息，可以看到可怕的转速

idrac-cooling-start

功耗面板，不同状态下

idrac-power

idrac-power

BIOS设置

idrac-bios

警报功能

idrac-alert

日志采集

idrac-collect

日志采集报表

idrac-log

     顺便说一下戴尔几个很绕的软件的关系（可能太基础了网上都搜不到信息，说明书又非常抽象而且不配图 ）。Dell的iDRAC是随时网络连接的那个Web管理界面，包括开关机、虚拟KVM、状态监控及报警、存储设定、散热设置、BIOS设置，上面的图片都是iDRAC的设置。Lifecycle controller更接近于BIOS的管理程序，实际在iDRAC里面设置的存储、BIOS修改都最终由Lifecycle controller完成，OS安装也是属于Lifecycle controller的任务。开机会提示进入Lifecycle controller的设置按键，后面就是RAID设置、BIOS等等。还有OpenManage，这个在较大的部署上可能用处更多一些，它是需要安装的，其安装包是虚拟硬盘文件，对应VMWare、Hyper-V和内核虚拟机（KVM，写全称以区分），需要在主机内安装才能实现运维（没见过这种高大上的软件部署方式）。主要是多设备下的管理用处比较大，个人单设备就很鸡肋了，上几张图。One More Thing，有个OpenManage Mobile，通过Quick Sync 2的蓝牙（前面板有指示灯和按钮）连接到服务器，能拿手机连接查看状态（App Store评分挺低的，但是其实没有那么不堪），官网宣传似乎可以用手机快速在机房定位问题。
Lifecycle controller完成BIOS更改任务，开机后自动进入任务，完成后重启进入正常启动流程。

lcc

OpenManage Mobile

omm-2

omm-3

omm-1

OpenManage Enterprise的KVM虚拟机TUI界面

ome-tui

OpenManage Enterprise的Web界面，主打功能还是集群化管理、部署、维护

ome-gui

性能
      计划是测测Linux下的phoronix测试包，但是下载速度令人窒息，所以给个KVM虚拟机下的当前版本Win10（21H1）Cinebench R23

cb23-vm

      双路20C*2配合保守的2.3G默频（2.8G的全核睿频），结果还算比较正常。
噪音及功耗
     先说结论，家用在噪音和功耗上不太适合。以下数据是2*150W CPU，4*64G内存，1*480G SATA，2*12T 希捷机械SATA下的，注意R750 3.5英寸版本的风扇是HPR Silver等级的（不是基本款的）。
      放在客厅， 机柜是图腾的前玻璃后网门的1m深度的，实际噪音比较大，静息状态就是如此，尝试过盖住四面的进出口，噪音下降明显，所以封闭机柜上下通风理论上噪音还能忍。静息的风扇大概是30%，转速在7500~8000转左右，算下来满载应该是20000rpm左右。静息态的噪音直接听着比较糟心，如果隔着一扇木门能基本搞定。满载风扇噪音是震耳欲聋级的，是那种能有堵耳朵、找开关级别的音量，一扇门是完全没用的。开机自检声音不是网上所说的最大风量，估计是检测到一个能用的等级就行了。网上所谓的ipmitools在这一代的机器上目前我试的是用不了的，权限异常。
      功耗是我前期最怨念的，费尽工夫都找不到靠谱的功耗数据，EIPT倒是能计算，明显很多会影响功耗选项改了也没用。所以给出实际测试的功耗：关机功耗19W，低负载在150W左右，Cinebench R23测试在420W左右

软件计划

      Web管理面板Webmin，图形界面用的自带的vKVM和xRDP。NAS的需求其实就是跑个普通的SMB，实际发现SMB坑不少，Win10总是默默带动很多激进的变化（默认关闭SMB 1.0、遗弃NetBIOS），导致Linux网络发现很难搞。Docker必备，推荐portainer，其他的主要就是干活的一些服务，比如RStudio、Jupyter、网络工具。

总结

      实际搞下来，家用用机架服务器还是非常现实的操作，至于花费方面，如果计算需求不高用Xeon Silver或者Bronze，能够轻松实现低于群晖或者威联通类似规格的机架整机的价格；成品NAS性能上限太低，只要能克服软件的问题，机架式服务器还是很香的。更何况现在还有很多上一代或者上上代的机房下架廉价二手服务器可选择（受到某些事件影响，价格已经高了不少）。因为一台服务器参考官方延保最长时限，大致预估这些设备可以有很长的7年使用周期。
      声音上，隔音措施是非常必要的，这是主要劝退点。静止状态声音就很大所以不要留有幻想，视频网站的声音不能反映真实情况 服务器风扇帮我解决了一个困扰已久的问题，为什么企业级硬盘声音大——因为在服务器风扇面前硬盘都是静音硬盘
      对于不急用的人来说，现在不是一个合适的购买时间，不知道Icelake-SP会不会是末代大芯片，明年的Sapphire Rapids（我不相信今年能见着实际产品，纸面发布我不认）各种传言看起来都会是个比较激进的改变（虽然性能上不一定 ），PCIe 5.0、DDR5，传说还是MCM封装可以见到HBM。所以不可能是我覆盖得了的价格……如果选择Yes，EPYC 4据说也有96C和12通道内存，但我们啥时候见过同核心数的EPYC升级后降价……总之明年是个精彩的时间点
      希望此文能够给同样有家用服务器需求的坛友们一点儿参考，因为不清楚各自对这些东西的了解所有很多地方写得比较啰嗦、随意。因为很业余所以部分地方可能有描述不当或者错误，欢迎指正！
      上次在CHH发文章都是一晃快5年前的事情了，很高兴看到坛子能够经久不衰，这几年没做啥贡献，全在潜水，可算又发了一贴算是了个心愿。

推荐阅读材料

      最初开始了解的时候我只知道服务器前面是满满的硬盘，后来逐渐了解越来越多的信息。一个很好的资源是各厂的用户手册，里面有部件拆解图和拆装说明；各家的规格表也有很多的信息（说明书版，不是那些单页概述），包括不同散热环境等级下的散热要求、限制，PCIe通道的分配及物理尺寸，还有冲突部件的说明。
      国外有些网站比如anandtech、servethehome、phoronix都是不错的更新及时的信息源，Phoronix每日有新闻（虽然看不懂）而且有标准的Linux测试工具包及结果数据库。性能评价SPEC也有测试数据，应该主要是厂家自己测得（毕竟软件价格不是个人用得起的）。不同测试数据注意关注BIOS的选项细节，不同设置完全可以测出两套不用的结果。

miracle1934

写的好详细啊

jcd_chh

miracle1934 发表于 2021-8-17 19:28
写的好详细啊

毕竟是大件，纠结了半天，想把踩的坑全写进去

Wolverine

太用心了楼主！感谢分享！干货！

Cappuccino0601

这也太能写了，论文长度。

neilyo_wang

太长了……  买机架式服务器家用的人 可真不多

uuyyhhjj

这已经严重超过家用等级了

Koenigseggg

和思聪差不多了

scp_1982

王校长同款吗？

gjt_2003

楼主分析的很详细，我之前也考虑了怎么做NAS 最后受不了服务器的噪音，买的立式工作站当服务器用了

Bryan24

人均思聪

punker_ren

真是面面俱到，谢谢楼主！学习了

shadoweyre

楼主很有心了，服务器知识差不多都有了，本人it运维路过 机房一堆dell hpe... 家用买这个，从品牌溢价上看。过于奢侈了。。。
品牌server的好处是使用维护都很方便，缺点只有一个，贵，哦 不，只是使用者的问题。。。

真家用的话，还是建议出门左拐找超微/永勤。。。

ccj11110708

很高兴看到坛子能够经久不衰

你认真的么？。。。。。看看流量和排名

nApoleon

ccj11110708 发表于 2021-8-18 12:20
很高兴看到坛子能够经久不衰

你认真的么？。。。。。看看流量和排名

多看看每天的发帖量和优质内容的推送量吧,流量和排名除非我想要去转换了不然就是bullshit.

jcd_chh

scp_1982 发表于 2021-8-18 08:06
王校长同款吗？

王校长是高贵的R7525，而且是顶配

jcd_chh

shadoweyre 发表于 2021-8-18 11:37
楼主很有心了，服务器知识差不多都有了，本人it运维路过 机房一堆dell hpe... 家用买这个，从品牌溢价上看 ...

可能是我了解不够多，国内超微的途径还是比较难找，有的还只对公，没经验的又分不清那些可信。相比之下戴尔官网都能买，还有京东和天猫等一大堆代理商的店。
归根到底，确实只是使用者的问题，能写这么多也是因为基本啥都不知道，等这台用到伊拉克成色更换的时候估计可能有才能力折腾超微这些牌子毕竟我台机入坑也是从整机到组装

jcd_chh

ccj11110708 发表于 2021-8-18 12:20
很高兴看到坛子能够经久不衰

你认真的么？。。。。。看看流量和排名

我只关心有没有足够的用心的分享和交流
流量排名和用户体验关系很大吗

jcd_chh

gjt_2003 发表于 2021-8-18 09:39
楼主分析的很详细，我之前也考虑了怎么做NAS 最后受不了服务器的噪音，买的立式工作站当服务器用了 ...

感觉立式的工作站（特别是双路的）和塔式服务器差别不是很大，连CPU都可以一样，主要区别在图形上？

distribution

这玩意放在客厅不吵吗？
我的NAS也是放在客厅，为了追求零噪音，用的是零噪音机箱，6块4T的sata接口SSD加一块2T m.2的SSD。虽然是i7的cpu，但是设置好电源方案以后，日常功耗在20瓦以下。目前对性能很满意，就是容量小了点，不过存家用数据也够用了。工作用的数据在单位有300T的配额。

jcd_chh

distribution 发表于 2021-8-18 13:58
这玩意放在客厅不吵吗？
我的NAS也是放在客厅，为了追求零噪音，用的是零噪音机箱，6块4T的sata接口SSD加一 ...

当然吵啊，我这边客厅利用率低。房间里面基本听不到，这就够了。打算后面机柜再加点隔音。
功耗早就放弃了，关机就有19W功耗。因为计算有需求所以才这么解决的，NAS反倒成了附加功能。

不是所有的单位都有好用的而且能给自己用的设备，申请流程复杂，计算资源不足、抢不到

qingdaoouc

distribution 发表于 2021-8-18 13:58
这玩意放在客厅不吵吗？
我的NAS也是放在客厅，为了追求零噪音，用的是零噪音机箱，6块4T的sata接口SSD加一 ...

这东西家里没有单独设备间不要买，太吵。

qingdaoouc

7系内部结构还是比9系的差不少啊

FionaKureii

这个帖子也太详细了。羡慕楼主有钱有闲去折腾如此专业的设备

欲望兽

好奇什么下。什么样的使用需求需要上这么强的算力。NAS的用途方面。

yin19991999

除了贵就是噪音起飞。。.

20has

同样的运维狗路过，期望以后买个DELL塔式替代目前的超微E200-9A （因为新房子壁柜深度只有24cm）

关于ipmi那一块 权限问题的事情 有可能是你没有带用户名密码访问把
我的超微IPMI控制风扇命令如下 你参考试试
/usr/bin/ipmitool -H 192.168.222.222 -U ADMIN -P ADMIN raw 0x30 0x70 0x66 0x01 0x00 0x10 && exit 0

Predator

赞

穷人还在折腾12G/13G

jeff.kwan

快10年没碰过刀片了，刚出来工作就接触嘚多~~~

jcd_chh

20has 发表于 2021-8-18 16:12
同样的运维狗路过，期望以后买个DELL塔式替代目前的超微E200-9A （因为新房子壁柜深度只有24cm）

关于ipmi ...

感谢！用户名密码都加了，风扇和传感器参数可以正常读取，但是唯独操作风扇控制命令是权限错误