HP ProLiant DL360 Gen9 1U机架式服务器跑ESXi怎样配置硬件最完美？

c2h6o

红色狂想 发表于 2022-12-23 16:36
噢，既然不适合上GPU卡那我就不折腾了，插满网卡和SSD就可以了，这款1U的机器上类似P3600 1.6TB这种PCIe  ...

HPE InfiniBand 10Gb

?

HPE InfiniBand FDR/Ethernet 10Gb/40Gb 2-port 544+QSFP Adapter

764284-B21

HPE InfiniBand FDR/Ethernet 10Gb/40Gb 2-port 544+FLR-QSFP Adapter

764285-B21



PB上查到这两款，但我没有配置过，不过按照HP的一贯做法，官方支持切换的并不需要刷固件，只是在固件里面设置一下

另外HBA卡其实统一指接口卡，包括FC HBA, ISCSI HBA ,SAS HBA这些，具体还是看需求，至于你是否能用FC HBA，还要看你有没有FC 的外设，这个并不是普通一台机器装个FC HBA卡就行的，一般的FC 外设都是存储类设备，比如FC SAN，磁带机，虚拟带库这些，另外还要考虑能否主机直连，有部分设备必须要通过FC交换机才能连接到主机，不支持直连。

红色狂想

c2h6o 发表于 2022-12-23 19:20
HPE InfiniBand 10Gb

?

嗯，我Google了一下，你说的很对，切换IB/Eth模式的确不需要刷固件，只要上Mellanox官网下载安装个mst管理工具就可以随意切换了，具体可以参考以下几篇文章：
Mellanox hp 544+FLR QSFP 40G 网卡升级固件及性能测试
如何正确使用 HP 764285-B21 10GbE/40GbE 双口 FlexibleLOM 网卡
Mellanox Infiniband卡切换IB/Ethernet模式
家用万兆网络指南 1 - 不如先来个最简单的100G网络

切换Mellanox ConnectX-3 Pro网卡模式现在基本弄明白了，剩下的问题就是怎么选择10Gb/40Gb QSFP直连跳线，我是要与另一台机器上的HP NC552SFP 10Gb 2-port Ethernet Server Adapter直连，这张网卡的主控芯片是Emulex BladeEngine 3 (BE3)，不知选哪种跳线最实用，听说有一种40Gb QSFP一分四10Gb口的铜缆堆叠跳线，这种分出来的四个端口可以有各自独立的IP吗？

c2h6o

既然是1分4的，那应该是类似可以虚拟拆分的网卡，分四个IP是没问题的。但这种设备保有量小，兼容性一般都不怎么样，有时候原厂兼容列表里面的因为固件不同都会有兼容问题，所以选择要谨慎。

红色狂想

伊万科涅夫 发表于 2022-12-23 17:01
FC hab直连fc san感觉有点蠢 还是整个nas上iscsi比较好 我就是这么整的

是的，iSCSI相对容易部署，我也准备整这个。

红色狂想

c2h6o 发表于 2022-12-24 09:18
既然是1分4的，那应该是类似可以虚拟拆分的网卡，分四个IP是没问题的。但这种设备保有量小，兼容性一般都不 ...

咨询了一下卖家，说这种一分四的堆叠线需要上Mellanox SX6036交换机才能实现。。。无奈，退而求其次，现在难住我的问题是，以前那台HP ML310e Gen8 v2服务器上的万兆光纤网卡是HP NC552SFP 10Gb 2-port Ethernet Server Adapter，端口是SFP，怎样与现在的HP InfiniBand FDR/Ethernet 10Gb/40Gb 2-port 544+FLR-QSFP Adapter直连呀

c2h6o

红色狂想 发表于 2022-12-24 15:19
咨询了一下卖家，说这种一分四的堆叠线需要上Mellanox SX6036交换机才能实现。。。无奈，退而求其次，现 ...

理论上只要两边上对应的10G光模块，然后用光纤对联就可以了。不过既然用不40G，不如直接上10G的LOM网卡了。

红色狂想

c2h6o 发表于 2022-12-24 16:49
理论上只要两边上对应的10G光模块，然后用光纤对联就可以了。不过既然用不40G，不如直接上10G的LOM网卡了 ...

主要是想着HP 544+FLR-QSFP这卡价格很实惠，以后如果上Mellanox交换机的话还能体验一下IB功能，但现在仔细想想，40Gb的交换机又是一笔不小的开支，而且噪音问题也没法解决，所以后期40Gb网络对我的应用意义也不大。鉴于这种情况，要不干脆上个10Gb的卡算了？

看了一下主控芯片为Cavium 57810S的HP 534FLR-SFP+ 10Gb 2-port Ethernet Adapter P/N: 700751-B21，为什么这款10Gb网卡卖这么贵呀，难道就因为是FlexFabric卡？

c2h6o

红色狂想 发表于 2022-12-25 15:38
主要是想着HP 544+FLR-QSFP这卡价格很实惠，以后如果上Mellanox交换机的话还能体验一下IB功能，但现在仔 ...

FLEXFABRIC卡当然贵，配合FABRIC交换机可以走FC SAN，也可以拆分成4个任意带宽（按100M间隔调整）的网卡，两个10G口可以拆成最多8个网卡，如果用不到这些功能，选普通的10G的就可以了。

红色狂想

c2h6o 发表于 2022-12-25 18:08
FLEXFABRIC卡当然贵，配合FABRIC交换机可以走FC SAN，也可以拆分成4个任意带宽（按100M间隔调整）的网卡 ...

最近全家都阳了，难受死了，休息了十几天，现在基本已痊愈，又可以继续接着折腾了，这里汇报一下近况，FlexibleLOM网卡最终还是买了HP FlexFabric 10Gb 2-port 534FLR-SFP+ Adapter，也不单单是为了它的FlexFabric功能，支持iSCSI和FCoE存储卸载，可将每个10GbE端口分割成4个虚拟端口，并为每个端口灵活分配带宽，主要还是为了外观样子好看，散热片是金属白色的，装上之后与主机板上的散热片浑然一体，反正闲鱼卖￥300，和X宝上比应该算够便宜的了








因为暂时未配备万兆交换机，按照原计划是准备采用DAC铜缆直连方案的，但听说这种线缆存在兼容性问题，有可能会翻车，而且后期升级改造与交换机相连也会存在局限性，所以最后还是买了两根之前坛友推荐的finisar SFP+ AOC 10Gb成品光纤跳线，3米长的￥35元



两台服务器分别通过HP FlexFabric 10Gb 2-port 534FLR-SFP+ Adapter与另一台机器上的HP NC552SFP 10Gb 2-port Ethernet Server Adapter直连，可以顺利自动协商为10 Gbps








用iperf3命令跑了几圈带宽测试，27.8 GBytes 和 3.99 Gbits/sec这个表现还算一切正常吧？

顺带把网卡固件更新到了最新版
HPE QLogic NX2 Online Firmware Upgrade Utility for Windows Server x64 Editions
This package contains the utilities and binaries for upgrading HPE ProLiant QLogic NX2 Gigabit Ethernet NICs Boot code, PXE, NCSI, iSCSI, FCoE and CCM code running under Microsoft Windows Server 2019 and Windows Server 2022.
类型固件（Firmware）更新 - 网卡
版本5.2.7.0 九月 28, 2022
下载文件cp050994.exe  (3.9 MB)

HPE QLogic NX2 10/20 GbE Multifunction Drivers for Windows Server x64 Editions
This Component Package contains the drivers for the HPE QLogic NX2 10/20 GbE Multifunction Gigabit Server Adapters for Windows Server 2016, Windows Server 2019 and Windows Server 2022.
类型驱动程序 - 网卡
版本7.13.206.0(B) 九月 28, 2022
下载文件cp052356.exe  (3.3 MB)

HPE ProLiant Converged Network Utility for Windows Server x64 Editions
The HPE ProLiant Converged Network Utility (CNU) is a stand-alone application for configuring HPE FlexFabric and StoreFabric network adapters for iSCSI and FCoE ports. CNU enables configuration of iSCSI and FCoE storage interfaces in both Flex and non-Flex mode.
类型应用软件 - 网卡
版本5.2.3.1 十月 24, 2016
下载文件cp030269.exe  (54 MB)

c2h6o

红色狂想 发表于 2023-1-8 22:12
最近全家都阳了，难受死了，休息了十几天，现在基本已痊愈，又可以继续接着折腾了，这里汇报一下近况，Fl ...

没对应的交换机就当个普通10G网卡用吧。
个人觉得兼容光模块比DAC线靠谱。

红色狂想

c2h6o 发表于 2023-1-8 22:58
没对应的交换机就当个普通10G网卡用吧。
个人觉得兼容光模块比DAC线靠谱。 ...

像那种三层核心交换机，带至少4个10Gb SFP+端口和一堆千兆电口的产品，不知有没有适合家庭环境使用的，我指的主要就是噪音问题

c2h6o

红色狂想 发表于 2023-1-9 14:06
像那种三层核心交换机，带至少4个10Gb SFP+端口和一堆千兆电口的产品，不知有没有适合家庭环境使用的，我 ...

这个主要看你对噪音的接受程度，其实我接触的一些盒式三层交换机噪音并不是很大，普通办公环境使用并不觉得吵，比如华为5700-hi 系列的

不老芙蓉

被坑的不轻，看起来完全没基础。像这种盘位不支持U2的机器没什么好玩的。双路最重要的内存通道数。内存宁可用8条16G也不能用4条32G。整整少了一半的内存通道。

红色狂想

不老芙蓉 发表于 2023-1-9 20:47
被坑的不轻，看起来完全没基础。像这种盘位不支持U2的机器没什么好玩的。双路最重要的内存通道数。内存宁可 ...

U.2的固态盘我都买不起，更别说机器了。你说的那个内存通道数有这么重要吗，就是说双路机器，内存通道越多，多线程应用处理效率就越好是吗？如果是这样，那插16条8G内存岂不是比8条16G还要好？

c2h6o

不老芙蓉 发表于 2023-1-9 20:47
被坑的不轻，看起来完全没基础。像这种盘位不支持U2的机器没什么好玩的。双路最重要的内存通道数。内存宁可 ...

内存通道理论上是你说的那样，但先用大容量的条子，通道留着以后扩容不好吗。
这个机器可以支持U.2的SSD。具体看背板接口，可能需要更换背板。

不老芙蓉

红色狂想 发表于 2023-1-10 16:13
U.2的固态盘我都买不起，更别说机器了。你说的那个内存通道数有这么重要吗，就是说双路机器，内存通道越 ...

这个U只支持到4通道。每个CPU需要4条内存。2颗8条内存。插的更多没什么意义，而且有的内存类型插的过多还会导致内存频率下降。这种CPU一般都是低频多线程，内存通道非常重要。

红色狂想

不老芙蓉 发表于 2023-1-10 18:51
这个U只支持到4通道。每个CPU需要4条内存。2颗8条内存。插的更多没什么意义，而且有的内存类型插的过多还 ...

一般多核多线程的U主频都不高，这款机器有两颗E5-2650 v3，每颗U支持4个通道，这是否意味着我还可以再插4条32G的内存呢？

红色狂想

c2h6o 发表于 2022-12-22 17:42
万兆的IO卡应该还好，发热也不很大。如果加GPU，可能会有点问题，主要是供电问题和散热问题，曾经给2U的H ...

再请教一个问题，最近在Google上查资料时，发现老外给HP DL360 Gen9装了nVIDIA Tesla P4 8GB GPU运算显卡，这卡可以实现虚拟化云桌面多开，功耗只有75W，应该无需额外辅助供电，PCIe插槽直接就能带得动，就是不知道插在HP DL360 Gen9服务器上会不会导致风扇狂转，具体详见这篇帖子：https://www.chiphell.com/thread-2485010-1-1.html

Dreamwalker

上周刚捡了台G9，成色跟楼主差不多， 但入的是3.5盘位系统，准备做下载机。
就没有配双CPU，先上了单颗LV4，   但后来发现P440AR和南桥AHCI在ESXi直通都有问题。
另外， FlexLom只要插万兆网卡  FAN7就会起飞， 不知楼主有同样问题嘛？

红色狂想

Dreamwalker 发表于 2023-1-15 01:38
上周刚捡了台G9，成色跟楼主差不多， 但入的是3.5盘位系统，准备做下载机。
就没有配双CPU，先上了单颗LV4 ...

你是说HP DL360 Gen9和HP ML310e Gen8 v2一样，同样也存在板载P440AR阵列卡及南桥SATA AHCI控制器对ESXi直通不友好的情况？装的是HP官方定制版ESXi吗，安装部署在哪个盘上了，是TF存储卡上吗？

网卡我装的是这款机器的选件，HP FlexFabric 10Gb 2-port 534FLR-SFP+ Adapter P/N: 700751-B21，没有风扇起飞的现象，还装了Intel DC P3608 PCIe NVMe卡式固态硬盘，也一切正常。你插的哪款万兆网卡，HP 10Gb 2-Port 561FLR-T Adapter吗，主板BIOS等所有固件都更新到最新版了吗？

Dreamwalker

红色狂想 发表于 2023-1-15 13:13
你是说HP DL360 Gen9和HP ML310e Gen8 v2一样，同样也存在板载P440AR阵列卡及南桥SATA AHCI控制器对ESXi ...

BIOS没找到最新的，只升到2.92,  iLO跟你一样的版本， ESXi装在TF卡，从6.7到7.0 到8.0都装过
而且我发现直通问题还不是只有DL360G9有这问题，老的MSGen8好像也是不行

网卡我装的561FLR-T，  装在老的DL360pGen8上也会起飞， 最后把FAN7拆了就消停了

shadoweyre

这种1u的机器，不太清楚为啥家用要选他。。。除非家里面已经有600*1000以上的机柜放储藏室。。。公司机房，从gen5一直玩到gen11,估计今年要出gen12了。。
送我我都不想往家里面搬。。。除了稳定，没有其他任何优点。 sas 2.5寸hdd 没啥意思，直接换sata的ssd就行，sas ssd比较贵，没必要，本身都是洋垃圾，省钱王道，e5-v3只支持2133的条子，换v4的可以2400，最好先把通道插满，双U就是8个通道，除非你对内存容量需求大。
你插了nvme的ssd,那可以直接拔了raid卡，用sd卡，甚至u盘装系统。。前面槽位用堵头堵起来就行

红色狂想

Dreamwalker 发表于 2023-1-16 10:09
BIOS没找到最新的，只升到2.92,  iLO跟你一样的版本， ESXi装在TF卡，从6.7到7.0 到8.0都装过
而且我发现 ...

我的System ROM也是P89 v2.96，最新的版本是3.04_08-04-2022，可以从以下链接获取：
HPE ProLiant DL360 Gen9 Server 驱动程序和软件
Online ROM Flash Component for Linux - HPE ProLiant DL380 Gen9/DL360 Gen9 (P89) Servers
This component provides updated system firmware that can be installed directly on supported Operating Systems. Additionally, when used in conjunction with Smart Update Manager (SUM), this Component allows the user to update firmware on remote servers from a central location. This remote deployment capability eliminates the need for the user to be physically present at the server in order to perform a firmware update.
类型 BIOS - 系统 ROM
版本 3.04_08-04-2022 十一月 8, 2022
下载 firmware-system-p89-3.04_2022_08_04-1.1.i386.rpm  (6.1 MB)
最好用HP USB Key Utility for Windows工具把SPP烧录到U盘引导启动HP SUM离线更新

你的TF卡是插在主板上预留的那个microSD卡槽里吗，是用Intelligent Provisioning安装部署的ESXi吗，有没有遇到无法选择安装到microSD存储卡目标控制器的情况？

MSGen8当然不行，机器越老越不行，估计Gen10才好用，如果你非要直通硬盘的话，可以搞一张HBA卡，把前面的硬盘笼子背板miniSAS数据线接到直通卡上，这样应该就可以顺利直通了

我一猜就是561FLR-T，干嘛要用电口万兆呀，搞个光口的不行吗，这样就不用拆FAN7风扇了

红色狂想

shadoweyre 发表于 2023-1-16 10:59
这种1u的机器，不太清楚为啥家用要选他。。。除非家里面已经有600*1000以上的机柜放储藏室。。。公司机房， ...

就是因为家里有个图腾（TOTEN）G3.6937机柜 37U 宽度600×深度900×高度1833mm，才想圆自己一直想玩儿机架式服务器的愿望，只不过没有储藏室，只能搁在书房里享受这噪音，还好不是飞机起飞，家人可以接受，选择1U的机器是因为先入为主，遇见了，卖家说声音不吵，我看外观挺小巧的，虽然存储能力不强，但作为计算节点跑ESXi也足够了，于是就先入了这款机器
Gen11、Gen12都要出来了，是不是标配PCIe 5.0，硬盘笼子支持U.3，外观什么样子，工业美吗？

我这台机器买来时就带了两个300G的SAS盘，其余槽位都有堵头堵着，本来还想着再搞8个HP原装1.2T 15K SAS盘插满笼子组RAID 6 (ADG)的，听你这么一说貌似没有必要了，如果真想插满的话就应该上SATA SSD，这样就听不见读写磁盘的噪音了，不过同样也失去了SAS盘双通道控制器的高稳定性。还有就是，SSD比HDD贵，如果真要插8个2.5寸SATA SSD，也只能选S3500 800G HP版了吧

两颗E5-2650 v3支持8个通道，那是不是可以插8条32G DDR4 2133内存呀？
其实我很想再上个nVIDIA Tesla P4 8GB GPU运算显卡，但这卡是被动散热，听说插上后开机风扇就起飞了，而HP的服务器无法破解风扇转速，看来1U的机器不适合玩儿GPU加速，剩下那两个PCIe x16扩展槽也能插满NVMe SSD存储设备了。。。去年就海淘了两张金士顿16G pSLC microSD工业存储卡，现在正好拿来装ESXi

xeon13

今年年初900块一台收了两台从脸书的IDC退下来的DL380G9裸金属带双口FDR网卡，到现在都没找到合适的用途， 这玩意儿买的时候是爽。

525165

插上扩展网卡和HDD再试试看噪音

Dreamwalker

红色狂想 发表于 2023-1-16 16:16
我的System ROM也是P89 v2.96，最新的版本是3.04_08-04-2022，可以从以下链接获取：
HPE ProLiant DL360  ...

我就随便找了个sandisk 8G卡装的，很顺利，装了好几个版本，都没有问题。
直通问题好像是HPE故意留下的坑，只要是板载AHCI控制器或者P440AR这种都不行，换成插PCIe的HBA RAID卡就没问题。 但是我这机器PCIe插网卡了，4个万兆口都准备直通给RouterOS， 然后就没槽插HBA卡了， 左右都纠结。
难道是HP认为电口比光口热？还没开机就需要风扇对着吹

拔掉FAN7 还能省点电，然后就是多个告警
继续折腾

Dreamwalker

红色狂想 发表于 2023-1-16 16:16
我的System ROM也是P89 v2.96，最新的版本是3.04_08-04-2022，可以从以下链接获取：
HPE ProLiant DL360  ...

没用IP，直接拿remote console装的
MSGen8我装了P222, 也是不能直通，后来只能做RDM盘

红色狂想

xeon13 发表于 2023-1-16 18:00
今年年初900块一台收了两台从脸书的IDC退下来的DL380G9裸金属带双口FDR网卡，到现在都没找到合适的用途，  ...

这价格，如果不是准系统那就太实惠了，从什么渠道收的，不会是闲鱼吧？怎么会找不到用途呢，一台做万兆软路由+NAS+HTPC+PCDN+下载机，一台做ESXi搭建个人博客WordPress什么的

红色狂想

525165 发表于 2023-1-16 18:13
插上扩展网卡和HDD再试试看噪音

该插的都插了呀，升级了128G内存，加了FlexibleLOM万兆光纤网卡，又插了一张Intel DC P3608 4TB NVMe AIC SSD，7个暴力风扇的转速还和刚买来未插这几个设备时一样，其中6个维持在19%，1个维持在15%，把手放在机箱尾部I/O网口处整个区域都有风吹出，连Intel DC P3608 AIC卡式固态硬盘都吹透了，现在就是不敢插Tesla P4显卡