Chiphell - 分享与交流用户体验

标题: Raid/HBA卡的硬盘顺序启动-疑问 [打印本页]

作者: yangjia 时间: 2022-11-4 15:53
标题: Raid/HBA卡的硬盘顺序启动-疑问
电脑是昨晚家里影音服务器的，打算加装一块显卡来解码，目前暂定1650s/丽台p2200选，后期可能选择30/40系；
于是想测试一下目前的功耗，顺便也把电源换了，以免未来电源功率不够用。

配置
CPU：i5-9600k
主板：华擎Z390 Extreme4
显卡：核显
电源：安钛克 HCG850 Gold
机箱：24盘位服务器机箱（国鑫RM4124-670-HSE，带Expander背板）
硬盘：14T硬盘*20个
Raid/HBA卡(均IT模式)：
* LSI 9217-8i（SAS2308）
* LSI 9364-8i（SAS3108）
* 联想 430-8i（SAS3408）

以下是测试情况：

测试一：
* 所有配件通电；
* 硬盘：通电启动20个；

启动瞬时功耗400-450W，进入系统后稳定在230W

情况二：
* 所有配件通电；
* 所有硬盘不通电启动，仅通电系统盘；

启动瞬时功耗70-80W，进入系统后稳定在100W

测试三：
* 所有配件通电；
* 硬盘：仅通电启动1个；

启动瞬时功耗90-100W，进入系统后稳定在100-110W

以上测试均把3张HBA卡轮换，得出的功耗数据和上面的均差不多。

大致能得出一些结果：
1.单个硬盘的瞬时功率大概在20W，稳定进入系统后功率在5-10W（与官方的Datasheet一致）
2.根据我测试的数据，我的配置搭配那3张Raid/HBA卡没有硬盘顺序启动功能；

关于第2点的原因，不得其解，疑问点：
1.按产品新旧的话，SAS3108/3408也不像SAS2308那么旧，也支持nvme，应该没可能没这个功能；
2.不知道是否与IT模式（直通模式）有关系，因为也没有刷IR模式的经验不敢尝试。

希望有这方面的dalao解答一下。

作者: awpak78 时间: 2022-11-4 16:24
更新固件了吗，会在BIOS里进HBA卡设置吗

作者: BHlt 时间: 2022-11-4 16:32
什么系统？我用的truenas scale用了三张2308，开机的时候能听出来每个硬盘依次启动的声音......难道这不算顺序启动吗

作者: yangjia 时间: 2022-11-4 16:35

awpak78 发表于 2022-11-4 16:24
更新固件了吗，会在BIOS里进HBA卡设置吗

更新固件？MegaRAID Storage Manager吗，这个还没试过，可以尝试一下，感觉和固件关系不大

作者: yangjia 时间: 2022-11-4 16:36

BHlt 发表于 2022-11-4 16:32
什么系统？我用的truenas scale用了三张2308，开机的时候能听出来每个硬盘依次启动的声音......难道这不算 ...

我的是win10 专业版，还是以功耗数据为准吧

作者: awpak78 时间: 2022-11-4 16:43

yangjia 发表于 2022-11-4 16:35
更新固件？MegaRAID Storage Manager吗，这个还没试过，可以尝试一下，感觉和固件关系不大 ...

固件不是管理软件！

你要是买来就没动过，盲猜连EFI都不支持的远古版本，能让你开机就不错了

HBA卡的设置界面都找不到还谈什么设置顺序启动

作者: bxhomd 时间: 2022-11-4 16:54
我原来想法是在旁边再开一台机器（板载atom CPU的机器，只需要插24P），这台机器的电源接口就解放了。

作者: wxlg1117 时间: 2022-11-4 17:02
本帖最后由 wxlg1117 于 2022-11-4 17:04 编辑

LSI卡一般都默认Spinup开启的啊,默认是Spin Up Delay 2 second,Spin Up Drive Count 4.

你试试用storcli之类的查询下看看

命令功能
查询和设置每组起转硬盘间的时间间隔以及上电时允许同时起转的硬盘数量。
命令格式
storcli64 /ccontroller_id show spinupdelay
storcli64 /ccontroller_id show spinupdrivecount
storcli64 /ccontroller_id set spinupdelay=time
storcli64 /ccontroller_id set spinupdrivecount=count

参数             参数说明                                  取值
controller_id 硬盘所在RAID卡的ID                –
time             每组起转硬盘间的时间间隔       默认为2，单位为s。
count          上电时允许同时起转的硬盘数量默认为4。

作者: saiyaman5 时间: 2022-11-4 18:03
230W, 7x24运行也很耗电了

作者: yangjia 时间: 2022-11-4 18:17

wxlg1117 发表于 2022-11-4 17:02
LSI卡一般都默认Spinup开启的啊,默认是Spin Up Delay 2 second,Spin Up Drive Count 4.

你试试用storcli之 ...

谢谢回复，我用LSI 9364-8i（SAS3108）进入BIOS里面就看到默认就是硬盘时间间隔就是默认12，硬盘数量是2，我改成间隔15s，数量5，然后关机重新开机依然是20个硬盘的峰值功耗

作者: yangjia 时间: 2022-11-4 18:18

saiyaman5 发表于 2022-11-4 18:03
230W, 7x24运行也很耗电了

肯定的，毕竟20个硬盘

作者: yangjia 时间: 2022-11-4 18:20

bxhomd 发表于 2022-11-4 16:54
我原来想法是在旁边再开一台机器（板载atom CPU的机器，只需要插24P），这台机器的电源接口就解放了。 ...

不是很理解您表达的内容，这台机器的电源接口解放之后的目的是什么？

作者: yangjia 时间: 2022-11-4 18:22

awpak78 发表于 2022-11-4 16:43
固件不是管理软件！

你要是买来就没动过，盲猜连EFI都不支持的远古版本，能让你开机就不错了

我明白MSM是管理软件，其实我想表达的是，用MSM来更新固件

作者: bxhomd 时间: 2022-11-4 18:51

yangjia 发表于 2022-11-4 18:20
不是很理解您表达的内容，这台机器的电源接口解放之后的目的是什么？

我是指20个硬盘对一个电源还是有点压力。上两个电源，本机一个，旁边一个

作者: yangjia 时间: 2022-11-4 21:29

bxhomd 发表于 2022-11-4 18:51
我是指20个硬盘对一个电源还是有点压力。上两个电源，本机一个，旁边一个 ...

其实还好，单个机械硬盘的典型启动用到12V 2A，而HCG850 +12V是最大70A，这个足够了，目前我瞬时功耗是400W左右，电源+12V是840W，预留两倍算是充足

作者: yangjia 时间: 2022-11-4 21:32

bxhomd 发表于 2022-11-4 18:51
我是指20个硬盘对一个电源还是有点压力。上两个电源，本机一个，旁边一个 ...

另外如果是双电源启动一台主机的话，没必要再开一台机器，有单独的配件卖，tb“24pin双电源"

(, 下载次数: 16)

作者: wxlg1117 时间: 2022-11-4 22:32

yangjia 发表于 2022-11-4 18:17
谢谢回复，我用LSI 9364-8i（SAS3108）进入BIOS里面就看到默认就是硬盘时间间隔就是默认12，硬盘数量是2 ...

也可能是"带Expander背板"不支持,你可以临时试试卡直接接个几块盘测试一下.

作者: ioricool1314 时间: 2022-11-4 23:11
19个硬盘 LSI 9217-8i 启动的时候能听到硬盘先后启动的声音也就没太担心电源的事了之前还担心过电源的5v不够用

作者: hhoen 时间: 2022-11-5 00:28
本帖最后由 hhoen 于 2022-11-5 00:37 编辑

要硬盤順序啟動，Power-up in standby (PUIS) 或稱 Power Management 2 Mode (PM2)，需要用hdparm或HDAT2之類的軟件，設置啟用硬盤的PUIS功能。HBA卡和硬盤兩者都啟用了PUIS功能，才能做到順序啟動。

要確定BIOS和系統都支援PUIS，才好開啟硬盤的PUIS功能，否則開機後會不認盤。

作者: rx_78gp02a 时间: 2022-11-7 12:54

yangjia 发表于 2022-11-4 18:22
我明白MSM是管理软件，其实我想表达的是，用MSM来更新固件

用的什么背板？硬盘的第11脚要悬空，它负责错峰上电，如果你使用的是电源出来的SATA电源线，会直接接地禁用此功能，详情搜索Staggered Spinup

作者: 补缺 时间: 2022-12-15 01:08

rx_78gp02a 发表于 2022-11-7 12:54
用的什么背板？硬盘的第11脚要悬空，它负责错峰上电，如果你使用的是电源出来的SATA电源线，会直接接地禁 ...

老哥，我搜了下这个，明白了是怎么回事，但是在实际使用过程中，难道不都是从电源处导出sata pwr的吗？能成功实现PUIS的供电线连接方法是啥？

作者: ts02147823 时间: 2023-10-8 15:32
本帖最后由 ts02147823 于 2023-10-8 16:39 编辑

LZ最后解决了嘛

看了很多文章感觉都没很清楚，有Staggered Spinup和PUIS，这感觉目标一样，但实现过程又不相同

想知道HBA卡LSI + HC550 SATA多颗时，会一起启动，还是会延迟上电，需要特别的线材嘛

作者: yangjia 时间: 2023-10-9 10:14

ts02147823 发表于 2023-10-8 15:32
LZ最后解决了嘛

看了很多文章感觉都没很清楚，有Staggered Spinup和PUIS，这感觉目标一样，但实现过程又不 ...

根据我的测试(调整HBA卡的BIOS)和环境（win10 企业版）。，目前没解决这个顺序启动的问题；
目前的方法是直接用HCG850电源(预留2倍容量，i5-9600k+20个硬盘总瞬时功耗大概是400-450W，)

后来我硬件升级也没出现问题(i5-12600k+HDD*24+GTX1650S)

根据其他坛友的回复，有这几个因素没测试
1.系统；truenas scale+2308可以顺序启动（3#）
2.expander背板不支持顺序启动；这个我没测试过，待验证
3.HBA卡与硬盘需开启PUIS功能（19#）

作者: ts02147823 时间: 2023-10-9 15:00

yangjia 发表于 2023-10-9 10:14
根据我的测试(调整HBA卡的BIOS)和环境（win10 企业版）。，目前没解决这个顺序启动的问题；
目前的方法是 ...

谢谢，我打算上个1000w了，估算了一下5v带20块应该是很充足了

只是还在纠结要选5v 20a 150w 还是 5v 25a 130w的

不过我看HCG850只有4个6-pin的SATA电源孔 (1分4最多16颗?)，请问要怎样接到24个呢?

等拿到HBA + 硬盘后再测试看看有没有staggered spinup功能。

网路上资料确实难找，有说要HBA卡/硬盘支援、又有说要线材支援的，没有很明确的答案

(, 下载次数: 16)

作者: yangjia 时间: 2023-10-11 09:35

ts02147823 发表于 2023-10-9 15:00
谢谢，我打算上个1000w了，估算了一下5v带20块应该是很充足了

只是还在纠结要选5v 20a 150w 还是 5v 25a ...

①5v的20a和5v的25a差不多吧，3.5的硬盘都是12v驱动电机+5v驱动电路，所以基本不会超。

②接盘数量，我是国鑫服务器的机箱，一条sata供电线(1分2)借2条背板，一共6条背板。
有点好奇如果你用普通的ATX机箱，怎么解决散热、共振和空间问题。现在的服务器机箱不贵，买点4040铝材弄一个架子（很简单）

作者: zipoff 时间: 2023-10-12 17:19
建议全部用电源上的大4D口接背板的6个供电口。

作者: rx_78gp02a 时间: 2023-10-12 17:48
ATX电源出来的SATA供电线一般会把第11脚接地，这个是LED指示灯和错峰上电使能脚，启动时拉高或者悬空才能使能错峰上电，接地会让硬盘一上电即启动。
(, 下载次数: 16)
这个是SATA的针脚定义，第11脚是错峰上电使能脚
(, 下载次数: 15)
这个功能在我的MS04 DIY 背板上得到验证了
(, 下载次数: 14)
第十一脚不要接地，同时HBA要支持顺序启动
(, 下载次数: 13)

作者: wxlg1117 时间: 2023-10-12 21:18
本帖最后由 wxlg1117 于 2023-10-12 21:19 编辑

留意了一下,机器上板载2208接浪潮12盘位背板+6*普通SATA硬盘似乎开机即全部转动,同一机器上IBM M5210接英特尔8盘位+3*1.5万转SAS盘似乎很明显机器自检好几秒后才开始转动.

改天换上 microsemi 3152-8i卡再试试.

作者: ts02147823 时间: 2023-10-13 21:26

yangjia 发表于 2023-10-11 09:35
①5v的20a和5v的25a差不多吧，3.5的硬盘都是12v驱动电机+5v驱动电路，所以基本不会超。

②接盘数量，我 ...

①我后来买了个1200W的电源...加个UPS，想说算了，买大一点

②原本有考虑服务器机箱，后来还是上了Meshify 2 XL，也没试过，且战且走了

作者: Mufasa 时间: 2023-10-13 21:40

wxlg1117 发表于 2023-10-12 21:18
留意了一下,机器上板载2208接浪潮12盘位背板+6*普通SATA硬盘似乎开机即全部转动,同一机器上IBM M5210接英特 ...

很多时候和卡没啥关系

SATA硬盘就是一通电全部转，SAS会交错延迟启动。

作者: zxy2001 时间: 2023-10-13 21:51
家用真的需要20个硬盘同时都挂着么？

虽然我也有10+硬盘，一般挂PT也就2个16T，其他硬盘按需通电，用硬盘底座或者硬盘盒。。。

作者: wxlg1117 时间: 2023-10-13 22:08
本帖最后由 wxlg1117 于 2023-10-13 22:12 编辑

Mufasa 发表于 2023-10-13 21:40
很多时候和卡没啥关系

SATA硬盘就是一通电全部转，SAS会交错延迟启动。

你理解错了,卡是最重要的一环,交错启动是由磁盘控制器控制并发出信号,所以磁盘控制器支持是第一要素.然后还有通道,背板,硬盘都要支持.

作者: Mufasa 时间: 2023-10-13 22:21

wxlg1117 发表于 2023-10-13 22:08
你理解错了,卡是最重要的一环,交错启动是由磁盘控制器控制并发出信号,所以磁盘控制器支持是第一要素.然后 ...

我这里各种 LSI 2008 2108 2208 2308 ，用SAS硬盘，大部分可以延迟启动。

偶尔有几个不能延迟启动，是因为我使用了机内固定跳线，没用背板。
（塔式服务器，SAS卡通过一分四线接到硬盘）

作者: superliurui 时间: 2023-10-14 13:30
hp 笼子+热插拔背板，2003的卡刷IT模式，8块硬盘能够听到顺序加电启动。跟操作系统貌似没啥关系。

作者: wxlg1117 时间: 2023-10-14 18:03

Mufasa 发表于 2023-10-13 22:21
我这里各种 LSI 2008 2108 2208 2308 ，用SAS硬盘，大部分可以延迟启动。

偶尔有几个不能延迟启动，是因 ...

那是因为磁盘控制器支持并且闭环也支持,可以去研究下intel文档Serial ATA
Staggered Spin-Up.

作者: yargee 时间: 2023-10-14 19:47
本帖最后由 yargee 于 2023-10-14 19:51 编辑

开机自检进LSI管理界面能设置顺序上电，每次上几块盘，每次间隔多少秒。
是否功能和硬盘支不支持没关系，和PUIS也没关系。
你试试绕过背板，卡直联盘试试吧。

作者: hhoen 时间: 2023-10-15 00:03
本帖最后由 hhoen 于 2023-10-15 00:08 编辑

yargee 发表于 2023-10-14 19:47
开机自检进LSI管理界面能设置顺序上电，每次上几块盘，每次间隔多少秒。
是否功能和硬盘支不支持没关系，和 ...

單單這樣設置測試成功嗎？

如果是靠聽聲音可能不準確，因為不同硬盤，本身啟動聲音時間也不一。如果把多個硬盤直接連接普通家用主板上的SATA接口，我開機時也會聽到先後不一的硬盤啟動聲音

作者: huihuige 时间: 2023-10-15 09:58

Mufasa 发表于 2023-10-13 21:40
很多时候和卡没啥关系

SATA硬盘就是一通电全部转，SAS会交错延迟启动。

学习了
马克下
这帖子有好多硬盘顺序启动的技术

我也觉得是SATA和SAS的问题
我的硬盘笼原来都是SATA 就是一起启动
后来加了SAS能明显听到SAS是交错延迟启动的

楼主是不是都是SATA盘？

作者: ts02147823 时间: 2023-10-15 11:07

huihuige 发表于 2023-10-15 09:58
学习了
马克下
这帖子有好多硬盘顺序启动的技术

我感觉还是很模糊阿，各种说法都有，就没统一点的，无法实际确认下

作者: Mufasa 时间: 2023-10-15 11:22

huihuige 发表于 2023-10-15 09:58
学习了
马克下
这帖子有好多硬盘顺序启动的技术

根据我的观察，大部分SAS盘，使用背板连接，可以交错延迟启动。

少数7200转SAS盘，使用一分四的线连接，不能交错延迟启动。

大部分SATA盘，尤其是桌面SATA盘，不论怎么连接，都是通电即转。
（西数希捷这方面尤其明显，通电即转）

少部分SATA盘，使用背板连接的情况下，可以交错延迟启动。
（主要是日立和东芝）
但是如果用一分四线，照样通电即转。
（西数收购日立以后情况变得更加复杂）

作者: huihuige 时间: 2023-10-15 14:28

ts02147823 发表于 2023-10-15 11:07
我感觉还是很模糊阿，各种说法都有，就没统一点的，无法实际确认下

意思就是需要卡背板硬盘都支持
卡的bios可能也需要设置才能完全支持顺序启动
你的背板感觉不像是服务器的背板
可能本身就不支持顺序启动

我的是浪潮的扩展背板，3008卡加sas硬盘
听起来是顺序启动的
也可能是像上面某位说的
只是硬盘不同导致的启动顺序不同
我的最大启动功率也是快500W
待机在250W左右

这个顺序启动搞不出来也无所谓
电源并不贵
这么多数据买个千瓦大品牌的电源也是应该的
千瓦大电源对付这点启动功率跟玩一样
主要是计算好5V的功率
近些年的电源5V的功率都不高
如果所有的盘一起组RAID 同时读写的话
5V功耗就高了
如果不组raid压力小很多

作者: hhoen 时间: 2023-10-15 16:18
硬盤順序啟動的兩種方法:
https://www.45drives.com/blog/storage/staggered-spinup-and-its-effect-on-power-draw/
1. Power Up In Standby (PUIS)
需要用軟件設置啟用硬盤的PUIS功能，當通電時硬盤會在待命狀態，等待控制卡指令才啟動。如果控制卡不支持PUIS功能，啟用了PUIS的硬盤不會被識別，所以啟用PUIS前要小心。

2. Pin 11 signalling
上面已有人解說了，這個方法需要背板和控制卡支持。

作者: ts02147823 时间: 2023-10-23 23:00
翻车了，买的LSI 9300 i16刷最新的IT FW

在2022 server和Win 11企业版都不断刷WHEA-17错误，PCIE错误已更正

但看装置管理员存储区又有抓到两张SAS3008

有人遇到吗

作者: 2645106672 时间: 2024-1-20 20:19

rx_78gp02a 发表于 2023-10-12 17:48
ATX电源出来的SATA供电线一般会把第11脚接地，这个是LED指示灯和错峰上电使能脚，启动时拉高或者悬空才能使 ...

老哥你这个是ms04背板的原理图吗，可否分享一下

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)