dell 7525 +24盘的nvme，用哪个系统能最大化磁盘速度？

马杰 · 发表于 2022-11-16 11:55

机器配置 dell 7525 ：
cpu 7702*2
内存256G ddr4 3200
固态硬盘1: intel 900p 装系统
固态硬盘：pm1733 7.68 *16 ，cd6 7.68*4，intel P4510 8T*4
网卡：intel e810 100G
机器没有阵列啊，所有硬盘都是直通cpu，装了win server2022 数据中心版，无论哪种软raid，写入速度都只有600MB/S。
请各位老铁给点意见，哪种系统，能最大化的发挥磁盘的性能。

豆豆那头熊 · 发表于 2022-11-16 12:11

Linux + openZFS

litguy · 发表于 2022-11-16 12:18

写入速度是网络测速还是本地？

brucelee1126 · 发表于 2022-11-16 12:42

试试truenas scale？

yyu0378 · 发表于 2022-11-16 13:47

都这样，还不要硬件raid卡是基于怎么样的考虑

shanicky · 发表于 2022-11-16 13:55

本帖最后由 shanicky 于 2022-11-16 13:58 编辑

不太建议硬 RAID，最新的 96xx 系列的性能感觉一般，https://aijishu.com/a/1060000000361186

ZFS 对于 nvme pool 的性能优化得在 3.0 才能上线，目前遥遥无期

实际上目前的软 RAID 对于纯 nvme 的 pool 来说性能都一般

如果实在想利用上所有磁盘的 io 性能，搞个多冗余的 SnapRAID 吧，多块盘各写各的

马杰 · 发表于 2022-11-16 19:06

brucelee1126 发表于 2022-11-16 12:42
试试truenas scale？

一直没有试试truenas，是翻了论坛的很多帖子，大家好像普遍反馈用truenas，做阵列之后磁盘的性能都不太行

马杰 · 发表于 2022-11-16 19:08

yyu0378 发表于 2022-11-16 13:47
都这样，还不要硬件raid卡是基于怎么样的考虑

这个7525的机器，型号比较早期，所有的硬盘接口把主办上能用的都全占满了。如果要使用硬阵列卡，比如755n，可能整个机器的背板、连接线都要换，而且755n的阵列卡，很贵，还必须要2块才行。

c2h6o · 发表于 2022-11-16 20:12

我认为直通是没问题的，但问题是你的直通卡是否有瓶颈，按理说双CPU的PCIE通道是不够这么多硬盘的。另外一个问题是开源的存储系统能否支持这么多的高性能硬盘，我只是见过专业存储全SSD的，但也不是NVME U.2 SSD，还是SAS和SATA SSD，性能就起飞了。

playclan · 发表于 2022-11-16 20:21

本帖最后由 playclan 于 2022-11-16 20:26 编辑

c2h6o 发表于 2022-11-16 20:12
我认为直通是没问题的，但问题是你的直通卡是否有瓶颈，按理说双CPU的PCIE通道是不够这么多硬盘的。另外一 ...

单U就有128条，lz全部硬盘都直通cpu

godspeed66 · 发表于 2022-11-16 20:47

是总写入速度600MB/s吗？  还是600MB/s*23=14GB/s ？

要是总速度14GB/s 速度发挥正常

要是总速度600MB/s，请检查系统散热，或重新安装系统

NUC11  INTEL P5316 同机器内部，980 PRO 2TB*2 RAID0 （win10 软RAID）写入速度能达到6~7GB/s，超980缓存后3.8GB/s

NUC11  INTEL P5316 ，通过网络SMB，40Gbps网卡，向威联通 h1290FX 7302P*1 SN640 7.68TB *10 RAID5（NAS软RAID）写入速度都能达到3.9GB/s

马杰 · 发表于 2022-11-16 21:18

godspeed66 发表于 2022-11-16 20:47
是总写入速度600MB/s吗？还是600MB/s*23=14GB/s ？

要是总速度14GB/s 速度发挥正常

是总的写入速度。@litguy
本地读取速度18GB/S，写入速度，580-600MB/S。
这个服务器是R7525，更换了高性能风扇，硬盘温度40度左右，散热不成问题。

c2h6o · 发表于 2022-11-16 21:25

playclan 发表于 2022-11-16 20:21
单U就有128条，lz全部硬盘都直通cpu

是我记错通道数了。
但是否插槽有拆分问题影响？只是猜测。
而且这么快的IOPS,太考验CPU，内存的性能了。软件影响也非常的大。

马杰 · 发表于 2022-11-16 22:25

感谢大家回复。
我做了尝试，把存储池里的cd6和p4510移除之后，以simple模式构建虚拟磁盘，读写速度都能到16GB/S。但是，其他的2个模式，怎么搞都报错。。。

78085 · 发表于 2022-11-17 00:44

别用2022，用2019

碰到过同样情况。

幻想国度 · 发表于 2022-11-17 02:28

冗余选Mirror，不要用Parity。要实在说我就是要Parity，就查阅官方文档，用PowerShell配置“镜像加速奇偶校验”。

马杰 · 发表于 2022-11-17 10:22

幻想国度发表于 2022-11-17 02:28
冗余选Mirror，不要用Parity。要实在说我就是要Parity，就查阅官方文档，用PowerShell配置“镜像加速奇偶校 ...

用mirror，感觉很浪费啊。还是觉得，用parity，采用类似raid5的模式感觉更友好点。
谢谢建议，我去找找资料看看

YsHaNg · 发表于 2022-11-17 21:53

参考Netflix 用的是bsd

账号		自动登录	找回密码
密码			加入我们

[NAS] dell 7525 +24盘的nvme，用哪个系统能最大化磁盘速度？