【更新】EPYC 9004 / NVMe RAID / 100GbE / RDMA 全闪NAS搭建与测试分享

fdhfdhd

这……一套全新的9004结果就上三块960G的u.2硬盘吗
机器成本相较于硬盘价格十倍不止了吧

zhgbbs

fdhfdhd 发表于 2023-9-8 18:37
这……一套全新的9004结果就上三块960G的u.2硬盘吗
机器成本相较于硬盘价格十倍不止了吧 ...

是4块
上来就是raid0，看不懂了，不会跑完测试最后就是用来放电影电视剧之类的视频文件的吧

fdhfdhd

zhgbbs 发表于 2023-9-8 18:59
是4块
上来就是raid0，看不懂了，不会跑完测试最后就是用来放电影电视剧之类的视频文件的吧 ...

太富了给看岔了，把那块CD7当系统盘看了
如果只是这点容量找个机械也能用啊，实在不行直接给电脑接个12T呢

zhgbbs

fdhfdhd 发表于 2023-9-8 19:29
太富了给看岔了，把那块CD7当系统盘看了
如果只是这点容量找个机械也能用啊，实在不行直接给电脑接个12T ...

我电脑机箱里就是插了6块U2盘

fdhfdhd

zhgbbs 发表于 2023-9-8 19:33
我电脑机箱里就是插了6块U2盘

我主板上三根m2机箱里面放着4块u.2外面usb接了五个sata……
我all in one实在不理解这种

lengying555

fdhfdhd 发表于 2023-9-8 20:07
我主板上三根m2机箱里面放着4块u.2外面usb接了五个sata……
我all in one实在不理解这种 ...

楼主也说了，这是实验。人家就是玩着乐，你玩你的电脑存储， 他玩他的服务器NAS，没什么理不理解的。

fdhfdhd

lengying555 发表于 2023-9-8 20:23
楼主也说了，这是实验。人家就是玩着乐，你玩你的电脑存储， 他玩他的服务器NAS，没什么理不理解的。
...

实验的成本太高了，前面又觉得威联通的方案贵，可是这一套下来比威联通还贵吧

博雅

可以上E3.S固态 我这有10几片7.68T的E3.S固态

lengying555

fdhfdhd 发表于 2023-9-8 20:29
实验的成本太高了，前面又觉得威联通的方案贵，可是这一套下来比威联通还贵吧 ...

那可不一定，楼主提到的QNAP TS-h1090FU，目前基础配置64G再配满10块U.2的价格还真的比很多服务器都贵......

再说，实验成本高不高，那是楼主的事。我们在这里看看大神那么详细的分享也是分一杯羹了。

fdhfdhd

lengying555 发表于 2023-9-8 21:11
那可不一定，楼主提到的QNAP TS-h1090FU，目前基础配置64G再配满10块U.2的价格还真的比很多服务器都贵... ...

但是现在这一个1u的话比h1290FX还贵一些吧
当然100GbE是更重要了，只能说羡慕人家能这么折腾玩

Apocalypse-Long

Dolfin 发表于 2023-9-8 16:40
我会理解为有影响，但不好说有多少影响，因为没做测试。因为更大的三缓会减少对主内存的压力，可能对提升 ...

感谢楼主

邪恶的光B

本坛真的藏龙卧虎啊……………………这玩意家用是真牛B

elegantFish

高端玩家

glamor

问下老哥，为什么4k随机写入，40GbE/100GbE在使用rdma时，延迟没有降低，理论来说rdma不经过cpu延迟应该明显降低才对。

Dolfin

港城钢铁侠 发表于 2023-9-8 17:24
Linux下ksmbd好像支持SMB Direct，楼主感兴趣可以试试

感谢分享，真的可以，我要去试试。


Implemented

SMB1(CIFS), SMB2/3 protocols for basic file sharing
Dynamic crediting
Compound requests
oplock/lease
Large MTU
NTLM/NTLMv2
Auto negotiation
HMAC-SHA256 Signing
Secure negotiate
Signing Update
Pre-authentication integrity(SMB 3.1.1)
SMB3 encryption(CCM, GCM)
SMB direct(RDMA)
Win-ACL
Kerberos
Multi-channel

Dolfin

glamor 发表于 2023-9-9 16:18
问下老哥，为什么4k随机写入，40GbE/100GbE在使用rdma时，延迟没有降低，理论来说rdma不经过cpu延迟应该明 ...

这个事情有点复杂，我不能很准确的回答，所以我也没有展开说，还需要更多实验和研究

我觉得可能相关的：

1.RDMA不是没有经过CPU，而是绕开了内核层，但用户层的传输，一样需要CPU。

2.用户层的处理，从发送到终止的动作、活动（轮询/异步信使事件等等），一样会有开销和效率的事情，处理不同的任务，可能有不同的效果。

3.RDMA是种零拷贝的技术（减少了用户层和内核层之间的拷贝），那错误处理和重传也许会增加延迟。

4.读取还是写入，涉及到不同的数据流向，写入任务开销会更大。

5.我又看了一下我的数据，分段来比较的话，其实小文件（小于32kiB），大QD（32以上），RDMA延迟会更明显些。

6.也许针对上面说的，小数据块大QD的写入任务，可能RDMA会表现出更低的性能。

glamor

Dolfin 发表于 2023-9-9 22:12
这个事情有点复杂，我不能很准确的回答，所以我也没有展开说，还需要更多实验和研究

我觉得可能相关的： ...

看来rdma只有在超算之间通讯时有好处，其他地方，还不一定。

Dolfin

glamor 发表于 2023-9-11 12:22
看来rdma只有在超算之间通讯时有好处，其他地方，还不一定。

从我的测试看，RDMA在顺序读取和CPU减负上效果还是有的。
还有一点，我的测试并不是多客户端并发的，我猜测并发测试的话，CPU占有率对测试数字会有相当影响的。

Dolfin

glamor 发表于 2023-9-11 12:22
看来rdma只有在超算之间通讯时有好处，其他地方，还不一定。

确实，还不一定哈哈哈

michaelzxp

全闪的r'aid 方案还是很难解决，没有低成本方案

马杰

michaelzxp 发表于 2023-9-15 16:08
全闪的r'aid 方案还是很难解决，没有低成本方案

硬件方案，楼主的机器可以上dell 的965i硬件阵列卡，性能爆表。

软件方案。。。我一直没有找到真的好用的操作系统。

目前我都是 h755或者h755n  raid5的全闪，server2022的系统。相比16代服务器的的阵列卡，h755和h755n的写入性能，就太拉垮了。

https://zhuanlan.zhihu.com/p/602434600    这里是dell 16代阵列卡的评测，真的厉害。

楼主其实可以考虑你的机器上这个阵列卡，现在小黄鱼上很多，相比性能，价格不算贵。

goat

马杰 发表于 2024-4-15 22:19
硬件方案，楼主的机器就是dell 的965i硬件阵列卡，性能爆表

软件方案。。。我一直没有找到真的好用的操 ...

全闪不管你中间是switch还是roc对4k都是断腿。但是dell的r7全闪不上hw raid那基本上后面别想用什么扩展了

michaelzxp

马杰 发表于 2024-4-15 22:19
硬件方案，楼主的机器可以上dell 的965i硬件阵列卡，性能爆表。

软件方案。。。我一直没有找到真的好用 ...

是的这个必须dell的机器和卡，有我也找了很久h755感觉还是不行，软件方案有性能也好就是贵

OMJ

nb，感谢楼主分享，受到启发了

Dolfin

马杰 发表于 2024-4-15 22:19
硬件方案，楼主的机器可以上dell 的965i硬件阵列卡，性能爆表。

软件方案。。。我一直没有找到真的好用 ...

感谢这个硬件方案分享，确实爆炸，那个IOPS很漂亮，也不挑操作系统。软件方案的话，如果单机要一个爆表的数字，其实可选的只能是Linux了，主要考虑的就是IO的效率。

马杰

michaelzxp 发表于 2024-4-17 16:12
是的这个必须dell的机器和卡，有我也找了很久h755感觉还是不行，软件方案有性能也好就是贵 ...

H755和h755n，相比 h965i，还是差距太大了。