RDMA这个东西我是搞不明白了

Dolfin

行业在说RDMA好，大家也都说他好，我也感觉好，不过好在了哪里。。。。

我这个帖子EPYC 9004 / NVMe RAID / 100GbE / RDMA 全闪NAS搭建与测试分享
已经做了一些关于SMB over RDMA的测试，结果是写入负优化，不过客户端CPU占有率显著下降。


因为那个测试不是客户端并发的，所以也许在并发的情况也许会有改善。于是我又做了并发的测试。

简单背景：
1.终端A Windows Server 100GbE网卡, 终端B Windows Server 40GbE网卡， 终端C Windows 11 Workstation 雷电40GbE网卡。连接存储服务器。

2.存储服务器 Windows Server，100GbE网卡连接终端A， 双口 40GbE 网卡连接终端B和C。

3.终端ABC同时向存储服务器发送读取及写入操作。

4.记录终端测试数据，以及存储服务器CPU占有率及功耗。

5.因为存储服务器资源有限，双口40GbE网卡，以及写入性能会出现带宽争抢，不过看合计总量就好了。

6.图省事，并没有配置流量控制（Priority-based Flow Control）以及ETS。还是看合计总量就好了

不过这个结果真的看不明白了。


顺序读写是Q8T4，随机读写是Q4T4，单位分别是GB/s 和IOPS

MatthewLXJ

RDMA实际表现优点是延迟比较低和降低CPU负载，对于Ceph等分布式文件集群提升比较大，之前测试过对Ceph的 4k 性能提升是比较大的

iooo

会有Linux下的测试吗

uuyyhhjj

你这CPU占用应该是硬盘IO吃掉的，RDMA跑满40G只写内存CPU占用率几乎不会增加

建议上组个内存盘，测试测试

Dolfin

uuyyhhjj 发表于 2023-9-13 16:44
你这CPU占用应该是硬盘IO吃掉的，RDMA跑满40G只写内存CPU占用率几乎不会增加

建议上组个内存盘，测试测试 ...

是IO吃掉的，不过两个模式下都会涉及这情况，那看两者占有率差值的话，也几乎没区别

uuyyhhjj

Dolfin 发表于 2023-9-13 16:52
是IO吃掉的，不过两个模式下都会涉及这情况，那看两者占有率差值的话，也几乎没区别 ...

有，不开RDMA，CPU占用率很高

Dolfin

MatthewLXJ 发表于 2023-9-13 16:23
RDMA实际表现优点是延迟比较低和降低CPU负载，对于Ceph等分布式文件集群提升比较大，之前测试过对Ceph的 4k ...

是英特尔写的“Leveraging RDMA Technologies to Accelerate Ceph* Storage Solutions”这个文章吗？

我看它是4节点的测试环境，FIO 随机写入，从QD1到QD32，性能略有提升，QD2达到幅度最大，有17%，差别不大，有些QD也会负增长。

CPU占有率的差异是1%到2%。继续扩展节点才有些明显提升。

谢谢，这样我也平衡了

老忘名

结论不应该是SMB太烂，RDMA都没得救吗？

tedaz

跟网卡没有直接关系，是硬盘芯片组pcie等的问题

Dolfin

老忘名 发表于 2023-9-13 17:25
结论不应该是SMB太烂，RDMA都没得救吗？

除了它还剩啥，NFS？

wdk23411

Dolfin 发表于 2023-9-13 17:31
除了它还剩啥，NFS？

是不是还可以试试iSER？NVMe-oF?

Illidan2004

RDMA估计是能增强4K性能吧

nlnjnj

RDMA 还有配套的网卡，交换机，系统和驱动需要优化，确认下网络是不是都跑在IB模式吧

不过有些场景 IP网络性能和RDMA其实差别没那么明显