请教下，544+ FLR那类网卡在X4接口下能跑到多少速度

Illidan2004 · 发表于 2023-9-12 13:11

这类卡标准是3.0X8，能跑满40-56G，我在网上看到一张图。
这里3.0X4下只能跑22G，基本上是3.0X8的42G砍半了，想知道这个到底机理是怎样的，总不能是协商40G，X4口就直接按协议砍半？

如果按照传统速度 3.0X4也有38G左右的带宽，从windows上3.0X4的SSD极限速度来看，应该也至少有3500MB/s，各类损失下也折合28G带宽。

如果只有20G左右那感觉损失就比较大了，不知道有没有人测试过？

rx_78gp02a · 发表于 2023-9-12 13:24

3.0 x8 用IPERF测速也只有22G左右，win 内核限制了，如果使用ntttcp和rdma测速，可以到39Gbps。跑不满的限制因素太多了，单核瓶颈，smba效率，内核效率等。

rx_78gp02a · 发表于 2023-9-12 13:31

3.0 x1 理论是8Gbps，实测是6.5Gbps，3.0 x4 理论是32Gbps，实际是26Gbps，pcie有帧大小，效率和playload有关，一般都比较小，常见的128Byte~256Byte，以128Byte算的话带宽的利用率是81.48%，那么8Gbps*81.48% 差不多是6.5148Gbps。

Illidan2004 · 发表于 2023-9-12 13:34

rx_78gp02a 发表于 2023-9-12 13:24
3.0 x8 用IPERF测速也只有22G左右，win 内核限制了，如果使用ntttcp和rdma测速，可以到39Gbps。跑不满的限 ...

嗯嗯这个图上也是并发数据，单口估计限制更多
这中间的各种协议转换应该是有很多效率问题 RDMA打开可能会好点
windows本身限制也多资源管理器拷贝文件好像就限速2G

我只是想着用X4口希望能达到类似3.0X4SSD那样的极限速度看起来可能想多了？

rx_78gp02a · 发表于 2023-9-12 13:49

SSD的playload都比较大，可以到4096Byte，网卡的playload默认比较小，我看的多数在256Byte左右，所以SSD的传输效率在90%以上，网络差不多在80~90%之间，反正影响速率的主要因素还是在网络这边。3.0X4 跑20G问题不大。

wdk23411 · 发表于 2023-9-12 14:06

所以，3.0*4的雷电3是怎么跑到40Gbps的

IChicken · 发表于 2023-9-12 14:11

本帖最后由 IChicken 于 2023-9-12 14:41 编辑

本人实测，X4接口 QQ截图20230902173638.png

weindy · 发表于 2023-9-12 14:13

正好我现在13900+B760只能用怨念的x4，带缓存测速图：

实际复制记得是平均2.7g左右，机器目前不在手边没法截图。。

之前在x8的9900k老机器速度：

实际复制速度：

PS：我是刷了论坛的56g固件，使用的是wave2wave的AOC线直连

weindy · 发表于 2023-9-12 14:23

上面都是给机械盘做了缓存，x8的实际速度截图是内存盘对拷的，走nas的机械盘出来大概4.3g

rx_78gp02a · 发表于 2023-9-12 14:25

IChicken 发表于 2023-9-12 14:11
本人实测

IPER性能瓶颈，试试ntttcp，可以跑满。
ntttcp测速

rmda测速

Illidan2004 · 发表于 2023-9-12 14:25

weindy 发表于 2023-9-12 14:13
正好我现在13900+B760只能用怨念的x4，带缓存测速图：

实际复制记得是平均2.7g左右，机器目前不在手边没法 ...

不错，我考虑到NAS到时候基本上也是3.0的盘为主能到3500也不错了。不过应该是需要刷成56G吧，但我本来理解是不管40G 56G，在3.0X4的时候都不是协议瓶颈，应该是按照带宽来的。

Jimmy_Qiu · 发表于 2023-9-12 14:26

wdk23411 发表于 2023-9-12 14:06
所以，3.0*4的雷电3是怎么跑到40Gbps的

搞反了。雷电3是并不是基于PCIe3.0x4的。
PCIe3.0x4走雷电3依然只有32Gbps。

weindy · 发表于 2023-9-12 14:37

Illidan2004 发表于 2023-9-12 14:25
不错，我考虑到NAS到时候基本上也是3.0的盘为主能到3500也不错了。不过应该是需要刷成56G吧，但我本来理 ...

这两测速图是机械盘用primo cache加速的，没有走ssd。。不爆64g缓存速度都不会下降
全闪估计会更好？期待坛内大佬有测全闪40g的设计速度的

weindy · 发表于 2023-9-12 17:14

至于楼主想探寻的机制，首先x4就是纯物理限制了。。如果经济条件允许，能x8尽量x8，能刷56g不用40g，高通道高带宽下碎文件表现也要好很多

Dolfin · 发表于 2023-9-13 11:33

存储端CX3 PRO 双口 40GbE，连接客户端A雷电3 40GbE CX4，客户端B 40GbE 544+
不测iperf这些，就测实际存储表现，并发读取速率超过 6.2GB/s，所以肯定不止42Gb/s的。

Illidan2004 · 发表于 2023-9-13 11:36

本帖最后由 Illidan2004 于 2023-9-13 11:39 编辑

Dolfin 发表于 2023-9-13 11:33
存储端CX3 PRO 双口 40GbE，连接客户端A雷电3 40GbE CX4，客户端B 40GbE 544+
不测iperf这些，就测实际存储 ...

可能是双口和单口不一样我猜
X8物理极限肯定不止42 两口加起来50G以上还是科学的

Dolfin · 发表于 2023-9-13 11:39

Illidan2004 发表于 2023-9-13 11:36
雷电3都能超过这个数字吗？雷电用于数据部分应该只有24G才对奇怪了

我说的是客户端AB的并发读取速度。单雷电3连接的话，是2.9GB/s

Illidan2004 · 发表于 2023-9-14 11:08

Dolfin 发表于 2023-9-13 11:39
我说的是客户端AB的并发读取速度。单雷电3连接的话，是2.9GB/s

不好意思刚开始理解错了后面我上面回复改掉了。按您的测试来看，6.2G应该差不多就是跑X8极限，所以X4可能确实只有3G左右，中间可能有一些协议损耗。不过如果是Gen3的SSD也基本极限了。

Dolfin · 发表于 2023-9-14 11:27

我不是很清楚你的具体应用场景，我的理解是在一个x4速率的接口上用544+加gen3 ssd做网络存储服务器，客户端来挂载对吗？

我的推测是，客户端那边对挂载存储测速（CDM/FIO），如果你的存储不是瓶颈的话，测试顺序读写上3GB/s没什么问题，Windows窗口拷贝随缘（1-2GB/s，也要看你客户端的存储），robocopy这种能接近测试成绩。或者说，如果你的实际场景就是窗口拷贝的话，什么25GbE，40GbE，x4，x8什么的都那么回事，不用纠结。我测试 100GbE的窗口拷贝，也就那样，4GB/s 到头，很多时候还达不到。

Illidan2004 · 发表于 2023-9-14 13:26

Dolfin 发表于 2023-9-14 11:27
我不是很清楚你的具体应用场景，我的理解是在一个x4速率的接口上用544+加gen3 ssd做网络存储服务器，客户端 ...

对谢谢指点所以结论就是X4差不多了

Illidan2004 · 发表于 2023-9-19 10:01

Dolfin 发表于 2023-9-14 11:27
我不是很清楚你的具体应用场景，我的理解是在一个x4速率的接口上用544+加gen3 ssd做网络存储服务器，客户端 ...

再请教下这个卡用什么风扇合适？谢谢

Dolfin · 发表于 2023-9-19 10:14

Illidan2004 发表于 2023-9-19 10:01
再请教下这个卡用什么风扇合适？谢谢

我的卡在暴力扇的风道中，所以无风扇。普通情况下，我看随便弄个风扇吹就行

Illidan2004 · 发表于 2023-9-19 10:29

Dolfin 发表于 2023-9-19 10:14
我的卡在暴力扇的风道中，所以无风扇。普通情况下，我看随便弄个风扇吹就行 ...

好的谢谢

账号		自动登录	找回密码
密码			加入我们

[网络] 请教下，544+ FLR那类网卡在X4接口下能跑到多少速度