NAS存储扩展卡和25G网卡的PCI-E插槽怎么选？

goldsunty

NAS是威联通QNAP的；

NAS有3个PCI-E4.0插槽，1、gen4*4；2、gen4*8/gen4*4；3、gen4*4；4、使用插槽1后，插槽2就只能运行在gen4*4的带宽上。


需要插一张NVMe的扩展卡：QM2-4P-384，参数如下：
传输端口：        4 x M.2 2280 PCIe (Gen3 x4) NVMe SSD 插槽
PCIe 与通道：        PCIe Gen3 x8

还需插一张25G的双口网卡：QXG-25G2SF-CX6，参数如下：
PCIe 与通道：        PCIe Gen4 x8

都要*8的通道，机器只有一个GEN4*8的，怎么插比较合理？

或者有没有更好的办法？

谢谢！

StevenG

槽3给nvme，剩下的给25g网卡？

pcgsf22

*8给网卡，要不然你这25g双口不就退化成双万兆了嘛。

StevenG

StevenG 发表于 2024-9-11 18:57
槽3给nvme，剩下的给25g网卡？

研究了一下那个nvme的规格，网卡给g4x4，nvme卡给x8吧，25g双口的带宽，g4x4也能hold住

goldsunty

StevenG 发表于 2024-9-11 18:57
槽3给nvme，剩下的给25g网卡？

插槽3给NVMe的话，就只能半速跑NVMe了吧，计划组个RAID5当缓存

StevenG

pcgsf22 发表于 2024-9-11 19:02
*8给网卡，要不然你这25g双口不就退化成双万兆了嘛。

楼主的卡和剩余的卡槽都能支持gen4，x4的带宽应该能够用，不会退化到双万兆，当然这是理论，至于威联通的驱动怎么适配的，得实际测试一下

StevenG

goldsunty 发表于 2024-9-11 19:04
插槽3给NVMe的话，就只能半速跑NVMe了吧，计划组个RAID5当缓存

最开始看错了，以为nvme卡是x4的接口，看成上面括号里的了

巴特沃斯

cx6好像只有cx6-lx能跑*4带宽，其他*4带宽不认。或者你可以降级到cx4,cx5

但你设备那么少也没必要执着于28G把

goldsunty

StevenG 发表于 2024-9-11 19:02
研究了一下那个nvme的规格，网卡给g4x4，nvme卡给x8吧，25g双口的带宽，g4x4也能hold住 ...

网卡给gen4*4，单口能跑满；双口的话算了一下，理论速度也就15.76G*2吧，比万兆网卡稍好，15G的网卡吧

StevenG

按我上面说的，x8给nvme，x4gen4给cx6，然后用iperf测一下网速，要是能跑满，就说明qnap的驱动兼容x4gen4

StevenG

goldsunty 发表于 2024-9-11 19:09
网卡给gen4*4，单口能跑满；双口的话算了一下，理论速度也就15.76G*2吧，比万兆网卡稍好，15G的网卡吧 ...

gen4x4 64g。。。

goldsunty

pcgsf22 发表于 2024-9-11 19:02
*8给网卡，要不然你这25g双口不就退化成双万兆了嘛。

不是双万兆，是双1.5万兆，
缩了2万兆，哈哈

换过来，nvme缩一半

所以纠结

StevenG

巴特沃斯 发表于 2024-9-11 19:08
cx6好像只有cx6-lx能跑*4带宽，其他*4带宽不认。或者你可以降级到cx4,cx5

但你设备那么少也没必要执着于28 ...

楼主威联通这款cx6就是cx6-lx

goldsunty

巴特沃斯 发表于 2024-9-11 19:08
cx6好像只有cx6-lx能跑*4带宽，其他*4带宽不认。或者你可以降级到cx4,cx5

但你设备那么少也没必要执着于28 ...

威联通的这个卡是cx6-lx的，单位用的，用户不少，服务器上是100G的双口网卡；

控制器：        NVIDIA Mellanox ConnectX-6 Lx

playclan

goldsunty 发表于 2024-9-11 19:13
不是双万兆，是双1.5万兆，
缩了2万兆，哈哈

4.0x4够跑50g了啊，同时双口25g没问题呀

goldsunty

StevenG 发表于 2024-9-11 19:12
gen4x4 64g。。。

您这个是小b算的吧；双口25Gbps的网卡，全双工每口是25Gbps*2，就是50Gbps，双口需要100Gbps；64Gbps是不够用的。

我是用大B算的，其实一样

goldsunty

StevenG 发表于 2024-9-11 19:10
按我上面说的，x8给nvme，x4gen4给cx6，然后用iperf测一下网速，要是能跑满，就说明qnap的驱动兼容x4gen4 ...

肯定跑不满，算的带宽就不够;

网卡双口跑满，理论上需要25*2*2=100Gbps的带宽，gen4*4理论带宽是63.04Gbps,

算的不够精准，就像大家说的64Gbps，也是不够的

playclan

goldsunty 发表于 2024-9-11 19:27
您这个是小b算的吧；双口25Gbps的网卡，全双工每口是25Gbps*2，就是50Gbps，双口需要100Gbps；64Gbps是不 ...

难道有用得到同收同发50Gbps x2的场景？
4.0x4 64Gbps够50Gbps发，50Gbps收了

goldsunty

playclan 发表于 2024-9-11 19:21
4.0x4够跑50g了啊，同时双口25g没问题呀

网卡全双工还要再乘以2

巴特沃斯

goldsunty 发表于 2024-9-11 19:32
网卡全双工还要再乘以2

pcie也是双工的带宽

巴特沃斯

StevenG 发表于 2024-9-11 19:15
楼主威联通这款cx6就是cx6-lx

那大概是没事了

StevenG

goldsunty 发表于 2024-9-11 19:27
您这个是小b算的吧；双口25Gbps的网卡，全双工每口是25Gbps*2，就是50Gbps，双口需要100Gbps；64Gbps是不 ...

pcie应该也是全双工的，所以最简单粗暴的算法，64g>25*2g，或者你换个思路，万兆网卡，磁盘读写1000mb，gen4x4，磁盘读写能到7000+

goldsunty

突然想到一个问题：

PCI-E4*4的带宽是64Gbps，是单向64Gbps，全双工是不是可以乘以2，也就是发送+接收=64*2=128Gbps；还是总带宽一共就64Gbps=发送32Gbps+接收32Gbps。

有明白的大佬吗？

goldsunty

StevenG 发表于 2024-9-11 19:35
pcie应该也是全双工的，所以最简单粗暴的算法，64g>25*2g，或者你换个思路，万兆网卡，磁盘读写1000mb，g ...

刚才我已经想到这个问题了，看23楼

zgpnhhy

实际上nas的ssd硬盘只能跑大概2g左右,所以问题不大的.

StevenG

goldsunty 发表于 2024-9-11 19:42
突然想到一个问题：

PCI-E4*4的带宽是64Gbps，是单向64Gbps，全双工是不是可以乘以2，也就是发送+接收=64* ...

pcie也是一对独立的数据线，发送和接收，厂商标数据，都是按单向来的，网卡也是，所以我说可以直接粗暴计算64>25*2

StevenG

goldsunty 发表于 2024-9-11 19:42
突然想到一个问题：

PCI-E4*4的带宽是64Gbps，是单向64Gbps，全双工是不是可以乘以2，也就是发送+接收=64* ...

如果64拆成32-32，那么磁盘读写怎么能上到7000，是吧？发送和接收是互相独立的，像车道一样，没法把另一个方向的车道借过来跑的

StevenG

还有，磁盘读写是单工的，某一时间点，要么读，要么写。这样说完，是不是清晰了？

goldsunty

StevenG 发表于 2024-9-11 19:53
如果64拆成32-32，那么磁盘读写怎么能上到7000，是吧？发送和接收是互相独立的，像车道一样，没法把另一 ...

您说的逻辑我理解是没错的，

PCI-E gen4*4的总带宽应该是64Gbps*2=128Gbps=发送64Gbps+接收64Gbps

StevenG

goldsunty 发表于 2024-9-11 20:07
您说的逻辑我理解是没错的，

PCI-E gen4*4的总带宽应该是64Gbps*2=128Gbps=发送64Gbps+接收64Gbps ...

是，不过业界一般都算单向，好计算。。对于大多数非业界的，单向也好理解，也符合直觉，尤其像硬盘这种标速率的，你想想，如果硬盘产品简介里再和用户解释读和写是两个方向，带宽标的是一个方向最大值，用户是不是得崩溃