goldsunty 发表于 2024-9-11 18:46

NAS存储扩展卡和25G网卡的PCI-E插槽怎么选?

NAS是威联通QNAP的;

NAS有3个PCI-E4.0插槽,1、gen4*4;2、gen4*8/gen4*4;3、gen4*4;4、使用插槽1后,插槽2就只能运行在gen4*4的带宽上。


需要插一张NVMe的扩展卡:QM2-4P-384,参数如下:
传输端口:        4 x M.2 2280 PCIe (Gen3 x4) NVMe SSD 插槽
PCIe 与通道:        PCIe Gen3 x8

还需插一张25G的双口网卡:QXG-25G2SF-CX6,参数如下:
PCIe 与通道:        PCIe Gen4 x8

都要*8的通道,机器只有一个GEN4*8的,怎么插比较合理?

或者有没有更好的办法?

谢谢!

StevenG 发表于 2024-9-11 18:57

槽3给nvme,剩下的给25g网卡?

pcgsf22 发表于 2024-9-11 19:02

*8给网卡,要不然你这25g双口不就退化成双万兆了嘛。

StevenG 发表于 2024-9-11 19:02

StevenG 发表于 2024-9-11 18:57
槽3给nvme,剩下的给25g网卡?

研究了一下那个nvme的规格,网卡给g4x4,nvme卡给x8吧,25g双口的带宽,g4x4也能hold住

goldsunty 发表于 2024-9-11 19:04

StevenG 发表于 2024-9-11 18:57
槽3给nvme,剩下的给25g网卡?

插槽3给NVMe的话,就只能半速跑NVMe了吧,计划组个RAID5当缓存

StevenG 发表于 2024-9-11 19:05

pcgsf22 发表于 2024-9-11 19:02
*8给网卡,要不然你这25g双口不就退化成双万兆了嘛。

楼主的卡和剩余的卡槽都能支持gen4,x4的带宽应该能够用,不会退化到双万兆,当然这是理论,至于威联通的驱动怎么适配的,得实际测试一下

StevenG 发表于 2024-9-11 19:08

goldsunty 发表于 2024-9-11 19:04
插槽3给NVMe的话,就只能半速跑NVMe了吧,计划组个RAID5当缓存

最开始看错了,以为nvme卡是x4的接口,看成上面括号里的了

巴特沃斯 发表于 2024-9-11 19:08

cx6好像只有cx6-lx能跑*4带宽,其他*4带宽不认。或者你可以降级到cx4,cx5

但你设备那么少也没必要执着于28G把

goldsunty 发表于 2024-9-11 19:09

StevenG 发表于 2024-9-11 19:02
研究了一下那个nvme的规格,网卡给g4x4,nvme卡给x8吧,25g双口的带宽,g4x4也能hold住 ...

网卡给gen4*4,单口能跑满;双口的话算了一下,理论速度也就15.76G*2吧,比万兆网卡稍好,15G的网卡吧

StevenG 发表于 2024-9-11 19:10

按我上面说的,x8给nvme,x4gen4给cx6,然后用iperf测一下网速,要是能跑满,就说明qnap的驱动兼容x4gen4

StevenG 发表于 2024-9-11 19:12

goldsunty 发表于 2024-9-11 19:09
网卡给gen4*4,单口能跑满;双口的话算了一下,理论速度也就15.76G*2吧,比万兆网卡稍好,15G的网卡吧 ...

gen4x4 64g。。。

goldsunty 发表于 2024-9-11 19:13

pcgsf22 发表于 2024-9-11 19:02
*8给网卡,要不然你这25g双口不就退化成双万兆了嘛。

不是双万兆,是双1.5万兆,
缩了2万兆,哈哈

换过来,nvme缩一半

所以纠结

StevenG 发表于 2024-9-11 19:15

巴特沃斯 发表于 2024-9-11 19:08
cx6好像只有cx6-lx能跑*4带宽,其他*4带宽不认。或者你可以降级到cx4,cx5

但你设备那么少也没必要执着于28 ...

楼主威联通这款cx6就是cx6-lx

goldsunty 发表于 2024-9-11 19:21

巴特沃斯 发表于 2024-9-11 19:08
cx6好像只有cx6-lx能跑*4带宽,其他*4带宽不认。或者你可以降级到cx4,cx5

但你设备那么少也没必要执着于28 ...

威联通的这个卡是cx6-lx的,单位用的,用户不少,服务器上是100G的双口网卡;

控制器:        NVIDIA Mellanox ConnectX-6 Lx

playclan 发表于 2024-9-11 19:21

goldsunty 发表于 2024-9-11 19:13
不是双万兆,是双1.5万兆,
缩了2万兆,哈哈



4.0x4够跑50g了啊,同时双口25g没问题呀

goldsunty 发表于 2024-9-11 19:27

StevenG 发表于 2024-9-11 19:12
gen4x4 64g。。。

您这个是小b算的吧;双口25Gbps的网卡,全双工每口是25Gbps*2,就是50Gbps,双口需要100Gbps;64Gbps是不够用的。

我是用大B算的,其实一样

goldsunty 发表于 2024-9-11 19:32

StevenG 发表于 2024-9-11 19:10
按我上面说的,x8给nvme,x4gen4给cx6,然后用iperf测一下网速,要是能跑满,就说明qnap的驱动兼容x4gen4 ...

肯定跑不满,算的带宽就不够;

网卡双口跑满,理论上需要25*2*2=100Gbps的带宽,gen4*4理论带宽是63.04Gbps,

算的不够精准,就像大家说的64Gbps,也是不够的

playclan 发表于 2024-9-11 19:32

本帖最后由 playclan 于 2024-9-11 19:34 编辑

goldsunty 发表于 2024-9-11 19:27
您这个是小b算的吧;双口25Gbps的网卡,全双工每口是25Gbps*2,就是50Gbps,双口需要100Gbps;64Gbps是不 ...

难道有用得到同收同发50Gbps x2的场景?
4.0x4 64Gbps够50Gbps发,50Gbps收了

goldsunty 发表于 2024-9-11 19:32

playclan 发表于 2024-9-11 19:21
4.0x4够跑50g了啊,同时双口25g没问题呀

网卡全双工还要再乘以2

巴特沃斯 发表于 2024-9-11 19:34

goldsunty 发表于 2024-9-11 19:32
网卡全双工还要再乘以2

pcie也是双工的带宽

巴特沃斯 发表于 2024-9-11 19:34

StevenG 发表于 2024-9-11 19:15
楼主威联通这款cx6就是cx6-lx

那大概是没事了

StevenG 发表于 2024-9-11 19:35

goldsunty 发表于 2024-9-11 19:27
您这个是小b算的吧;双口25Gbps的网卡,全双工每口是25Gbps*2,就是50Gbps,双口需要100Gbps;64Gbps是不 ...

pcie应该也是全双工的,所以最简单粗暴的算法,64g>25*2g,或者你换个思路,万兆网卡,磁盘读写1000mb,gen4x4,磁盘读写能到7000+

goldsunty 发表于 2024-9-11 19:42

突然想到一个问题:

PCI-E4*4的带宽是64Gbps,是单向64Gbps,全双工是不是可以乘以2,也就是发送+接收=64*2=128Gbps;还是总带宽一共就64Gbps=发送32Gbps+接收32Gbps。

有明白的大佬吗?

goldsunty 发表于 2024-9-11 19:44

StevenG 发表于 2024-9-11 19:35
pcie应该也是全双工的,所以最简单粗暴的算法,64g>25*2g,或者你换个思路,万兆网卡,磁盘读写1000mb,g ...

刚才我已经想到这个问题了,看23楼

zgpnhhy 发表于 2024-9-11 19:44

实际上nas的ssd硬盘只能跑大概2g左右,所以问题不大的.

StevenG 发表于 2024-9-11 19:45

goldsunty 发表于 2024-9-11 19:42
突然想到一个问题:

PCI-E4*4的带宽是64Gbps,是单向64Gbps,全双工是不是可以乘以2,也就是发送+接收=64* ...

pcie也是一对独立的数据线,发送和接收,厂商标数据,都是按单向来的,网卡也是,所以我说可以直接粗暴计算64>25*2

StevenG 发表于 2024-9-11 19:53

goldsunty 发表于 2024-9-11 19:42
突然想到一个问题:

PCI-E4*4的带宽是64Gbps,是单向64Gbps,全双工是不是可以乘以2,也就是发送+接收=64* ...

如果64拆成32-32,那么磁盘读写怎么能上到7000,是吧?发送和接收是互相独立的,像车道一样,没法把另一个方向的车道借过来跑的

StevenG 发表于 2024-9-11 19:57

还有,磁盘读写是单工的,某一时间点,要么读,要么写。这样说完,是不是清晰了?

goldsunty 发表于 2024-9-11 20:07

StevenG 发表于 2024-9-11 19:53
如果64拆成32-32,那么磁盘读写怎么能上到7000,是吧?发送和接收是互相独立的,像车道一样,没法把另一 ...

您说的逻辑我理解是没错的,

PCI-E gen4*4的总带宽应该是64Gbps*2=128Gbps=发送64Gbps+接收64Gbps

StevenG 发表于 2024-9-11 20:12

goldsunty 发表于 2024-9-11 20:07
您说的逻辑我理解是没错的,

PCI-E gen4*4的总带宽应该是64Gbps*2=128Gbps=发送64Gbps+接收64Gbps ...

是,不过业界一般都算单向,好计算。。对于大多数非业界的,单向也好理解,也符合直觉,尤其像硬盘这种标速率的,你想想,如果硬盘产品简介里再和用户解释读和写是两个方向,带宽标的是一个方向最大值,用户是不是得崩溃
页: [1] 2 3
查看完整版本: NAS存储扩展卡和25G网卡的PCI-E插槽怎么选?