安利一张高性价比25G网卡

zhangyu1216

tmhl0cr5 发表于 2024-1-16 07:37
25g交换机价格太高了 现阶段还是直连更有性价比

我曾经考虑过弄一台软路由做25G交换机，就是不知道性能如何，最后还是直连的。

tmhl0cr5

zhangyu1216 发表于 2024-1-16 10:24
我曾经考虑过弄一台软路由做25G交换机，就是不知道性能如何，最后还是直连的。 ...

cx5可以卡上交换 不怎么占用cpu资源 我是准备nuc9上两张cx542b做软路由

brucelee1126

yutian12345 发表于 2024-1-16 10:04
两个一起你咋测的

smb多通道

brucelee1126

声色茶马 发表于 2024-1-16 10:13
敢问大佬你的4121A开ROCE了么？双口一起干活，CPU占用飙到啥水平了？

不知道ROCE是啥，那应该是没开的，epyc 7231p，cpu好像没啥特别高的占用，具体没注意

咖啡泡泡

我以为2.5G

brucelee1126

summerq 发表于 2024-1-16 10:03
你这速度已经相当可以了，再往上你两边都换linux，其次假设你要用100g的6代卡，那么ofed驱动默认就打开了 ...

我只看懂了一半，我得学习学习

happysun110

这个cx5大芯片发热有点大，只有25g有点可惜了。

ocp网卡始终有个稳定性的问题，还有ocp对pcie信号稳定和强度有要求，能不ocp还是别ocp了。

cx5的华为sp350 100g网卡价格大概在500左右，还带保修。这个25g的二手+ocp转换卡价格都300了，不如加钱

yutian12345

brucelee1126 发表于 2024-1-16 10:28
smb多通道

这个有性能上限的

gmcmail

summerq 发表于 2024-1-16 09:43
linux下可以。关掉每个vf的sproof以及通过trust on来授予权限。vf直通，pf还能加入bridge ...

这样做想省一个交换机的钱。。你说的这样。我大概理解，但是实际操作上也没有什么可指引的，不太懂这个，弄了半天弄不下去。。而且也不清楚这种交换效率如何，太低了那还不如不弄。。。

叶子烟

我的网卡在最下面那条PCIE槽被底部风扇怼着吹好像还挺好使。
但是我没有25G的交换机=。=

alwayskid

群晖系统慎用，目前群晖的驱动最高只支持CX4和CX4Lx
这东西是真的热，不加风扇各种过热报错

brucelee1126

yutian12345 发表于 2024-1-16 10:34
这个有性能上限的

貌似smb和资源管理器都有性能上限，但是日常不就是用这些吗，家用局域网，没什么更深的用途

yutian12345

brucelee1126 发表于 2024-1-16 10:38
貌似smb和资源管理器都有性能上限，但是日常不就是用这些吗，家用局域网，没什么更深的用途 ...

我的意思就是换网卡也没啥用

声色茶马

brucelee1126 发表于 2024-1-16 10:31
不知道ROCE是啥，那应该是没开的，epyc 7231p，cpu好像没啥特别高的占用，具体没注意 ...

我觉得roce粗略理解就是RDMA，就是那种网卡拉满依然可以不占CPU，直接网卡往内存里怼数据那种技术。

brucelee1126

yutian12345 发表于 2024-1-16 10:39
我的意思就是换网卡也没啥用

OK,网卡到不是太纠结，我倒是想上台交换机

brucelee1126

声色茶马 发表于 2024-1-16 10:42
我觉得roce粗略理解就是RDMA，就是那种网卡拉满依然可以不占CPU，直接网卡往内存里怼数据那种技术。 ...

rdma开了没生效，win10专业版对quts hero

tmhl0cr5

happysun110 发表于 2024-1-16 10:34
这个cx5大芯片发热有点大，只有25g有点可惜了。

ocp网卡始终有个稳定性的问题，还有ocp对pcie信号稳定和强 ...

确实 cx512a闲鱼500可以买到 带一年保修 但我nuc9体积太小了上双网卡必须两张卡都是单槽 cx542b像我这样改完散热只占单槽 而cx512a直接绑风扇上去会占用两个槽 如果改单槽就要铣散热片了 比较操蛋 机箱体积足够的情况下还是上cx512a吧

rx_78gp02a

summerq 发表于 2024-1-16 10:08
关于这一点，我自己试过。我是用了一个connectx-6的网卡，25g端口，不过接10g交换机。这种情况下如果数据 ...

我测的结果不一样，VF和VF之间走的PCIE带宽。用的CX542B和CX4421A，跑在PCIE 2.0X2总线，测速为6.5Gbps。VF和VF的速率减半到2.8Gbps左右。你测的VF交换速率大于10G我猜测是PCIE的带宽足够。

tmhl0cr5

brucelee1126 发表于 2024-1-16 10:45
rdma开了没生效，win10专业版对quts hero

mellanox开rdma可以参考这个视频BV1hc41187aa
intel网卡开rdma可以参考这个视频
BV14c411b7ky

brucelee1126

tmhl0cr5 发表于 2024-1-16 10:48
mellanox开rdma可以参考这个视频BV1hc41187aa
intel网卡开rdma可以参考这个视频
BV14c411b7ky ...

学习一下，谢谢

声色茶马

brucelee1126 发表于 2024-1-16 10:45
rdma开了没生效，win10专业版对quts hero

收到。好像专业版确实开不开。至少工作站版，或者企业版。而且还只能下行不能作数据提供方。想双向自由的RDMA只能上Sever。M$之鸡贼可见一斑。

summerq

rx_78gp02a 发表于 2024-1-16 10:47
我测的结果不一样，VF和VF之间走的PCIE带宽。用的CX542B和CX4421A，跑在PCIE 2.0X2总线，测速为6.5Gbps。 ...

没错。我网卡是mellanox connectx-6 lx，跑在pcie4x8，128GT/s

雨季不再来

tmhl0cr5 发表于 2024-1-16 07:37
25g交换机价格太高了 现阶段还是直连更有性价比

25G直连，硬盘用什么呢？什么需求需要这么高的传输速度？

tmhl0cr5

声色茶马 发表于 2024-1-16 10:59
收到。好像专业版确实开不开。至少工作站版，或者企业版。而且还只能下行不能作数据提供方。想双向自由的 ...

专业工作站貌似是可以的 这个视频提到过
【终结流言！坊间流传的两大Windows RDMA的错误认知-哔哩哔哩】 https://www.bilibili.com/video/av835873483?p=1&unique_k=114514

tmhl0cr5

雨季不再来 发表于 2024-1-16 11:04
25G直连，硬盘用什么呢？什么需求需要这么高的传输速度？

生命在于折腾(doge)

tmhl0cr5

雨季不再来 发表于 2024-1-16 11:04
25G直连，硬盘用什么呢？什么需求需要这么高的传输速度？

3.0的固态可以喂饱了

声色茶马

tmhl0cr5 发表于 2024-1-16 11:06
专业工作站貌似是可以的 这个视频提到过
【终结流言！坊间流传的两大Windows RDMA的错误认知-哔哩哔哩】  ...

学习了。谢分享。

搞怪总牛逼，看了不少他的视频。

纨绔弟子

chip_discovery 发表于 2024-1-16 08:40
当时因为是用在dell服务器上，而且发现25G OCP网卡竟然比 10G的还便宜，所以就买了戴尔 拆机版 Mellanox CX ...

华为拆机的x520好像80左右，万兆的

rx_78gp02a

summerq 发表于 2024-1-16 11:00
没错。我网卡是mellanox connectx-6 lx，跑在pcie4x8，128GT/s

测试结果很牛逼，这是啥软件？机箱很像五花肉的

tmhl0cr5

纨绔弟子 发表于 2024-1-16 11:21
华为拆机的x520好像80左右，万兆的

x520是2.0x8比较难受 而且已经eol了 发热也比较大 现在180可以买cx4121a双口25G兼容10G 发热也低很多 感觉是更好的选择