安利一张高性价比25G网卡

tmhl0cr5

近期网卡价格大降 cx4121a 已经可以200以内收到了
但cx4lx已是eol产品 且不像cx5一样支持nvmeoff和菊花链技术

cx4就显得不太够看了 这里推荐一张便宜的cx5网卡----cx542b
麻烦点在于这是一张ocp网卡 需要ocp转接卡才能使用 且cx5没有lx版本
用的是大核心温度十分感人 没有主动散热分分钟破百
以下是我用到的材料
cx542b*1   260￥
ocp转接卡*1    30￥
全高挡板     8￥
4007 5V 0.2A风扇  8￥

风扇端子为ph2.0  风扇只需要四根束线铁丝缠在弹簧钉上即可固定

大功告成 安装挡板


最后是温度表现

爆降60℃ 舒服

yutian12345

这………

summerq

Mcx5性能十分强悍，驱动也很强大。sriov自带内部switch可以给每个vf之间做交换，而不占用pcie带宽。同时也支持rocv v2

blackbeardever

杂牌山寨小风扇大概率烤一个月就坏，用了几个都是漏油黏住了，还得猫头鹰或建准

tmhl0cr5

blackbeardever 发表于 2024-1-16 05:09
杂牌山寨小风扇大概率烤一个月就坏，用了几个都是漏油黏住了，还得猫头鹰或建准 ...

确实是这样的 之前一个3cm风扇一周就坏了 不过40x40x7mm规格的5V风扇选择真的不多 找了半圈只有国产杂牌 要是没有单槽限制猫头鹰和建准是更好的选择

fkpwolf

再安利个25G交换机？

tmhl0cr5

fkpwolf 发表于 2024-1-16 07:17
再安利个25G交换机？

25g交换机价格太高了 现阶段还是直连更有性价比

Will

好强大，家里都玩25g了，我目前10g 感觉到顶了不会再升级了，家里没布置光纤

chip_discovery

当时因为是用在dell服务器上，而且发现25G OCP网卡竟然比 10G的还便宜，所以就买了戴尔 拆机版 Mellanox CX4421A，到手135，亲测华擎主板也支持。印象里还有个广达的更便宜，好像100就行了。

gmcmail

sriov驱动下没法和直通的口做交换。。我之前试过，怎么弄都不行。就是一个口做sriov，另一个直连电脑，这俩没法互通。放弃了。还是用了10g交换机

qingzhu110

真的是25G，不是2.5G啊

tmhl0cr5

summerq 发表于 2024-1-16 00:13
Mcx5性能十分强悍，驱动也很强大。sriov自带内部switch可以给每个vf之间做交换，而不占用pcie带宽。同时也 ...

感谢大佬科普

tmhl0cr5

Will 发表于 2024-1-16 08:35
好强大，家里都玩25g了，我目前10g 感觉到顶了不会再升级了，家里没布置光纤 ...

主要现在单模光纤白菜价 光纤皮线穿管也比较容易 而且25G网卡和10G网卡价格差不多 且其sfp笼子向下兼容10G/1G 需要电口的话也可以直接使用万兆光转电模块 25G速率也和3.0的盘速度差不多  个人觉得是家庭网络不错的升级方向

tmhl0cr5

chip_discovery 发表于 2024-1-16 08:40
当时因为是用在dell服务器上，而且发现25G OCP网卡竟然比 10G的还便宜，所以就买了戴尔 拆机版 Mellanox CX ...

对的广达双子星的cx314a

yutian12345

5和4区别值得换吗？ocp的4421才100出头

summerq

gmcmail 发表于 2024-1-16 08:51
sriov驱动下没法和直通的口做交换。。我之前试过，怎么弄都不行。就是一个口做sriov，另一个直连电脑，这俩 ...

linux下可以。关掉每个vf的sproof以及通过trust on来授予权限。vf直通，pf还能加入bridge

summerq

yutian12345 发表于 2024-1-16 09:39
5和4区别值得换吗？ocp的4421才100出头

5代大部分是pcie3.0x8的卡，与4代相同。只有很少几个型号是pcie 4.0x8。而6代全部都是pcie4.0。理论上讲，pcie3.0x8的带宽是64GT/s，跑不满双向25g，而pcie4.0x8有128GT/s，就能跑满。但是家庭使用，很少有机会把两个25g端口都跑满

brucelee1126

我买的是4121a,也顾不上什么高级特性，现在发愁的是双口一起才能跑到2.9g，单口才能跑到2.5g,最近出差一直没折腾，4台双口25g终端，还是得来个交换机

tmhl0cr5

yutian12345 发表于 2024-1-16 09:39
5和4区别值得换吗？ocp的4421才100出头

见三楼大佬 cx5有智能卸载https://www.chiphell.com/forum.p ... ht=cx5&mobile=2就像这个帖子里的cx5 100G网卡支持卡上交换 不怎么占用cpu资源 本人也是小白 如有错误请大佬们指正

tmhl0cr5

summerq 发表于 2024-1-16 09:47
5代大部分是pcie3.0x8的卡，与4代相同。只有很少几个型号是pcie 4.0x8。而6代全部都是pcie4.0。理论上讲 ...

大佬我有个疑问  3.0x8带宽可以到7.88GB/s 而pcie是双全工
网卡也是双全工 那3.0x8是不是可以喂饱两个25G端口呢

summerq

brucelee1126 发表于 2024-1-16 09:49
我买的是4121a,也顾不上什么高级特性，现在发愁的是双口一起才能跑到2.9g，单口才能跑到2.5g,最近出差一直 ...

你这速度已经相当可以了，再往上你两边都换linux，其次假设你要用100g的6代卡，那么ofed驱动默认就打开了rdma，瓶颈就来到了硬盘IO这里。你可以考虑spdk的方案，或者买现成的加速卡，4k可以破千万。但是说回来，你现在这套设备，真的足够了，over kill了

yutian12345

tmhl0cr5 发表于 2024-1-16 09:50
见三楼大佬 cx5有智能卸载https://www.chiphell.com/forum.php?mod=viewthread&tid=2446919&highlight=cx ...

直接卡上交换不错。应该就是菊花链吧。现在交换机很贵啊，有点意义

yutian12345

brucelee1126 发表于 2024-1-16 09:49
我买的是4121a,也顾不上什么高级特性，现在发愁的是双口一起才能跑到2.9g，单口才能跑到2.5g,最近出差一直 ...

两个一起你咋测的

summerq

tmhl0cr5 发表于 2024-1-16 10:02
大佬我有个疑问  3.0x8带宽可以到7.88GB/s 而pcie是双全工
网卡也是双全工 那3.0x8是不是可以喂饱两个25G ...

网卡是双向通信的。一个网口25g，双向不就是50g么。那么两个网口双向都跑满就是100g。这种情况都是核心交换设备上才有的，家用大部分情况是一个网口单向跑满，那么其实pcie3.0x4都够了啊

声色茶马

qingzhu110 发表于 2024-1-16 08:56
真的是25G，不是2.5G啊

你对CHH怕是有什么误解？ 2.5G网卡？板载级别的东西还需要安利？

PS，交换机现在40G的比如SX6025不用2000就能拿下。25/100G似乎还是太新了点儿，数据中心们还没开始大规模淘汰换机。

summerq

yutian12345 发表于 2024-1-16 10:03
直接卡上交换不错。应该就是菊花链吧。现在交换机很贵啊，有点意义

关于这一点，我自己试过。我是用了一个connectx-6的网卡，25g端口，不过接10g交换机。这种情况下如果数据经过交换机，那么最高也就是跑10g。但是我用了两个vf直通两个不同的vm instance，然后打流，可以跑到超过10g，这就说明数据没有走到网卡外面去。具体速度取决于你的内存带宽

yutian12345

summerq 发表于 2024-1-16 10:08
关于这一点，我自己试过。我是用了一个connectx-6的网卡，25g端口，不过接10g交换机。这种情况下如果数据 ...

好像和我理解的不同啊

声色茶马

brucelee1126 发表于 2024-1-16 09:49
我买的是4121a,也顾不上什么高级特性，现在发愁的是双口一起才能跑到2.9g，单口才能跑到2.5g,最近出差一直 ...

敢问大佬你的4121A开ROCE了么？双口一起干活，CPU占用飙到啥水平了？

tmhl0cr5

summerq 发表于 2024-1-16 10:05
网卡是双向通信的。一个网口25g，双向不就是50g么。那么两个网口双向都跑满就是100g。这种情况都是核心交 ...

理解了 谢谢大佬