tmhl0cr5 发表于 2024-1-16 07:37
25g交换机价格太高了 现阶段还是直连更有性价比
我曾经考虑过弄一台软路由做25G交换机，就是不知道性能如何，最后还是直连的。
zhangyu1216 发表于 2024-1-16 10:24
我曾经考虑过弄一台软路由做25G交换机，就是不知道性能如何，最后还是直连的。 ...
cx5可以卡上交换 不怎么占用cpu资源 我是准备nuc9上两张cx542b做软路由
yutian12345 发表于 2024-1-16 10:04
两个一起你咋测的
smb多通道
声色茶马 发表于 2024-1-16 10:13
敢问大佬你的4121A开ROCE了么？双口一起干活，CPU占用飙到啥水平了？
不知道ROCE是啥，那应该是没开的，epyc 7231p，cpu好像没啥特别高的占用，具体没注意
我以为2.5G[震惊]
summerq 发表于 2024-1-16 10:03
你这速度已经相当可以了，再往上你两边都换linux，其次假设你要用100g的6代卡，那么ofed驱动默认就打开了 ...
我只看懂了一半，我得学习学习
这个cx5大芯片发热有点大，只有25g有点可惜了。
ocp网卡始终有个稳定性的问题，还有ocp对pcie信号稳定和强度有要求，能不ocp还是别ocp了。
cx5的华为sp350 100g网卡价格大概在500左右，还带保修。这个25g的二手+ocp转换卡价格都300了，不如加钱 [再见]
brucelee1126 发表于 2024-1-16 10:28
smb多通道
这个有性能上限的
summerq 发表于 2024-1-16 09:43
linux下可以。关掉每个vf的sproof以及通过trust on来授予权限。vf直通，pf还能加入bridge ...
这样做想省一个交换机的钱。。你说的这样。我大概理解，但是实际操作上也没有什么可指引的，不太懂这个，弄了半天弄不下去。。而且也不清楚这种交换效率如何，太低了那还不如不弄。。。
我的网卡在最下面那条PCIE槽被底部风扇怼着吹好像还挺好使。
但是我没有25G的交换机=。=
群晖系统慎用，目前群晖的驱动最高只支持CX4和CX4Lx[生病]
这东西是真的热，不加风扇各种过热报错
yutian12345 发表于 2024-1-16 10:34
这个有性能上限的
貌似smb和资源管理器都有性能上限，但是日常不就是用这些吗，家用局域网，没什么更深的用途
brucelee1126 发表于 2024-1-16 10:38
貌似smb和资源管理器都有性能上限，但是日常不就是用这些吗，家用局域网，没什么更深的用途 ...
我的意思就是换网卡也没啥用
brucelee1126 发表于 2024-1-16 10:31
不知道ROCE是啥，那应该是没开的，epyc 7231p，cpu好像没啥特别高的占用，具体没注意 ...
我觉得roce粗略理解就是RDMA，就是那种网卡拉满依然可以不占CPU，直接网卡往内存里怼数据那种技术。
yutian12345 发表于 2024-1-16 10:39
我的意思就是换网卡也没啥用
OK,网卡到不是太纠结，我倒是想上台交换机
声色茶马 发表于 2024-1-16 10:42
我觉得roce粗略理解就是RDMA，就是那种网卡拉满依然可以不占CPU，直接网卡往内存里怼数据那种技术。 ...
rdma开了没生效，win10专业版对quts hero
happysun110 发表于 2024-1-16 10:34
这个cx5大芯片发热有点大，只有25g有点可惜了。
ocp网卡始终有个稳定性的问题，还有ocp对pcie信号稳定和强 ...
确实 cx512a闲鱼500可以买到 带一年保修 但我nuc9体积太小了上双网卡必须两张卡都是单槽 cx542b像我这样改完散热只占单槽 而cx512a直接绑风扇上去会占用两个槽 如果改单槽就要铣散热片了 比较操蛋 机箱体积足够的情况下还是上cx512a吧
summerq 发表于 2024-1-16 10:08
关于这一点，我自己试过。我是用了一个connectx-6的网卡，25g端口，不过接10g交换机。这种情况下如果数据 ...
我测的结果不一样，VF和VF之间走的PCIE带宽。用的CX542B和CX4421A，跑在PCIE 2.0X2总线，测速为6.5Gbps。VF和VF的速率减半到2.8Gbps左右。你测的VF交换速率大于10G我猜测是PCIE的带宽足够。
brucelee1126 发表于 2024-1-16 10:45
rdma开了没生效，win10专业版对quts hero
mellanox开rdma可以参考这个视频BV1hc41187aa
intel网卡开rdma可以参考这个视频
BV14c411b7ky
tmhl0cr5 发表于 2024-1-16 10:48
mellanox开rdma可以参考这个视频BV1hc41187aa
intel网卡开rdma可以参考这个视频
BV14c411b7ky ...
学习一下，谢谢
brucelee1126 发表于 2024-1-16 10:45
rdma开了没生效，win10专业版对quts hero
收到。好像专业版确实开不开。至少工作站版，或者企业版。而且还只能下行不能作数据提供方。想双向自由的RDMA只能上Sever。M$之鸡贼可见一斑。
rx_78gp02a 发表于 2024-1-16 10:47
我测的结果不一样，VF和VF之间走的PCIE带宽。用的CX542B和CX4421A，跑在PCIE 2.0X2总线，测速为6.5Gbps。 ...
没错。我网卡是mellanox connectx-6 lx，跑在pcie4x8，128GT/s
tmhl0cr5 发表于 2024-1-16 07:37
25g交换机价格太高了 现阶段还是直连更有性价比
25G直连，硬盘用什么呢？什么需求需要这么高的传输速度？
声色茶马 发表于 2024-1-16 10:59
收到。好像专业版确实开不开。至少工作站版，或者企业版。而且还只能下行不能作数据提供方。想双向自由的 ...
专业工作站貌似是可以的 这个视频提到过
【终结流言！坊间流传的两大Windows RDMA的错误认知-哔哩哔哩】 https://www.bilibili.com/video/av835873483?p=1&unique_k=114514
雨季不再来 发表于 2024-1-16 11:04
25G直连，硬盘用什么呢？什么需求需要这么高的传输速度？
生命在于折腾(doge)
雨季不再来 发表于 2024-1-16 11:04
25G直连，硬盘用什么呢？什么需求需要这么高的传输速度？
3.0的固态可以喂饱了
tmhl0cr5 发表于 2024-1-16 11:06
专业工作站貌似是可以的 这个视频提到过
【终结流言！坊间流传的两大Windows RDMA的错误认知-哔哩哔哩】...
学习了。谢分享。
搞怪总牛逼，看了不少他的视频。
chip_discovery 发表于 2024-1-16 08:40
当时因为是用在dell服务器上，而且发现25G OCP网卡竟然比 10G的还便宜，所以就买了戴尔 拆机版 Mellanox CX ...
华为拆机的x520好像80左右，万兆的https://cdn.jsdelivr.net/gh/master-of-forums/master-of-forums/public/images/patch.gif
summerq 发表于 2024-1-16 11:00
没错。我网卡是mellanox connectx-6 lx，跑在pcie4x8，128GT/s
测试结果很牛逼，这是啥软件？机箱很像五花肉的
纨绔弟子 发表于 2024-1-16 11:21
华为拆机的x520好像80左右，万兆的
x520是2.0x8比较难受 而且已经eol了 发热也比较大 现在180可以买cx4121a双口25G兼容10G 发热也低很多 感觉是更好的选择