网仙 发表于 2024-1-17 11:28
ESXI下能否实现
关掉每个vf的sproof以及通过trust on来授予权限。
不支持
switchdev only
网仙 发表于 2024-1-17 20:16
同一个物理网口下挂的虚拟机之间用vxnet3交换效率更高？
比如op软路由lan口和虚拟黑群的lan口，同时都是 ...
你这个例子虽然黑裙和OP之间的消耗稍低，但是OP到物理口的消耗高。半虚拟网卡比起全虚拟（E1000）省掉了无用的寄存器行为模拟，但是它依旧需要过虚拟机和宿主两层内核，效率没有直通/VF来的高。
不需要转接卡的单口40G的网卡有啥被动散热能hold住的吗？想给NAS上一张，最好是迈络思的[偷笑]
有没有啥实惠之选[狂笑]
本帖最后由 网仙 于 2024-1-17 23:56 编辑
rx_78gp02a 发表于 2024-1-17 23:14
你这个例子虽然黑裙和OP之间的消耗稍低，但是OP到物理口的消耗高。半虚拟网卡比起全虚拟（E1000）省掉了 ...
我目前是用的B结构；群晖也是用的VF虚拟网卡。
理论上说，如果群晖的流量比较大，群晖换成VXNET3，也就是A更合适？
最理想的应该是C这样？OP的WAN,LAN均物理直通。反正我4口网卡的结构是够用的。
认真丶对待 发表于 2024-1-17 23:18
不需要转接卡的单口40G的网卡有啥被动散热能hold住的吗？想给NAS上一张，最好是迈络思的
有没有啥实惠之选 ...
MCX4131A或者cx3pro吧 40G已经是淘汰的标准了 新卡貌似都没有40G规格的
tmhl0cr5 发表于 2024-1-18 00:16
MCX4131A或者cx3pro吧 40G已经是淘汰的标准了 新卡貌似都没有40G规格的
想请问下楼主，为啥40G标准比25G还要淘汰啊？按理说难道不是速率越高标准越新吗？
看帖子结合你回复我的，好像40G网卡推荐CX4或CX3系列的，而25G的推荐CX4或CX5系列的。25G是40G后面出来的吗？[怪脸]
还是说：10G/40G是一代，25G/100G是下一代？
网仙 发表于 2024-1-17 23:51
我目前是用的B结构；群晖也是用的VF虚拟网卡。
理论上说，如果群晖的流量比较大，群晖换成VXNET3，也就是 ...
方案A群辉VF和OP的VMNET3交换实际上是群辉VF和宿主PF的交换，一样走的PCIE通道。为什么会有这个诡异的现象是因为VF之间是隔离的，虚拟机的VF不受宿主管理，不能在宿主里通过软件桥接交换，每个虚拟机里面的VF驱动也是独立的，所以交换只能走pcie在外面绕一圈。举个例子，每个虚拟机等同于不同的房间，房间之间没有门（隔离），到其他房间只能出门经过走廊（PCIE通道），而走廊的宽度有限，即使SRIOV的效率高但是总带宽有限，做不到软交换那么大（VMNET3 好像有40G的带宽）
下面的图说明交换是在网卡上实现。
对于你的问题，方案A和方案B基本上没区别，因为群辉到OP的流量不可能大于到PC和WINSERVER。
认真丶对待 发表于 2024-1-18 00:35
想请问下楼主，为啥40G标准比25G还要淘汰啊？按理说难道不是速率越高标准越新吗？
看帖子结合你回复我的 ...
40G要和100G做比较，40G是4条10G，100G是4条25G。40G虽然比25G快但它基于老旧的10G标准，只是通过更宽的通道实现高速率。除此之外还有10条10G的 100G CFP模块，硕大无比。
rx_78gp02a 发表于 2024-1-18 00:48
40G要和100G做比较，40G是4条10G，100G是4条25G。40G虽然比25G快但它基于老旧的10G标准，只是通过更宽的 ...
感谢回复。感觉数据中心100G都有点过时了，家用才刚开始研究10G[困惑]
认真丶对待 发表于 2024-1-18 00:35
想请问下楼主，为啥40G标准比25G还要淘汰啊？按理说难道不是速率越高标准越新吗？
看帖子结合你回复我的 ...
参考128楼大佬说的 我补充一点
1G(sfp)/10(sfp＋)/25G(sfp28)/50G(sfp56)
以上都是sfp接口的
而40G(qsfp)/100G(qsfp28)/200G(qsfp56)
都是qsfp是quad-sfp相当于四个sfp叠加
10G和40G属于老标准 而25G/50G和与其对应的100G/200G都是新标准
这就是为什么现在小黄鱼机房淘汰下来的10G交换机非常便宜
而25G/50G/100G交换机十分昂贵 就是因为是新标准 机房没有大批量淘汰
也是为什么楼上有人求推荐25G交换机以及
讨论25G网卡能不能做交换机用途的原因[喜欢]
tmhl0cr5 发表于 2024-1-18 01:06
参考128楼大佬说的 我补充一点
1G(sfp)/10(sfp＋)/25G(sfp28)/50G(sfp56)
以上都是sfp接口的
我说呢，怎么有些10G交换机带40G接口，而没有带25G接口的[狂笑]
感谢
rx_78gp02a 发表于 2024-1-18 00:35
方案A群辉VF和OP的VMNET3交换实际上是群辉VF和宿主PF的交换，一样走的PCIE通道。为什么会有这个诡异的现 ...
收到，感谢老铁，
还是给他整成C方案比较好.
我家里还是千兆网络。。。。
rx_78gp02a 发表于 2024-1-18 00:35
方案A群辉VF和OP的VMNET3交换实际上是群辉VF和宿主PF的交换，一样走的PCIE通道。为什么会有这个诡异的现 ...
对了，我一直以为虚拟机使用SRIOV模式，虚拟机的流量是不经过PCIE，而是由网卡直接交给上联的物理交换机端口的，所以交换效率高，不占用CPU资源，看来这个认知有误区？
网仙 发表于 2024-1-18 22:51
对了，我一直以为虚拟机使用SRIOV模式，虚拟机的流量是不经过PCIE，而是由网卡直接交给上联的物理交换机 ...
数据要到达网卡必须经过PCIE，不明白你这个上联交换机端口指的是什么位置，是外部交换机吗？
rx_78gp02a 发表于 2024-1-18 22:56
数据要到达网卡必须经过PCIE，不明白你这个上联交换机端口指的是什么位置，是外部交换机吗？ ...
对，就是指的外部交换机。
如果虚拟机数据从VF到外部交换机需要经过CPU跑一圈，
不同虚拟机的VF之间交换也需要到CPU跑一圈，
那这个Sriov感觉没有存在价值了？
网仙 发表于 2024-1-18 23:34
对，就是指的外部交换机。
如果虚拟机数据从VF到外部交换机需要经过CPU跑一圈，
通用目的操作系统中的网络栈更多是针对灵活性的优化，这意味着它们花在每个包上的指令太多了，不适合网络高吞吐的场景。
SRIOV旁路宿主内核，让虚拟机直接操作底层设备。
ovs dpdk则是在软交换中利用DPDK把工作放在用户态，避免高昂的上下文切换。
上面两种方式都是尽量避免/减小宿主层网络栈开销。
rx_78gp02a 发表于 2024-1-19 00:26
通用目的操作系统中的网络栈更多是针对灵活性的优化，这意味着它们花在每个包上的指令太多了，不适合网络 ...
DPDK减小南北向开销，sriov减小东西向开销
好文章呀 标记下 以免找不到
战略MARK
NAS是双2.5口，电视盒是单千兆口。。。。
davryddr 发表于 2024-1-26 15:12
NAS是双2.5口，电视盒是单千兆口。。。。
其实够用稳定就行 瞎折腾容易boom
tmhl0cr5 发表于 2024-1-18 01:06
参考128楼大佬说的 我补充一点
1G(sfp)/10(sfp＋)/25G(sfp28)/50G(sfp56)
以上都是sfp接口的
感谢，看来要开始给QSFP28攒钱了
summerq 发表于 2024-1-16 10:08
关于这一点，我自己试过。我是用了一个connectx-6的网卡，25g端口，不过接10g交换机。这种情况下如果数据 ...
请教下，connectx的网卡 25g口可以插10g光模块连交换机吗？还是光模块用sfp28的，直接光纤跳线和交换机10g光口连？我想用的是网卡一个口和另外一台25g直连，另一个口则是连到交换机10g光口上。谢谢！
Illidan2004 发表于 2024-2-2 14:58
请教下，connectx的网卡 25g口可以插10g光模块连交换机吗？还是光模块用sfp28的，直接光纤跳线和交换机10 ...
可以直接用10G的模块，这样反而更好。网卡用25G模块，交换机用10G模块会无法连接。
rx_78gp02a 发表于 2024-2-2 15:02
可以直接用10G的模块，这样反而更好。网卡用25G模块，交换机用10G模块会无法连接。 ...
好的，谢谢
Illidan2004 发表于 2024-2-2 14:58
请教下，connectx的网卡 25g口可以插10g光模块连交换机吗？还是光模块用sfp28的，直接光纤跳线和交换机10 ...
我的用法就跟你一模一样。两个sfp28口，其中一个用dac线直链nas，另外一个用模块连10g有线网络。没有任何问题的。25g是向下兼容10g的
summerq 发表于 2024-1-16 09:47
5代大部分是pcie3.0x8的卡，与4代相同。只有很少几个型号是pcie 4.0x8。而6代全部都是pcie4.0。理论上讲 ...
求推荐一个6代的25G网卡，我希望可以跑满双向的。
tmhl0cr5 发表于 2024-1-16 07:13
确实是这样的 之前一个3cm风扇一周就坏了 不过40x40x7mm规格的5V风扇选择真的不多 找了半圈只有国产杂牌...
标准工业级风扇还是可以的，比如建准、台达等。之前设备上用的风扇客户自己淘宝买的杂牌，1个月坏一半，俩月全坏，设备就总是过热报警，后来买的原厂的，记得也是台达之类的，两三年没事。室内重污染环境，干一年风扇后面的超大散热片能糊死那种。
alwayskid 发表于 2024-1-16 10:38
群晖系统慎用，目前群晖的驱动最高只支持CX4和CX4Lx
这东西是真的热，不加风扇各种过热报错 ...
群晖只支持到cx4啊...前一段时间还想搞个cx5的100G卡给群晖升级