求助一些关于SMB3.0多通道叠加带宽问题

认真丶对待

最近需要变更NAS端配置，想起当初遇到的问题，需要大家帮忙答疑解惑。

当初winnas刚刚弄好的时候，因家中没有任何千兆以上设备，所以就只给nas和主力机都插了两根网线弄SMB3多通道网速叠加。
然后当时就遇到了问题，主力机无法做到网速叠加，只有二奶机可以正常叠加网速，当时也是每天在网上搜来搜去，关于SMB3多通道的信息少之又少。
经过好几天晚上的搜索，最后算是不完美解决了吧，需要把主力机的两个网卡的“接收方调整”（默认开启）全部关闭后就可以正常叠加网速。
当时网上大部分的关于这个多通道叠加都说的是只要有两个速率相同的网卡，win10版本在20H2以上就可以直接叠加网速。
之前也了解到各个网卡RSS队列数量不同，但是资料太少，还是不太明白。


问题1：想了解windows下SMB3网速叠加的各种条件？（包括软件和硬件）
问题2：为什么在不同网卡下，不关这个接收方调整就不能叠加网速？
问题3：不同网卡，默认设置下不能叠加带宽这个问题，是只会出现在客户端还是说NAS端也会出现这类问题？

最近需要变更下NAS的配置，主板就需要换了。手头的主板因为没有带两个相同网卡的，所以感觉这个问题会再次困扰我。

网络拓扑图如下：

kartanus

咬咬牙整个HPE 530+洋垃圾(配上FLR转接卡100多一张)
57810S单卡就俩10Gbps汇聚不比折腾这个划算...

甚至你可以上HPE 544+，NAS和主力机直接40Gbps直连就完了

认真丶对待

kartanus 发表于 2023-2-7 19:57
咬咬牙整个HPE 530+洋垃圾(配上FLR转接卡100多一张)
57810S单卡就俩10Gbps汇聚不比折腾这个划算...

主要是想学习下知识，但是实在是查不到

而且实在是没PCIE槽了，只能折腾一下了

coolred

点对点太多，识别有BUG？交换机链路聚合功能有没有，主PC，副PC强制各客户端的2个端口组团，试试能不能解决？

认真丶对待

coolred 发表于 2023-2-7 21:04
点对点太多，识别有BUG？交换机链路聚合功能有没有，主PC，副PC强制各客户端的2个端口组团，试试能不能解决 ...

交换机是有手动汇聚功能的，但是我不是想用链路聚合，而且SMB3.0多通道，所以就把交换机开成傻瓜模式了。

我这的主要问题就是客户端两个不同的网卡需要关闭接收端调整功能才能正常叠加。想知道为什么会这样。

coolred

认真丶对待 发表于 2023-2-7 21:13
交换机是有手动汇聚功能的，但是我不是想用链路聚合，而且SMB3.0多通道，所以就把交换机开成傻瓜模式了。 ...

我知道，我的意思是通过链路聚合对端口组队后，有没有可能解决你的问题。在交换机层面由于存在3对SMB3多通道组合，数据传输时会不会发生适用哪2个端口组成多通道的识别障碍，只是建议而已。

认真丶对待

coolred 发表于 2023-2-7 21:34
我知道，我的意思是通过链路聚合对端口组队后，有没有可能解决你的问题。在交换机层面由于存在3对SMB3多 ...

噢，没聊岔就行。
这个之前是试过的，不管用。因为SMB3叠加这个就是当初想弄三组链路聚合，然后通过发帖有大佬支招说聚合不如直接走SMB3这个叠加，当时都试了确实聚合不咋好用。
当时交换机的聚合还存在的时候就开始弄这个SMB3的叠加，就也这样。
因为没有第四台双网口的电脑了，所以没有对照组，才来发帖问问。

目前就是不清楚我这个i211AT+i218V不禁用RSS这个功能就不能叠加，到底是软件问题还是硬件限制 因为想给NAS换的这个主板是i210AT+i219LM的。

coolred

认真丶对待 发表于 2023-2-7 21:45
噢，没聊岔就行。
这个之前是试过的，不管用。因为SMB3叠加这个就是当初想弄三组链路聚合，然后通 ...

主PC用任务栏上的搜索框中搜索凭据管理器，选择windows凭据，删除原登陆NAS的凭据，删除之后重启pc，PC 端再次登录群晖的ip，进入一次共享（需要重新输入用户名和密码），然后再试试看

认真丶对待

coolred 发表于 2023-2-7 22:02
主PC用任务栏上的搜索框中搜索凭据管理器，选择windows凭据，删除原登陆NAS的凭据，删除之后重启pc，PC  ...

这个之前也试过，不管用

coolred

认真丶对待 发表于 2023-2-7 22:05
这个之前也试过，不管用

那啥，兄弟，我真尽力了

认真丶对待

coolred 发表于 2023-2-7 22:06
那啥，兄弟，我真尽力了

哈哈，感谢帮助吧

我当时也是每天下班回家吃完饭一直研究到半夜一点多，三四晚才研究出来个关闭RSS那个能凑活用的方法，但是网上搜不出来太多原理或者解答

我就是怕NAS换完主板彻底不能用了，所以来问问原理

fell9999

SMB多通道的记得是多IP下的多通道
UP不如把winnas其中一网线设置成dhcp。另一设置成不同于路由器DHCP段的另外一段IP。主力机也一样。双方开启SMB多通道。
也许，可能，不确定。就能叠加。
但是有条件我还是推荐用teaming。

Set-SmbServerConfiguration -EnableMultiChannel 1

jhhuang

SMB3 比较完美的方案，一直在用，看你图纸是可以实现的。最起码是要操作系统支持，双网卡 usb网卡都可以。。。
对交换机没硬性要求

phantom0308

我用链路聚合尝试点对点叠加一次都没成功过，两端全是windows的smb3叠加成功过1种情况，winserver to winserver，换了win10 win11都不行；群晖的不用问，只要群晖做服务器端，无论客户端什么系统都能smb叠加

coolred

认真丶对待 发表于 2023-2-7 22:11
哈哈，感谢帮助吧

我当时也是每天下班回家吃完饭一直研究到半夜一点多，三四晚才研究出来个关闭RS ...

另外，提醒一下，关于win10的客户端，尝试主PC搜索，启用或关闭windows功能，把SMB1.0/CIFS文件共享支持 全部停用，仅保留SMB直通，可能会有用

zhgna

两台老掉牙gen8，一台win2012，一台win2016，插满双网口后，smb传输双千兆自动叠加，期间啥也没动，rss也是开启状态。

认真丶对待

fell9999 发表于 2023-2-7 23:31
SMB多通道的记得是多IP下的多通道
UP不如把winnas其中一网线设置成dhcp。另一设置成不同于路由器DHCP段的另 ...

您说的这个都试过了，也没成功
teaming和后边的这条指令是干嘛用的？

认真丶对待

jhhuang 发表于 2023-2-7 23:51
SMB3 比较完美的方案，一直在用，看你图纸是可以实现的。最起码是要操作系统支持，双网卡 usb网卡都可以。 ...

说的是呢，我看网上也是说板载网卡+USB网卡全默认都能成功，我这个俩板载的不一样的网卡却需要关闭RSS才能用。百思不得其解

认真丶对待

phantom0308 发表于 2023-2-7 23:53
我用链路聚合尝试点对点叠加一次都没成功过，两端全是windows的smb3叠加成功过1种情况，winserver to winse ...

这个NAS端也是试过黑裙的，也是需要主力机关闭RSS，所以来问问有没有了解RSS这个功能的大神

认真丶对待

zhgna 发表于 2023-2-8 14:03
两台老掉牙gen8，一台win2012，一台win2016，插满双网口后，smb传输双千兆自动叠加，期间啥也没动，rss也是 ...

请问gen8的网卡也是俩一样的吧？

phantom0308

认真丶对待 发表于 2023-2-8 19:33
这个NAS端也是试过黑裙的，也是需要主力机关闭RSS，所以来问问有没有了解RSS这个功能的大神 ...

我感觉这个是intel网卡的问题，我用mellanox cx3 pro从来没有改过这项

认真丶对待

phantom0308 发表于 2023-2-8 22:06
我感觉这个是intel网卡的问题，我用mellanox cx3 pro从来没有改过这项

我个人感觉是不是RSS队列深度不同，我图上三台机器，另外两台网卡相同的都没问题，唯独211+218的需要手动关闭才可以叠加网速

还是期待有各路大神解惑

fell9999

你是如何测试SMB的速度的？对拷吗？
另外你方便把你的IP写上来吗。方便诊断
不要去弄队列。默认就行了。再垃圾的板载网卡也能跑满千兆。另外愿意折腾的话。不妨把你二奶机的硬盘板到主力机再测一下。
如果有闲置的SSD。做个新系统。立马测试。控制变量

认真丶对待

fell9999 发表于 2023-2-8 22:43
你是如何测试SMB的速度的？对拷吗？
另外你方便把你的IP写上来吗。方便诊断
不要去弄队列。默认就行了。再 ...

就是大文件对拷测试的
ip：nas这边固定ip（10.0.0.200 10.0.0.201）第二个ip也用过dhcp
主力机（10.0.0.218；10.0.0.219）和二奶机（10.0.0.134；10.0.0.135）两个都是dhcp，然后主力机和二奶机也都保存了nas两个ip的凭据。也就是两个ip都连一次。
然后不管是读还是写，主力机和nas间，看网卡占用，nas那边两个500不到，是平衡的，主力机这边一个0一个900多。然后只要把主力机两个网卡的接收方调整都关闭，就能两个网卡都900+了。
然后二奶机和nas那边网卡设置都是默认的，也就是接收方调整那个选项默认都是开启的，读写都能成功叠加，任务管理器双方两个网卡都是900+速度。
另外nas这边用过winserver2022和黑裙6.1.7都试过和二奶机之间都是正常能叠加，唯独主力机这边一直有问题。

目前是因为nas机器的主板坏了，要换配置，所以来问问这个问题的原因，因为如果有解决方案的话，nas那边的主板也会换成双板载网卡不同的（手头有主板可以利旧），如果这几天实在没有解决方案的话，就准备给nas换主板另外买张i350用了

jimmyjin

这个可能是你的win10 22H2 版本特有吧？ 因为我古早时候（2018？）自己试过板载2网卡加PCIe槽上双网口总共4千兆的SMB3 带宽叠加是可以成功的。 219V+ realtek81111

认真丶对待

jimmyjin 发表于 2023-2-9 17:04
这个可能是你的win10 22H2 版本特有吧？ 因为我古早时候（2018？）自己试过板载2网卡加PCIe槽上双网口总共4 ...

那你要是能不同网卡叠加成功的话，我更感觉是i211网卡问题
因为系统21H2也这样

jimmyjin

认真丶对待 发表于 2023-2-9 17:09
那你要是能不同网卡叠加成功的话，我更感觉是i211网卡问题
因为系统21H2也这样 ...

哦， 对了， 因为两个网口两个IP 好像有时候通过一个IP不行， 另一个行， 你试试换对面server的另一个IP 来传SMB？

认真丶对待

jimmyjin 发表于 2023-2-9 17:19
哦， 对了， 因为两个网口两个IP 好像有时候通过一个IP不行， 另一个行， 你试试换对面server的另一个IP  ...

试过啦，都是我在24楼说的情况。
看来只能是i211+218v同时用时，网卡和SMB兼容不好了呗了呗

jimmyjin

认真丶对待 发表于 2023-2-9 17:21
试过啦，都是我在24楼说的情况。
看来只能是i211+218v同时用时，网卡和SMB兼容不好了呗了呗 ...

别折腾千兆了， 可以负担就全万兆， 省钱就2.5G， 交换机搞起来

认真丶对待

jimmyjin 发表于 2023-2-9 18:00
别折腾千兆了， 可以负担就全万兆， 省钱就2.5G， 交换机搞起来

主要还是想学习学习知识，以后2.5G没准也弄SMB带宽叠加，到时候没准用得上