SMB是可能静默数据损坏的，同步重要文件务必开启校验(加密)

zhuifeng88 · 发表于 2022-11-27 22:40

本帖最后由 zhuifeng88 于 2022-11-27 22:41 编辑

darkclown 发表于 2022-11-27 22:32
应该是我这边某一个环节错误率大而没被修正导致的，你那边应该不好观察到。。。 ...

回头看了一下你的说明, 确实有一些误解, tcp checksum只有16 bit, 并不能保证"理论上不可能出现如图这种错误还通过的情况", 只能做到在错误完全随机发生的情况下, 把发生了错误, 但没有发现的概率降低到没有checksum情况下的1/65536, 如果原本错误发生率很高的话, 16bit的checksum显然是不够用的

darkclown · 发表于 2022-11-27 22:43

本帖最后由 darkclown 于 2022-11-27 23:03 编辑

zhuifeng88 发表于 2022-11-27 22:40
回头看了一下你的说明, 确实有一些误解, tcp checksum只有16 bit, 并不能保证"理论上不可能出现如图这种 ...

图中这种片段，400G的12000个文件，在各种实验中都稳定地出现5~8次，大概得多高的错误率能达到这种结果？我wireshark看基本没有包被错误重传

zhuifeng88 · 发表于 2022-11-27 22:51

本帖最后由 zhuifeng88 于 2022-11-27 22:59 编辑

darkclown 发表于 2022-11-27 22:43
图中这种片段，400G的12000个文件，在各种实验中都稳定地出现5~8次，得多高的错误率能达到这种结果？我wi ...

假设完全均匀随机分布的情况下(虽然显然不是这样的分布), 但先这样估算吧, 就是只要发生327680-524288次错误就能导致5-8次错误通过tcp checksum的校验
400G数据大约182000000 802.11**帧, 大约就是需要0.2%的错误率就大致能达到这个数量级的tcp包内容错误并通过校验

MaverickLee · 发表于 2022-11-27 22:54

所以Teracopy和MultiPar是两个好软件

xbcyl · 发表于 2022-11-27 23:01

不大可能是SMB的问题。
我平时下载的电影和游戏（压缩包形式）都是通过smb上传到群晖，刚才看了一下，电影快60T，游戏快12T，还有各种照片、音乐、软件，杂七杂八加起来也有10几T，从来没遇到过文件损坏。如果才400G就碰到文件损坏，还怎么玩群晖。。。

darkclown · 发表于 2022-11-27 23:36

本帖最后由 darkclown 于 2022-11-28 00:06 编辑

zhuifeng88 发表于 2022-11-27 22:51
假设完全均匀随机分布的情况下(虽然显然不是这样的分布), 但先这样估算吧, 就是只要发生327680-524288次 ...

关键就是分布的问题，一般不是全随机，我记得以前看过有人分析过互联网上tcp的静默错误率，是一个很低的数，所以我第一反应是我这个情况不太可能。

不过你这么一说，我这个是burst的全随机错误，似乎概率更大？
按400G的N≈275,000,000个包中静默错误包的个数，要乘上几个因子：
1. burst阶段覆盖率，a=？
2. burst错误时不能影响mac/ip/tcp包头，按50/1500来算，避开这些的概率b=3%，不知道这样算对不

3. playload部分恰好通过checksum的概率，c=1/65536

要达到8个静默错误，需要a>6%，这个挺大的。

不过b是假设错误是由无线介质不稳算的，要是网卡或路由器程序bug，专门针对playload产生错误，那倒是有可能了啊。

Phil_Libra · 发表于 2022-11-27 23:38

darkclown 发表于 2022-11-27 23:36
关键就是分布的问题，一般不是全随机，我记得以前看过有人分析过互联网上tcp的静默错误率，是一个很低的 ...

你还是有线测测吧，别最后是Intel无线驱动的问题……

darkclown · 发表于 2022-11-27 23:48

Phil_Libra 发表于 2022-11-27 23:38
你还是有线测测吧，别最后是Intel无线驱动的问题……

我用的是win10自带的21.10.2.2版，我今晚升级下再测测。。。

Dzzz · 发表于 2022-11-28 00:17

WIN NAS开SMB共享用了这么多年，从来没有碰到过文件出问题的情况
虽然我不知道你这个是不是个例，但是拍脑门子想想我觉得不可能是SMB或者TCP的问题，这是非常严重的问题了，如果真出这种问题这协议早就废了

zhuifeng88 · 发表于 2022-11-28 00:20

本帖最后由 zhuifeng88 于 2022-11-28 00:22 编辑

darkclown 发表于 2022-11-27 23:36
关键就是分布的问题，一般不是全随机，我记得以前看过有人分析过互联网上tcp的静默错误率，是一个很低的 ...

1, 你这个1500算的是以太帧, 802.11帧不同版本有差异, 但都在2350B左右(当然抓包驱动可以选择转换成以太帧显示, 或者保持802.11*帧显示)
2, b不是算3%, 而是应该算97%吧

jcd_chh · 发表于 2022-11-28 00:39

darkclown 发表于 2022-11-27 22:34
你这个感觉跟我这很像啊，另外rsync是用什么协议的，ssh？那应用层有校验，和smb开加密效果应该一样了 ...

rsync我记得应该开了ssh协议

darkclown · 发表于 2022-11-28 00:47

zhuifeng88 发表于 2022-11-28 00:20
1, 你这个1500算的是以太帧, 802.11帧不同版本有差异, 但都在2350B左右(当然抓包驱动可以选择转换成以太 ...

1. 原来无线帧更大啊
2. 确实不对，不过应该也不是97%
从已发生的静默错误段长度平均值1000来看（当然不知道原始长度），在每帧周期中能滑动的位置有2350-50-1000(因为不能把下一个帧头覆盖了)，那就是55%了，确实很高啊

YoshinoSakura · 发表于 2022-11-28 13:23

你这个问题我也遇到过，也是开加密解决了

zhgna · 发表于 2022-11-28 13:43

还有这种事？SMB传了至少几百t了吧，传输途中各种情况都碰到过，还没发现一起有数据丢失或错误的。

ice0291 · 发表于 2022-11-28 13:53

我实在无力吐槽，这结论，好好把有线网部署起来。

e3h4v · 发表于 2022-11-28 14:19

你用有线吧，另外最好用交换机，路由器cpu满的时候可能会丢包

darkclown · 发表于 2022-11-28 14:20

ice0291 发表于 2022-11-28 13:53
我实在无力吐槽，这结论，好好把有线网部署起来。

这结论没问题吧，家庭内网，笔记本没人愿意用有线吧。。。

FelixIvory · 发表于 2022-11-28 14:25

darkclown 发表于 2022-11-27 21:42
帮忙找找那个帖子呗，我没找到

归档了，这个帖子我有印象。给文件加netgear的字头（字尾），帖主给网件反馈，当时就修复了。

seagull06 · 发表于 2022-11-28 14:37

大概率是数据包被拆分重组失败导致，普通交换机并不支持巨型帧。

darkclown · 发表于 2022-11-29 18:00

seagull06 发表于 2022-11-28 14:37
大概率是数据包被拆分重组失败导致，普通交换机并不支持巨型帧。

怎么看是不是巨型帧？wireshark看着都是1500以内的

qiu95 · 发表于 2022-11-29 18:47

darkclown 发表于 2022-11-27 21:58
看不到帖子，你能讲讲吗？那个案例中为何文件损坏而tcp校验可以过？

具体细节记不太清了，我记得是R7800的路由器如果开ap模式，一个网线接wan 另一个网线接lan，然后桥接。在传输大文件的时候samba文件的内容某些字符会被替换成WNDR之类的字符导致数据错误，当时猜测可能是内核bridge转发的时候发生了越界导致的？

sunhaine · 发表于 2022-11-29 18:51

你网络环境太差了,绝不可能是smb的问题

yuechsh · 发表于 2022-11-29 18:53

传输大量数据还是都挂在交换机下传输吧，路由器一过热就会有问题

oling · 发表于 2022-12-1 08:18

我SMB用这么多年了从来没有出错过，建议楼主先排查一下硬件看看吧。

皛羽控 · 发表于 2022-12-1 08:27

什么是静默损坏，先查查再用行不行？回到这个损坏问题我建议是更换硬件设备或者传输过程是否有干扰来排查，而不是把锅甩smb上。

rivr · 发表于 2022-12-1 09:45

暂时没发现出现这个问题，先关注一下，可能基于wifi的tcp并不是十分可靠？

港城钢铁侠 · 发表于 2022-12-1 09:54

不可能是SMB的问题，我工作中常用SMB往NAS上传大批量文件做备份，没有遇到过这种问题

wspjy · 发表于 2022-12-1 10:15

xbcyl 发表于 2022-11-27 23:01
不大可能是SMB的问题。
我平时下载的电影和游戏（压缩包形式）都是通过smb上传到群晖，刚才看了一下，电影 ...

游戏不好说，影视文件对数据错误的忍耐度很高，我迅雷下载电影常卡在99%不动，这时把文件改名直接拖进播放软件，一口气播完毫无问题。

ExFan · 发表于 2022-12-1 10:26

设备问题怪标准协议？挺逗...

Juzi丶 · 发表于 2022-12-1 10:33

楼上很多人真是无知者无畏的样子...
可能没见过SMB开了加密之后传输故障主动报错和比如不开加密传一个图直接裂掉的情况吧

账号		自动登录	找回密码
密码			加入我们

[网络] SMB是可能静默数据损坏的，同步重要文件务必开启校验(加密)