eSXi下10G网卡是不是有SMB的速度瓶颈问题？

softz · 发表于 2022-12-19 22:36

本帖最后由 softz 于 2022-12-19 22:38 编辑

eSXi直通10G网卡给虚拟机，虚拟机和实体机之间测速确认是能跑到10G的，但是虚拟机的SMB下文件复制到实体机，只能跑到400MB/S，始终无法突破更高传输速度（虚拟机和实体机的IO都无瓶颈，可以保证跑到1GBbit以上）
网络拓扑图如下：

blanksign · 发表于 2022-12-20 00:28

esxi的特性。硬盘永远不会满速。

Juzi丶 · 发表于 2022-12-20 00:43

truenas scale搭个e5v3根本不可能稳跑10G的smb，你要10G要客户端和服务端的cpu够快才行

屏幕截图 2022-12-20 004057.png

Juzi丶 · 发表于 2022-12-20 00:45

客户端
ESXi 8.0a，Windows 10 IoT 企业版 LTSC 19044.2364，8269CY SST配置20核高频

服务端
TrueNAS CORE 13 U3.1，AIO读写+SMB加密，72F3

lwb0428 · 发表于 2022-12-20 00:46

该说不说，楼主图画的真认真…

wxlg1117 · 发表于 2022-12-20 00:57

windows的smb才是瓶颈吧

掉毛天使 · 发表于 2022-12-20 03:01

先看看windows版本 win11 22H2是跑不满的有bug 官方准备明年再修

pomeloking · 发表于 2022-12-20 07:59

该说不说，楼主图画的真认真…

港城钢铁侠 · 发表于 2022-12-20 08:06

硬盘直通、网卡巨型帧这些都试过了么？换个客户端试试，找个Linux的发行版，可以分别试试试试Samba和KSMBD，webdav也可以试试

Ramiel · 发表于 2022-12-20 08:13

这个不是很简单，直接两个进程复制看看啊，如果一个进程400MB，两个能有700MB，三个能满10G，那问题就不在网卡啊

weiyi · 发表于 2022-12-20 08:40

lwb0428 发表于 2022-12-19 11:46
该说不说，楼主图画的真认真…

是真的认真

normanlu · 发表于 2022-12-20 08:43

routeros我给512M内存都嫌多，多了纯浪费

tpxcer · 发表于 2022-12-20 08:57

楼主，我也想画图，用的什么软件？

shadow404 · 发表于 2022-12-20 13:17

楼主这个绘图软件是啥？

imyz · 发表于 2022-12-20 13:47

10Gbps 要跑满之前看人讲建议开巨帧（Jumbo Frames）模式。

普通 TCP/IP 一般默认 1500/帧，TCP/IP 协议都是封包、拆包的过程，10Gbps 下等于是原来 1G x10 倍的工作量，对网卡和交换/路由设备而言都是不小的开销

faninx · 发表于 2022-12-20 14:12

我是来学画拓扑图的

softz · 发表于 2022-12-20 14:45

blanksign 发表于 2022-12-20 00:28
esxi的特性。硬盘永远不会满速。

直通SATA给TrueNAS的，也不能满速？

softz · 发表于 2022-12-20 14:46

Juzi丶发表于 2022-12-20 00:43
truenas scale搭个e5v3根本不可能稳跑10G的smb，你要10G要客户端和服务端的cpu够快才行

...

双U的情况下居然也不能满足SMB跑满10G？这个我不太能理解

softz · 发表于 2022-12-20 14:47

掉毛天使发表于 2022-12-20 03:01
先看看windows版本 win11 22H2是跑不满的有bug 官方准备明年再修

我是在Windows Server 2022 上跑的，也是这个结果，Win11确实不行

fyc858 · 发表于 2022-12-20 14:47

我不直通都没瓶颈

softz · 发表于 2022-12-20 14:48

Ramiel 发表于 2022-12-20 08:13
这个不是很简单，直接两个进程复制看看啊，如果一个进程400MB，两个能有700MB，三个能满10G，那问题就不在 ...

已经是试过，三线并发copy也都是合并在400左右

softz · 发表于 2022-12-20 14:49

tpxcer 发表于 2022-12-20 08:57
楼主，我也想画图，用的什么软件？

Visio画的呀

softz · 发表于 2022-12-20 14:49

shadow404 发表于 2022-12-20 13:17
楼主这个绘图软件是啥？

Visio画的呀

softz · 发表于 2022-12-20 14:50

imyz 发表于 2022-12-20 13:47
10Gbps 要跑满之前看人讲建议开巨帧（Jumbo Frames）模式。

普通 TCP/IP 一般默认 1500/帧，TCP/IP 协议都 ...

我的华为交换机支持9216巨帧，我也都开了，结果是一样的，所以我想不通，按道理也不应该被限制在400M左右的速度

老饭 · 发表于 2022-12-20 14:54

routeros给 22核 16g内存这是要干啥

hzrdog · 发表于 2022-12-20 15:27

图画得太认真了

非常适合攻击的时候找路

hzrdog · 发表于 2022-12-20 15:30

老饭发表于 2022-12-20 14:54
routeros给 22核 16g内存这是要干啥

8成是写错了 cpu超配了内存却没用完

testcb00 · 发表于 2022-12-20 15:39

自己先看看Windows/NAS OS有没开Jumbo Frame 9000
Iperf3 多线程能不能跑9Gb/s+
华为交换机再确认设置正确
排除网卡问题再搞 Samba

我all-in-boom ESXi (pfSense + TrueNAS)，Samba (SAS SSD) 极限能跑700MB/s+
Samba (SATA HDD Mirror) 都能跑200MB/s 开始可以500MB/s

hzrdog · 发表于 2022-12-20 15:40

重新看了一遍帖子 lz虽然放了图但是并没有说在哪两个机器之间测的

softz · 发表于 2022-12-20 15:48

hzrdog 发表于 2022-12-20 15:40
重新看了一遍帖子 lz虽然放了图但是并没有说在哪两个机器之间测的

是eSXi上的TrueNAS和实体机上的TrueNAS之间测的，eSXi上的TrueNAS是直通的X550-T2，也不是虚拟网口

账号		自动登录	找回密码
密码			加入我们

[网络] eSXi下10G网卡是不是有SMB的速度瓶颈问题？