求助，两台TrueNAS SCALE服务器之间文件传输有无好办法

softz · 发表于 2022-10-24 06:48

本帖最后由 softz 于 2022-10-24 06:50 编辑

万兆局域网，搭建了两台TrueNAS SCALE服务器A和B，各自分别有30T左右的共享空间通过SMB共享了出来。文件互传目前是通过另一台WinServer的资源管理器来操作的，复制速率在430M/s到480M/s之间，能明显看到WinServer的网卡有Tx/Rx流量，就想问问，有没有A和B直接文件传输的方法？理论上A和B互传文件应该能达到800M/s+的（ZFS的磁盘IO足以满足，硬件是不存在瓶颈的）
微信图片_20221024064907.png

litguy · 发表于 2022-10-24 07:13

直接 scp/rsync 不就行了

softz · 发表于 2022-10-24 07:20

litguy 发表于 2022-10-24 07:13
直接 scp/rsync 不就行了

用命令行操作么？

BetaHT · 发表于 2022-10-24 08:10

先iperf3测测可否跑满

softz · 发表于 2022-10-24 08:32

本帖最后由 softz 于 2022-10-24 08:34 编辑

BetaHT 发表于 2022-10-24 08:10
先iperf3测测可否跑满

单线程iperf3是5.72Gbits/sec，三线程是9.66Gbits/sec

softz · 发表于 2022-10-24 08:38

这是NAS-A：

这是NAS-B：

T.JOHN · 发表于 2022-10-24 08:53

host1# zfs send tank/dana@snap1 | ssh host2 zfs recv newtank/dana

参考 https://docs.oracle.com/cd/E18752_01/html/819-5461/gbchx.html

Victor.dou · 发表于 2022-10-24 09:05

Data Protection 自带的功能，Replication。
就算不是truenas，也有rsync。

BetaHT · 发表于 2022-10-24 09:20

softz 发表于 2022-10-24 08:32
单线程iperf3是5.72Gbits/sec，三线程是9.66Gbits/sec

单线程应该跑满才对的。可以本地测试一下处理上限。

coolbo · 发表于 2022-10-24 09:44

Victor.dou 发表于 2022-10-24 09:05
Data Protection 自带的功能，Replication。
就算不是truenas，也有rsync。

部分文件拷贝还是文件管理器方便，可以mount一下远程文件服务smb或者nfs，然后使用filebrowser莱拷贝

Victor.dou · 发表于 2022-10-24 09:47

coolbo 发表于 2022-10-24 09:44
部分文件拷贝还是文件管理器方便，可以mount一下远程文件服务smb或者nfs，然后使用filebrowser莱拷贝 ...

Syncthing 就行了，2022年了，别手动了。

coolbo · 发表于 2022-10-24 10:12

Victor.dou 发表于 2022-10-24 09:47
Syncthing 就行了，2022年了，别手动了。

这是临时文件拷贝的需求，不是长期同步的需求，长期选用官方rsync或者zfs副本机制就行了

softz · 发表于 2022-10-24 10:54

BetaHT 发表于 2022-10-24 09:20
单线程应该跑满才对的。可以本地测试一下处理上限。

本地跑了一下，也是只有5G多一点，估计和NAS-B在eSxi上有关系，NAS-A是直接装在实体机上的

softz · 发表于 2022-10-24 10:55

coolbo 发表于 2022-10-24 09:44
部分文件拷贝还是文件管理器方便，可以mount一下远程文件服务smb或者nfs，然后使用filebrowser莱拷贝 ...

就是这个远程mount smb没搞明白，我g下资料看看怎么操作，感谢建议

softz · 发表于 2022-10-24 10:55

Victor.dou 发表于 2022-10-24 09:47
Syncthing 就行了，2022年了，别手动了。

就是临时copy一下部分文件，只是量有点大（大约互传45T左右），所以希望速度可以快一点

cvi21c · 发表于 2022-10-24 11:01

softz 发表于 2022-10-24 10:55
就是临时copy一下部分文件，只是量有点大（大约互传45T左右），所以希望速度可以快一点 ...

这内存好大。。如果是同步 rsync之类的写好脚本开个定时就不用管了能自动增量。如果是临时拷贝 scp之类的命令行工具也能满足。或者在一起机器起个ftp server 还能支持断点续传啥的。嫌速度慢网络有瓶颈，你就两个机器找根网线直连对拷就是了。

半支烟 · 发表于 2022-10-24 11:34

“文件互传目前是通过另一台WinServer的资源管理器来操作的”瓶颈应该在Win上，Win做了中转

BetaHT · 发表于 2022-10-24 11:49

softz 发表于 2022-10-24 10:54
本地跑了一下，也是只有5G多一点，估计和NAS-B在eSxi上有关系，NAS-A是直接装在实体机上的 ...

你可以看一下我之前折腾的2.5G网卡，也有遇到各种问题。看能否有些借鉴意义。

我认为目前的高速网络在各软硬件兼容性上还有不少问题。最好能在对称环境下跑。我当时两网卡一边win7一边10，有一个方向就有无法跑满速的问题。

coolbo · 发表于 2022-10-24 12:57

cvi21c 发表于 2022-10-24 11:01
这内存好大。。如果是同步 rsync之类的写好脚本开个定时就不用管了能自动增量。如果是临时拷贝 scp ...

scp涉及加密解密，传输性能不行

hanyou7 · 发表于 2022-10-24 13:24

两台rsync啊

litguy · 发表于 2022-10-25 22:30

softz 发表于 2022-10-24 07:20
用命令行操作么？

https://github.com/grussorusso/easybackup
可以试试用 crontab 定时调用这个同步

vistb · 发表于 2022-10-25 22:46

我只想说，2楼说的对，哈哈哈！

xigins · 发表于 2022-10-26 00:28

scp或者http.server

aitkots · 发表于 2022-10-26 01:07

把硬盘拔出来，人工搬运过去

账号		自动登录	找回密码
密码			加入我们

[网络] 求助，两台TrueNAS SCALE服务器之间文件传输有无好办法