客服中心
业务咨询
技术支持
在线客服
Linux如何提高大文件的拷贝效率以节约时间
添加时间：2016-1-6 17:34:13
添加：
思海网络
Linux系统操作中，当你在进行机器直接的拷贝时，遇到大文件的时候非常浪费时间，特别是将文件同时拷贝到多台机器上的时候，那么有什么好的方法能够提高大文件的拷贝效率呢？一起来学习下吧。
你可以从源机器逐个拷贝到逐台目标机器，但是往往时间也是成倍的。或者你也可以同时从源机器同时拷贝到多个目标机器，但是受制于源机器的带宽等因素，速度并不见得真的很快。
还好，借助一些UNIX工具可以做的更好。把tee和FIFO组合起来，可以形成一个文件快速分发链：处于分发链中的每台机器会保存文件，同时还分发给它的下一环。
首先，选定一台目标机器做为分发链的最后一环，在这台机器上只需要用nc监听（假定端口是1234），再通过管道由pigz解压缩，继续通过管道把数据交由tar来分解。
nc -l 1234| pigz -d | tar xvf -
然后，再从分发链的末端往上走，设置其它目标机器，同样要经过监听、解压、分解，不过在解压之前我们通过tee命令将数据输出到命名管道（FIFO），另外的一条shell管道会将这些未解压的数据同时分发到分发链的下一环：
mkfifo myfifo
nc hostname_of_next_box 1234 nc -l 1234| tee myfifo | pigz -d | tar xvf -
最后，在源机器上启动分发链，让数据传输到分发链的第一环：
tar cv some_files | pigz | nc hostname_of_first_box 1234
在我的测试中，分发链中的每台机器大概损失了3%-10%的性能（相对于1对1的拷贝而言），但是相对逐个逐个的拷贝或者单台机器向多台机器同时分发，效率提升是很明显的。
上面就是Linux提高大文件拷贝效率的方法介绍了，主要通过UNIX工具形成一个文件快速分发链来实现大文件的快速拷贝，效率提高了不少。
关键字：Linux、数据传输、系统
新文章:
- CentOS7下图形配置网络的方法
- CentOS 7如何添加删除用户
- 如何解决centos7双系统后丢失windows启动项
- CentOS单网卡如何批量添加不同IP段
- CentOS下iconv命令的介绍
- Centos7 SSH密钥登陆及密码密钥双重验证详解
- CentOS 7.1添加删除用户的方法
- CentOS查找/扫描局域网打印机IP讲解
- CentOS7使用hostapd实现无AP模式的详解
- su命令不能切换root的解决方法
- 解决VMware下CentOS7网络重启出错
- 解决Centos7双系统后丢失windows启动项
- CentOS下如何避免文件覆盖
- CentOS7和CentOS6系统有什么不同呢
- Centos 6.6默认iptable规则详解
