分享!刚刚发现了一个可以并行解压缩的好方法!

编译打包和其他
回复
yubinalice
帖子: 197
注册时间: 2015-12-23 16:20
系统: ubuntu 16.04

分享!刚刚发现了一个可以并行解压缩的好方法!

#1

帖子 yubinalice » 2016-03-12 21:14

之前,我需要解压缩一大批的文件,所以就写了一个解压缩的脚本,如下:
script.sh
#! /bin/bash
for tar in *.tar.xz
do
tar xf $tar
done
如上的脚本会单个顺序执行。

随后我又写了一个脚本
script2.sh
#! /bin/bash
for tar in *.tar.xz
do
{
tar xf $tar
}&
done
wait
如上,可以同时解压缩,但是这个东西实在是不好控制线程。

于是最终我发现了一个非常厉害的方法,
我们可以写成makefile然后利用make来完成。

如下:
makefile:

decompress :
tar xf *.tar.xz
然后,我的机器是双核的,所以就-j2了一下,但是我当时里面只放了一个压缩文件,所以最终的时候是只有一个进程在解压缩。

但是这个说明这个方法是可以的。

推广一下,这个方法可以方便的用到许多的地方,比如复制,删除,移动等等。

谢谢!!!

希望这个小技巧可以方便到需要的朋友。
恒河沙数1
帖子: 295
注册时间: 2013-04-27 19:26
系统: ubuntu+win7

Re: 分享!刚刚发现了一个可以并行解压缩的好方法!

#3

帖子 恒河沙数1 » 2016-03-13 9:36

yubinalice 写了:之前,我需要解压缩一大批的文件,所以就写了一个解压缩的脚本,如下:
script.sh
#! /bin/bash
for tar in *.tar.xz
do
tar xf $tar
done
如上的脚本会单个顺序执行。

随后我又写了一个脚本
script2.sh
#! /bin/bash
for tar in *.tar.xz
do
{
tar xf $tar
}&
done
wait
如上,可以同时解压缩,但是这个东西实在是不好控制线程。

于是最终我发现了一个非常厉害的方法,
我们可以写成makefile然后利用make来完成。

如下:
makefile:

decompress :
tar xf *.tar.xz
然后,我的机器是双核的,所以就-j2了一下,但是我当时里面只放了一个压缩文件,所以最终的时候是只有一个进程在解压缩。

但是这个说明这个方法是可以的。

推广一下,这个方法可以方便的用到许多的地方,比如复制,删除,移动等等。

谢谢!!!

希望这个小技巧可以方便到需要的朋友。
楼主的方法可能需要修改,在我这里,单个压缩文件可用,多个压缩文件,运行make的时候就会报错:
$ make decompress -j4
tar xf *.tar.gz
tar: kb.Blek-20150228-182356.tar.gz:归档中找不到
tar: com.rac7.DarkEcho-20150322-060002.tar.gz:归档中找不到
...
tar: 由于前次错误,将以上次的错误状态退出
make: *** [decompress] 错误 2
头像
ak2008
帖子: 262
注册时间: 2009-03-06 10:52
系统: ubuntu-12.04

Re: 分享!刚刚发现了一个可以并行解压缩的好方法!

#4

帖子 ak2008 » 2016-04-11 7:25

mark~
回复