批量下载图片

[qof3990]

一开始想的很简单，火狐的插件应该很简单的搞定，但是错了，该系统下没有发现支持递归下载的插件。
打算用wget扒，发现防扒很普遍。
装了downthemall，可以把链接的网页文件下载下来。然后取出图片地址再用wget下载。其实很简单，用个grep就可以轻松匹配出来。但是我不知道有-o这么个参数啊！搞了一天啊，五六个小时就这么砸下去了。sed和awk通读一遍啊，擦！取个字串太低级怎么着？没一个教程写，全是替换！到现在没搞清这个-o到底是什么来历，grep的每个教程和说明都不写啊！到底是我的搜索关键字有问题，还是搜索引擎的排名有问题，还是vpn没流量了，还是纯粹打开的时机不对啊！！！
好吧我夯一下吧，骂两句败败火。
grep -o -h "http.\{10,100\}jpg" ./*.htm* | wget -i-
o只输出匹配字符 h不显示文件名 10，100防止取的太大，-i-下载在FILE文件中出现的URLs，i后面的杠表示从标准输入中获得文件。
继续研究怎么能递归下载链接，哼！

三楼用pl脚本怎么搞，不懂，有空去学学。不过wget递归下载已经搞通了。把http请求发送的各种头文件cookie什么的写全就好了。研究http的协议，再理解一下浏览器的工作原理就好了。

为了让preg非贪婪，用sed搞了一下，这样虽然比\{10,100\}长了点，不过适应性更好了：
grep -Po -h "http.*?jpg" ./* |sed "s/http.*http/http/" |wget -i-
是不是可以直接用sed解决嫩？再想想。

[yjcong]

给个目标网址

[eexpress]

fetch-link.pl
爬虫，历来是pl容易搞。