把技术资料网站给镜像下来离线浏览

[飞火流星]

mark一下

[momova]

这个不是搜索引擎网站，是个wiki类的网站，主页面是搜索页面，其实不是。我喜欢这个网站下面的知道，所以想全部down下来。

我这几天也想镜像一个网站。
用楼主的办法镜像不成功。

代码： 全选

$ wget -r -p -np -k -N -t 2 http://www.mbalib.com/
--2011-01-15 22:22:19--  http://www.mbalib.com/
正在解析主机 www.mbalib.com... 110.80.7.42
正在连接 www.mbalib.com|110.80.7.42|:80... 已连接。
已发出 HTTP 请求，正在等待回应... 403 Forbidden
2011-01-15 22:22:20 错误 403：Forbidden。

已转换 0 个文件(在 0 秒之内)。

楼主帮看看是怎么回事

你镜像的这个网站是一个搜索引擎网站，动态技术以及海量内容索引的的网站（和谷歌的网站同类型，后台都是分布式数据库），这些网站服务器规模都是很庞大的，如果镜像的话那些网络文件流量肯定很大的，我们的硬盘装不了那么多
我一般就镜像一些比较小型的技术网站（整个网站内容加起来不超过10GB的），有的网站全部页面才500多MB，

[momova]

我发现一个软件，好像比wget还厉害一点，httrack

[binker]

我发现一个软件，好像比wget还厉害一点，httrack

我试过了，在我的系统上面没有办法使用这个软件，用不了，不知道怎么回事，挺奇怪的

[momova]

我发现一个软件，好像比wget还厉害一点，httrack

我试过了，在我的系统上面没有办法使用这个软件，用不了，不知道怎么回事，挺奇怪的

用命令行下的，别用那个GUI啥的

[binker]

我发现一个软件，好像比wget还厉害一点，httrack

我试过了，在我的系统上面没有办法使用这个软件，用不了，不知道怎么回事，挺奇怪的

用命令行下的，别用那个GUI啥的

嗯，已经装上了，命令行的
正在镜像一个网站当中，，，，，，
（）

[binker]

这个不是搜索引擎网站，是个wiki类的网站，主页面是搜索页面，其实不是。我喜欢这个网站下面的知道，所以想全部down下来。

我这几天也想镜像一个网站。
用楼主的办法镜像不成功。

代码： 全选

$ wget -r -p -np -k -N -t 2 http://www.mbalib.com/
--2011-01-15 22:22:19--  http://www.mbalib.com/
正在解析主机 www.mbalib.com... 110.80.7.42
正在连接 www.mbalib.com|110.80.7.42|:80... 已连接。
已发出 HTTP 请求，正在等待回应... 403 Forbidden
2011-01-15 22:22:20 错误 403：Forbidden。

已转换 0 个文件(在 0 秒之内)。

楼主帮看看是怎么回事

你镜像的这个网站是一个搜索引擎网站，动态技术以及海量内容索引的的网站（和谷歌的网站同类型，后台都是分布式数据库），这些网站服务器规模都是很庞大的，如果镜像的话那些网络文件流量肯定很大的，我们的硬盘装不了那么多
我一般就镜像一些比较小型的技术网站（整个网站内容加起来不超过10GB的），有的网站全部页面才500多MB，

我又回去看了一下，也许你可以尝试镜像http://doc.mbalib.com(这是另外一台主机，)

[momova]

那是新开的一台服务器。
我想镜像的是http://wiki.mbalib.com/
不过听说全站镜像没经过允许是违法的？
而且一开始我用wget下载的时候还被屏蔽我的IP了。

[binker]

那是新开的一台服务器。
我想镜像的是http://wiki.mbalib.com/
不过听说全站镜像没经过允许是违法的？
而且一开始我用wget下载的时候还被屏蔽我的IP了。

镜像下来仅供自己离线浏览不算违法，不要拿去做别的非法用途就行了，
http://wiki.mbalib.com/这个站点应该可以镜像的

[momova]

那是新开的一台服务器。
我想镜像的是http://wiki.mbalib.com/
不过听说全站镜像没经过允许是违法的？
而且一开始我用wget下载的时候还被屏蔽我的IP了。

镜像下来仅供自己离线浏览不算违法，不要拿去做别的非法用途就行了，
http://wiki.mbalib.com/这个站点应该可以镜像的

镜像不了，过一定的时间氷被封IP了，要不你试试看。

[binker]

上面也没什么值得镜像的东东，

[anffernee]

这个非常的不错，我试过，很好很强大，挖咔咔，多谢楼主哈，mark了。。。

[goldfox_79]

mark: wget 网站

[bsx1990]

我用wget -m -k -np http://money.msn.com.cn/ 的时候显示404错误，这是怎么回事阿？浏览器可以正常访问。
错误显示如下

代码： 全选

user@user-laptop:~/文档/理财$ wget -m -k -np http://money.msn.com.cn/
--2011-03-20 09:26:30--  http://money.msn.com.cn/
正在解析主机 money.msn.com.cn... 61.164.153.166, 59.175.130.170, 220.181.54.10, ...
正在连接 money.msn.com.cn|61.164.153.166|:80... 已连接。
已发出 HTTP 请求，正在等待回应... 404 Not Found
2011-03-20 09:26:30 错误 404：Not Found。

麻烦你帮忙看看吧，谢谢了！