wget 使用教程,整站下载 网站镜像等

苏苏 苏苏
12860
2017-06-08

试试UC震惊部的命名方式

还是用回正常的标题吧。


这个命令,如果你足够聪明,应该已经猜到是wget了,这个我们无比熟悉的命令,我们也通常用来测试,实际上,是大材小用了,wget可是无比强大的。下面我们就来认识认识一下wget吧。

百度百科对wet的解释:wget是一个从网络上自动下载文件的自由工具,支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载,并可以使用HTTP代理。wget名称的由来是“World Wide Web”与“get”的结合。

解释的很肤浅,wget的优点是,稳定,如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕;如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。总的来说就是,百折不挠地下载。


wget的语法如下:

wget(选项)(参数)


下面是一些例子

下载单个文件

wget http://cachefly.cachefly.net/100mb.test

如果你想换个名称保存,可以像这样,文件便会保存为138vps.test了

wget -O 138vps.test http://cachefly.cachefly.net/100mb.test

因为wget默认会以最后一个符合/的后面的字符来命名,所以如果我们的下载地址是类似这种【http://xx.com/?id=138vps】 如果不重新命名,你下载的文件名称就是【id=138vps】,这显然是不科学的。


wget限速下载

我们并不希望wget在下载的时候吃完我们的带宽,尤其是我们下载超大文件的时候,所以限速下载是必须的

wget --limit-rate=300k http://cachefly.cachefly.net/100mb.test


使用wget断点续传

这个是非常实用的,由于不可控的因素,我们在wget的时候,SSH掉线了,那么我们肯定希望可以续传了,而不是从0开始下载,尤其是大文件。

wget -c http://cachefly.cachefly.net/100mb.test


使用wget后台下载

我们下载大文件的时候,你肯定不打算一直盯着进度条,像干点别的事情,这个时候用后台下载就很重要了,

wget -b http://cachefly.cachefly.net/100mb.test

想知道下载完了没有,就用这个命令看吧,想退出就【ctrl+c】吧

tail -f wget-log


伪装浏览器下载

有的网站,如果发现你不是用浏览器,就不给你下载,所以,你懂的

wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://cachefly.cachefly.net/100mb.test


同时下载多个文件

如果要同时下载多个文件,不想一个个手动wget怎么办?很简单,把这些url放到一个文本文件里面,假设文件名是【138vps.txt】,一行一个地址然后一个命令就搞定了

wget -i 138vps.txt


下载ftp

其实wget是支持直接下载ftp的,如果是匿名,那么就

wget ftpurl

如果需要用户名跟密码,那么就

wget --ftp-user=USERNAME --ftp-password=PASSWORD ftpurl


镜像网站

有了wget还要什么整站下载器呢?直接把整个网站跟wget下来就好啦。

wget --mirror -p --convert-links -P ./ http://soft.138vps.com

--miror开始镜像下载。

--convert-links下载后,转换成本地的链接。

-P 保存所有文件和目录到本地指定目录。

-r   递归下载,下载指定网页某一目录下(包括子目录)的所有文件

-np 递归下载时不搜索上层目录

-L 递归时不进入其它主机,如果你下载的主机有其他网站的友情链接,这会很麻烦


如果你只想下载图片:

wget -r -A.jpg,.png,.gif http://soft.138vps.com


如果你只不想下载图片

wget --reject=jpg http://soft.138vps.com



结语

wget下载有的资源时必须用选项 --no-check-certificate,否则会提示没有认证不允许下载。

比如https。

wget --no-check-certificate url


特别申明: 若无说明,文章均为原创,转载时请注明本文地址,谢谢合作!

本站仅为分享信息,绝对不是推荐,所有内容均仅代表个人观点,读者购买风险自担。如果你非要把风险推苏苏头上,不要这么残忍,好吗?
本站保证在法律范围内您的个人信息不经由本站透露给任何第三方。
所有网络产品均无法保证在中国任何地区,任何时间,任何宽带均有相同的访问体验,那种号称某机房绝不抽风的不是骗子就是呵呵.
任何IDC都有倒闭和跑路的可能,备份永远是最佳选择,服务器也是机器,不勤备份是对自己极不负责的表现.

加入群1:569839985

欢迎IDC提交优惠信息或者测试样机,提交信息请Eamil至admin#138vps.com,苏苏不保证一定会进行发布。

但请IDC留意以下内容:
无官方正式首页、无可用联络方式暂不发布;
曾经有过倒闭和跑路经历者重开不到6个月不做发布;
从本日起(2016-07-18)不接受任何形式的免费赞助和VPS馈赠,不接受任何评测报告的投稿,不接受任何付费发布和付费删除评论,所有IDC若有必要提交测试样机,请在7日后自行删除。
公告
欢迎加入qq群:569839985
本站诚换友情链接。在您的网站加上本站的友情链接后发邮件到 admin#138vps.com, 苏苏会自行审核,一周内会上线您的友情链接。
要求:建站一年以上,百度权重1,收录数量不低于一千。
请尽量使用 PayPal 进行交易,PayPal 对资金的保护政策更照顾买家。
年度爆文