• wget 使用教程,整站下载 网站镜像等

    发布时间:2017-6-8 15:38 Thursday 作者:苏苏 阅读(6555)

      试试UC震惊部的命名方式

      还是用回正常的标题吧。


      这个命令,如果你足够聪明,应该已经猜到是wget了,这个我们无比熟悉的命令,我们也通常用来测试,实际上,是大材小用了,wget可是无比强大的。下面我们就来认识认识一下wget吧。

      百度百科对wet的解释:wget是一个从网络上自动下载文件的自由工具,支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载,并可以使用HTTP代理。wget名称的由来是“World Wide Web”与“get”的结合。

      解释的很肤浅,wget的优点是,稳定,如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕;如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。总的来说就是,百折不挠地下载。


      wget的语法如下:

      wget(选项)(参数)


      下面是一些例子

      下载单个文件

      wget http://cachefly.cachefly.net/100mb.test

      如果你想换个名称保存,可以像这样,文件便会保存为138vps.test了

      wget -O 138vps.test http://cachefly.cachefly.net/100mb.test

      因为wget默认会以最后一个符合/的后面的字符来命名,所以如果我们的下载地址是类似这种【http://xx.com/?id=138vps】 如果不重新命名,你下载的文件名称就是【id=138vps】,这显然是不科学的。


      wget限速下载

      我们并不希望wget在下载的时候吃完我们的带宽,尤其是我们下载超大文件的时候,所以限速下载是必须的

      wget --limit-rate=300k http://cachefly.cachefly.net/100mb.test


      使用wget断点续传

      这个是非常实用的,由于不可控的因素,我们在wget的时候,SSH掉线了,那么我们肯定希望可以续传了,而不是从0开始下载,尤其是大文件。

      wget -c http://cachefly.cachefly.net/100mb.test


      使用wget后台下载

      我们下载大文件的时候,你肯定不打算一直盯着进度条,像干点别的事情,这个时候用后台下载就很重要了,

      wget -b http://cachefly.cachefly.net/100mb.test

      想知道下载完了没有,就用这个命令看吧,想退出就【ctrl+c】吧

      tail -f wget-log


      伪装浏览器下载

      有的网站,如果发现你不是用浏览器,就不给你下载,所以,你懂的

      wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://cachefly.cachefly.net/100mb.test


      同时下载多个文件

      如果要同时下载多个文件,不想一个个手动wget怎么办?很简单,把这些url放到一个文本文件里面,假设文件名是【138vps.txt】,一行一个地址然后一个命令就搞定了

      wget -i 138vps.txt


      下载ftp

      其实wget是支持直接下载ftp的,如果是匿名,那么就

      wget ftpurl

      如果需要用户名跟密码,那么就

      wget --ftp-user=USERNAME --ftp-password=PASSWORD ftpurl


      镜像网站

      有了wget还要什么整站下载器呢?直接把整个网站跟wget下来就好啦。

      wget --mirror -p --convert-links -P ./ http://soft.138vps.com

      --miror开始镜像下载。

      --convert-links下载后,转换成本地的链接。

      -P 保存所有文件和目录到本地指定目录。

      -r   递归下载,下载指定网页某一目录下(包括子目录)的所有文件

      -np 递归下载时不搜索上层目录

      -L 递归时不进入其它主机,如果你下载的主机有其他网站的友情链接,这会很麻烦


      如果你只想下载图片:

      wget -r -A.jpg,.png,.gif http://soft.138vps.com


      如果你只不想下载图片

      wget --reject=jpg http://soft.138vps.com



      结语

      wget下载有的资源时必须用选项 --no-check-certificate,否则会提示没有认证不允许下载。

      比如https。

      wget --no-check-certificate url


    特别申明:若无说明,文章均为原创,转载时请注明本文地址,谢谢合作!
    本文链接:

    本站仅为分享信息,绝对不是推荐,所有内容均仅代表个人观点,读者购买风险自担。如果你非要把风险推苏苏头上,不要这么残忍,好吗?

    本站保证在法律范围内您的个人信息不经由本站透露给任何第三方。

    所有网络产品均无法保证在中国任何地区,任何时间,任何宽带均有相同的访问体验,那种号称某机房绝不抽风的不是骗子就是呵呵.

    任何IDC都有倒闭和跑路的可能,备份永远是最佳选择,服务器也是机器,不勤备份是对自己极不负责的表现.

    加入群2:334931096    加入群1:569839985

    欢迎IDC提交优惠信息或者测试样机,提交信息请Eamil至admin@138vps.com,苏苏不保证一定会进行发布。

    但请IDC留意以下内容:

    无官方正式首页、无可用联络方式暂不发布;

    曾经有过倒闭和跑路经历者重开不到6个月不做发布;

    从本日起(2016-07-18)不接受任何形式的免费赞助和VPS馈赠,不接受任何评测报告的投稿,不接受任何付费发布和付费删除评论,所有IDC若有必要提交测试样机,请在7日后自行删除。