wget 递归下载整个网站

网站扒皮命令 wget ,当然也是下载文件命令
这个命令可以以递归的方式下载整站,并可以将下载的页面中的链接转换为本地链接。
wget 加上参数之后,即可成为相当强大的下载工具

当然,其实这并没有什么用,因为你就算是把人家的前端 js.css 等等什么都拉下来了,人家已经写好的 js 自己也没法用.......血的教训


wget 命令详解

wget -r -p -np -k http://xxx.com/xxx

  • -r, --recursive(递归) specify recursive download.(指定递归下载)
  • -k, --convert-links(转换链接) make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接)
  • -p, --page-requisites(页面必需元素) get all images, etc. needed to display HTML page.(下载所有的图片等页面显示所需的内容)
  • -np, --no-parent(不追溯至父级) don't ascend to the parent directory.

需要下载某个目录下面的所有文件命令如下:

wget -c -r -np -k -L -p

  • 在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。
    wget -np -nH -r –span-hosts www.xianren.org/pub/path/
  • -c 断点续传
  • -r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件
  • -nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录
  • -np 递归下载时不搜索上层目录,如 wget -c -r www.xianren.org/pub/path/ 没有加参数 -np ,就会同时下载path的上一级目录pub下的其它文件
  • -k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数
  • -L 递归时不进入其它主机,如 wget -c -r www.xianren.org/
    如果网站内有一个这样的链接:
    www.xianren.org ,不加参数-L,就会像大火烧山一样,会递归下载 www.xianren.org 网站
  • -p 下载网页所需的所有文件,如图片等
  • -A 指定要下载的文件样式列表,多个样式用逗号分隔
  • -i 后面跟一个文件,文件内指明要下载
最后修改:2020 年 08 月 28 日
哇卡哇卡