wget 递归下载整个网站
网站扒皮命令wget
,当然也是下载文件命令
这个命令可以以递归的方式下载整站,并可以将下载的页面中的链接转换为本地链接。wget
加上参数之后,即可成为相当强大的下载工具
当然,其实这并没有什么用,因为你就算是把人家的前端 js.css 等等什么都拉下来了,人家已经写好的 js 自己也没法用.......血的教训
wget 命令详解
wget -r -p -np -k http://xxx.com/xxx
- -r, --recursive(递归) specify recursive download.(指定递归下载)
- -k, --convert-links(转换链接) make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接)
- -p, --page-requisites(页面必需元素) get all images, etc. needed to display HTML page.(下载所有的图片等页面显示所需的内容)
- -np, --no-parent(不追溯至父级) don't ascend to the parent directory.
需要下载某个目录下面的所有文件命令如下:
wget -c -r -np -k -L -p
- 在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。
wget -np -nH -r –span-hosts www.xianren.org/pub/path/
- -c 断点续传
- -r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件
- -nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录
- -np 递归下载时不搜索上层目录,如
wget -c -r www.xianren.org/pub/path/
没有加参数-np
,就会同时下载path的上一级目录pub下的其它文件 - -k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数
- -L 递归时不进入其它主机,如
wget -c -r www.xianren.org/
如果网站内有一个这样的链接:
www.xianren.org ,不加参数-L,就会像大火烧山一样,会递归下载 www.xianren.org 网站 - -p 下载网页所需的所有文件,如图片等
- -A 指定要下载的文件样式列表,多个样式用逗号分隔
- -i 后面跟一个文件,文件内指明要下载
1 条评论
文章深入浅出,既有深度思考,又不乏广度覆盖,令人叹为观止。