WGET GoAgent 抓取网站

首先装好GoAgent，自行百度一下安装方法。

默认情况下，GoAgent代理地址为127.0.0.1，端口8087

在Windows下执行wget命令：

C:\iefreer>wget
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc
syswgetrc = C:\Program Files (x86)\GnuWin32/etc/wgetrc

打开 wgetrc 文件，找到 http_proxy，修改为

http_proxy = 127.0.0.1:8087

然后执行wget -r your_url即可通过代理下载。

你还可以通过使用参数–proxy=on/off 使用或者关闭代理。

常用参数：

-c：续传（continue）

-r：递归（recursive）

-l：递归级别（level）

-A：允许的文件匹配模式（ex：-A '*.zip'）

-np：不向上递归

-L：不抓取外链，只抓取相对链接（relative）

--no-check-certificate：对于https链接，不校验

-p：下载网站所有文件如图片等

-k：绝对路径转换为相对路径

-m：做镜像站点，等同于（wget -r -p -np -k //host/path）

by iefreer