利用curl自动获取并下载网页的方法

如果我们有一些URL，那么我们要自动下载URL对应内容，除了用网络蜘蛛之外，可以用一个很实用的工具curl，可以写一个批处理文件来调用curl，然后用自动下载对应的网页。

 

 

1.URL保存在文本文件中

1.假设所有URL都保存在url.txt中
2.利用下面程序读取（保存为getWebPage.bat）：

for /f %%i in (book.txt) do call :dxy %%i
@pause
goto :eof
:dxy
set var=%1
curl -O %var% //下载下来的文件的文件名按照服务器上该文件的文件名命名

goto :eof
@pause

 

2.URL已某种方式，比如数字递增的方式

for /l %%i in (100,1,999) do call :dxy %%i
@pause
goto :eof
:dxy
set var=%1
curl -O 公共前缀%var% //下载下来的文件的文件名按照服务器上该文件的文件名命名

goto :eof

@pause

其服务器上的url是 公共前缀+数字