使用AiPa爬虫框架同时爬取多个网页信息
上一篇介绍了用Java+Jsoup实现简单的网页爬虫功能，这次我们要做的稍微深一点，同时爬取多个新闻网站，并将其中有用的信息（新闻标题，URL，新闻内容等）保存在数据库中。首先介绍一个很好用的多线程爬虫框架，名字叫AiPa。
AiPa爬虫框架
Aipa是一款小巧，灵活，扩展性高的多线程爬虫框架。
AiPa依赖当下最简单的HTML解析器Jsoup。
AiPa只需要使用者提供网址集合，即可在多线程下自动爬取，并对一些异常进行处理。
Maven
直接引入
cn.yueshutong
AiPa
1.0.0.RELEASE
使用
1.必须实现的接口：
public class MyAiPaWorker implements AiPaWorker {
@Override
public String run(Document doc, AiPaUtil util) {
//使用JSOUP进行HTML解析获取想要的div节点和属性
//保存在数据库或本地文件中
//新增aiPaUtil工具类可以再次请求网址
return doc.title() + doc.body().text();
}
@Override
public Boolean fail(String link) {
//任务执行失败
//可以记录失败网址
//记录日志
return false;
}
}
2.Main 方法
public static void main(String[] args) throws InstantiationException, IllegalAccessException, ExecutionException, InterruptedException {
//准备网址集合
List linkList = new ArrayList<>();
linkList.add("http://jb39.com/jibing/FeiQiZhong265988.htm");
linkList.add("http://jb39.com/jibing/XiaoErGuoDu262953.htm");
linkList.add("http://jb39.com/jibing/XinShengErShiFei250995.htm");
linkList.add("http://jb39.com/jibing/GaoYuanFeiShuiZhong260310.htm");
linkList.add("http://jb39.com/zhengzhuang/LuoYin337449.htm");
//第一步：新建AiPa实例
AiPaExecutor aiPaExecutor = AiPa.newInstance(new MyAiPaWorker()).setCharset(Charset.forName("GBK"));
//第二步：提交任务
for (int i = 0; i < 10; i++) {
aiPaExecutor.submit(linkList);
}
//第三步：读取返回值
List futureList = aiPaExecutor.getFutureList();
for (int i = 0; i < futureList.size(); i++) {
//get() 方法会阻塞当前线程直到获取返回值
System.out.println(futureList.get(i).get());
}
//第四步：关闭线程池
aiPaExecutor.shutdown();
}
3. AiPaWorker接口
AiPaWorker接口是用户必须要实现的业务类。
该接口的方法如下：
public interface AiPaWorker {
/**
* 如何解析爬下来的HTML文档？
* @param doc JSOUP提供的文档
* @param util 爬虫工具类
* @return
*/
T run(Document doc, AiPaUtil util);
/**
* run方法异常则执行fail方法
* @param link 网址
* @return
*/
S fail(String link);
}
注意，接口中run方法的参数doc，即Jsoup通过连接网页URL获得的docment，可以直接使用。
在run方法中可以通过Jsoup方法爬取所想要的数据，然后存入数据库中，注意是在run方法内执行
数据库存取操作。
也就是，run()方法是用户自定义处理爬取的HTML内容，一般是利用Jsoup的Document类进行解析，
获取节点或属性等，然后保存到数据库或本地文件中。如果在业务方法需要再次请求URL，可以使用
工具类Util。比如访问新闻具体页面的时候。
fail()方法是当run方法出现异常或爬取网页时异常，多次处理无效的情况下进入的方法，该方法的参数
为此次出错的网址。一般是对其进行日志记录等操作。
以上是AiPa框架的基本介绍，下面开始做一个简单的爬取多个新闻网站上的新闻的例子。
网页配置信息都存放在数据库中，第一步要从数据库中取要爬取的网站的各种配置信息。
//取数据库内配置列表
List articleCrawler= this.articleCrawlerDomain.getAllArticle();
List linkList = new ArrayList<>();
for (int i = 0; i < articleCrawler.size(); i++) {
String url = articleCrawler.get(i).getUrl();//获取网页Url
String ulClass = articleCrawler.get(i).getUlClass();//获取ul标签样式
String articleName = articleCrawler.get(i).getTname();//获取网页新闻名称
String contentClass = articleCrawler.get(i).getContentClass();//获取网页内容样式
String authorClass = articleCrawler.get(i).getAuthorClass();//获取新闻作者样式
String webCode = articleCrawler.get(i).getWebCode();//获取网页编码格式
String tableClass = articleCrawler.get(i).getTableClass();//获取表格样式
String listClass = articleCrawler.get(i).getListClass();//获取li标签样式
String divClass = articleCrawler.get(i).getDivClass();//获取div标签样式
String websiteUrl = articleCrawler.get(i).getWebsiteUrl();//获取网站官网URL
linkList.add(url);//设置网址集合
取完配置信息之后，新建一个AiPa框架，在run方法里利用Jsoup的Document类进行解析，获取节点和属性，然后
调方法存入本地数据库内。
//新建AiPa框架类
AiPaExecutor executor = AiPa.newInstance(new AiPaWorker(){
@Override
public Boolean run(Document document, AiPaUtil util) {
List contentList = new ArrayList<>();
List articleList = new ArrayList<>();
//如果新闻格式为无序列表且ul上有样式，格式为
if(ulClass!=null){
Elements ulLinks = document.getElementsByClass(ulClass);//根据ul的样式获取ul
for (Element ulLink : ulLinks) {
Elements liLinks = ulLink.getElementsByTag("li");//获取ul下的li
for (Element liLink : liLinks){
Elements aLinks = liLink.select("a");//获取li下的a标签
for (Element aLink : aLinks){
String title = aLink.text();//获取新闻标题
String titleUrl = aLink.attr("href");//获取新闻链接
List articleExist = articleDomain.queryByProperty("inforsource", titleUrl);
try {
if(title.length()>4 && titleUrl != "javascript:void(0);" && (articleExist == null || articleExist.size()== 0)){
Article article = (Article) articleDomain.getBaseObject();
article.setTname(title);
article.setInforsource(titleUrl);
article.setValid(false);
article.setColumnName(articleName);
article.setCreateId("admin");
contentList.add(titleUrl);
articleList.add(article);
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
}
articleDomain.deleteAndSaveAndUpdate(null, articleList, null);
}
//如果新闻格式为无序列表且ul上有样式,格式为
if (ulClass == null && listClass !=null ) {
Elements listEle = document.getElementsByClass(listClass);
for(Element list : listEle){
Elements ulEle = list.getElementsByTag("ul");
for(Element ulLink :ulEle){
Elements liLinks = ulLink.getElementsByTag("li");//获取ul下的li
for (Element liLink : liLinks){
Elements aLinks = liLink.select("a");//获取li下的a标签
for (Element aLink : aLinks){
String title = aLink.text();//获取新闻标题
String titleUrl = aLink.attr("href");//获取新闻链接
List articleExist = articleDomain.queryByProperty("inforsource", titleUrl);
try {
if(title.length()>4 && titleUrl != "javascript:void(0);" && (articleExist == null || articleExist.size()== 0)){
Article article = (Article) articleDomain.getBaseObject();
article.setTname(title);
article.setInforsource(titleUrl);
article.setValid(false);
article.setColumnName(articleName);
article.setCreateId("admin");
contentList.add(titleUrl);
articleList.add(article);
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
}
}
articleDomain.deleteAndSaveAndUpdate(null, articleList, null);
}
//如果新闻格式没有列表,为
if(ulClass == null && divClass != null){
Elements divEle = document.getElementsByClass(divClass);
for(Element div : divEle){
Elements aEle = div.select("a");//取div下的a标签
for(Element aLink : aEle){
String title = aLink.text();//获取新闻标题
String titleUrl = aLink.attr("href");//获取新闻链接
List articleExist = articleDomain.queryByProperty("inforsource", titleUrl);
try {
if(title.length()>4 && titleUrl != "javascript:void(0);" && (articleExist == null || articleExist.size()== 0)){
Article article = (Article) articleDomain.getBaseObject();
article.setTname(title);
article.setInforsource(titleUrl);
article.setValid(false);
article.setColumnName(articleName);
article.setCreateId("admin");
contentList.add(titleUrl);
articleList.add(article);
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
articleDomain.deleteAndSaveAndUpdate(null, articleList, null);
}
//获取新闻详细内容信息
for (int j = 0; j < contentList.size(); j++) {
String articleUrl = (String) contentList.get(j);//获取新闻详细内容链接
//验证新闻URL是否有效
Boolean testUrl = testUrl(articleUrl, 2000);
if(testUrl == false){
String substring = articleUrl.substring(0, 1);
if(".".equals(substring)){
articleUrl = articleUrl.replace("./", url);
}else{
articleUrl = websiteUrl + articleUrl;
}
}
try {
Document contentDoc = util.getHtmlDocument(articleUrl);//根据链接获取详细页面Document
Elements contentEle = contentDoc.getElementsByClass(contentClass);
String author = "";
if(authorClass!=null){
Elements authorEle = contentDoc.getElementsByClass(authorClass);
author = authorEle.text();//获取作者信息
}
String contentHtml = contentEle.html();//获取详细内容的HTML
String content = Jsoup.clean(contentHtml, Whitelist.basicWithImages());//Jsoup对网页HTML进行过滤，筛选标签内容
List articleExist = articleDomain.queryByProperty("inforsource", (String) contentList.get(j));
for (int k = 0; k < articleExist.size(); k++) {
Article article = (Article) articleExist.get(k);
String id = article.getId();
String clobInfo = clobInfoDomain.query(id);
if (!contentHtml.equals("") && (clobInfo == null || clobInfo.length() <= 0 )) {
clobInfoDomain.save(id, content);//将新闻具体内容添加到clob里
}
article.setCreater(author);
articleDomain.update(article);
}
} catch (IOException e) {
e.printStackTrace();
}
}
return true;
}
@Override
public Boolean fail(String s) {
return false;
}
}).setCharset(Charset.forName(webCode));
executor.submit(linkList);
executor.shutdown();
数据库内可以存放多条网页信息，最后爬下来的数据都存入到了数据库内。