Java爬虫抓取豆瓣读书信息

要求:
Java爬虫抓取豆瓣读书信息中关于“编程,算法,互联网”评分最高的前100本书(要求评论数量大于1000)

实现思路:
1.通过手动打开豆瓣读书的主页面 https://book.douban.com/ ,输入“互联网”关键词,点击查询按钮,分析浏览器的NetWork工具分析发送的查询地址及参数格式,https://book.douban.com/tag/互联网?type=S ;
2.通过java.io.net包中的URL类,模拟发送请求;
3.获取到返回html的输入流,将其写入StringBuffer;
4.使用jsoup工具包,解析html格式的字符,生成document对象;
5.根据需要的信息,从Document对象中进行元素的筛选,获取所需的信息;
6.使用多线程发送请求,同步的ArrayList对获取到的信息进行存储,排序;
7.使用poi工具对有效数据进行输出成Excel表格。

运行结果:
Java爬虫抓取豆瓣读书信息_第1张图片

代码结构:
Java爬虫抓取豆瓣读书信息_第2张图片

源码地址:
https://github.com/LiangShichao/Spider

你可能感兴趣的:(Java爬虫)