用Jsoup Splider 抓取豆瓣书籍信息

抓取豆瓣上的书籍信息

之前有一个爱立信外包的猎头联系我，先是帮我推简历，然后让编程实现爬虫，抓取豆瓣上互联网、编程、算法的书籍信息，自己太菜，电面就跪了。。。。。。但还是把自己的实现分享出来

题目如下：将豆瓣（book.douban.com）里的关于“互联网，编程，算法”方面的书籍数据抓下来，并且显示评分最高的前100本数据（要求评价数目不低于1000）

主要是使用jsoup来解析HTML，具体怎么用可以谷歌，抓取数据的时候当抓取的数据量太大的时候，豆瓣的服务器会检测到，并把ip封掉，但是用浏览器缺仍然可以访问，所以猜测是服务器对HTTP请求中的cookies进行了检测，在代码中加上cookies，ip就不会再被封了，另外至于会不会是请求时间间隔太短被封ip，没有具体验证，保险起见每个请求结束之后休眠1s。

附上源码github地址

https://github.com/xiaoleo911/DoubanSplider

爬虫抓取的数据结果如下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EwpL6jPl-1592311397405)(https://img-blog.csdn.net/20170106105039292?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZ29kbG92ZWxlbzk1Mjc=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)]

这些书评分都很高，都是很值得一读的。

打赏我