豆瓣爬虫-找到共同爱好多的人

注册豆瓣10年以上了, 最近想找下 和自己共同爱好比较多的人

但豆瓣不提供这个功能,网上的好多豆瓣爬虫一般是爬电影。于是 ,自己 查了查一本爬虫的书,目前简单写了下,已经跑通了流程,实现了核心功能,能初步达到寻找共同爱好多的人

代码在这
https://github.com/haithink/doubanSpyder

这个估计是个最简单的爬虫了,不处理分页, 不对URL进行查重, 处理的异常很少,只有一个反爬策略, 等等
但是, 的确能工作,能爬起来, 运行了几个小时, 总共获取了 几十万个 主页地址,获取数千个共同爱好

这样做也很好,先把 核心流程完成, 会比较有成就感,然后 再一步一步进行完善

你可能感兴趣的:(个人作品,Python)