通过爬虫实现博客之星投票统计

  最近在参加2020年博客之星的评选活动,第一次参加这样的活动,很开心,但对于我来说,更想了解的是哪些大佬给我投了票,尤其是那些连续多日给我投票的大佬,非常感谢你们对我的支持,可是到底哪些大佬连续给我投了票呢?那就用爬虫来实现这个需求吧。

文章目录

  • 1. 问题难点
  • 2. 原理和代码实现

1. 问题难点

  如下图所示,初始页面只能显示一小部分的内容,怎么才能展示出全部内容呢?提前剧透一下,使用seleinum的driver.execute_script(“window.scrollTo(0, document.body.scrollHeight);”)是无法下拉页面展示更多内容的?
通过爬虫实现博客之星投票统计_第1张图片
  另外,就算实现了下拉页面,那下拉到什么哪里才能保证数据完整呢?

  最后再说一个不太难的点,就是本次任务不需要保存和加载cookie。说完这几个难点,希望学习的同学在不参考下面的代码的基础上,自己进行代码实现。爬虫的目标网站地址为https://bss.csdn.net/m/topic/blog_star2020/d

你可能感兴趣的:(python,爬虫,selenium,投票统计)