在做科研或者单纯地分析一下专业的热点时,经常用到web of science,但麻烦就在每次只能导出500篇,如果有几十万篇的时候,就会比较费时费心
基于大多数人对于爬虫来实现较难全面了解细节(就像我),本文从另一个较简单的角度出发实现。
思想:通过python的pyautogui包,控制鼠标和键盘在下载页面自动点击和输入每次下载范围来下载
环境:python3.x,pyautogui
当我们搜索完文章,并标记好后,进入标记列表,内容如下:
1.
此页面只有三个地方需要操作,范围和导出,通过鼠标定位三和位置(x,y),在范围的地方需要定位在格子后面一点,因为需要每次删除一下上次填的数字,所以仅需要click()和keyDown
2.
第二步更加简单,还需要click()一下
3.
第三步与第二步雷同
1.每次点击或者输入,设置一下缓冲时间,不然可能由于网络或者其他原因下载失败
2.这是我遇到的问题,可能读者不会遇到,就是在web of science上的同一个地方点击次数多了,就不太灵,这时候我们只需要滚动一下页面,重新定位那几个位置就好了
祝各位科研顺利,有用的话就点个赞吧,谢谢!