有时,我们想要了解一个人,一般会通过ta的微博、朋友圈以及朋友的看法去了解。
特别是面对自己喜欢的明星,我们常常会浏览ta的微博,了解ta的动态。
那么,在大数据时代,数据已经成为了不可缺少的一部分,获取数据的方法莫过于python。
感兴趣的小伙伴可以收藏哦!
另外,关于本代码的效果展示,以及教程,点击以下链接即可。
下面,我就介绍一下我的项目效果以及文件结构。
目录
一、目标
二、效果展示
三、文件结构
利用python爬取微博用户的个人信息,以及用户发布微博的数据。(切记,这里爬取的是公开的微博数据!!!)
并将其保存到本地。
我将会在后面的几篇文章展示我的教程,感兴趣的小伙伴可以关注哦!!!
以迪丽热巴为例:
1、控制台输出我们爬取到的用户数据:
2、爬取到的数据我们将其存储到本地,文本内容以txt、csv形式存储,图片以图片的形式存储,存储到文件夹img中
csv文件:
txt文件:
img文件:
1、文件结构
2、config.py
该文件为配置文件,一些参数可以在这里修改。
3、MicroBlog.py
该文件中包含一些爬取微博数据的函数
参考: