如何用python爬虫爬取qq空间说说_python爬虫爬取QQ说说并且生成词云图，回忆满满！...
Python(发音：英[?pa?θ?n]，美[?pa?θɑ:n])，是一种面向对象、直译式电脑编程语言，也是一种功能强大的通用型语言，已经具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法非常简捷和清晰，与其它大多数程序设计语言不一样，它使用缩进来定义语句。
Python支持命令式程序设计、面向对象程序设计、函数式编程、面向切面编程、泛型编程多种编程范式。与Scheme、Ruby、Perl、Tcl等动态语言一样，Python具备垃圾回收功能，能够自动管理存储器使用。它经常被当作脚本语言用于处理系统管理任务和网络程序编写，然而它也非常适合完成各种高级任务。Python虚拟机本身几乎可以在所有的作业系统中运行。使用一些诸如py2exe、PyPy、PyInstaller之类的工具可以将Python源代码转换成可以脱离Python解释器运行的程序。
自学过一段时间的python，用django自己做了个网站，也用requests+BeautifulSoup
爬虫过些简单的网站，周末研究学习了一波，准备爬取QQ空间的说说，并把内容存在txt中，读取生成云图。
好久不登qq了，空间说说更是几年不玩了，里面满满的都是上学时候的回忆，看着看着就笑了，笑着笑着就...哈哈哈~~
无图言虚空
当年的我还是那么风华正茂、幽默风趣...
言归正传，本次使用的是
selenium
模拟登录+
BeautifulSoup4
爬取数据+
wordcloud
生成词云图
BeautifulSoup安装
pip install beautifulsoup4
这里有beautifulsoup4 的 官方文档
还需要用到解析器，我选择的是
html5lib
解析器
pip install html5lib
下表列出了主要的解析器,以及它们的优缺点:
selenium模拟登录
使用selenium模拟登录QQ空间，安装
pip install selenium
我用的是chrom浏览器，
webdriver.Chrome()
，获取Chrome浏览器的驱动。
这里还需要下载安装对应浏览器的驱动，否则在运行脚本时，会提示
chromedriver executable needs to be in PATH
错误，用的是mac，网上找的一篇下载驱动的文章
同理window的也一样，下载对应的驱动，解压后，将下载的**.exe 放到Python的安装目录，例如 D:\python 。 同时需要将Python的安装目录添加到系统环境变量里。
python学习路线分三大阶段：基础-进阶-框架-项目实战
基础第一阶段：基础Python的理解。基础第二阶段面对对象编程(注重编程能力)
基础第三阶段面向对象“设计思想”-封装-继承。基础第四阶段python高级专题。
进阶班第一阶段：linux基础。第二：python web工具。第三python部署工具。
第四关系型数据库。第五Python web框架基础原理。
框架阶段.python web开发第一阶段web.py。基础第二Django基础。
第三flask基础。第四tornado基础，
项目实战：个人博客系统-微信开发-企业OA系统=网盘系统。
qq登录页http://i.qq.com，利用webdriver打开qq空间的登录页面
driver = webdriver.Chrome()driver.get("http://i.qq.com")
打开之后右击检查查看页面元素，发现帐号密码登录在
login_frame
里，先定位到所在的frame，
driver.switch_to.frame("login_frame")
，再自动点击 帐号密码登录 按钮，自动输入帐号密码登录，并且打开说说页面，详细代码如下，
这个时候可以看到已经打开了qq说说的页面了，注意部分空间打开之后会出现一个提示框，需要先模拟点击事件关闭这个提示框
tm我以前竟然还有个黄钻，好可怕~~，空间头像也是那么的年轻、主流...
同时因为说说内容是动态加载的，需要自动下拉滚动条，加载出全部的内容，再模拟点击 下一页 加载内容。具体代码见下面。
BeautifulSoup爬取说说
F12查看内容，可以找到说说在feed_wrap这个
，里面的
标签数组里面，具体每条说说内容在
class="bd"的
标签中。
至此QQ说说已经爬取下来，并且保存在了qq_word文件里
接下来生成词云图
词云图
使用wordcloud包生成词云图，pip install wordcloud
这里还可以使用jieba分词，我并没有使用，因为我觉得qq说说的句子读起来才有点感觉，个人喜好，用jieba分词可以看到说说高频次的一些词语。
设置下wordcloud的一些属性，注意 这里要设置font_path属性，否则汉字会出现乱码。
这里还有个要提醒的是，如果使用了虚拟环境的，不要在虚拟环境下运行以下脚本，否则可能会报错 RuntimeError: Python is not installed as a framework. The Mac OS X backend will not be able to function correctly if Python is not installed as a framework. See the Python documentation for more information on installing Python as a framework on Mac OS X. Please either reinstall Python as a framework, or try one of the other backends. If you are using (Ana)Conda please install python.app and replace the use of 'python' with 'pythonw'. See 'Working with Matplotlib on OSX' in the Matplotlib FAQ for more information. ，我就遇到了这种情况，deactivate 退出了虚拟环境再跑的
至此，爬取qq说说内容，并生成词云图。
Python可以做什么？
web开发和 爬虫是比较适合 零基础的
自动化运维 运维开发 和 自动化测试 是适合 已经在做运维和测试的人员
大数据 数据分析 这方面 是很需要专业的 专业性相对而言比较强
科学计算 一般都是科研人员 在用
机器学习 和 人工智能 首先 学历 要求高 其次 高数要求高 难度很大
我有一个微信公众号，经常会分享一些python技术相关的干货；如果你喜欢我的分享，可以用微信搜索“python语言学习”关注
欢迎大家加入千人交流答疑裙：588+090+942