爬取说说写入本地wen'da
#coding:utf-8
import time
from selenium import webdriver
from lxml import etree
#这里一定要设置编码格式,防止后面写入文件时报错
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
friend = '******' # 朋友的QQ号,朋友的空间要求允许你能访问
user = '*****' # 你的QQ号
pw = '*******' # 你的QQ密码
#获取浏览器驱动,如果没有要下载驱动,然后系统环境要加入这个目录
driver = webdriver.Firefox(executable_path = 'D:/App/firefox/geckodriver.exe')
# 浏览器窗口最大化
driver.maximize_window()
# 浏览器地址定向为qq登陆页面
driver.get("http://i.qq.com")
# 所以这里需要选中一下frame,否则找不到下面需要的网页元素
driver.switch_to.frame("login_frame")
# 自动点击账号登陆方式
driver.find_element_by_id("switcher_plogin").click()
# 账号输入框输入已知qq账号
driver.find_element_by_id("u").send_keys(user)
# 密码框输入已知密码
driver.find_element_by_id("p").send_keys(pw)
# 自动点击登陆按钮
driver.find_element_by_id("login_button").click()
# 让webdriver操纵当前页
driver.switch_to.default_content()
# 跳到说说的url, friend你可以任意改成你想访问的空间
driver.get("http://user.qzone.qq.com/" + friend + "/311")
next_num = 0 # 初始“下一页”的id
while True:
# 下拉滚动条,使浏览器加载出动态加载的内容,
# 我这里是从1开始到6结束 分5 次加载完每页数据
for i in range(1,6):
height = 20000*i#每次滑动20000像素
strWord = "window.scrollBy(0,"+str(height)+")"
driver.execute_script(strWord)
time.sleep(4)
# 很多时候网页由多个或
生成词云
#coding:utf-8
"""
使用结巴分词生成云图
说明这里
1.生成词云一定要设置字体样式,否则汉字出现乱码或者不显示
2.我不知道为什么本机一直显示不了中文,后面我加了jieba分词词库就可以显示中文了
"""
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import jieba
#生成词云
def create_word_cloud(filename):
text= open("D:/App/Python3.6.4/project/qqZeon/{}.txt".format(filename)).read()
# 结巴分词
wordlist = jieba.cut(text, cut_all=True)
wl = " ".join(wordlist)
# 设置词云
wc = WordCloud(
# 设置背景颜色
background_color="white",
# 设置最大显示的词云数
max_words=2000,
# 这种字体都在电脑字体中,一般路径
font_path='C:\Windows\Fonts\simfang.ttf',
height= 1200,
width= 1600,
# 设置字体最大值
max_font_size=100,
# 设置有多少种随机生成状态,即有多少种配色方案
random_state=30,
)
myword = wc.generate(wl) # 生成词云
# 展示词云图
plt.imshow(myword)
plt.axis("off")
plt.show()
wc.to_file('py_book.png') # 把词云保存下
if __name__ == '__main__':
create_word_cloud('***') #为文件名
最新的浏览器可能会打不开,建议使用老一点的版本
火狐浏览器和驱动链接:https://pan.baidu.com/s/1c31OqQk 密码:6pfp