搜集百度关键词的相关网站、生成词云
光是数据不展示粗来，怎么能一目了然呢？因此今天以百度“AI”这个关键词为例子，搜集搜索结果相关网站中的网页内容，用matplotlib+wordcloud实现生成词云图。
我们首先瞧一瞧百度搜索“AI”的是什么，https://www.baidu.com/s?wd=AI，结果发现基本由Artificial Intelligence人工智能的AI、Adobe Illustrator绘图工具的AI、“爱”的拼音等其他信息构成。其中除了人工智能方面以外的信息都是需要剔除的。
因此我们主要的思路是：采集数据→筛选→统计词频→生成词云图。
前期准备
下载好 urllib、BeautifulSoup、re正则表达式、matplotlib绘图、jieba分词、wordcloud词云、PIL、numpy数据处理这几个库并引用。
初写大纲
先来写个大纲版的，只有采集数据→词云图这两个简单的步骤。
数据采集部分：
需要进入到百度搜索出的结果里，爬取其中包含AI的页面内容。
from urllib import request
import urllib.parse
from bs4 import BeautifulSoup
import re
import random
import datetime
def getLinks(url):
html = request.urlopen(url)
bsObj = BeautifulSoup(html, "html.parser")
return bsObj.find("div",{
"id":"bodyContent"}).findAll("a",{
"href":re.compile("^(/wiki/)((?!:).)*$")})
#findAll结果是列表ResultSet
#我们发现class="result-op c-container"和class="HMCpkB"等均是百度相关、广告等内容，因此剔除
random.seed(datetime.datetime.now())
url = "https://www.baidu.com/s?wd=AI"
linkList = getLinks(url)
while len(linkList)>0:
nextLink=linkList[random.randint(0,len(linkList)-1)].attrs['href'] #href属性值只有后半段链接
print(nextLink)
linkList=getLinks(nextLink)
当我们手中有了数据信息的txt文档后，便可以进行简单的词云图绘制。
绘图部分：
import matplotlib.pyplot as plt
import jieba
from wordcloud import WordCloud , ImageColorGenerator
from PIL import Image
import numpy as np
txt=open(r'C:\Users\AER\Desktop\text.txt',"r",encoding="utf-8").read()
cut_text=jieba.cut(txt,cut_all=False)
result='/'.join(cut_text)
img=Image.open(r'C:\Users\AER\Desktop\PICPIC.png')
graph=np.array(Image)
wc=WordCloud(
font_path=r"C:\Users\AER\testgit\Study-Notes\msyh.ttc",
background_color='white', max_font_size=50, mask=graph) #
wc.generate(result)
image_color=ImageColorGenerator(graph)
wc.recolor(color_func=image_color)
wc.to_file(r"C:\Users\AER\testgit\Study-Notes\5gpic.png")
plt.figure("词云图")
plt.imshow(wc)
plt.axis("off")
plt.show()