1、Python实践之词云的制作（张学友的歌词里都唱了些什么？）

爬取下来的歌词

粗略的看一遍所有的歌词和歌曲名称，发现有部分歌曲的重复的（有的是CD版、有的是Live版的），所以我们要先对歌曲进行去重处理，具体思路就是把“Live”、“()”、“-”这些去除掉，然后再进行去重处理（这里使用Excel也很快，也可以使用Python，我就直接用Python进行处理了），具体的步骤如下：

一、歌词去重处理和歌手乱入剔除

（1）首先导入文件，并更改列名：

读取文件

可以看到爬取到的歌曲总数为一千多首，但是其中有重复的，也有其它歌手乱入的。

（2）接下来我们处理歌曲，名称并进行去重：

歌曲字符串的处理

歌曲的处理第一感觉可能是会想到使用正则表达式来进行处理，不过我这边使用的是pandas库的.str.replace()函数。因为歌曲的名称没有规则，很多符号都很乱，如果使用正则表达式其实并不会很方便，所以选择用pandas库的.str.replace()函数来使用反而快，准确率也很高。

（3）接下来我们先看看歌曲这一列的大致情况：

歌曲列的描述统计

发现有三百首左右的重复歌曲（歌神Live就是给力），接着就把重复歌曲去除（还有一个男人KTV是什么鬼？这不是胡彦斌的歌曲吗？怎么也乱入了？稍后就把乱入的歌手剔除了）：

按歌名去重

以上去重操作之后是没有改变源数据的，要进行再一次的赋值之后才能改变源数据。

歌曲处理好了之后我们就要开始处理歌手的乱入问题了：

筛选歌手为张学友的所有行

使用df[df['歌手']=='张学友']就可以把歌手名为张学友的都选出来了。

这样，就把除歌词之外的信息处理的差不多了，由于歌曲总数不是特别的多，如果比较细心的话，还可以进行一首一首的比对，看看是否存在别的类型的重复歌词并进行去重。

二、歌词的处理

（1）先选取歌词、歌手、歌曲三行，去掉url：

去掉url（注意两个方括号）

（2）然后使用清洗歌名一样的方法清洗歌词，由于这个网站的歌词上传没有统一的标准，而且很多排板也是非常的乱，所以清洗的时候需要找出的清洗关键词还是比较多的：

清洗歌词

由于清洗的词语比较多，这边就不一一列出，这边只说两个需要注意的（一个是保留中文（除了中文之外都可以用这个剔除），一个是取不为空的列）：

需要注意的

由于学友有部分歌曲是英文的，我们也一并把这些都剔除了。

清洗之后的效果是这样的：

清洗后的歌词样例

经过这样清洗之后歌词已经基本上都干净了，但是还是有部分词曲作者的名字在里边，由于这些名字所占的频率很小（频率大的基本上都剔除了），对后续的分析影响不大，所以就不再清洗了（这里必须要吐槽一下千寻歌词网的歌词，把一堆跟歌词无关的内容都放在了整个歌词的文本里，真的是很无语）。

这样我们的歌词清洗工作就基本完成了。

接着进行词云的制作

首先要把歌词使用结巴分词进行划分：

歌词进行划分

歌词按结巴分词库划分好之后使用列表循环变成一个列表，然后再变成Series：

整理成列表

进行分词的计数：

统计各个分词的个数

这边需要主要的是，单个词在做词云的时候是不会显示的，词云显示的分词最少是两个词的词语。

制作词云代码

这个代码运行之后就是如下这张图的内容了：

Python词云

当然，我们还可以使用Word Art词云网站进行词云的制作，只要把我们处理好的分词数据导出到文本文件，然后在黏贴到Word Art里就可以直接生成词云，免去了写代码的过程（Word Art里的字体不支持中文字体，所以在制作词云的时候需要自己导入字体才能生成中文词云）。

Word Art词云