基于博客园博问标签的词云分析
一、前言
前段时间看到一篇文章，对国外某编程技术论坛文章标签进行爬取分析，得出了该论坛周一到周末各个技术分类的热门程度，分析哪些技术在周末用的多，再根据人们周末通常研究学习自己感兴趣的技术，进而得出未来某些技术发展趋势。受到这一启发，我也想分析分析国内这方面的趋势，于是找到了比较火热的博客园（www.cnblog.com），根据博问里面大家提问题的标签，分析一下在博客园上体现出来的技术趋势。
（多图预警）
图1
二、爬取标签信息
（一）首先分析网址信息。
我们打开一个问题，看一下网址
https://q.cnblogs.com/q/91307/
对应内容为
图2
通过几个问题可以发现，对于不同的问题，网址主要是后面的数字不同，而且数字是根据问题的序列顺序排列的，那么我们就可以构造出爬虫的网址
https://q.cnblogs.com/q/编号
（二）其次分析网页内容，打开源码
图3
图4
上图标记的为我们要提取的信息：问题、标签和时间。
利用bs4库提供的方法分别提取出来问题、标签和时间，并保存在CSV文件里留作后面分析使用。
其中标签提取有两种方法，一种是利用图3中方框内的
利用bs4获取两个字符串s1(获取方法名称问题_博问_博客园)和s2(c#,.net技术Action action 获取方法名称问题)
后，取差集获得问题s3(Action action 获取方法名称问题)，再利用s2和s3差集获得标签s4（c#,.net技术）
另一种是在图3中获得标题行“Action action 获取方法名称问题_博问_博客园”，再去掉后几个字符“_博问_博客园”，获得问题。在图4中利用类似方法获取标签。
时间的提取用bs4把下面内容
图5
提取成字符串，再截取字符串获得时间。之后再将时间转化为星期。
代码如下：
图6
图7
图8
完整代码可在GitHub上面找到。
（三）获得的数据
获得的数据保存在CSV文件中，如下图所示：
图9
本次获取的是近一年的数据，共计8000+条标签。由于博客园网站只能够查询近一年来的数据，所以这个数据量相对来说还是有些少。而且由于网站原因，没有8、9月分的数据。下次试试CSDN网站的数据。
三、数据分析
把数据传入数据分析软件，生成词云。
（一）近一年来的总体概况（2016.03到2017.02）
图10
近一年来，排在前面的分别是C#、Java、asp.net、.net、JavaScript等。
（二）各月份分布情况（2016.03到2017.02各个月份）
以上几个月份的分析中，C#一直稳居中央，7月份nodejs火了一阵子。Python有增长的趋势。怎么看着Android在减少呢？
（三）一周七天内分布情况（周一到周日）
可以看出，周五问的问题最多，周日比较少，周一最少，是大家都还没有回到工作状态吗？！
（四）一周内词云分析
周一和周五用Python的人表较多。其他数据基本没有变化。看来程序员普遍周末加班比较多吧，因为工作日和休息日各种问题占得比例变化并不大，可以认为他们在周末还在为工作忙碌着，而不是学习新知识，给自己充电。
四、小结
（一）博客园博问用户量并不大，导致数据有限。
（二）C#、Java、JavaScript、.net、asp.net等技术还是主流
（三）国内程序员在休息日的时候也没能逃脱工作的压力，这是病态的加班文化吧。