用以前爬的知乎用户行为数据，跑了一下Apriori算法，发现了一些有意思的关联规则。以下是简略的分析过程。
数据采集
数据怎么来的？当然不是知乎给的，是爬虫来的。怎么爬的？这篇文章就不说了。
数据处理
之前爬虫的时候为了存储方便，把一个用户关联的话题以及每个话题下的回答情况存放一个长的字符串，这是一个坑。现在为了建模，得先把数据处理一下，用Python正则表达式从长字符串中把话题id抽取出来，然后使之变成一对多的规整的结构化数据框。这个过程使3220712行数据变成了36856177行。
关联分析
当然这里依然用R调包的方法来做关联分析。不过这个数据体量太大了，全量读的话单机内存会爆，更别说Apriori进行全表扫描、逐步迭代计算……所以选择一部分样本即可，这里取100w条数据作为样本来跑模型。
library(readr)
library(arules)
library(arulesViz)
library(dplyr)
topic_info <- read_csv("E:/data/data/zhihu_topics.csv")
Encoding(topic_info$topic) <- "gbk"
user_topic_sample <- read_csv("E:/data/data/zhihu_user_topic_sample.csv")
user_topic_sample <- user_topic_sample %>% left_join(topic_info[,1:2])
trans <- as(split(user_topic_sample$topic,user_topic_sample$user_token),"transactions")
rules <- apriori(trans,parameter = list(supp=0.1,conf=0.5,minlen=2))
summary(rules)
rules.sorted <- sort(rules, by="lift")
inspect(rules.sorted) %>% head(50)
lhs rhs support confidence lift count
[1] {旅行,美食,心理学} => {时尚} 0.1015915 0.7318048 3.065149 3479
[2] {健身,美食} => {时尚} 0.1031099 0.6927604 2.901612 3531
[3] {电影,旅行,心理学} => {时尚} 0.1069937 0.6879459 2.881447 3664
[4] {美食,心理学} => {家居} 0.1003066 0.5069362 2.868005 3435
[5] {电影,旅行,美食} => {时尚} 0.1104687 0.6830986 2.861144 3783
[6] {电影,美食,心理学} => {时尚} 0.1116659 0.6745458 2.825320 3824
[7] {健身,心理学} => {时尚} 0.1055921 0.6569767 2.751733 3616
[8] {家居} => {时尚} 0.1146153 0.6484388 2.715972 3925
[9] {旅行,心理学} => {时尚} 0.1209228 0.6474359 2.711771 4141
[10] {健身,旅行} => {时尚} 0.1037232 0.6473483 2.711404 3552
[11] {旅行,美食} => {时尚} 0.1232005 0.6455018 2.703671 4219
[12] {电影,旅行,时尚} => {美食} 0.1104687 0.8419764 2.689440 3783
[13] {旅行,时尚,心理学} => {美食} 0.1015915 0.8401352 2.683559 3479
[14] {商业} => {创业} 0.1386772 0.6043523 2.653679 4749
[15] {创业} => {商业} 0.1386772 0.6089242 2.653679 4749
[16] {美食,心理学} => {时尚} 0.1250986 0.6322314 2.648088 4284
[17] {美食,设计} => {时尚} 0.1017667 0.6320276 2.647234 3485
[18] {电影,健身,美食} => {旅行} 0.1030223 0.8275862 2.635608 3528
[19] {电影,家居} => {美食} 0.1067601 0.8175313 2.611357 3656
[20] {电影,生活} => {音乐} 0.1106731 0.6273796 2.605143 3790
[21] {设计,心理学} => {时尚} 0.1066433 0.6206662 2.599647 3652
[22] {旅行,心理学} => {教育} 0.1022631 0.5475297 2.595536 3502
[23] {电影,时尚,心理学} => {美食} 0.1116659 0.8118896 2.593336 3824
[24] {美食,时尚,心理学} => {旅行} 0.1015915 0.8120915 2.586262 3479
[25] {电影,美食,时尚} => {旅行} 0.1104687 0.8102377 2.580358 3783
[26] {电影,旅行,心理学} => {美食} 0.1241349 0.7981600 2.549481 4251
[27] {家居,心理学} => {美食} 0.1003066 0.7958758 2.542185 3435
[28] {经济学} => {商业} 0.1366915 0.5831568 2.541385 4681
[29] {商业} => {经济学} 0.1366915 0.5956987 2.541385 4681
[30] {旅行,心理学} => {职业发展} 0.1016791 0.5444028 2.538890 3482
[31] {旅行,时尚} => {美食} 0.1232005 0.7948380 2.538870 4219
[32] {电影,健身,心理学} => {美食} 0.1009490 0.7898104 2.522811 3457
[33] {美食,心理学} => {教育} 0.1051248 0.5312869 2.518538 3600
[34] {电影,商业} => {互联网} 0.1016207 0.6815511 2.518041 3480
[35] {创业,电影} => {互联网} 0.1006862 0.6791412 2.509137 3448
[36] {电影,健身,心理学} => {旅行} 0.1004818 0.7861549 2.503662 3441
[37] {电影,健身,旅行} => {美食} 0.1030223 0.7826087 2.499807 3528
[38] {健康} => {生活} 0.1190539 0.6937213 2.498579 4077
[39] {电影,设计,心理学} => {美食} 0.1091254 0.7806559 2.493570 3737
[40] {教育} => {职业发展} 0.1122500 0.5321152 2.481586 3844
[41] {职业发展} => {教育} 0.1122500 0.5234918 2.481586 3844
[42] {电影,时尚,心理学} => {旅行} 0.1069937 0.7779193 2.477434 3664
[43] {健身,美食} => {旅行} 0.1156373 0.7769276 2.474276 3960
[44] {美食,心理学} => {职业发展} 0.1046576 0.5289256 2.466711 3584
[45] {电影,健身} => {时尚} 0.1102351 0.5883728 2.464387 3775
[46] {电影,互联网} => {商业} 0.1016207 0.5648434 2.461576 3480
[47] {设计,时尚} => {美食} 0.1017667 0.7699956 2.459519 3485
[48] {健身,时尚} => {旅行} 0.1037232 0.7721739 2.459137 3552
[49] {电影,互联网} => {创业} 0.1006862 0.5596494 2.457391 3448
[50] {美食,时尚} => {旅行} 0.1232005 0.7705936 2.454104 4219
提升度最高的关联规则是{旅行,美食,心理学} => {时尚} ，达到了3倍多！事实上这些top50的关联规则很多都是导向“时尚”这个话题，果然不愧为逼乎。
plot(rules, method="graph", control=list(type="items"))
image.png
图就不解释了，一直都不是很懂关联规则可视化图怎么解读……
附加一下各话题关注人数top100：
知乎关注人数top100的话题
关联分析的结果可用作推荐系统。与协同过滤算法相比，它不必计算两两相似度的邻接矩阵，计算量相对小一点；而且协同过滤算法只能计算相似度，关联规则有支持度、置信度、提升度等指标，解释性较强一点。不过在协同过滤算法中，因为有两两的相似度，因为只要有一个新的input，总能根据最高的相似度进行推荐；而在关联规则中，只有触发了对应的关联规则才能推荐，因此它的覆盖面不如协同过滤广。
步骤总结
- 首先把数据整理成id-item式的规整dataframe
- 然后把dataframe转换成transaction
- 设定关联规则参数（support、confident等）建立关联规则
- 以关联规则按某个指标（lift、support等）排序、解析
- 可视化关联规则
问题延伸
- 还好刚换了一个游戏本，不然无论Python处理数据，还是跑Apriori模型，估计都会卡成狗
- 这只是一个case study
- Apriori算法在数据量大的时候计算量也大得可怕，可以考虑FP-growth
- 用R在单机上调包建模的方法可以在学习时体会一下，但离工业级的建模仍有差距。这个case体量的数据建模的话，在Spark等分布式并行计算平台上跑算法才是正道