新浪微博数据挖掘食谱之八: 查询篇 (查询最流行的微博元素)

#!/usr/bin/python 
# -*- coding: utf-8 -*-

'''
Created on 2015-1-4
@author: beyondzhou
@name: find_popular_entities.py
'''

# Extract entities of sina weibo
def find_popular_entities():
    
    # import 
    from login import weibo_login
    from statuses import get_common_weibo_entities
    from prettytable import PrettyTable
        
    # Access to sina api
    weibo_api = weibo_login()
    
    # Get public timeline
    statuses = weibo_api.statuses.public_timeline.get()['statuses']

    # Output the public timeline
    # print json.dumps(statuses, indent=1)
    
    # Get common weibo entities
    common_entities = get_common_weibo_entities(statuses, entity_threshold=1)
    
    # Output the first 100 record
    pt = PrettyTable(field_names=['Count', 'Entity'])
    [pt.add_row(kv) for kv in sorted(common_entities, reverse=True)[:100]]
    pt.max_width['Entity'] = 1000
    pt.align['Count'], pt.align['Entity'] = 'l', 'l'
    print pt
    
if __name__ == '__main__':
    find_popular_entities()

# Get common weibo entities
def get_common_weibo_entities(statuses, entity_threshold=0):

    from collections import Counter

    # Create a flat list  of all weibo entities
    weibo_entities = [  e
                        for status in statuses
                           for entity_type in extract_weibo_entities([status])
                             for e in entity_type
                     ]
    
    c = Counter(weibo_entities).most_common()

    # Compute frequencies (counter before entities!)
    return [(v,k)
             for (k,v) in c
               if v >= entity_threshold
           ]

callback_url: https://api.weibo.com/oauth2/authorize?redirect_uri=http%3A//apps.weibo.com/guaguastd&response_type=code&client_id=2925245021
return_redirect_uri: http://weibo.com/login.php?url=http%3A%2F%2Fapps.weibo.com%2Fguaguastd%3Fcode%3De9e21c4065777549b99f240a935fc712
code: ['e9e21c4065777549b99f240a935fc712']
+-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Count | Entity                                                                                                                                                                                                                                                            |
+-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 40    | 0                                                                                                                                                                                                                                                                 |
| 4     | 让你从此潮起来![酷]最近身边的姐妹们都特别潮,死磨硬泡才知道[可怜]原来大家都在工厂店买的,价格实惠,而且品质特别好,我也给大家分享一下[互粉][威武]xin:3104359614不要感谢我,请叫我雷锋[偷笑]                                                                     |
| 2     | 让我爱你可以,但请给我一个爱你的理由。                                                                                                                                                                                                                            |
| 2     | 让你从此潮起来![酷]最近身边的朋友们都特别潮,死磨硬泡才知道[可怜]原来大家都在工厂店买的,价格实惠,而且品质特别好,我也给大家分享一下[互粉][威武]xin:VIP999_9不要感谢我,请叫我雷锋[偷笑]                                                                       |
| 2     | 没有人是擅长做一切事情,你也是不会例外。因此,正如你对于新员工做的那样,你应该首先评′估自己最有可能成功的地方(你的优势)以及你最有可能需要别人帮助的地方在哪里(你的短处)。                                                                                     |
| 2     | 时间就是答案,它证明了一切,也忘记了一切。                                                                                                                                                                                                                        |
| 2     | 新年穿新鞋啦!!潮人看过来[加油啊]实力老口碑上家,倾诚巨献[给力]玩装潮鞋在脚下[偷乐][喵喵]正品授权,更有百余款颜色供您选择,还有明星同款等你来[心]让你坐在家里逛专柜,省钱穿大牌[互粉][威武]xin:VIP999_9                                                         |
| 2     | 夏天来了,为什么我却是个胖子。。。。胖妞玩♂水上冲浪,结果杯具了                                                                                                                                                                                                   |
| 2     | 同事们都说我最近穿的鞋好潮好时尚呢[偷笑]我才不会告诉他们,我是在一个工厂店买的呢,价格不贵不说,东西质量特别好,款式也多,还会不间断推出新款,简直就是赤裸裸的馅儿饼啊![心][互粉][威武]xin:VIP999_9                                                             |
| 2     | 【育儿常识】想帮助宝ˋ宝在黄金生长期茁壮成长,可以准备四类食物:1、奶类:含有钙质、维生素D、蛋白质2、蔬果:含维生素A及C、纤维素3、五谷类:含有碳水化台物,维生素B14、肉类、蛋类、豆类:含有蛋白质、铁质。                                                        |
| 2     | 【番茄奶油虾意面】锅内水烧开,加入1小勺盐,几滴食用油,倒入意面搅拌一下,煮熟捞出↑,过冷水沥干;鲜虾去须洗净,热锅冷油滑炒至断生盛出;锅内留底油,加入2勺番茄酱炒匀,点适量盐,放入一片三明治奶酪,煮至酱汁起稠时,倒入意面和鲜虾炒至均匀裹上蕃茄酱汁;装盘即可。 |
| 1     | 高6瓜仔                                                                                                                                                                                                                                                           |
| 1     | 荷兰瓜中含有丰富的维生素E,可起到延年益寿,抗衰老的作用;荷兰瓜中的黄瓜酶,有很强的生物活性,能有效地促进机体的新陈代谢。用荷兰瓜捣汁涂擦皮肤,有润肤,舒·展皱纹功效。                                                                                             |
| 1     | 用户5318294148                                                                                                                                                                                                                                                    |
| 1     | 玉兰花比萍果漂亮多了//【华为2014年销售收入约460亿美元】  http://http://t.cn/RZ5P2yv                                                                                                                                                                               |
| 1     | 玉兰花比萍果漂亮多了//【华为2014年销售收入约460亿美元】                                                                                                                                                                                                           |
| 1     | 热爱不妥协#大学毕业、坐等上班报到的同学们:你们是不是已经开始幻想成为职业人、摩拳擦掌跃跃欲试、准备大展拳脚改变世界呢?有些工作,其实和你想的不太一样,请做好心理准备……                                                                                            |
| 1     | 灵缇xiao信球                                                                                                                                                                                                                                                      |
| 1     | 时尚护肤师-小宏                                                                                                                                                                                                                                                   |
| 1     | 我参与了@人气攀升榜 发起的投票【2014【人气攀升榜】TOP50(1/5)】,我投给了“@胡夏 《同桌的你》”这个选项。你也快来表态吧:http://t.cn/RZ5qc90                                                                                                                        |
| 1     | 我参与了@人气攀升榜                                                                                                                                                                                                                                               |
| 1     | 愛上芝dG士的怪咖                                                                                                                                                                                                                                                  |
| 1     | 微笑vvvvae                                                                                                                                                                                                                                                        |
| 1     | 开溜摄影O滨印象                                                                                                                                                                                                                                                   |
| 1     | 巩义无名人                                                                                                                                                                                                                                                        |
| 1     | 小鸟爱天空灬wahev                                                                                                                                                                                                                                                 |
| 1     | 大叔你贼帅                                                                                                                                                                                                                                                        |
| 1     | 哇~原来桌面竟然可以酷炫的如此与众不同!还有更多个性化主题尽在魔秀哦,小伙伴们都快来领走自己的专属桌面吧@魔秀桌面 http://t.cn/RzHAe40                                                                                                                              |
| 1     | 哇~原来桌面竟然可以酷炫的如此与众不同!还有更多个性化主题尽在魔秀哦,小伙伴们都快来领走自己的专属桌面吧@魔秀桌面                                                                                                                                                  |
| 1     | 发起的投票【2014【人气攀升榜】TOP50(1/5)】,我投给了“@胡夏                                                                                                                                                                                                       |
| 1     | 再跟一年                                                                                                                                                                                                                                                          |
| 1     | 俩俩1003623241                                                                                                                                                                                                                                                    |
| 1     | 便、快捷、安全地使用电子凭证进行消费。                                                                                                                                                                                                                            |
| 1     | 人,必须经[照相机]历许多坎坷才能到达所去的目的地。心,必须经历许多伤害才能让自己坚强起来。                                                                                                                                                                        |
| 1     | 人,必须经[照相机]历许多坎坷才能到达所去的目的地。心,必须经历许多伤害才能让自己坚强起来。                                                                                                                                                                        |
| 1     | 专家称确实如此】葡萄酒专家梁竟志表示,自酿葡萄酒不仅会产生微量的甲醇,更因家庭自酿葡萄酒不能添加二氧化硫进行杀菌,会导致自酿葡萄酒产生细菌,长期喝会对人体有危害。所以,家庭自酿葡萄酒是不科学的酿酒方式。                                                        |
| 1     | 【蒜香荷兰瓜】做法:炒。口味:蒜香味。菜品特色: 荷兰瓜中含有丰富的维生素E,可起到延年益寿,抗衰老的作用;荷兰瓜中的黄瓜酶,有很强的生物活性,能有效地促进机体的新陈代谢。用荷兰瓜捣汁涂擦皮肤,有润肤,舒·展皱纹功效。                                            |
| 1     | 【蒜香荷兰瓜】做法:炒。口味:蒜香味。菜品特色:                                                                                                                                                                                                                  |
| 1     | 【电子凭证】商户使用扫描打印设备对消费ì者的电子凭证进行扫描、识别,实现电子凭证的消费和应用。通过手机本身的摄像头功能和联网功能,让消费者能方 便、快捷、安全地使用电子凭证进行消费。                                                                              |
| 1     | 【电子凭证】商户使用扫描打印设备对消费ì者的电子凭证进行扫描、识别,实现电子凭证的消费和应用。通过手机本身的摄像头功能和联网功能,让消费者能方                                                                                                                     |
| 1     | 【传自酿葡萄酒含甲醇对身体有害 专家称确实如此】葡萄酒专家梁竟志表示,自酿葡萄酒不仅会产生微量的甲醇,更因家庭自酿葡萄酒不能添加二氧化硫进行杀菌,会导致自酿葡萄酒产生细菌,长期喝会对人体有危害。所以,家庭自酿葡萄酒是不科学的酿酒方式。                         |
| 1     | 【传自酿葡萄酒含甲醇对身体有害                                                                                                                                                                                                                                    |
| 1     | 《秦时明月》破秦兵百万,做秦时霸王! http://t.cn/Rv7vsvT                                                                                                                                                                                                          |
| 1     | 《秦时明月》破秦兵百万,做秦时霸王!                                                                                                                                                                                                                              |
| 1     | 《同桌的你》”这个选项。你也快来表态吧:http://t.cn/RZ5qc90                                                                                                                                                                                                        |
| 1     | milklalal                                                                                                                                                                                                                                                         |
| 1     | louderc                                                                                                                                                                                                                                                           |
| 1     | kai爷karry王                                                                                                                                                                                                                                                      |
| 1     | http://t.cn/RzHAe40                                                                                                                                                                                                                                               |
| 1     | http://t.cn/Rv7vsvT                                                                                                                                                                                                                                               |
| 1     | http://http://t.cn/RZ5P2yv                                                                                                                                                                                                                                        |
| 1     | M丿江                                                                                                                                                                                                                                                             |
| 1     | Memory痴情丶yakde                                                                                                                                                                                                                                                 |
| 1     | MamlrH                                                                                                                                                                                                                                                            |
| 1     | Angelatao1368                                                                                                                                                                                                                                                     |
| 1     | Aitna旭                                                                                                                                                                                                                                                           |
| 1     | #毕业季 热爱不妥协#大学毕业、坐等上班报到的同学们:你们是不是已经开始幻想成为职业人、摩拳擦掌跃跃欲试、准备大展拳脚改变世界呢?有些工作,其实和你想的不太一样,请做好心理准备……                                                                                    |
| 1     | #毕业季                                                                                                                                                                                                                                                           |
+-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

你可能感兴趣的:(业务掘金)