纸牌屋都提到了哪些大数据技术

纸牌屋第四季是我看到的有史以来最多提到大数据技术的影视

作者：JohnK，无量数据联合创始人。

可以转载但请原文不动，转发每一个字，包括本句。

首发作者专栏，另同步发布至数个相关问题下。

全篇木下对国安局的利用主要都在于大数据技术，另外他的共和党对手康威也利用了polyhop来实现数据分析，分析竞选和民意数据并加以引导。

1.先谈谈pollyhop

这个其实并不新鲜，早在2012年奥巴马竞选时就已经看到影子了。相信pollyhop的灵感应该就是来源于奥巴马数据团队。

据了解，瓦格纳领导的数据分析团队在去年奥巴马进行连任竞选期间，在整合商业和政治数据库时采用了自上而下的方法，从而了解选民们的真实想法，随后通过 Facebook、电子邮件或登门拜访等独特的方式与选民进行接触，并说服他们将选票投给奥巴马。“这个团队其实就是民选科学家，”施密特说道，“他们通过科学技术来影响那些面临选择或问题的选民们的行为。”而奥巴马在大选中也成功将这种科技优势转变为政治优势，并顺利击败罗姆尼而连任。

传统的竞选拉票方法有一定的内在限制性，不可能照顾到每一个选民，但在瓦格纳成为 2012 年奥巴马竞选团队的首席分析师之后，就宣布了以大数据为中心的竞选策略，而数据分析团队也成功利用社交媒体和电子邮件等新兴方法与选民们进行沟通和互动，最终得到大量选民的支持。

来源：谷歌董事长投资奥巴马竞选数据分析团队_IT新闻

具体实现呢，有很多方法，最明显的就是google+和facebook的like了，哪怕你什么评论都没写，你只要在相对正面/负面的言论或者链接上+1或者like，就立刻被贴上了相应的标签，如果你倾向于反对奥巴马，则你的言论就被加以跟踪，进行数据分析，出现频率最多的一些民意，就会被捕捉到并针对性的改进，以挽回这部分人群。

2.勺子

这个勺子就是大名鼎鼎的协同过滤算法，或者和他类似的SVD、Latent Factor算法。

通过对用户间或者item间的相关性分析，判断出相似人群，以及其潜在或者隐瞒的一些行为迹象。

这个勺子既可以搅拌咖啡，比如用到商品推荐，内容、音乐推荐

也可以制造海洛因，比如通过合法持枪人群的行为相关性，找出非法持枪人群。

有关协同过滤算法，有很多现成的文章可以参考了，这里就不赘述了。

参考：协同过滤推荐算法

另外，我们无量数据的主干也是基于类似协同过滤的推荐类算法，无量数据主要是做BI方向，有兴趣加入或者投资的朋友可以加我的微信：rjfrant

3.自然语言处理

看到这个加分，就可以判断出，这是非常明显的NLP（自然语言处理）算法。

大概原理是做一个词典，所有对我有利的词，比如剧中提到的“beyond”就是正向词都被加分，所有负面词，比如康威的“空军”就会被赋以负值，从网络各个角落里面爬取的文本数据进行分析，最后得出总分，总分为很大的正直，则说明民意对我有利，相反则不利。

当然，很多碎片是沉淀下来的，算总分不会太准，我们可以算单位时间的总分变化，如果单位时间的总分变化突然向我这里一边倒，则说明我取得了阶段性的胜利。

参考：NLP | 自然语言处理

实际上上面所提到的这三个应用也是目前大数据在各领域的主要应用，美国的犯罪调查和恐怖分子排查实际上早就应用起来了，并且这些年获得很大的成效。

作为一个数据从业人，看到大数据如此被提到台面上，能够感到美国强有力的国家战略，希望国内的数据行业也能蒸蒸日上。

就这样，有兴趣加入或者投资我们无量数据的朋友，欢迎联系微信rjfrant。

可以转载但请原文不动，转发每一个字，包括本句。