Hadoop应用：You might also know

 

You might also know，也就是潜在好友推荐，据我所知是LinkedIn最早推出的，现在已经是一个非常常见的应用了，在qq，微博，微信里面都有类似的功能。虽说这个功能的原理非常简单，但是能第一个想到，还是非常令人钦佩。就像Google赖以发家的PageRank算法，思路都不难，贵在能够首先想到并付诸实施。

 

算法的大概思路如下：假设  andy 认识 vincent， vincent 又认识 bob， 那么 andy 认识 bob 的几率就非常大，如果 andy 还有第二个，第三个朋友也认识 bob， 那么 andy 认识 bob 的几率就更大了。简单的说，就是朋友的朋友（qq，微信，微信中的好友），很有可能就是你认识的人。

 

假设微信要统计所有用户的潜在好友，具体算法如下：

   foreach user in weixin      遍历所有的微信用户
           foreach friend in "user's friend list"    遍历当前用户的好友列表
                     foreach friend2 in "friend's friend list"   遍历当前朋友的朋友列表
                     {
                          如果friend2不在user的好友列表中，对（user， friend2）计数加1，最后计数越大，说明 friend2最有可能是user的朋友
                          if(friend2 not in "user's friend list")
                                    count(user, friend2) ++;         
                     }

 

 

 

假设微信有1亿用户，每个用户有大概100个好友，要完成上面的运行，需要100*100*1亿次循环，这个时候hadoop就派上用场了，每个用户潜在好友的计算是互不干扰的，完全可以把1亿用户分布到多个map中同时计算。

 

这个应用场景用到的数据量并不大，只是计算量巨大，使用hadoop能很好的解决这个问题，在我看到的资料中，LinkedIn只用到了2个工程师，就完成了这个功能

 

参考资料：slideshare中关于hadoop的slide