微信、陌陌 架构方案分析

来源：http://www.wubiao.info/401

作者：wubiao

 

微信、陌陌 架构方案分析

近两年、手机应用，莫过于微信、陌陌之类最受欢迎；但实现原理，分享文章甚少。
故，提出两种方案，供分享；不对之处，敬请留言学习。

目标

解决大型应用（微信、陌陌级别）中，用户经纬度在不断更新，用户查找频繁的问题。（每分钟1000W级）

=================================================================================================
方案A

本方案前，请先阅读 http://www.wubiao.info/372

由上文，简单可得；
1、仅需每分钟将用户的经纬度，上报到数据库；
2、然后每次用户查找附近好友时，通过 LIKE ‘wm3yr3%’，即可获取

缺点：稍有一定数据量，对数据库的鸭梨可想而知

=================================================================================================
方案B

策略

假象把中国分成，若干个一平方公里的单元格，
1、用户位置的变更，理解为一个单元格移动到另外一个单元格（或者不移动）
2、用户查找附近，理解为查找，自己所在方块的的所有人

数据结构

1、用户基本信息 纬度、经度、GeoHash值（经纬度，仅用于后期距离计算）
2、单元格 集合（用户1，用户2，…）

存储工具

1、redis string（key->value） 结构，存储用户基本信息
2、redis set（集合） 结构，以GeoHash值，前6位作为key（约表示一平方千米），存储单元格的用户群

算法流程

1、更新用户信息，先删除用户原所在集合，再更新当前用户信息，最后更新当前用户所在集合
2、查找附近，直接查找，所在单元格集合所有用户ID

具体实现

<?php

 /**
  * LBS核心类
  *
  * @author name <[email protected]>
  * @site http: //www .wubiao.info
  */


include_once( 'geohash.class.php' );

class lbs
{

    // 索引长度 6位
    protected $index_len = 6;

    protected $redis;

    protected $geohash;

    public function __construct()
    {
        //redis
        $this->redis = new Redis();
        $this->redis->pconnect( '127.0.0.1' , '6379' );

        //geohash
        $this->geohash = new Geohash();
    }

    /**
    * 更新用户信息
    *
    * @param mixed $latitude 纬度
    * @param mixed $longitude 经度
    */
    public function upinfo($user_id,$latitude,$longitude)
    {

        // 原数据处理

        // 获取原Geohash
        $o_hashdata = $this->redis->hGet($user_id, 'geo' );

        if (!empty($o_hashdata))
        {
            // 原索引
            $o_index_key = substr($o_hashdata, 0, $this->index_len);

            // 删除
            $this->redis->sRem($o_index_key,$user_id);
        }


        // 新数据处理

        // 纬度
        $this->redis->hSet($user_id, 'la' ,$latitude);

        // 经度
        $this->redis->hSet($user_id, 'lo' ,$longitude);

        //Geohash
        $hashdata = $this->geohash->encode($latitude,$longitude);
        $this->redis->hSet($user_id, 'geo' ,$hashdata);

        // 索引
        $index_key = substr($hashdata, 0, $this->index_len);

        // 存入
        $this->redis->sAdd($index_key,$user_id);

        return true ;
    }

    /**
    * 获取附近用户
    *
    * @param mixed $latitude 纬度
    * @param mixed $longitude 经度
    */
    public function serach($latitude,$longitude)
    {
        //Geohash
        $hashdata = $this->geohash->encode($latitude,$longitude);

        // 索引
        $index_key = substr($hashdata, 0, $this->index_len);

        // 取得
        $user_id_array = $this->redis->sMembers($index_key);

        return $user_id_array;
    }

}

?>

性能测试

<?php

 /**
  * 模拟数据上报
  *
  * @author name <[email protected]>
  * @site http: //www .wubiao.info
  */

include_once( 'lbs.class.php' );


$b_time = microtime( true );

$n = 0;

while (1)
{
    //user_id 1~1000000
    $user_id = rand(1,1000000);

    //latitude 30.59773~30.726786
    $rand_latitude = rand(30597730,30726786);
    $latitude = $rand_latitude /1000000 ;

    //longitude 103.983192 ~104.16069
    $rand_longitude = rand(103983192,104160690);
    $longitude = $rand_longitude /1000000 ;

    $lbs = new lbs();

    $lbs->upinfo($user_id,$latitude,$longitude);

    $n++;
    mylog($n);

    $e_time = microtime( true );

    if (($e_time-$b_time)>=60)
    {
        exit ;
    }
}


function mylog($content)
{
    file_put_contents( 'upinfo.log' ,$content. "\r\n" ,FILE_APPEND);
}

?>

<?php

 /**
  * 模拟查找附近
  *
  * @author name <[email protected]>
  * @site http: //www .wubiao.info
  */

include_once( 'lbs.class.php' );

$b_time = microtime( true );

$n = 0;

while (1)
{
    //latitude 30.59773~30.726786
    $rand_latitude = rand(30597730,30726786);
    $latitude = $rand_latitude /1000000 ;

    //longitude 103.983192 ~104.16069
    $rand_longitude = rand(103983192,104160690);
    $longitude = $rand_longitude /1000000 ;

    $lbs = new lbs();

    $re = $lbs->serach($latitude,$longitude);

    $n++;
    mylog($n);

    $e_time = microtime( true );

    if (($e_time-$b_time)>=60)
    {
        exit ;
    }
}


function mylog($content)
{
    file_put_contents( 'search.log' ,$content. "\r\n" ,FILE_APPEND);
}


?>

测试环境

虚拟机，内存256M，主频2.93GHz

性能结果

模拟了100W活跃用户行为，不断更新，不断查找附近好友

//60 seconds insert
88544

//60 seconds search
117660

//成都 100W人，数据占用内存
11.97M

总结

从测试结果来看，完全能满足，微信、陌陌之类的性能要求；

尚可改进之处：

1、Geohash，可写成PHP C扩展；或者其他Geohash实现方式
2、Redis，内存消耗较大，可考虑redis集群方案
3、本文仅查出本单元格用户，提高精度，可查出周围八个单元个，求交集
4、求出结果，如需按照由远到近排序；读出Redis经纬度，利用距离公式排序方可。（可参照上一篇文字）

附redis安装方法
=================================================================================================
//redis

wget http: //redis .googlecode.com /files/redis-2 .4.14. tar .gz
make
make install

// 配置
cp redis.conf /etc/

vi /etc/redis .conf
#后台
daemonize yes
#日志
logfile /dev/null
#存储
dir ./

// 小内存，内核参数
echo 1 > /proc/sys/vm/overcommit_memory

// 防火墙
vi /etc/sysconfig/iptables
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 6379 -j ACCEPT
service iptables restart

// 启动
redis-server /etc/redis .conf

// 测试
redis-cli set foo bar
OK
redis-cli get foo
bar

=================================================================================================
//php redis 扩展

// 源码

http: //pecl .php.net /package/redis

// 手册

http: //redis .readthedocs.org /en/latest/

// 安装
/opt/server/php/bin/phpize
. /configure --with-php-config= /opt/server/php/bin/php-config
make
make install

// 配置
vi php.ini
[redis]
extension = redis.so

 

 

 

来源：http://www.wubiao.info/372

 

查找附近的xxx 球面距离以及Geohash方案探讨

 

 

随着移动终端的普及，很多应用都基于LBS功能，附近的某某（餐馆、银行、妹纸等等）。

基础数据中，一般保存了目标位置的经纬度；利用用户提供的经纬度，进行对比，从而获得是否在附近。

目标：
查找附近的XXX，由近到远返回结果，且结果中有与目标点的距离。

针对查找附近的XXX，提出两个方案，如下：

一、方案A:
=================================================================================================

抽象为球面两点距离的计算，即已知道球面上两点的经纬度；
点（纬度，经度），A($radLat1,$radLng1)、B($radLat2,$radLng2);

优点：通俗易懂，部署简单便捷

缺点：每次都会查询数据库，性能堪忧

1、推导

通过余弦定理以及弧度计算方法，最终推导出来的算式A为：

$s = acos(cos($radLat1)*cos($radLat2)*cos($radLng1-$radLng2)+sin($radLat1)*sin($radLat2))*$R;

目前网上大多使用Google公开的距离计算公司，推导算式B为：

$s = 2*asin(sqrt(pow(sin(($radLat1-$radLat2) /2 ),2)+cos($radLat1)*cos($radLat2)*pow(sin(($radLng1-$radLng2) /2 ),2)))*$R;

其中 :
$radLat1、$radLng1，$radLat2，$radLng2 为弧度

$R 为地球半径

2、通过测试两种算法，结果相同且都正确，但通过PHP代码测试，两点间距离，10W次性能对比，自行推导版本计算时长算式B较优，如下：

//算式A
0.56368780136108float(431)
0.57460689544678float(431)
0.59051203727722float(431)

//算式B
0.47404885292053float(431)
0.47808718681335float(431)
0.47946381568909float(431)

3、所以采用数学方法推导出的公式:

<?php

    // 根据经纬度计算距离 其中A($lat1,$lng1)、B($lat2,$lng2)
    public static function getDistance($lat1,$lng1,$lat2,$lng2)
    {
        // 地球半径
        $R = 6378137;

        // 将角度转为狐度
        $radLat1 = deg2rad($lat1);
        $radLat2 = deg2rad($lat2);
        $radLng1 = deg2rad($lng1);
        $radLng2 = deg2rad($lng2);

        // 结果
        $s = acos(cos($radLat1)*cos($radLat2)*cos($radLng1-$radLng2)+sin($radLat1)*sin($radLat2))*$R;

        // 精度
        $s = round($s* 10000) /10000 ;

        return  round($s);
    }

?>

4、在实际应用中，需要从数据库中遍历取出符合条件，以及排序等操作，

将所有数据取出，然后通过PHP循环对比，筛选符合条件结果，显然性能低下；所以我们利用下Mysql存储函数来解决这个问题吧。

4.1、创建Mysql存储函数,并对经纬度字段建立索引

DELIMITER $$

CREATE DEFINER=`root`@`%` FUNCTION `GETDISTANCE`(lat1 DOUBLE, lng1 DOUBLE, lat2 DOUBLE, lng2 DOUBLE) RETURNS double

READS SQL DATA

DETERMINISTIC

BEGIN

DECLARE RAD DOUBLE;

DECLARE EARTH_RADIUS DOUBLE DEFAULT 6378137;

DECLARE radLat1 DOUBLE;

DECLARE radLat2 DOUBLE;

DECLARE radLng1 DOUBLE;

DECLARE radLng2 DOUBLE;

DECLARE s DOUBLE;

SET RAD = PI() / 180.0;

SET radLat1 = lat1 * RAD;