MongoDB源码阅读之Shard源码分析--CongfigServer启动

1.      名词解释

Shards : 每一个shard包括一个或多个服务和存储数据的mongod进程（mongod是MongoDB数据的核心进程）典型的每个shard开启多个服务来提高服务的可用性。这些服务/mongod进程在shard中组成一个复制集

Chunks: Chunk是一个来自特殊集合中的一个数据范围，（collection，minKey，maxKey）描叙一个chunk，它介于minKey和maxKey范围之间。例如chunks 的maxsize大小是100M，如果一个文件达到或超过这个范围时，会被切分到2个新的chunks中。当一个shard的数据过量时，chunks将会被迁移到其他的shards上。同样，chunks也可以迁移到其他的shards上

Config Servers : Config服务器存储着集群的metadata信息，包括每个服务器，每个shard的基本信息和chunk信息Config服务器主要存储的是chunk信息。每一个config服务器都复制了完整的chunk信息。

 

一个完整的MongoDB集群应该包含多个shards，每个shard包含多个replSets互相做备份。单个数据有大小之分，被分配到不同的Chunk之中。当一个shard的存储空间不够时，会将Chunks分配到其他Shard上。这些信息被分开后都要有所记录，这些记录存储在Congfig Servers上做查询的依据。

 

从这里开始源码研究的范畴变为mongos。

2.      代码结构

shard.h



chunk.h



config.h



以上三个对应结构的类。



strategy.h        //分配调整策略基类



strategy_shard.cpp       //shard分配调整策略的实现



parallel.h        //并行传递消息，分片等操作的工具类



server.h         //启动configserver的管理类



balance.h        //chunk分块的策划者



connpool.h       //管理mongos中的各种连接

3.      各部分结构图

a)      Chunk相关的类图

 

Chunk类：存储数据的起点、终点以及在哪一个shard上，实现了分割chunk，计算块大小等方法。

ChunkRange类：记录在同一个shard上的连续的chunk节点的起点和终点。

ChunkRangeManager类：存储ChunkRange的集合。

ChunkManager类：存储了当前shard上的所有的Chunk集合和一个ChunkRangeManager集合。

b)     Shrad相关的类

Shard类：记录了shard的名称、地址、大小等信息。

ShardStatus类：存储了Shard对象，和服务器的一些信息。

StaticShradInfo类：内部类（单件），记录了当前体系中的所有Shard 节点信息及状态，接口供Shard对象调用。

c)      Config server相关的类

DBConfig：记录各个Shard之间的连接状态。

ConfigServer：继承DBConfig

4.      Mongos server初始化

Mongos的入口在server.cpp文件中。

程序首先对各个参数进行分割存储，之后执行函数runMongosServer。

static bool runMongosServer( bool doUpgrade ) {



 



//……



 



    // set some global state



 



    //添加连接回调



    pool.addHook( new ShardingConnectionHook( false ) );



    pool.setName( "mongos connectionpool" );



 



    shardConnectionPool.addHook( new ShardingConnectionHook( true ) );



    shardConnectionPool.setName( "mongos shardconnection connectionpool" );



 



    // Mongos shouldn't lazily kill cursors, otherwise we can end up with extras from migration



    DBClientConnection::setLazyKillCursor( false );



 



    ReplicaSetMonitor::setConfigChangeHook( boost::bind( &ConfigServer::replicaSetChange , &configServer , _1 ) );



 



    //初始化ConfigServer，将参数中的配置的config server添加到列表中



    if ( ! configServer.init( configdbs ) ) {



        log() << "couldn't resolve config db address" << endl;



        return false;



    }



 



    //检查主shard地址，以及各个config server节点的连接状况



    if ( ! configServer.ok( true ) ) {



        log() << "configServer connection startup check failed" << endl;



        return false;



    }



 



    //每60秒检查检查一回各节点连接情况



    {



        class CheckConfigServers : public task::Task {



            virtual string name() const { return "CheckConfigServers"; }



            virtual void doWork() { configServer.ok(true); }



        };



 



        task::repeat(new CheckConfigServers, 60*1000);



    }



 



    //检查config sever的版本，下面详细解释



int configError = configServer.checkConfigVersion( doUpgrade );



 



//传出的configError并不一定是代表错误，而是表示当前server的状态



//总体说来，当configError为0的时候，需要将自己的作为configServer的管理者



//其他时候就直接退出了。一次mongos的工作到此结束。



    if ( configError ) {



        if ( configError > 0 ) {



            log() << "upgrade success!" << endl;



        }



        else {



            log() << "config server error: " << configError << endl;



        }



        return false;



}



    configServer.reloadSettings();



 



    //设置响应系统信号的函数



init();



 



#if !defined(_WIN32)



    CmdLine::launchOk();



#endif



 



    if ( !noHttpInterface )



        boost::thread web( boost::bind(&webServerThread, new NoAdminAccess() /* takes ownership */) );



 



    //启动消息Server，监听各端口socket连接



    MessageServer::Options opts;



    opts.port = cmdLine.port;



opts.ipList = cmdLine.bind_ip;



    start(opts);



 



    // listen() will return when exit code closes its socket.



    dbexit( EXIT_NET_ERROR );



    return true;



}



 

5.      检查config server的版本（ConfigServer::checkConfigVersion）

int ConfigServer::checkConfigVersion( bool upgrade ) {



    //访问shard服务器返回config version：其中0为初始化，1为已经连接上shard或者数据库，2为自己需要更新，3表示环境中有主config server，且不需要更新



        int cur = dbConfigVersion();



        if ( cur == VERSION )



            return 0;



 



        //如正在初始化，即环境里没有config server，则自己变为主config server，并通知shard



        if ( cur == 0 ) {



            scoped_ptr<ScopedDbConnection> conn(



                    ScopedDbConnection::getInternalScopedDbConnection( _primary.getConnString() ) );



 



            // If the cluster has not previously been initialized, we need to set the version before using so



            // subsequent mongoses use the config data the same way.  This requires all three config servers online



            // initially.



            try {



                conn->get()->insert( "config.version" , BSON( "_id" << 1 << "version" << VERSION ) );



            }



            catch( DBException& ){



                error() << "All config servers must initially be reachable for the cluster to be initialized." << endl;



                throw;



            }



 



            pool.flush();



            verify( VERSION == dbConfigVersion( conn->conn() ) );



            conn->done();



            return 0;



        }



 



        //需要更新



        if ( cur == 2 ) {



 



            // need to upgrade



            verify( VERSION == 3 );



            if ( ! upgrade ) {



                log() << "newer version of mongo meta data\n"



                      << "need to --upgrade after shutting all mongos down"



                      << endl;



                return -9;



            }



 



            scoped_ptr<ScopedDbConnection> connPtr(



                    ScopedDbConnection::getInternalScopedDbConnection( _primary.getConnString() ) );



            ScopedDbConnection& conn = *connPtr;



 



            // do a backup



            string backupName;



            {



                stringstream ss;



                ss << "config-backup-" << terseCurrentTime(false);



                backupName = ss.str();



            }



            log() << "backing up config to: " << backupName << endl;



            conn->copyDatabase( "config" , backupName );



 



            //......



            //更新shard，database和chunk



            conn->update( "config.version" , BSONObj() , BSON( "_id" << 1 << "version" << VERSION ) );



            conn.done();



            pool.flush();



            return 1;



        }



 



        log() << "don't know how to upgrade " << cur << " to " << VERSION << endl;



        return -8;



    }