weixin_42190794
weixin_42190794

MongoDB3.6集群搭建（分片+副本集）

MongoDB3.6集群搭建（分片+副本集）

分片则指为处理大量数据，将数据分开存储，不同服务器保存不同的数据，它们的数据总和即为整个数据集。追求的是高性能。
在生产环境中，通常是这两种技术结合使用，分片+副本集

  • 环境准备
  • 配置服务器搭建副本集
  • 三台分片服务器搭建副本集
  • 配置路由服务器
  • 分片
  • 测试
  • 注意事项

1、 环境准备

系统系统 centos7.0
三台服务器：192.168.221.130/131/132
安装包： mongodb-linux-x86_64-3.6.3.tgz

服务器130 服务器131 服务器132
mongos mongos mongos
config server config server config server
shard server1 主节点 shard server1副节点 shard server1 仲裁
shard server2 仲裁 shard server2主节点 shard server2 副节点
shard server3 副节点 shard server3 仲裁 shard server3 主节点

端口分配：mongos:23000 config:24000 shard1:25001 shard2:25002 shard3:25003

1.安装mongodb(见另一博客：mongodb 3.63（Linux CentOS 7安装 )

2.分别在每台机器建立conf、mongos、config、shard1、shard2、shard3六个目录，因为mongos不存储数据，只需要建立日志文件目录即可。

mkdir -p /usr/local/mongodb/conf
mkdir -p /usr/local/mongodb/mongos/log
mkdir -p /usr/local/mongodb/config/data
mkdir -p /usr/local/mongodb/config/log
mkdir -p /usr/local/mongodb/shard1/data
mkdir -p /usr/local/mongodb/shard1/log
mkdir -p /usr/local/mongodb/shard2/data
mkdir -p /usr/local/mongodb/shard2/log
mkdir -p /usr/local/mongodb/shard3/data
mkdir -p /usr/local/mongodb/shard3/log
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    • 
     
     
     
     
  • 9
    • 
     
     
     
     
  • 10
    •

这里写图片描述
关闭三台机器的防火墙

systemctl stop firewalld.service
    
    
    
    
    
     
     
     
     
  • 1
    •

2、 配置服务器搭建副本集

Mongodb3.4以后要求配置服务器也创建副本集，不然集群搭建不成功。添加配置文件。

vi /usr/local/mongodb/conf/config.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

进入后添加以下配置信息

## 配置文件内容
pidfilepath = /usr/local/mongodb/config/log/configsrv.pid
dbpath = /usr/local/mongodb/config/data
logpath = /usr/local/mongodb/config/log/congigsrv.log
logappend = true
bind_ip = 0.0.0.0
port = 24000
fork = true
#declare this is a config db of a cluster;
configsvr = true
#副本集名称
replSet=configs
#设置最大连接数
maxConns=20000
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    • 
     
     
     
     
  • 9
    • 
     
     
     
     
  • 10
    • 
     
     
     
     
  • 11
    • 
     
     
     
     
  • 12
    • 
     
     
     
     
  • 13
    • 
     
     
     
     
  • 14
    •

分别启动三台服务器的config server，连接：进入/usr/local/mongodb/bin目录下

./mongod -f /usr/local/mongodb/conf/config.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

登录任意一台配置服务器，初始化配置副本集，登录：进入/usr/local/mongodb/bin目录下

./mongo --port 24000
    
    
    
    
    
     
     
     
     
  • 1
    •

使用admin数据库

use admin
    
    
    
    
    
     
     
     
     
  • 1
    •

config变量：

config = {
...    _id : "configs",
...     members : [
...         {_id : 0, host : "192.168.221.130:24000" },
...         {_id : 1, host : "192.168.221.131:24000" },
...         {_id : 2, host : "192.168.221.132:24000" }
...     ]
... }
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    •

初始化副本集：

rs.initiate(config)
    
    
    
    
    
     
     
     
     
  • 1
    •

这一步非常重要，必须初始化成功。不成功的话，路由服务器与配置服务器连接不上。
其中，”_id” : “configs”应与配置文件中配置的 replicaction.replSetName 一致，”members” 中的 “host” 为三个节点的 ip 和 port。

3、 三台分片服务器搭建副本集

配置分片副本集（三台机器）。
1.设置第一个分片副本集
配置文件：

vi /usr/local/mongodb/conf/shard1.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

配置：

#配置文件内容
#——————————————–
pidfilepath = /usr/local/mongodb/shard1/log/shard1.pid
dbpath = /usr/local/mongodb/shard1/data
logpath = /usr/local/mongodb/shard1/log/shard1.log
logappend = true
bind_ip = 0.0.0.0
port = 25001
fork = true
#副本集名称
replSet=shard1
#declare this is a shard db of a cluster;
shardsvr = true
#设置最大连接数
maxConns=20000
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    • 
     
     
     
     
  • 9
    • 
     
     
     
     
  • 10
    • 
     
     
     
     
  • 11
    • 
     
     
     
     
  • 12
    • 
     
     
     
     
  • 13
    • 
     
     
     
     
  • 14
    • 
     
     
     
     
  • 15
    •

启动三台服务器的shard1 server，进入/usr/local/mongodb/bin目录下：

./mongod -f /usr/local/mongodb/conf/shard1.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

登陆任意一台服务器，初始化副本集，进入/usr/local/mongodb/bin目录下：

./mongo --port 25001
    
    
    
    
    
     
     
     
     
  • 1
    •

使用admin数据库

use admin
    
    
    
    
    
     
     
     
     
  • 1
    •

定义副本集配置，第三个节点的 “arbiterOnly”:true 代表其为仲裁节点。

config = {
...    _id : "shard1",
...     members : [
...         {_id : 0, host : "192.168.221.130:25001" },
...         {_id : 1, host : "192.168.221.131:25001" },
...         {_id : 2, host : "192.168.221.132:25001” , arbiterOnly: true }
...     ]
... }
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    •

初始化副本集配置

rs.initiate(config);
    
    
    
    
    
     
     
     
     
  • 1
    •

2.设置第二个分片
进入配置文件

vi /usr/local/mongodb/conf/shard2.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

添加配置：

#配置文件内容
#——————————————–
pidfilepath = /usr/local/mongodb/shard2/log/shard2.pid
dbpath = /usr/local/mongodb/shard2/data
logpath = /usr/local/mongodb/shard2/log/shard2.log
logappend = true
bind_ip = 0.0.0.0
port = 25002
fork = true
#副本集名称
replSet=shard2
#declare this is a shard db of a cluster;
shardsvr = true
#设置最大连接数
maxConns=20000
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    • 
     
     
     
     
  • 9
    • 
     
     
     
     
  • 10
    • 
     
     
     
     
  • 11
    • 
     
     
     
     
  • 12
    • 
     
     
     
     
  • 13
    • 
     
     
     
     
  • 14
    • 
     
     
     
     
  • 15
    •

启动三台服务器的shard2 server，进入/usr/local/mongodb/bin目录下：

./mongod -f /usr/local/mongodb/conf/shard2.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

登陆任意一台服务器，进入/usr/local/mongodb/bin初始化副本集

./mongo --port 25002
    
    
    
    
    
     
     
     
     
  • 1
    •

使用admin数据库

use admin
    
    
    
    
    
     
     
     
     
  • 1
    •

定义副本集配置

config = {
...    _id : "shard2",
...     members : [
...         {_id : 0, host : "192.168.221.130:25002"  , arbiterOnly: true },
...         {_id : 1, host : "192.168.221.131:25002" },
...         {_id : 2, host : "192.168.221.132:25002" }
...     ]
... }
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    •

初始化副本集配置

rs.initiate(config);
    
    
    
    
    
     
     
     
     
  • 1
    •

设置第三个分片副本集
配置文件代码如下：

vi /usr/local/mongodb/conf/shard3.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

进入配置：

#配置文件内容
#——————————————–
pidfilepath = /usr/local/mongodb/shard3/log/shard3.pid
dbpath = /usr/local/mongodb/shard3/data
logpath = /usr/local/mongodb/shard3/log/shard3.log
logappend = true
bind_ip = 0.0.0.0
port = 25003
fork = true
#副本集名称
replSet=shard3
#declare this is a shard db of a cluster;
shardsvr = true
#设置最大连接数
maxConns=20000
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    • 
     
     
     
     
  • 9
    • 
     
     
     
     
  • 10
    • 
     
     
     
     
  • 11
    • 
     
     
     
     
  • 12
    • 
     
     
     
     
  • 13
    • 
     
     
     
     
  • 14
    • 
     
     
     
     
  • 15
    •

启动三台服务器的shard3 server，进入/usr/local/mongodb/bin目录下：

./mongod -f /usr/local/mongodb/conf/shard3.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

登陆任意一台服务器，初始化副本集

./mongo --port 25003
    
    
    
    
    
     
     
     
     
  • 1
    •

使用admin数据库

use admin
    
    
    
    
    
     
     
     
     
  • 1
    •

定义副本集配置

config = {
...    _id : "shard3",
...     members : [
...         {_id : 0, host : "192.168.221.130:25003" },
...         {_id : 1, host : "192.168.221.131:25003" , arbiterOnly: true},
...         {_id : 2, host : "192.168.221.132:25003" }
...     ]
... }
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    •

初始化副本集配置

rs.initiate(config);
    
    
    
    
    
     
     
     
     
  • 1
    •

4、 配置路由服务器

先启动配置服务器和分片服务器,后启动路由实例启动路由实例:（三台机器）

vi /usr/local/mongodb/conf/mongos.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

配置：

#内容
pidfilepath = /usr/local/mongodb/mongos/log/mongos.pid
logpath = /usr/local/mongodb/mongos/log/mongos.log
logappend = true
bind_ip = 0.0.0.0
port = 23000
fork = true
#监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字
configdb = configs/192.168.221.130:24000,192.168.221.131:24000,192.168.221.131:24000
#设置最大连接数
maxConns=20000
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    • 
     
     
     
     
  • 9
    • 
     
     
     
     
  • 10
    • 
     
     
     
     
  • 11
    •

启动三台服务器的mongos server，进入/usr/local/mongodb/bin目录下：

./mongos -f /usr/local/mongodb/conf/mongos.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

5、分片

目前搭建了mongodb配置服务器、路由服务器，各个分片服务器，不过应用程序连接到mongos路由服务器并不能使用分片机制，还需要在程序里设置分片配置，让分片生效。
登陆任意一台mongos，进入/usr/local/mongodb/bin目录下

./mongo --port 23000
    
    
    
    
    
     
     
     
     
  • 1
    •

使用admin数据库

use  admin
    
    
    
    
    
     
     
     
     
  • 1
    •

串联路由服务器与分配副本集

sh.addShard("shard1/192.168.221.130:25001,192.168.221.131:25001,192.168.221.132:25001")
sh.addShard("shard2/192.168.221.130:25002,192.168.221.131:25002,192.168.221.132:25002")
sh.addShard("shard3/192.168.221.130:25003,192.168.221.131:25003,192.168.221.132:25003")
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    •

查看集群状态

sh.status()
    
    
    
    
    
     
     
     
     
  • 1
    •

6、 测试

目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，但我们的目的是希望插入数据，数据能够自动分片。连接在mongos上，准备让指定的数据库、指定的集合分片生效。
指定testdb分片生效

db.runCommand( { enablesharding :"testdb"});
    
    
    
    
    
     
     
     
     
  • 1
    •

这里写图片描述
指定数据库里需要分片的集合和片键

db.runCommand( { shardcollection : "testdb.table1",key : {id: “hashed”} } )
    
    
    
    
    
     
     
     
     
  • 1
    •

这里写图片描述
我们设置testdb的 table1 表需要分片，根据 id 自动分片到 shard1 ，shard2，shard3 上面去。要这样设置是因为不是所有mongodb 的数据库和表 都需要分片！插入100000条数据测试：
这里写图片描述
查看分配状态

db.table1.stats();
    
    
    
    
    
     
     
     
     
  • 1
    •

如下图所示：shard1总数：33755条
这里写图片描述
Shard2总数：33143条
这里写图片描述
Shard3总数：33102条
这里写图片描述

7、注意事项

出现如下问题，说明初始化没有成功，如果初始化没有成功会导致后面路由服务器启动不了
这里写图片描述
出现如下问题需要关闭进程。重启服务
这里写图片描述
上述一台服务器不能初始化，可以选择另一台（配置可以选取任何一台）

MongoDB3.6集群搭建（分片+副本集）

分片则指为处理大量数据，将数据分开存储，不同服务器保存不同的数据，它们的数据总和即为整个数据集。追求的是高性能。
在生产环境中，通常是这两种技术结合使用，分片+副本集

  • 环境准备
  • 配置服务器搭建副本集
  • 三台分片服务器搭建副本集
  • 配置路由服务器
  • 分片
  • 测试
  • 注意事项

1、 环境准备

系统系统 centos7.0
三台服务器：192.168.221.130/131/132
安装包： mongodb-linux-x86_64-3.6.3.tgz

服务器130 服务器131 服务器132
mongos mongos mongos
config server config server config server
shard server1 主节点 shard server1副节点 shard server1 仲裁
shard server2 仲裁 shard server2主节点 shard server2 副节点
shard server3 副节点 shard server3 仲裁 shard server3 主节点

端口分配：mongos:23000 config:24000 shard1:25001 shard2:25002 shard3:25003

1.安装mongodb(见另一博客：mongodb 3.63（Linux CentOS 7安装 )

2.分别在每台机器建立conf、mongos、config、shard1、shard2、shard3六个目录，因为mongos不存储数据，只需要建立日志文件目录即可。

mkdir -p /usr/local/mongodb/conf
mkdir -p /usr/local/mongodb/mongos/log
mkdir -p /usr/local/mongodb/config/data
mkdir -p /usr/local/mongodb/config/log
mkdir -p /usr/local/mongodb/shard1/data
mkdir -p /usr/local/mongodb/shard1/log
mkdir -p /usr/local/mongodb/shard2/data
mkdir -p /usr/local/mongodb/shard2/log
mkdir -p /usr/local/mongodb/shard3/data
mkdir -p /usr/local/mongodb/shard3/log
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    • 
     
     
     
     
  • 9
    • 
     
     
     
     
  • 10
    •

这里写图片描述
关闭三台机器的防火墙

systemctl stop firewalld.service
    
    
    
    
    
     
     
     
     
  • 1
    •

2、 配置服务器搭建副本集

Mongodb3.4以后要求配置服务器也创建副本集，不然集群搭建不成功。添加配置文件。

vi /usr/local/mongodb/conf/config.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

进入后添加以下配置信息

## 配置文件内容
pidfilepath = /usr/local/mongodb/config/log/configsrv.pid
dbpath = /usr/local/mongodb/config/data
logpath = /usr/local/mongodb/config/log/congigsrv.log
logappend = true
bind_ip = 0.0.0.0
port = 24000
fork = true
#declare this is a config db of a cluster;
configsvr = true
#副本集名称
replSet=configs
#设置最大连接数
maxConns=20000
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    • 
     
     
     
     
  • 9
    • 
     
     
     
     
  • 10
    • 
     
     
     
     
  • 11
    • 
     
     
     
     
  • 12
    • 
     
     
     
     
  • 13
    • 
     
     
     
     
  • 14
    •

分别启动三台服务器的config server，连接：进入/usr/local/mongodb/bin目录下

./mongod -f /usr/local/mongodb/conf/config.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

登录任意一台配置服务器，初始化配置副本集，登录：进入/usr/local/mongodb/bin目录下

./mongo --port 24000
    
    
    
    
    
     
     
     
     
  • 1
    •

使用admin数据库

use admin
    
    
    
    
    
     
     
     
     
  • 1
    •

config变量：

config = {
...    _id : "configs",
...     members : [
...         {_id : 0, host : "192.168.221.130:24000" },
...         {_id : 1, host : "192.168.221.131:24000" },
...         {_id : 2, host : "192.168.221.132:24000" }
...     ]
... }
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    •

初始化副本集：

rs.initiate(config)
    
    
    
    
    
     
     
     
     
  • 1
    •

这一步非常重要，必须初始化成功。不成功的话，路由服务器与配置服务器连接不上。
其中，”_id” : “configs”应与配置文件中配置的 replicaction.replSetName 一致，”members” 中的 “host” 为三个节点的 ip 和 port。

3、 三台分片服务器搭建副本集

配置分片副本集（三台机器）。
1.设置第一个分片副本集
配置文件：

vi /usr/local/mongodb/conf/shard1.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

配置：

#配置文件内容
#——————————————–
pidfilepath = /usr/local/mongodb/shard1/log/shard1.pid
dbpath = /usr/local/mongodb/shard1/data
logpath = /usr/local/mongodb/shard1/log/shard1.log
logappend = true
bind_ip = 0.0.0.0
port = 25001
fork = true
#副本集名称
replSet=shard1
#declare this is a shard db of a cluster;
shardsvr = true
#设置最大连接数
maxConns=20000
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    • 
     
     
     
     
  • 9
    • 
     
     
     
     
  • 10
    • 
     
     
     
     
  • 11
    • 
     
     
     
     
  • 12
    • 
     
     
     
     
  • 13
    • 
     
     
     
     
  • 14
    • 
     
     
     
     
  • 15
    •

启动三台服务器的shard1 server，进入/usr/local/mongodb/bin目录下：

./mongod -f /usr/local/mongodb/conf/shard1.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

登陆任意一台服务器，初始化副本集，进入/usr/local/mongodb/bin目录下：

./mongo --port 25001
    
    
    
    
    
     
     
     
     
  • 1
    •

使用admin数据库

use admin
    
    
    
    
    
     
     
     
     
  • 1
    •

定义副本集配置，第三个节点的 “arbiterOnly”:true 代表其为仲裁节点。

config = {
...    _id : "shard1",
...     members : [
...         {_id : 0, host : "192.168.221.130:25001" },
...         {_id : 1, host : "192.168.221.131:25001" },
...         {_id : 2, host : "192.168.221.132:25001” , arbiterOnly: true }
...     ]
... }
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    •

初始化副本集配置

rs.initiate(config);
    
    
    
    
    
     
     
     
     
  • 1
    •

2.设置第二个分片
进入配置文件

vi /usr/local/mongodb/conf/shard2.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

添加配置：

#配置文件内容
#——————————————–
pidfilepath = /usr/local/mongodb/shard2/log/shard2.pid
dbpath = /usr/local/mongodb/shard2/data
logpath = /usr/local/mongodb/shard2/log/shard2.log
logappend = true
bind_ip = 0.0.0.0
port = 25002
fork = true
#副本集名称
replSet=shard2
#declare this is a shard db of a cluster;
shardsvr = true
#设置最大连接数
maxConns=20000
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    • 
     
     
     
     
  • 9
    • 
     
     
     
     
  • 10
    • 
     
     
     
     
  • 11
    • 
     
     
     
     
  • 12
    • 
     
     
     
     
  • 13
    • 
     
     
     
     
  • 14
    • 
     
     
     
     
  • 15
    •

启动三台服务器的shard2 server，进入/usr/local/mongodb/bin目录下：

./mongod -f /usr/local/mongodb/conf/shard2.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

登陆任意一台服务器，进入/usr/local/mongodb/bin初始化副本集

./mongo --port 25002
    
    
    
    
    
     
     
     
     
  • 1
    •

使用admin数据库

use admin
    
    
    
    
    
     
     
     
     
  • 1
    •

定义副本集配置

config = {
...    _id : "shard2",
...     members : [
...         {_id : 0, host : "192.168.221.130:25002"  , arbiterOnly: true },
...         {_id : 1, host : "192.168.221.131:25002" },
...         {_id : 2, host : "192.168.221.132:25002" }
...     ]
... }
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    •

初始化副本集配置

rs.initiate(config);
    
    
    
    
    
     
     
     
     
  • 1
    •

设置第三个分片副本集
配置文件代码如下：

vi /usr/local/mongodb/conf/shard3.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

进入配置：

#配置文件内容
#——————————————–
pidfilepath = /usr/local/mongodb/shard3/log/shard3.pid
dbpath = /usr/local/mongodb/shard3/data
logpath = /usr/local/mongodb/shard3/log/shard3.log
logappend = true
bind_ip = 0.0.0.0
port = 25003
fork = true
#副本集名称
replSet=shard3
#declare this is a shard db of a cluster;
shardsvr = true
#设置最大连接数
maxConns=20000
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    • 
     
     
     
     
  • 9
    • 
     
     
     
     
  • 10
    • 
     
     
     
     
  • 11
    • 
     
     
     
     
  • 12
    • 
     
     
     
     
  • 13
    • 
     
     
     
     
  • 14
    • 
     
     
     
     
  • 15
    •

启动三台服务器的shard3 server，进入/usr/local/mongodb/bin目录下：

./mongod -f /usr/local/mongodb/conf/shard3.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

登陆任意一台服务器，初始化副本集

./mongo --port 25003
    
    
    
    
    
     
     
     
     
  • 1
    •

使用admin数据库

use admin
    
    
    
    
    
     
     
     
     
  • 1
    •

定义副本集配置

config = {
...    _id : "shard3",
...     members : [
...         {_id : 0, host : "192.168.221.130:25003" },
...         {_id : 1, host : "192.168.221.131:25003" , arbiterOnly: true},
...         {_id : 2, host : "192.168.221.132:25003" }
...     ]
... }
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    •

初始化副本集配置

rs.initiate(config);
    
    
    
    
    
     
     
     
     
  • 1
    •

4、 配置路由服务器

先启动配置服务器和分片服务器,后启动路由实例启动路由实例:（三台机器）

vi /usr/local/mongodb/conf/mongos.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

配置：

#内容
pidfilepath = /usr/local/mongodb/mongos/log/mongos.pid
logpath = /usr/local/mongodb/mongos/log/mongos.log
logappend = true
bind_ip = 0.0.0.0
port = 23000
fork = true
#监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字
configdb = configs/192.168.221.130:24000,192.168.221.131:24000,192.168.221.131:24000
#设置最大连接数
maxConns=20000
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    • 
     
     
     
     
  • 4
    • 
     
     
     
     
  • 5
    • 
     
     
     
     
  • 6
    • 
     
     
     
     
  • 7
    • 
     
     
     
     
  • 8
    • 
     
     
     
     
  • 9
    • 
     
     
     
     
  • 10
    • 
     
     
     
     
  • 11
    •

启动三台服务器的mongos server，进入/usr/local/mongodb/bin目录下：

./mongos -f /usr/local/mongodb/conf/mongos.conf
    
    
    
    
    
     
     
     
     
  • 1
    •

5、分片

目前搭建了mongodb配置服务器、路由服务器，各个分片服务器，不过应用程序连接到mongos路由服务器并不能使用分片机制，还需要在程序里设置分片配置，让分片生效。
登陆任意一台mongos，进入/usr/local/mongodb/bin目录下

./mongo --port 23000
    
    
    
    
    
     
     
     
     
  • 1
    •

使用admin数据库

use  admin
    
    
    
    
    
     
     
     
     
  • 1
    •

串联路由服务器与分配副本集

sh.addShard("shard1/192.168.221.130:25001,192.168.221.131:25001,192.168.221.132:25001")
sh.addShard("shard2/192.168.221.130:25002,192.168.221.131:25002,192.168.221.132:25002")
sh.addShard("shard3/192.168.221.130:25003,192.168.221.131:25003,192.168.221.132:25003")
    
    
    
    
    
     
     
     
     
  • 1
    • 
     
     
     
     
  • 2
    • 
     
     
     
     
  • 3
    •

查看集群状态

sh.status()
    
    
    
    
    
     
     
     
     
  • 1
    •

6、 测试

目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，但我们的目的是希望插入数据，数据能够自动分片。连接在mongos上，准备让指定的数据库、指定的集合分片生效。
指定testdb分片生效

db.runCommand( { enablesharding :"testdb"});
    
    
    
    
    
     
     
     
     
  • 1
    •

这里写图片描述
指定数据库里需要分片的集合和片键

db.runCommand( { shardcollection : "testdb.table1",key : {id: “hashed”} } )
    
    
    
    
    
     
     
     
     
  • 1
    •

这里写图片描述
我们设置testdb的 table1 表需要分片，根据 id 自动分片到 shard1 ，shard2，shard3 上面去。要这样设置是因为不是所有mongodb 的数据库和表 都需要分片！插入100000条数据测试：
这里写图片描述
查看分配状态

db.table1.stats();
    
    
    
    
    
     
     
     
     
  • 1
    •

如下图所示：shard1总数：33755条
这里写图片描述
Shard2总数：33143条
这里写图片描述
Shard3总数：33102条
这里写图片描述

7、注意事项

出现如下问题，说明初始化没有成功，如果初始化没有成功会导致后面路由服务器启动不了
这里写图片描述
出现如下问题需要关闭进程。重启服务
这里写图片描述
上述一台服务器不能初始化，可以选择另一台（配置可以选取任何一台）

你可能感兴趣的:(nosql,mongo集群)

  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net 佛一脚 errorreactmongodb数据库
    背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
  • 98_es生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数 小山居
    98_es生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数shardrecovery配置以及集群重启时的无意义shard重分配问题在集群重启的时候，有一些配置会影响shard恢复的过程。首先，我们需要理解默认配置下，shard恢复过程会发生什么事情。如果我们有10个node，每个node都有一个shard，可能是primaryshard或者replicashard，你有一个i
  • 【Kubernetes】常见面试题汇总（十一） summer.335 Kuberneteskubernetes容器云原生
    目录33.简述Kubernetes外部如何访问集群内的服务？34.简述Kubernetesingress？35.简述Kubernetes镜像的下载策略？33.简述Kubernetes外部如何访问集群内的服务？（1）对于Kubernetes，集群外的客户端默认情况，无法通过Pod的IP地址或者Service的虚拟IP地址：虚拟端口号进行访问。（2）通常可以通过以下方式进行访问Kubernetes集群
  • k8s中Service暴露的种类以及用法 听说唐僧不吃肉 K8Skubernetes容器云原生
    一、说明在Kubernetes中，有几种不同的方式可以将服务（Service）暴露给外部流量。这些方式通过定义服务的spec.type字段来确定。二、详解1.ClusterIP定义：默认类型，服务只能在集群内部访问。作用：通过集群内部IP地址暴露服务。示例：spec:type:ClusterIPports:-port:80targetPo
  • 非关系型数据库 天秤-white nosql
    一、为什么要用Nosql1.单机MySQL的时代。一个基本的网站访问量一般不会太大，单个数据库完全足够。那时候更多使用的静态网页html，服务器根本没有太大压力。这时候网站的瓶颈是什么？-数据量如果太大，一个机器放不下。-数据量太大需要建立数据的索引（B+Tree），一个服务器内存放不下。-访问量读写混合，一个服务器承受不了。2.memcached缓存+MySQL+垂直拆分（读写分离）。网站80%
  • [转载] NoSQL简介 weixin_30325793 大数据数据库运维
    摘自“百度百科”。NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。虽然NoSQL流行语
  • Kubernetes 自定义控制器开发 IT回忆录 Kubeneteskubernetes
    目录前言一、CRD二、创建数据库表（Mysql）二、控制器开发1.使用kubernetes的examplecontroller模板2.在controller.go中新增数据表监听方法3.修改tools工具生成资源对象结构体定义这里记录开发k8s控制器的一般方式，controller开发主要使用k8s提供的client-go库进行。前言Controller监听集群内部资源对象的变化，编辑资源对象(增
  • 【K8s】专题十一：Kubernetes 集群证书过期处理方法 行者Sun1989 Kuberneteskubernetes云原生容器
    本文内容均来自个人笔记并重新梳理，如有错误欢迎指正！如果对您有帮助，烦请点赞、关注、转发、订阅专栏！专栏订阅入口Linux专栏|Docker专栏|Kubernetes专栏往期精彩文章【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法（续）【Docker】MySQL源码构建Docker镜
  • 华为云分布式缓存服务DCS与开源服务差异对比 hcinfo_18 redis使用华为云Redis5.0分布式缓存服务Redis客户端
    分布式缓存服务DCS提供单机、主备、集群等丰富的实例类型，满足用户高读写性能及快速数据访问的业务诉求。支持丰富的实例管理操作，帮助用户省去运维烦恼。用户可以聚焦于业务逻辑本身，而无需过多考虑部署、监控、扩容、安全、故障恢复等方面的问题。DCS基于开源Redis、Memcached向用户提供一定程度定制化的缓存服务，因此，除了拥有开源服务缓存数据库的优秀特性，DCS提供更多实用功能。一、与开源Red
  • 在服务器计算节点中使用 jupyter Lab ranshan567 程序人生
    JupyterLab是一个基于网页的交互式开发环境,用于科学计算、数据分析和机器学.jupyterlab是jupyternotebook的下一代产品,集成了更多功能,使用起来更方便.在进行数据分析及可视化时，个人电脑不能满足大数据的分析需求，就需要用到高性能计算机集群资源，然而计算机集群的计算节点往往没有联网功能，所以在计算机集群中使用jupyterLab需要进行一些配置。具体的步骤如下：
  • 老生常谈：MySQL高可用架构 我有一头小花驴 mysql架构数据库
    引言“高可用”是互联网一个永恒的话题，先避开MySQL不谈，为了保证各种服务的高可用有几种常用的解决方案。服务冗余：把服务部署多份，当某个节点不可用时，切换到其他节点。服务冗余对于无状态的服务是相对容易的。服务备份：有些服务是无法同时存在多个运行时的，比如说：Nginx的反向代理，一些集群的leader节点。这时可以存在一个备份服务，处于随时待命状态。自动切换：服务冗余之后，当某个节点不可用时，要
  • Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell） May--J--Oldhu HBaseHBaseshellhbase物理架构hbase逻辑架构hbase
    NoSQL综述及ApacheHBase基础一.HBase1.HBase概述2.HBase发展历史3.HBase应用场景3.1增量数据-时间序列数据3.2信息交换-消息传递3.3内容服务-Web后端应用程序3.4HBase应用场景示例4.ApacheHBase生态圈5.HBase物理架构5.1HMaster5.2RegionServer5.3Region和Table6.HBase逻辑架构-Row7.
  • MySQL MHA pokemon.. mysql数据库
    一、MySQLMHA高可用环境概述1.什么是MHAMHA（MasterHighAvailability）是一款用于MySQL数据库集群的高可用解决方案，主要解决MySQL单点故障问题。在MySQL集群的主服务器发生故障时，MHA可以自动执行故障切换，将一个从服务器提升为新的主服务器，最大限度地保证数据的一致性。MHA的切换时间通常在0-30秒之间，极大提高了MySQL集群的可用性。2.MHA的组成
  • 关于Redis集群同步/持久化/淘汰机制的详解 尾巴尖上的阳光 大数据redis数据库
    Redis是非常常用的KV数据库,使用内存以及HashMap进行存储的特点带来了高效的查询.本文将围绕Redis的常见开发使用场景,阐述在Redis集群中各个节点是如何进行数据同步,每个节点如何进行持久化以及在长期使用中如何对数据进行更新和淘汰.如果对Redis有更多的兴趣,可以查看我的技术博客:https://dingyuqi.com下面是Redis在开发过程中常用的几种使用场景.集群Redis
  • ETCD 六 etcd总体架构 wanghaichao1234 etcdetcd架构数据库
    etcd源码结构etcd项目代码的目录结构：包名用途apiprotobuf定义client/v3客户端sdkcontribraftexample实现etcdctl命令行客户端实现，用于网路的操作etcdutl命令行管理工具，直接操作etcd数据文件。hack基准测试、测试集群、k8s部署、分支管理、证书等pkg实用程序包的集合raftraft实现server.auth角色身份验证server.em
  • 主流行架构 rainbowcheng 架构架构
    nexus，gitlab,svn,jenkins,sonar,docker，apollo，catteambition，axure，蓝湖，禅道,WCP；redis，kafka，es，zookeeper，dubbo，shardingjdbc，mysql，InfluxDB，Telegraf，Grafana，Nginx，xxl-job，Neo4j,NebulaGraph是一个高性能的,NOSQL图形数据库
  • springboot整合MongoDB时碰到的问题 生产队队长 DatabaseSpringAllmongodbspring
    1.账号总是不对，导致查不出数据，报错Auth…权鉴错误这次，我也是第一次接触MongoDB，非常的生疏springboot整合MongoDB，要在properties文件中配置账号mongodb基本语法：useDATABASE_NAME;--创建数据库showdbs;--查看我们所有的库，注意，我们刚创建的库，如果没有数据，是不会被显示的showusers;--查看当前库所有拥有的账号db.cr
  • 【K8S】kubernetes集群架构与组件 奇奇怪怪^ 云LinuxIT运维服务器linux
    文章目录【K8S】kubernetes集群架构与组件kubernetes组件**master组件**node组件整体流程POD终止过程【K8S】kubernetes集群架构与组件kubernetes组件K8S是属于主从设备模型(Master-slave架构)，即有Master节点负责集群的调度、管理和运维，Slave节点是集群中的运算工作负载节点在K8S中，主节点一般被称为Master节点，而从节
  • Kubernetes——组件 窒息う Kuberneteskubernetes容器
    文章目录K8S的优势核心架构角色与功能集群图例K8S的优势能管理大量跨主机容器快速部署应用快速扩展应用无缝对接新的应用节省资源，优化硬件资源的使用核心架构master（管理节点）node（计算节点）images（镜像节点）角色与功能Master功能提供集群的控制对集群进行全局决策检测和响应集群事件Master节点核心组件APIServer是整个系统的对外接口，提供客户端和其他组件调用后端元数据存储
  • Kubernetes组件 汉只只 网络docker大数据分布式hadoop
    Kubernetes核心组件Kubernetes定义了一组构建块，它们可以共同提供部署、维护和扩展应用程序的机制。组成Kubernetes的组件设计为松耦合和可扩展的，这样可以满足多种不同的工作负载。可扩展性在很大程度上由KubernetesAPI提供——它被作为扩展的内部组件以及Kubernetes上运行的容器等使用。Kubernetes主要由以下几个核心组件组成：etcd保存了整个集群的状态；
  • 【Linux 从基础到进阶】Kubernetes 集群搭建与管理 爱技术的小伙子 Linux从基础到进阶linuxkubernetes运维
    Kubernetes集群搭建与管理Kubernetes（简称K8s）是一个用于自动化部署、扩展和管理容器化应用程序的开源平台。它提供了容器编排功能，能够管理大量的容器实例，并支持应用的自动扩展、高可用性和自愈能力。本文将详细介绍如何在CentOS和Ubuntu系统上安装和配置Kubernetes集群，并讲解Kubernetes的基本概念和管理操作。1.Kubernetes基础概念在了解如何搭建Ku
  • Spark集群的三种模式 MelodyYN #Sparksparkhadoopbigdata
    文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
  • 【集群架构中的故障集合】_nfs connection reset by peer 2024云技术 2024年程序员学习架构javalinux
    3.Connectionrefused连接拒绝检查是否能ping通对应服务器[12:41root@backup~]#rsync-avz/etc176.16.1.31:/tmpssh:connecttohost176.16.1.31port22:Connectionrefusedrsync:connectionunexpectedlyclosed(0bytesreceivedsofar)[sende
  • Redis 集群 確定饿的猫 redislinux
    目录Redis主从复制Redis主从复制简介Redis主从复制的作用Redis主从复制流程搭建Redis主从复制master节点slave节点验证哨兵故障转移机制部署哨兵Redis集群作用数据分区高可用Redis集群Redis高可用实现的方式有持久化、主从复制、哨兵、集群，与持久化不同，另外三种方式都是属于集群，之前已经分析了解过两种持久化模式了，现在了解另外几种方式Redis主从复制Redis主
  • 为什么需要DDos高防服务器呢？ 666IDCaaa ddos服务器网络
    在当今信息化快速发展的时代，网络安全问题显得尤为重要。DDoS攻击是一种耗尽系统资源的攻击方式，可以导致正常服务请求无法得到响应。这种攻击不仅影响用户体验，还可能导致企业声誉受损、经济损失以及客户流失等严重后果。因此，选择有效的DDoS高防服务对于保护网络安全至关重要。DDoS高防服务可以通过云端清洗集群、数据库监控牵引系统等技术进行有效的削弱。这些技术能够识别并过滤恶意流量，确保正常用户能够顺利
  • 论文分享系列（二）——论微服务架构及其应用 马斯洛金字塔下的小灵猴儿 #软考高项架构师论微服务架构及其应用论文
    论微服务架构及其应用摘要2023年5月，我司启动了精彩购电商系统的开发工作，该项目组中我担任系统架构师岗位，主要负责整体架构设计与中间件选型。本文以该电商平台为例，将介绍微服务架构的特点、应用场景以及实现方法。系统以SpringCloud微服务框架开发，分为前端Web服务、平台保障服务、业务服务三部分。前端Web服务由负载均衡与服务器集群结合，实现高并发的前台界面；平台保障服务以Eureka为中心
  • Redisson分布式锁实现原理和使用 牧竹子 springboot#redisRedissonredis
    常见的锁内存锁lock,synchronize分布式锁redis，zookeeper实现Redisson基于redis实现了Lock接口的分布式集群锁，是可重入锁，功能强大，源码复杂，比redis单机模式分布式锁可靠，稳定性更高，支持集群模式，支持锁根据业务时长自动延迟释放redis普通分布式锁存在一定的缺陷——它加锁只作用在一个Redis节点上，如果通过sentinel和cluster保证高可用
  • 遍历dom 并且存储（将每一层的DOM元素存在数组中） 换个号韩国红果果 JavaScripthtml
    数组从0开始！！ var a=[],i=0; for(var j=0;j<30;j++){ a[j]=[];//数组里套数组，且第i层存储在第a[i]中 } function walkDOM(n){ do{ if(n.nodeType!==3)//筛选去除#text类型 a[i].push(n); //con
  • Android+Jquery Mobile学习系列(9)-总结和代码分享 白糖_ JQuery Mobile
    目录导航   经过一个多月的边学习边练手，学会了Android基于Web开发的毛皮，其实开发过程中用Android原生API不是很多，更多的是HTML/Javascript/Css。   个人觉得基于WebView的Jquery Mobile开发有以下优点： 1、对于刚从Java Web转型过来的同学非常适合，只要懂得HTML开发就可以上手做事。 2、jquerym
  • impala参考资料 dayutianfei impala
    记录一些有用的Impala资料   1. 入门资料 >>官网翻译：     http://my.oschina.net/weiqingbin/blog?catalog=423691   2. 实用进阶 >>代码&架构分析：     Impala/Hive现状分析与前景展望：http
  • JAVA 静态变量与非静态变量初始化顺序之新解 周凡杨 java静态非静态顺序
    今天和同事争论一问题，关于静态变量与非静态变量的初始化顺序，谁先谁后，最终想整理出来！测试代码： import java.util.Map; public class T { public static T t = new T(); private Map map = new HashMap(); public T(){ System.out.println(&quo
  • 跳出iframe返回外层页面 g21121 iframe
    在web开发过程中难免要用到iframe，但当连接超时或跳转到公共页面时就会出现超时页面显示在iframe中，这时我们就需要跳出这个iframe到达一个公共页面去。 首先跳转到一个中间页，这个页面用于判断是否在iframe中，在页面加载的过程中调用如下代码： <script type="text/javascript"> //<!-- function
  • JAVA多线程监听JMS、MQ队列 510888780 java多线程
    背景：消息队列中有非常多的消息需要处理，并且监听器onMessage（）方法中的业务逻辑也相对比较复杂，为了加快队列消息的读取、处理速度。可以通过加快读取速度和加快处理速度来考虑。因此从这两个方面都使用多线程来处理。对于消息处理的业务处理逻辑用线程池来做。对于加快消息监听读取速度可以使用1.使用多个监听器监听一个队列；2.使用一个监听器开启多线程监听。 对于上面提到的方法2使用一个监听器开启多线
  • 第一个SpringMvc例子 布衣凌宇 spring mvc
    第一步：导入需要的包； 第二步：配置web.xml文件 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi=
  • 我的spring学习笔记15-容器扩展点之PropertyOverrideConfigurer aijuans Spring3
    PropertyOverrideConfigurer类似于PropertyPlaceholderConfigurer，但是与后者相比，前者对于bean属性可以有缺省值或者根本没有值。也就是说如果properties文件中没有某个bean属性的内容，那么将使用上下文（配置的xml文件）中相应定义的值。如果properties文件中有bean属性的内容，那么就用properties文件中的值来代替上下
  • 通过XSD验证XML antlove xmlschemaxsdvalidationSchemaFactory
    1. XmlValidation.java package xml.validation; import java.io.InputStream; import javax.xml.XMLConstants; import javax.xml.transform.stream.StreamSource; import javax.xml.validation.Schem
  • 文本流与字符集 百合不是茶 PrintWrite()的使用字符集名字 别名获取
    文本数据的输入输出;           输入;数据流,缓冲流         输出;介绍向文本打印格式化的输出PrintWrite();   package 文本流; import java.io.FileNotFound
  • ibatis模糊查询sqlmap-mapping-**.xml配置 bijian1013 ibatis
            正常我们写ibatis的sqlmap-mapping-*.xml文件时，传入的参数都用##标识，如下所示： <resultMap id="personInfo" class="com.bijian.study.dto.PersonDTO"> <res
  • java jvm常用命令工具——jdb命令(The Java Debugger) bijian1013 javajvmjdb
            用来对core文件和正在运行的Java进程进行实时地调试，里面包含了丰富的命令帮助您进行调试，它的功能和Sun studio里面所带的dbx非常相似，但 jdb是专门用来针对Java应用程序的。         现在应该说日常的开发中很少用到JDB了，因为现在的IDE已经帮我们封装好了，如使用ECLI
  • 【Spring框架二】Spring常用注解之Component、Repository、Service和Controller注解 bit1129 controller
    在Spring常用注解第一步部分【Spring框架一】Spring常用注解之Autowired和Resource注解（http://bit1129.iteye.com/blog/2114084）中介绍了Autowired和Resource两个注解的功能，它们用于将依赖根据名称或者类型进行自动的注入，这简化了在XML中，依赖注入部分的XML的编写，但是UserDao和UserService两个bea
  • cxf wsdl2java生成代码super出错,构造函数不匹配 bitray super
        由于过去对于soap协议的cxf接触的不是很多,所以遇到了也是迷糊了一会.后来经过查找资料才得以解决. 初始原因一般是由于jaxws2.2规范和jdk6及以上不兼容导致的.所以要强制降为jaxws2.1进行编译生成.我们需要少量的修改: 我们原来的代码 wsdl2java com.test.xxx -client http://..... 修改后的代
  • 动态页面正文部分中文乱码排障一例 ronin47
    公司网站一部分动态页面，早先使用apache+resin的架构运行，考虑到高并发访问下的响应性能问题，在前不久逐步开始用nginx替换掉了apache。 不过随后发现了一个问题，随意进入某一有分页的网页，第一页是正常的（因为静态化过了）；点“下一页”，出来的页面两边正常，中间部分的标题、关键字等也正常，唯独每个标题下的正文无法正常显示。 因为有做过系统调整，所以第一反应就是新上
  • java-54- 调整数组顺序使奇数位于偶数前面 bylijinnan java
    import java.util.Arrays; import java.util.Random; import ljn.help.Helper; public class OddBeforeEven { /** * Q 54 调整数组顺序使奇数位于偶数前面 * 输入一个整数数组，调整数组中数字的顺序，使得所有奇数位于数组的前半部分，所有偶数位于数组的后半
  • 从100PV到1亿级PV网站架构演变 cfyme 网站架构
    一个网站就像一个人，存在一个从小到大的过程。养一个网站和养一个人一样，不同时期需要不同的方法，不同的方法下有共同的原则。本文结合我自已14年网站人的经历记录一些架构演变中的体会。 1：积累是必不可少的 架构师不是一天练成的。 1999年，我作了一个个人主页，在学校内的虚拟空间，参加了一次主页大赛，几个DREAMWEAVER的页面，几个TABLE作布局，一个DB连接，几行PHP的代码嵌入在HTM
  • [宇宙时代]宇宙时代的GIS是什么？ comsci Gis
           我们都知道一个事实，在行星内部的时候，因为地理信息的坐标都是相对固定的，所以我们获取一组GIS数据之后，就可以存储到硬盘中，长久使用。。。但是，请注意，这种经验在宇宙时代是不能够被继续使用的          宇宙是一个高维时空
  • 详解create database命令 czmmiao database
    完整命令 CREATE DATABASE mynewdb   USER SYS IDENTIFIED BY sys_password   USER SYSTEM IDENTIFIED BY system_password   LOGFILE GROUP 1 ('/u01/logs/my/redo01a.log','/u02/logs/m
  • 几句不中听却不得不认可的话 datageek
    1、人丑就该多读书。 2、你不快乐是因为：你可以像猪一样懒，却无法像只猪一样懒得心安理得。 3、如果你太在意别人的看法，那么你的生活将变成一件裤衩，别人放什么屁，你都得接着。 4、你的问题主要在于：读书不多而买书太多，读书太少又特爱思考，还他妈话痨。 5、与禽兽搏斗的三种结局：(1)、赢了，比禽兽还禽兽。(2)、输了，禽兽不如。(3)、平了，跟禽兽没两样。结论：选择正确的对手很重要。 6
  • 1 14:00 PHP中的“syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM”错误 dcj3sjt126com PHP
    原文地址：http://www.kafka0102.com/2010/08/281.html   因为需要，今天晚些在本机使用PHP做些测试，PHP脚本依赖了一堆我也不清楚做什么用的库。结果一跑起来，就报出类似下面的错误：“Parse error: syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM in /home/kafka/test/
  • xcode6 Auto layout and size classes dcj3sjt126com ios
    官方GUI   https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/AutolayoutPG/Introduction/Introduction.html   iOS中使用自动布局（一）   http://www.cocoachina.com/ind
  • 通过PreparedStatement批量执行sql语句【sql语句相同，值不同】 梦见x光 sql事务批量执行
    比如说：我有一个List需要添加到数据库中，那么我该如何通过PreparedStatement来操作呢？ public void addCustomerByCommit(Connection conn , List<Customer> customerList) {    String sql = "inseret into customer(id
  • 程序员必知必会----linux常用命令之十【系统相关】 hanqunfeng Linux常用命令
    一.linux快捷键 Ctrl+C : 终止当前命令 Ctrl+S : 暂停屏幕输出 Ctrl+Q : 恢复屏幕输出 Ctrl+U : 删除当前行光标前的所有字符 Ctrl+Z : 挂起当前正在执行的进程 Ctrl+L : 清除终端屏幕，相当于clear   二.终端命令 clear : 清除终端屏幕 reset : 重置视窗，当屏幕编码混乱时使用 time com
  • NGINX IXHONG nginx
    pcre 编译安装 nginx conf/vhost/test.conf   upstream admin { server 127.0.0.1:8080; }   server {                 listen       80; &
  • 设计模式--工厂模式 kerryg 设计模式
    工厂方式模式分为三种：   1、普通工厂模式：建立一个工厂类，对实现了同一个接口的一些类进行实例的创建。   2、多个工厂方法的模式：就是对普通工厂方法模式的改进，在普通工厂方法模式中，如果传递的字符串出错，则不能正确创建对象，而多个工厂方法模式就是提供多个工厂方法，分别创建对象。   3、静态工厂方法模式：就是将上面的多个工厂方法模式里的方法置为静态，
  • Spring InitializingBean/init-method和DisposableBean/destroy-method mx_xiehd javaspringbeanxml
    1.initializingBean/init-method 实现org.springframework.beans.factory.InitializingBean接口允许一个bean在它的所有必须属性被BeanFactory设置后，来执行初始化的工作，InitialzingBean仅仅指定了一个方法。 通常InitializingBean接口的使用是能够被避免的，（不鼓励使用，因为没有必要
  • 解决Centos下vim粘贴内容格式混乱问题 qindongliang1922 centosvim
    有时候，我们在向vim打开的一个xml，或者任意文件中，拷贝粘贴的代码时，格式莫名其毛的就混乱了，然后自己一个个再重新，把格式排列好，非常耗时，而且很不爽，那么有没有办法避免呢？ 答案是肯定的，设置下缩进格式就可以了，非常简单： 在用户的根目录下 直接vi  ~/.vimrc文件 然后将set pastetoggle=<F9> 写入这个文件中，保存退出，重新登录，
  • netty大并发请求问题 tianzhihehe netty
    多线程并发使用同一个channel java.nio.BufferOverflowException: null at java.nio.HeapByteBuffer.put(HeapByteBuffer.java:183) ~[na:1.7.0_60-ea] at java.nio.ByteBuffer.put(ByteBuffer.java:832) ~[na:1.7.0_60-ea]
  • Hadoop NameNode单点问题解决方案之一 AvatarNode wyz2009107220 NameNode
    我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。 我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入一个共享的NFS filer(注：NetApp NFS Filer)。 经常遇到需要中断服务的问题是给hadoop打补丁。 DataNod
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他