码农小光
码农小光

mongodb高可用集群部署

来自公众号：马哥Linux运维
作者：赵峰峰

mongodb是最常用的nosql数据库，在数据库排名中已经上升到了前六。这篇文章介绍如何搭建高可用的mongodb（分片+副本）集群。

在搭建集群之前，需要首先了解几个概念：路由，分片、副本集、配置服务器等。

相关概念

image

从图中可以看到有四个组件：mongos、config server、shard、replica set。

1.mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。

2.config server，顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！

3.shard，分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）。

4.replica set，中文翻译副本集，其实就是shard的备份，防止shard挂掉之后数据丢失。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并可以保证数据的安全性。

5.仲裁者（Arbiter），是复制集中的一个MongoDB实例，它并不保存数据。仲裁节点使用最小的资源并且不要求硬件设备，不能将Arbiter部署在同一个数据集节点中，可以部署在其他应用服务器或者监视服务器中，也可部署在单独的虚拟机中。为了确保复制集中有奇数的投票成员（包括primary），需要添加仲裁节点做为投票，否则primary不能运行时不会自动切换primary。

简单了解之后，我们可以这样总结一下，应用请求mongos来操作mongodb的增删改查，配置服务器存储数据库元信息，并且和mongos做同步，数据最终存入在shard（分片）上，为了防止数据丢失同步在副本集中存储了一份，仲裁在数据存储到分片的时候决定存储到哪个节点。

环境准备

系统系统 Ubuntu 18.04.1 LTS 三台服务器：10.20.71.135/10.20.73.182/10.20.70.61 安装包：mongodb-org-server_4.0.6_amd64.deb

服务器规划

服务器mongo-135 服务器mongo-182 服务器mongo-61
mongos mongos mongos
config server config server config server
shard server1 主节点 shard server1 副节点 shard server1 仲裁
shard server2 仲裁 shard server2 主节点 shard server2 主节点
shard server3 副节点 shard server3 仲裁 shard server3 主节点

端口分配：

mongos：20000
config：21000
shard1：27017
shard2：27017
shard3：27017

集群搭建

1. mongodb源配置

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 9DA31620334BD75D9DCB49F368818C72E52529D4
echo "deb [ arch=amd64 ] https://repo.mongodb.org/apt/ubuntu bionic/mongodb-org/4.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-4.0.list
sudo apt-get update
会安装对应源的mongo所有依赖包,此处不执行
# sudo apt-get install -y mongodb-org
echo "mongodb-org hold" | sudo dpkg --set-selections
echo "mongodb-org-server hold" | sudo dpkg --set-selections
echo "mongodb-org-shell hold" | sudo dpkg --set-selections
echo "mongodb-org-mongos hold" | sudo dpkg --set-selections
echo "mongodb-org-tools hold" | sudo dpkg --set-selections

# 安装依赖
apt install -y  mongodb-org-mongos mongodb-org-shell mongodb-org-tools

参考

2. mongodb安装

wget https://repo.mongodb.org/apt/ubuntu/dists/bionic/mongodb-org/4.0/multiverse/binary-amd64/mongodb-org-server_4.0.6_amd64.deb
dpkg -i mongodb-org-server_4.0.6_amd64.deb

分别在每台机器建立conf、mongos、config、shard1、shard2、shard3六个目录，因为mongos不存储数据，只需要建立日志文件目录即可。

mkdir -p /usr/local/mongodb/conf
mkdir -p /usr/local/mongodb/mongos/log
mkdir -p /usr/local/mongodb/configsvr/{data,log}
mkdir -p /usr/local/mongodb/shard1/{date,log}
mkdir -p /usr/local/mongodb/shard2/{data,log}
mkdir -p /usr/local/mongodb/shard3/{data,log}

准备集群间通信使用的加密key

创建mongod、mongos之间通信所使用的key文件，在任意一台服务器上执行：

openssl rand -base64 756 > /etc/mongodb/conf/key
chmod 400 /data/mongodb/conf/key
# 将/data/mongodb/conf/key文件拷贝到其它服务器上，保持文件权限不变

connfig server配置服务器

mongodb3.4以后要求配置服务器也创建副本集，不然集群搭建不成功。添加配置文件

root@mgo-db01cn-p001:/data/mongodb/conf# cat configsrv.conf
storage:
  dbPath: /data/mongodb/config/data
  journal:
    enabled: true

systemLog:
  destination: file
  logAppend: true
  path: /data/mongodb/config/log/configsrv.log

net:
  port: 21000
  bindIp: 0.0.0.0

processManagement:
  timeZoneInfo: /usr/share/zoneinfo

security:
   keyFile: /data/mongodb/conf/key
   authorization: enabled

replication:
  replSetName: configs

sharding:
  clusterRole: "configsvr"

分别启动三台服务器的config server 方式一:

mongod -f /data/mongodb/conf/configsrv.conf

方式二:

root@mgo-db01cn-p001:/data/mongodb/conf# cat /lib/systemd/system/mongosrv.service
[Unit]
Description=MongoDB Database Config Server
After=network.target
Documentation=https://docs.mongodb.org/manual

[Service]
User=mongodb
Group=mongodb
EnvironmentFile=-/etc/default/mongod
ExecStart=/usr/bin/mongod --config /data/mongodb/conf/configsrv.conf
PIDFile=/data/mongodb/config/log/configsrv.pid
# file size
LimitFSIZE=infinity
# cpu time
LimitCPU=infinity
# virtual memory size
LimitAS=infinity
# open files
LimitNOFILE=64000
# processes/threads
LimitNPROC=64000
# locked memory
LimitMEMLOCK=infinity
# total threads (user+kernel)
TasksMax=infinity
TasksAccounting=false

# Recommended limits for for mongod as specified in
# http://docs.mongodb.org/manual/reference/ulimit/#recommended-settings

[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl start mongosrv.service
systemctl enable mongosrv.service

登录任意一台配置服务器，初始化配置副本集

#连接
mongo --port 21000
#config变量
config = {
    _id : "configs",
     members : [
         {_id : 0, host : "10.20.71.135:21000" },
         {_id : 1, host : "10.20.73.182:21000" },
         {_id : 2, host : "10.20.70.61:21000" }
     ]
}
#初始化副本集
rs.initiate(config)

其中，”_id” : “configs”应与配置文件中配置的 replicaction.replSetName 一致，”members” 中的 “host” 为三个节点的 ip 和 port

配置分片副本集(三台机器)

设置第一个分片副本集(shard1)

1. 配置文件

root@mgo-db01cn-p001:/data/mongodb/conf# egrep -v ^# shard1.conf
storage:
  dbPath: /data/mongodb/shard1/data
  journal:
    enabled: true

systemLog:
  destination: file
  logAppend: true
  path: /data/mongodb/shard1/log/shard1.log

net:
  port: 27017
  bindIp: 0.0.0.0


processManagement:
  timeZoneInfo: /usr/share/zoneinfo

security:
   keyFile: /data/mongodb/conf/key
   authorization: enabled


replication:
  replSetName: shard1

sharding:
  clusterRole: "shardsvr"

2. 制作服务启动文件

root@mgo-db01cn-p001:/data/mongodb/conf# cat /lib/systemd/system/mongod-shard1.service
[Unit]
Description=MongoDB Shard1 Database Server
After=network.target
Documentation=https://docs.mongodb.org/manual

[Service]
User=mongodb
Group=mongodb
EnvironmentFile=-/etc/default/mongod
ExecStart=/usr/bin/mongod --config /data/mongodb/conf/shard1.conf
PIDFile=/data/mongodb/shard1/log/shard1.pid
# file size
LimitFSIZE=infinity
# cpu time
LimitCPU=infinity
# virtual memory size
LimitAS=infinity
# open files
LimitNOFILE=64000
# processes/threads
LimitNPROC=64000
# locked memory
LimitMEMLOCK=infinity
# total threads (user+kernel)
TasksMax=infinity
TasksAccounting=false

# Recommended limits for for mongod as specified in
# http://docs.mongodb.org/manual/reference/ulimit/#recommended-settings

[Install]
WantedBy=multi-user.target

启动方式一:

root@mgo-db01cn-p001:/data/mongodb/conf# systemctl daemon-reload
root@mgo-db01cn-p001:/data/mongodb/conf# systemctl start mongod-shard1.service
root@mgo-db01cn-p001:/data/mongodb/conf# systemctl status mongod-shard1.service

启动方式二:

mongod -f /data/mongodb/conf/shard1.conf

登陆任意一台服务器，初始化副本集:

在任意一台服务上初始化复制集配置：

mongo --port 27017
#使用admin数据库
use admin
#定义副本集配置，第三个节点的 "arbiterOnly":true 代表其为仲裁节点。
config = {
   _id : "shard1",
   members : [
       {_id : 0, host : "10.20.71.135:27017" },
       {_id : 1, host : "10.20.73.182:27017" },
       {_id : 2, host : "10.20.70.61:27017", arbiterOnly: true }
    ]
}
#初始化副本集配置
rs.initiate(config);
rs.status()
rs.conf()

设置第二个分片副本集(shard2)

1. 配置文件

root@mgo-db01cn-p001:/data/mongodb/conf# egrep -v ^# shard2.conf
storage:
  dbPath: /data/mongodb/shard2/data
  journal:
    enabled: true

systemLog:
  destination: file
  logAppend: true
  path: /data/mongodb/shard2/log/shard2.log

net:
  port: 27018
  bindIp: 0.0.0.0


processManagement:
  timeZoneInfo: /usr/share/zoneinfo

security:
   keyFile: /data/mongodb/conf/key
   authorization: enabled


replication:
  replSetName: shard2

sharding:
  clusterRole: "shardsvr"

2. 制作服务启动文件

root@mgo-db01cn-p001:/data/mongodb/conf# cat /lib/systemd/system/mongod-shard2.service
[Unit]
Description=MongoDB Shard2 Database Server
After=network.target
Documentation=https://docs.mongodb.org/manual

[Service]
User=mongodb
Group=mongodb
EnvironmentFile=-/etc/default/mongod
ExecStart=/usr/bin/mongod --config /data/mongodb/conf/shard2.conf
PIDFile=/data/mongodb/shard2/log/shard2.pid
# file size
LimitFSIZE=infinity
# cpu time
LimitCPU=infinity
# virtual memory size
LimitAS=infinity
# open files
LimitNOFILE=64000
# processes/threads
LimitNPROC=64000
# locked memory
LimitMEMLOCK=infinity
# total threads (user+kernel)
TasksMax=infinity
TasksAccounting=false

# Recommended limits for for mongod as specified in
# http://docs.mongodb.org/manual/reference/ulimit/#recommended-settings

[Install]
WantedBy=multi-user.target

启动方式一:

root@mgo-db01cn-p001:/data/mongodb/conf# systemctl daemon-reload
root@mgo-db01cn-p001:/data/mongodb/conf# systemctl start mongod-shard2.service
root@mgo-db01cn-p001:/data/mongodb/conf# systemctl status mongod-shard2.service

启动方式二:

mongod -f /data/mongodb/conf/shard2.conf

登陆任意一台服务器，初始化副本集:

在任意一台服务上初始化复制集配置：

mongo --port 27018
#使用admin数据库
use admin
#定义副本集配置，第三个节点的 "arbiterOnly":true 代表其为仲裁节点。
config = {
   _id : "shard2",
   members : [
       {_id : 0, host : "10.20.71.135:27018" },
       {_id : 1, host : "10.20.73.182:27018", arbiterOnly: true },
       {_id : 2, host : "10.20.70.61:27018" }
    ]
}
#初始化副本集配置
rs.initiate(config);

设置第二个分片副本集(shard3)

1. 配置文件

root@mgo-db01cn-p001:/data/mongodb/conf# egrep -v ^# shard3.conf
storage:
  dbPath: /data/mongodb/shard3/data
  journal:
    enabled: true

systemLog:
  destination: file
  logAppend: true
  path: /data/mongodb/shard3/log/shard3.log

net:
  port: 27019
  bindIp: 0.0.0.0


processManagement:
  timeZoneInfo: /usr/share/zoneinfo

security:
   keyFile: /data/mongodb/conf/key
   authorization: enabled


replication:
  replSetName: shard3

sharding:
  clusterRole: "shardsvr"

2. 制作服务启动文件

root@mgo-db01cn-p001:/data/mongodb/conf# cat /lib/systemd/system/mongod-shard3.service
[Unit]
Description=MongoDB Shard3 Database Server
After=network.target
Documentation=https://docs.mongodb.org/manual

[Service]
User=mongodb
Group=mongodb
EnvironmentFile=-/etc/default/mongod
ExecStart=/usr/bin/mongod --config /data/mongodb/conf/shard3.conf
PIDFile=/data/mongodb/shard3/log/shard3.pid
# file size
LimitFSIZE=infinity
# cpu time
LimitCPU=infinity
# virtual memory size
LimitAS=infinity
# open files
LimitNOFILE=64000
# processes/threads
LimitNPROC=64000
# locked memory
LimitMEMLOCK=infinity
# total threads (user+kernel)
TasksMax=infinity
TasksAccounting=false

# Recommended limits for for mongod as specified in
# http://docs.mongodb.org/manual/reference/ulimit/#recommended-settings

[Install]
WantedBy=multi-user.target

启动方式一:

root@mgo-db01cn-p001:/data/mongodb/conf# systemctl daemon-reload
root@mgo-db01cn-p001:/data/mongodb/conf# systemctl start mongod-shard3.service
root@mgo-db01cn-p001:/data/mongodb/conf# systemctl status mongod-shard3.service

启动方式二:

mongod -f /data/mongodb/conf/shard3.conf

登陆任意一台服务器，初始化副本集:

mongo --port 27019

use admin

#定义副本集配置，第三个节点的 "arbiterOnly":true 代表其为仲裁节点。
config = {
   _id : "shard3",
   members : [
       {_id : 0, host : "10.20.71.135:27019",arbiterOnly: true },
       {_id : 1, host : "10.20.73.182:27019" },
       {_id : 2, host : "10.20.70.61:27019" }
    ]
}

#初始化副本集配置
rs.initiate(config);

配置路由服务器 mongos

先启动配置服务器和分片服务器,后启动路由实例:（三台机器） 1. 配置文件

systemLog:
  destination: file
  logAppend: true
  path: /data/mongodb/mongos/log/mongos.log

net:
  port: 20000
  bindIp: 0.0.0.0


processManagement:
  timeZoneInfo: /usr/share/zoneinfo

security:
   keyFile: /data/mongodb/conf/key
   clusterAuthMode: keyFile


replication:
  localPingThresholdMs: 15

sharding:
  #监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字
  configDB: "configs/10.20.71.135:21000,10.20.73.182:21000,10.20.70.61:21000"

2. 制作服务启动文件

root@mgo-db01cn-p001:/data/mongodb/conf# cat /lib/systemd/system/mongos.service
[Unit]
Description=MongoDB Mongos Database Server
After=network.target
Documentation=https://docs.mongodb.org/manual

[Service]
User=mongodb
Group=mongodb
EnvironmentFile=-/etc/default/mongod
ExecStart=/usr/bin/mongos --config /data/mongodb/conf/mongos.conf
PIDFile=/data/mongodb/mongos/log/mongos.pid
# file size
LimitFSIZE=infinity
# cpu time
LimitCPU=infinity
# virtual memory size
LimitAS=infinity
# open files
LimitNOFILE=64000
# processes/threads
LimitNPROC=64000
# locked memory
LimitMEMLOCK=infinity
# total threads (user+kernel)
TasksMax=infinity
TasksAccounting=false

# Recommended limits for for mongod as specified in
# http://docs.mongodb.org/manual/reference/ulimit/#recommended-settings

[Install]
WantedBy=multi-user.target

启动方式一:

root@mgo-db01cn-p001:/data/mongodb/conf# systemctl daemon-reload
root@mgo-db01cn-p001:/data/mongodb/conf# systemctl enable mongos
root@mgo-db01cn-p001:/data/mongodb/conf# systemctl start mongos.service
root@mgo-db01cn-p001:/data/mongodb/conf# systemctl status mongos.service

启动方式二:

mongod -f /data/mongodb/conf/shard3.conf

3. 启用分片 目前搭建了mongodb配置服务器、路由服务器，各个分片服务器，不过应用程序连接到mongos路由服务器并不能使用分片机制，还需要在程序里设置分片配置，让分片生效。

mongo --port 20000

#使用admin数据库
use  admin

#串联路由服务器与分配副本集
sh.addShard("shard1/10.20.71.135:27017,10.20.73.182:27017,10.20.70.61:27017")
sh.addShard("shard2/10.20.71.135:27018,10.20.73.182:27018,10.20.70.61:27018")
sh.addShard("shard3/10.20.71.135:27019,10.20.73.182:27019,10.20.70.61:27019")

#查看集群状态
sh.status()

⚠️ : 集群服务启动顺序 mongodb的启动顺序是，先启动配置服务器，在启动分片，最后启动mongos. configsvr->shard->mongos 至此，整个mongodb高可用集群就搭建好了。

部署测试

1. 先建一个database及user创建数据

# 创建一个admin用户
$ mongo --port 20000
> use admin
> db.createUser({ user: "weadmin", pwd: "123456",roles: [{ role: "userAdminAnyDatabase", db: "admin" },{ role: "clusterManager", db : "admin"}],passwordDigestor: "server"})
> exit

# 创建一个database的访问用户
$ mongo --username weadmin --password 123456 --authenticationDatabase admin --port 20000 admin
> use test
> db.createUser({user: "test",pwd: "123456",roles: [{ role: "dbOwner", db: "test" }],passwordDigestor: "server"});
> exit

# 使用该用户访问database，并插入数据，创建索引
$ mongo --username test --password 123456 --authenticationDatabase test --port 20000  test
#插入测试数据
> for (var i = 1; i <= 5000; i++){db.table1.save({id:i,"name":"shuke"})};
> exit

2. 分片生效 目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，但我们的目的是希望插入数据，数据能够自动分片。连接在mongos上，准备让指定的数据库、指定的集合分片生效。

$ mongo --username weadmin --password 123456 --authenticationDatabase admin --port 20000 admin
> use admin
# 认证
> db.auth("weadmin", "123456")
#指定testdb分片生效
db.runCommand( { enablesharding :"test"});
#指定数据库里需要分片的集合和片键
db.runCommand( { shardcollection : "test.table1",key : {id: 1} } )

我们设置testdb的 table1 表需要分片，根据 id 自动分片到 shard1 ，shard2，shard3 上面去。要这样设置是因为不是所有mongodb 的数据库和表 都需要分片！

3. 测试分片配置结果:

$ mongo --username test --password 123456 --authenticationDatabase test --port 20000  test
> use test
> db.auth("test", "123456")
#查看分片情况
> db.table1.stats();

总结

手工部署mongodb集群还是比较麻烦的，所以如果图省事儿，还是使用云厂商提供的PaaS服务好了，比如云数据库 MongoDB。如果一定要自己搭建，还是建议用现成的ansible-mongodb-cluster脚本好了。

refs

mongodb高可用集群部署 - jeremy的技术点滴 mongodb 3.4 集群搭建：分片+副本集 - 纯洁的微笑博客 搭建 MongoDB分片（sharding） / 分区 / 集群环境 - 云+社区 - 腾讯云 MongoDB副本集配置 - 个人文章 - SegmentFault 思否 三个节点的复制集 — MongoDB Manual 3.4 在Ubuntu上安装MongoDB社区版 | 静水流深

你可能感兴趣的:(mongodb高可用集群部署)

  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net 佛一脚 errorreactmongodb数据库
    背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
  • 98_es生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数 小山居
    98_es生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数shardrecovery配置以及集群重启时的无意义shard重分配问题在集群重启的时候，有一些配置会影响shard恢复的过程。首先，我们需要理解默认配置下，shard恢复过程会发生什么事情。如果我们有10个node，每个node都有一个shard，可能是primaryshard或者replicashard，你有一个i
  • KVM+GFS分布式存储系统构建KVM高可用 henan程序媛 分布式GFS高可用KVM
    一、案列分析1.1案列概述本章案例主要使用之前章节所学的KVM及GlusterFs技术,结合起来从而实现KVM高可用。利用GlusterFs分布式复制卷，对KVM虚拟机文件进行分布存储和冗余。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点,当其中一个节点数据丢失或者损坏之后，KVM仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保证虚拟机正常运行。当节点修复之后，Glu
  • 老生常谈：MySQL高可用架构 我有一头小花驴 mysql架构数据库
    引言“高可用”是互联网一个永恒的话题，先避开MySQL不谈，为了保证各种服务的高可用有几种常用的解决方案。服务冗余：把服务部署多份，当某个节点不可用时，切换到其他节点。服务冗余对于无状态的服务是相对容易的。服务备份：有些服务是无法同时存在多个运行时的，比如说：Nginx的反向代理，一些集群的leader节点。这时可以存在一个备份服务，处于随时待命状态。自动切换：服务冗余之后，当某个节点不可用时，要
  • MySQL MHA pokemon.. mysql数据库
    一、MySQLMHA高可用环境概述1.什么是MHAMHA（MasterHighAvailability）是一款用于MySQL数据库集群的高可用解决方案，主要解决MySQL单点故障问题。在MySQL集群的主服务器发生故障时，MHA可以自动执行故障切换，将一个从服务器提升为新的主服务器，最大限度地保证数据的一致性。MHA的切换时间通常在0-30秒之间，极大提高了MySQL集群的可用性。2.MHA的组成
  • springboot整合MongoDB时碰到的问题 生产队队长 DatabaseSpringAllmongodbspring
    1.账号总是不对，导致查不出数据，报错Auth…权鉴错误这次，我也是第一次接触MongoDB，非常的生疏springboot整合MongoDB，要在properties文件中配置账号mongodb基本语法：useDATABASE_NAME;--创建数据库showdbs;--查看我们所有的库，注意，我们刚创建的库，如果没有数据，是不会被显示的showusers;--查看当前库所有拥有的账号db.cr
  • 【Linux 从基础到进阶】Kubernetes 集群搭建与管理 爱技术的小伙子 Linux从基础到进阶linuxkubernetes运维
    Kubernetes集群搭建与管理Kubernetes（简称K8s）是一个用于自动化部署、扩展和管理容器化应用程序的开源平台。它提供了容器编排功能，能够管理大量的容器实例，并支持应用的自动扩展、高可用性和自愈能力。本文将详细介绍如何在CentOS和Ubuntu系统上安装和配置Kubernetes集群，并讲解Kubernetes的基本概念和管理操作。1.Kubernetes基础概念在了解如何搭建Ku
  • Spark集群的三种模式 MelodyYN #Sparksparkhadoopbigdata
    文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
  • Redis 集群 確定饿的猫 redislinux
    目录Redis主从复制Redis主从复制简介Redis主从复制的作用Redis主从复制流程搭建Redis主从复制master节点slave节点验证哨兵故障转移机制部署哨兵Redis集群作用数据分区高可用Redis集群Redis高可用实现的方式有持久化、主从复制、哨兵、集群，与持久化不同，另外三种方式都是属于集群，之前已经分析了解过两种持久化模式了，现在了解另外几种方式Redis主从复制Redis主
  • Redisson分布式锁实现原理和使用 牧竹子 springboot#redisRedissonredis
    常见的锁内存锁lock,synchronize分布式锁redis，zookeeper实现Redisson基于redis实现了Lock接口的分布式集群锁，是可重入锁，功能强大，源码复杂，比redis单机模式分布式锁可靠，稳定性更高，支持集群模式，支持锁根据业务时长自动延迟释放redis普通分布式锁存在一定的缺陷——它加锁只作用在一个Redis节点上，如果通过sentinel和cluster保证高可用
  • Redis的持久化和高可用性 小辛学西嘎嘎 redis数据库缓存
    目录一、淘汰策略1、背景2、淘汰策略二、持久化1、背景2、fork进程写时复制机制3、Redis持久化方式1、aof2、rdb三、高可用1、主从复制2、Redis哨兵模式3、Rediscluster集群一、淘汰策略1、背景首先Redis是一个内存数据库，将所有数据存放在内存中，通过对K值进行hash后存储在散列表中。有一个小问题Redis数据库占96G，但为什么最终占满只有48G呢。因为中间有个过
  • java mongodb group分组使用 yank1225 mongodbjavamongodbgroup
    mongodb的关键字及介绍.mongodb的查询是有一定规则的,刚开始接触老是各种错误,参照以下内容有很多帮助https://docs.mongodb.com/manual/reference/sql-aggregation-comparison/另外出现这种错误时Apipelinestagespecificationobjectmustcontainexactlyonefield是因为条件不对
  • PostgreSQL进阶教程 爱分享的码瑞哥 postgresql
    PostgreSQL进阶教程目录事务和并发控制事务事务隔离级别锁高级查询联合查询窗口函数子查询CTE（公用表表达式）数据类型自定义数据类型数组JSON高级索引部分索引表达式索引GIN和GiST索引性能调优查询优化配置优化备份与恢复物理备份逻辑备份扩展与插件PostGISpg_cron集群与高可用StreamingReplicationPatroni事务和并发控制事务事务是一个或多个SQL语句的组合
  • Docker-compose minio集群部署 有点菜的运维 docker容器运维
    一、虚机准备192.168.40.174192.168.40.174192.168.40.176二、下载docker-compose离线安装docker及docker-compose_docker-compose离线安装-CSDN博客三、docker-compose.yml文件按docker-compose文件启动，minio的api端口为9000，控制台端口为9001174version:"3"
  • 掌握检索技术：构建高效知识检索系统的架构与算法23 是小旭啊 人工智能
    在检索专业知识层需要涵盖更高级的检索技术，包括工程架构和算法策略。一、工程架构工程架构在构建检索系统中决定了系统的可扩展性、高可用性和性能。比如需要考虑的基本点：分布式架构：水平扩展：采用分布式架构，将检索任务分布到多个节点上，实现水平扩展。这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进
  • 掌握检索技术：构建高效知识检索系统的架构与算法21 是小旭啊 人工智能
    在检索专业知识层需要涵盖更高级的检索技术，包括工程架构和算法策略。一、工程架构工程架构在构建检索系统中决定了系统的可扩展性、高可用性和性能。比如需要考虑的基本点：分布式架构：水平扩展：采用分布式架构，将检索任务分布到多个节点上，实现水平扩展。这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进
  • MongoDB Atlas与LangChain集成指南 afTFODguAKBF mongodblangchain数据库python
    引言MongoDBAtlas是一款全托管的云数据库解决方案,可在AWS、Azure和GCP上使用。最新版本支持在MongoDB文档数据上进行原生向量搜索。本文将介绍如何使用LangChain将MongoDBAtlas与语言模型集成,以实现高效的向量搜索和语义缓存。安装和设置1.安装langchain-mongodb包pipinstalllangchain-mongodb向量存储LangChain提
  • 数据库管理的利器Navicat —— 全面测评与热门产品推荐 界面开发小八哥 数据库Navicat数据库开发sqlmysql
    在数据库管理领域，Navicat无疑是一款深受欢迎的软件。作为一个强大的数据库管理和开发工具，它支持多种数据库类型，包括MySQL、MariaDB、MongoDB、SQLServer、Oracle、PostgreSQL等。本文将全面测评Navicat的核心功能，同时推荐几款热门的Navicat产品。Navicat的主要特点1.跨平台支持：Navicat支持Windows、Mac和Linux平台，可
  • 命令行工具部署达梦数据库 DMDPC（BP 多副本架构） 百代繁华一朝都-绮罗生 数据库架构网络
    解达梦数据库DPC集群的主要使用场景：DMDPC关注和解决的是大数据、计算与存储分离、高可用、支持全部的SQL标准、拥有完整的事务处理能力和集群规模能够动态伸缩的业务场景：大量的复杂查询操作要求优化器能够生成优良的执行计划，并且执行引擎能够充分利用多机器、多核的硬件资源某些行业对数据一致性和多副本备份容灾有较高要求，同时希望维护成本足够低和故障恢复时间足够短；用户的业务规模有峰值，要求所需的机器资
  • DM8 分布计算集群（DMDPC）Docker 命令行部署指南 69岁法外狂徒 docker容器数据库分布式
    简介DMDPC是一款同时支持在线分析处理(OLAP)和在线事务处理(OLTP)的新型分布式数据库系统。它不仅保留了传统单机数据库的大部分功能，还提供了分布式计算集群所特有的高可用性、高扩展性、高性能、高吞吐量以及对用户透明等高级特性。本文借助命令行工具部署DPC集群。系统架构DMDPC的架构由三个核心组件组成：计划生成节点(SP)：对外提供分布式数据库服务，负责接收用户请求、生成执行计划，并调度计
  • 【HDFS主从集群】存在两个独立的问题和解决方案 流辉fglow 大数据#HDFShdfsjavahadoop大数据分布式学习
    主从集群存在两个独立的问题和解决方案单点“主”的两个独立的问题以下是解决方案HA高可用方案：解决单点故障导致集群整体不可用问题Federation联邦机制：解决NN压力过大问题总结一般很多技术都是主从结构（最简单的结构）优点：结构相对简单，主与从协作“主”是单点，好处有，缺点也有好处：单点NameNode，数据一致性好掌握  因为一个人管，说一不二的单点“主”的两个独立的问题关键词：独立：两套独立
  • 云原生应用——软件的未来 快乐非自愿 云原生
    随着云计算技术的飞速发展，企业对于软件应用的部署和运行方式提出了新的要求。传统的软件部署模式已经难以满足现代企业对于敏捷性、可伸缩性和高可用性的需求。因此，云原生应用应运而生，它代表了软件开发和运维的新范式，预示着软件的未来。什么是云原生应用？云原生应用是指那些专门为在云环境中运行而量身定制和优化的应用程序。这些应用程序充分利用了云计算的核心特性，例如弹性伸缩、按需资源分配、微服务架构、容器化技术
  • 二进制方式部署K8s高可用集群 麻辣头马头 kubernetes容器云原生运维服务器docker网络
    1二进制方式部署K8s高可用集群1.1kubeadm和二进制安装k8s适用场景分析kubeadm是官方提供的开源工具，是一个开源项目，用于快速搭建kubernetes集群，目前是比较方便和推荐使用的。kubeadminit以及kubeadmjoin这两个命令可以快速创建kubernetes集群。Kubeadm初始化k8s，所有的组件都是以pod形式运行的，具备故障自恢复能力。kubeadm是工具，
  • Kafka 应用场景 zinuxer kafka分布式
    数据流处理：Kafka支持实时数据流处理，能够在数据流动时进行处理和分析，确保应用程序与最新信息保持同步！日志聚合：可以将来自不同来源的日志集中和聚合，简化应用程序的调试和监控！消息队列：Kafka充当高性能的消息队列，确保不同系统组件之间可靠且可扩展的通信！网络活动追踪：Kafka可以追踪网络活动，改进用户体验和推动业务增长！数据复制：Kafka允许在多个集群之间实现无缝数据复制，确保高可用性和
  • Redis高可用 確定饿的猫 redis数据库linux
    目录持久化主从复制哨兵Cluster集群RDB持久化手动触发自动触发RDB执行流程RDB载入AOF持久化执行流程命令追加文件写入和文件同步appendfsyncalwaysappendfsyncnoappendfsynceverysecond文件重写文件重写流程载入对比nginx、tomcat、mysql等服务都具有预防单点故障、提高整体性能和安全性的功能，当然，Redis也不例外在Redis中，
  • k8s集群部署：centos arm 部署Jenkins、harbor 亦诗亦诗 k8skubernetescentosarm开发
    如果因网络问题，无法通过下方链接下载相关包的话，可通过以下链接进行下载：jenkins：https://download.csdn.net/download/qq_34322136/89734306harbor：https://download.csdn.net/download/qq_34322136/89734276一、安装jenkins1、下载Jenkins安装包下载#下载war包https
  • Redis7_16 高阶篇 第七章 Redis中的缓存预热/缓存雪崩/缓存击穿/缓存穿透问题详解 孤尘Java Redis从小白到精通缓存
    大家好！欢迎来到“孤尘”的Java世界！️感谢认可！事不宜迟，一起尽情地畅享编程之旅吧！目录面试题(文末有答案)概念（是什么？）缓存预热缓存雪崩缓存击穿缓存穿透缓存预热定义怎么做？实现缓存雪崩定义引起缓存雪崩的原因规避/解决方案1.Redis中key设置为永不过期或过期时间错开2.Redis缓存集群实现高可用3.多缓存结合预防雪崩4.服务降级5.使用云服务缓存击穿定义引起缓存击穿的原因规避/解决方
  • java线程的无限循环和退出 3213213333332132 java
    最近想写一个游戏，然后碰到有关线程的问题，网上查了好多资料都没满足。 突然想起了前段时间看的有关线程的视频，于是信手拈来写了一个线程的代码片段。 希望帮助刚学java线程的童鞋 package thread; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date
  • tomcat 容器 BlueSkator tomcatWebservlet
    Tomcat的组成部分 1、server A Server element represents the entire Catalina servlet container. (Singleton) 2、service service包括多个connector以及一个engine，其职责为处理由connector获得的客户请求。   3、connector 一个connector
  • php递归,静态变量,匿名函数使用 dcj3sjt126com PHP递归函数匿名函数静态变量引用传参
      <!doctype html> <html lang="en"> <head> <meta charset="utf-8"> <title>Current To-Do List</title> </head> <body>
  • 属性颜色字体变化 周华华 JavaScript
    function changSize(className){ var diva=byId("fot") diva.className=className; } </script> <style type="text/css"> .max{ background: #900; color:#039;
  • 将properties内容放置到map中 g21121 properties
    代码比较简单： private static Map<Object, Object> map; private static Properties p; static { //读取properties文件 InputStream is = XXX.class.getClassLoader().getResourceAsStream("xxx.properti
  • [简单]拼接字符串 53873039oycg 字符串
             工作中遇到需要从Map里面取值拼接字符串的情况，自己写了个，不是很好，欢迎提出更优雅的写法，代码如下：           import java.util.HashMap; import java.uti
  • Struts2学习 云端月影
    最近开始关注struts2的新特性，从这个版本开始，Struts开始使用convention-plugin代替codebehind-plugin来实现struts的零配置。 配置文件精简了，的确是简便了开发过程，但是，我们熟悉的配置突然disappear了，真是一下很不适应。跟着潮流走吧，看看该怎样来搞定convention-plugin。 使用Convention插件，你需要将其JAR文件放
  • Java新手入门的30个基本概念二 aijuans java新手java 入门
    基本概念:　　1.OOP中唯一关系的是对象的接口是什么,就像计算机的销售商她不管电源内部结构是怎样的,他只关系能否给你提供电就行了,也就是只要知道can or not而不是how and why.所有的程序是由一定的属性和行为对象组成的,不同的对象的访问通过函数调用来完成,对象间所有的交流都是通过方法调用,通过对封装对象数据,很大限度上提高复用率。　　2.OOP中最重要的思想是类,类是模板是蓝图,
  • jedis 简单使用 antlove javarediscachecommandjedis
    jedis.RedisOperationCollection.java package jedis; import org.apache.log4j.Logger; import redis.clients.jedis.Jedis; import java.util.List; import java.util.Map; import java.util.Set; pub
  • PL/SQL的函数和包体的基础 百合不是茶 PL/SQL编程函数包体显示包的具体数据包
    由于明天举要上课,所以刚刚将代码敲了一遍PL/SQL的函数和包体的实现(单例模式过几天好好的总结下再发出来);以便明天能更好的学习PL/SQL的循环,今天太累了,所以早点睡觉,明天继续PL/SQL总有一天我会将你永远的记载在心里,,,   函数; 函数:PL/SQL中的函数相当于java中的方法;函数有返回值 定义函数的 --输入姓名找到该姓名的年薪 create or re
  • Mockito(二)--实例篇 bijian1013 持续集成mockito单元测试
            学习了基本知识后，就可以实战了，Mockito的实际使用还是比较麻烦的。因为在实际使用中，最常遇到的就是需要模拟第三方类库的行为。         比如现在有一个类FTPFileTransfer，实现了向FTP传输文件的功能。这个类中使用了a
  • 精通Oracle10编程SQL(7)编写控制结构 bijian1013 oracle数据库plsql
    /* *编写控制结构 */ --条件分支语句 --简单条件判断 DECLARE v_sal NUMBER(6,2); BEGIN select sal into v_sal from emp where lower(ename)=lower('&name'); if v_sal<2000 then update emp set
  • 【Log4j二】Log4j属性文件配置详解 bit1129 log4j
    如下是一个log4j.properties的配置   log4j.rootCategory=INFO, stdout , R log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appe
  • java集合排序笔记 白糖_ java
    public class CollectionDemo implements Serializable,Comparable<CollectionDemo>{ private static final long serialVersionUID = -2958090810811192128L; private int id; private String nam
  • java导致linux负载过高的定位方法 ronin47
    定位java进程ID 可以使用top或ps -ef |grep java ![图片描述][1] 根据进程ID找到最消耗资源的java pid 比如第一步找到的进程ID为5431 执行 top -p 5431 -H ![图片描述][2] 打印java栈信息 $ jstack -l 5431 > 5431.log 在栈信息中定位具体问题 将消耗资源的Java PID转
  • 给定能随机生成整数1到5的函数，写出能随机生成整数1到7的函数 bylijinnan 函数
    import java.util.ArrayList; import java.util.List; import java.util.Random; public class RandNFromRand5 { /** 题目：给定能随机生成整数1到5的函数，写出能随机生成整数1到7的函数。 解法1： f(k) = (x0-1)*5^0+(x1-
  • PL/SQL Developer保存布局 Kai_Ge
          近日由于项目需要，数据库从DB2迁移到ORCAL，因此数据库连接客户端选择了PL/SQL Developer。由于软件运用不熟悉，造成了很多麻烦，最主要的就是进入后，左边列表有很多选项，自己删除了一些选项卡，布局很满意了，下次进入后又恢复了以前的布局，很是苦恼。在众多PL/SQL Developer使用技巧中找到如下这段：   &n
  • [未来战士计划]超能查派[剧透,慎入] comsci 计划
           非常好看,超能查派,这部电影......为我们这些热爱人工智能的工程技术人员提供一些参考意见和思想........        虽然电影里面的人物形象不是非常的可爱....但是非常的贴近现实生活....    &nbs
  • Google Map API V2 dai_lm google map
    以后如果要开发包含google map的程序就更麻烦咯 http://www.cnblogs.com/mengdd/archive/2013/01/01/2841390.html 找到篇不错的文章，大家可以参考一下 http://blog.sina.com.cn/s/blog_c2839d410101jahv.html 1. 创建Android工程 由于v2的key需要G
  • java数据计算层的几种解决方法2 datamachine javasql集算器
    2、SQL     SQL/SP/JDBC在这里属于一类，这是老牌的数据计算层，性能和灵活性是它的优势。但随着新情况的不断出现，单纯用SQL已经难以满足需求，比如： JAVA开发规模的扩大，数据量的剧增，复杂计算问题的涌现。虽然SQL得高分的指标不多，但都是权重最高的。     成熟度：5星。最成熟的。   
  • Linux下Telnet的安装与运行 dcj3sjt126com linuxtelnet
    Linux下Telnet的安装与运行   linux默认是使用SSH服务的 而不安装telnet服务  如果要使用telnet 就必须先安装相应的软件包  即使安装了软件包 默认的设置telnet 服务也是不运行的 需要手工进行设置 如果是redhat9，则在第三张光盘中找到 telnet-server-0.17-25.i386.rpm
  • PHP中钩子函数的实现与认识 dcj3sjt126com PHP
    假如有这么一段程序： function fun(){ fun1(); fun2(); }   首先程序执行完fun1()之后执行fun2()然后fun()结束。   但是，假如我们想对函数做一些变化。比如说，fun是一个解析函数，我们希望后期可以提供丰富的解析函数，而究竟用哪个函数解析，我们希望在配置文件中配置。这个时候就可以发挥钩子的力量了。   我们可以在fu
  • EOS中的WorkSpace密码修改 蕃薯耀 修改WorkSpace密码
    EOS中BPS的WorkSpace密码修改 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 201
  • SpringMVC4零配置--SpringSecurity相关配置【SpringSecurityConfig】 hanqunfeng SpringSecurity
     SpringSecurity的配置相对来说有些复杂，如果是完整的bean配置，则需要配置大量的bean，所以xml配置时使用了命名空间来简化配置，同样，spring为我们提供了一个抽象类WebSecurityConfigurerAdapter和一个注解@EnableWebMvcSecurity，达到同样减少bean配置的目的，如下：   applicationContex
  • ie 9 kendo ui中ajax跨域的问题 jackyrong AJAX跨域
    这两天遇到个问题，kendo ui的datagrid，根据json去读取数据，然后前端通过kendo ui的datagrid去渲染，但很奇怪的是，在ie 10,ie 11,chrome,firefox等浏览器中，同样的程序， 浏览起来是没问题的，但把应用放到公网上的一台服务器， 却发现如下情况： 1） ie 9下，不能出现任何数据，但用IE 9浏览器浏览本机的应用，却没任何问题
  • 不要让别人笑你不能成为程序员 lampcy 编程程序员
    在经历六个月的编程集训之后，我刚刚完成了我的第一次一对一的编码评估。但是事情并没有如我所想的那般顺利。 说实话，我感觉我的脑细胞像被轰炸过一样。 手慢慢地离开键盘，心里很压抑。不禁默默祈祷：一切都会进展顺利的，对吧？至少有些地方我的回答应该是没有遗漏的，是不是？ 难道我选择编程真的是一个巨大的错误吗——我真的永远也成不了程序员吗？ 我需要一点点安慰。在自我怀疑，不安全感和脆弱等等像龙卷风一
  • 马皇后的贤德 nannan408
       马皇后不怕朱元璋的坏脾气，并敢理直气壮地吹耳边风。众所周知，朱元璋不喜欢女人干政，他认为“后妃虽母仪天下，然不可使干政事”，因为“宠之太过，则骄恣犯分，上下失序”，因此还特地命人纂述《女诫》，以示警诫。但马皇后是个例外。 　　有一次，马皇后问朱元璋道：“如今天下老百姓安居乐业了吗？”朱元璋不高兴地回答：“这不是你应该问的。”马皇后振振有词地回敬道：“陛下是天下之父，
  • 选择某个属性值最大的那条记录（不仅仅包含指定属性，而是想要什么属性都可以） Rainbow702 sqlgroup by最大值max最大的那条记录
    好久好久不写SQL了，技能退化严重啊！！！   直入主题： 比如我有一张表，file_info， 它有两个属性（但实际不只，我这里只是作说明用）： file_code, file_version 同一个code可能对应多个version 现在，我想针对每一个code，取得它相关的记录中，version 值 最大的那条记录， SQL如下： select *
  • VBScript脚本语言 tntxia VBScript
      VBScript 是基于VB的脚本语言。主要用于Asp和Excel的编程。   VB家族语言简介   Visual Basic 6.0           源于BASIC语言。           由微软公司开发的包含协助开发环境的事
  • java中枚举类型的使用 xiao1zhao2 javaenum枚举1.5新特性
    枚举类型是j2se在1.5引入的新的类型,通过关键字enum来定义,常用来存储一些常量.   1.定义一个简单的枚举类型 public enum Sex { MAN, WOMAN }   枚举类型本质是类,编译此段代码会生成.class文件.通过Sex.MAN来访问Sex中的成员,其返回值是Sex类型.   2.常用方法 静态的values()方
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他