不器1843
不器1843

mongodb 4.0.8 集群搭建五台集群

配置文件采用yaml方式来配置
生产中取消了仲裁者的角色，因为仲裁者也不会存储数据，只是起到选举的作用，线上为了保证数据安全，每份数据都会配置两个副本集，也就是每份数据存储了三份。优化配置，采用五台集群
使用非root账户搭建mongodb集群。

下载安装Mongodb

 #下载
wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.18.tgz
# 解压
tar -xzvf mongodb-linux-x86_64-4.0.18.tgz -C /usr/local/
# 改名
mv mongodb-linux-x86_64-4.0.18 mongodb

1、环境准备

  • 系统系统 centos7.4 安装包：mongodb-linux-x86_64-4.0.18
  • 五台服务器：192.168.90.10/11/12/13/14
  • 服务器规划
服务器 1 服务器 2 服务器 3 服务器 4 服务器 5
192.168.90.10 192.168.90.11 192.168.90.12 192.168.90.13 192.168.90.14
ssh [email protected] -p 8022 ssh [email protected] -p 8023 ssh [email protected] -p 8024 ssh [email protected] -p 8025 ssh [email protected] -p 8026
mongos server mongos server config server config server config server
shard1 server shard2 server shard3 server shard4server shard5 server
shard5 server shard1 server shard2 server shard3server shard4 server
shard4 server shard5 server shard1 server shard2server shard3 server

端口分配：

mongos:20000  路由服务
config:21000  配置服务
shard1:27001
shard2:27002
shard3:27003
shard4:27004
shard5:27005

权限分配：

登录root账户，将安装目录和数据目录权限分配给日常操作（moho:moho0987）账户

chown -R moho:moho /usr/local/
chown -R moho:moho /data

2、创建相关目录
根据服务器的规范，分别在对应的服务器规划，在不同机器上建立conf、mongos、config、shard1、shard2、shard3、shard4、shard5等目录，因为mongos不存储数据，只需要建立日志文件目录即可。

mkdir -p /usr/local/mongodb/conf
mkdir -p /data/mongos/log
mkdir -p /data/config/data
mkdir -p /data/config/log
mkdir -p /data/shard1/data
mkdir -p /data/shard1/log
mkdir -p /data/shard2/data
mkdir -p /data/shard2/log
mkdir -p /data/shard3/data
mkdir -p /data/shard3/log
mkdir -p /data/shard4/data
mkdir -p /data/shard4/log
mkdir -p /data/shard5/data
mkdir -p /data/shard5/log

3、环境变量
为了后续方便操作，配置mongodb的环境变量，需要切到root用户下面

vim /etc/profile
# 内容
export MONGODB_HOME=/usr/local/mongodb
export PATH=$MONGODB_HOME/bin:$PATH
# 使立即生效，在安装用户下（moho）执行
source /etc/profile
#查看mongodb版本信息mongod -v 输出版本信息表明配置环境变量成功

2、集群配置

1、config server配置服务器

#在服务器12\13\14 上配置以下内容：
#添加配置文件：
# 编写配置文件 YAML
vim /usr/local/mongodb/conf/config.conf

YAML 格式config server 的 config.conf （每台机器一份）

## content
systemLog:
  destination: file
  logAppend: true
  path: /data/config/log/config.log
# Where and how to store data.
storage:
  dbPath: /data/config/data
  journal:
    enabled: true
# how the process runs
processManagement:
  fork: true
  pidFilePath: /data/config/log/configsrv.pid
# network interfaces
net:
  port: 21000
  bindIp: 192.168.9.12
  #bindIp: 192.168.9.13
  #bindIp: 192.168.9.14
#operationProfiling:
replication:
    replSetName: config        
sharding:
    clusterRole: configsvr

启动三台服务器的config server

 /usr/local/mongodb/bin/mongod --config /usr/local/mongodb/conf/config.conf
numactl --interleave=all mongod --config /usr/local/mongodb/conf/config.conf

登录任意一台配置服务器，初始化配置副本集

#连接
mongo 192.168.90.12:21000
#config变量
config = {
   _id : "config",
   members : [
          {_id : 0, host : "192.168.90.12:21000" },
          {_id : 1, host : "192.168.90.13:21000" },
          {_id : 2, host : "192.168.90.14:21000" }
      ]
  }

初始化副本集结果

{
    "_id" : "config",
    "members" : [
        {
            "_id" : 0,
            "host" : "192.168.90.12:21000"
        },
        {
            "_id" : 1,
            "host" : "192.168.90.13:21000"
        },
        {
            "_id" : 2,
            "host" : "192.168.90.14:21000"
        }
    ]
}

rs.initiate(config)
#查看分区状态
rs.status();
#其中，"_id" : "configs"应与配置文件中配置的 replicaction.replSetName 一致，"members" 中的 "host" 为三个节点的ip和port
这样配置服务器就配置好了

3、配置分片、副本集

#配置第一个分片副本集
#在服务器 10、11、12上面做以下配置
#配置文件
vi /usr/local/mongodb/conf/shard1.conf

##配置文件内容
# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /data/shard1/log/shard1.log
 
# Where and how to store data.
storage:
  dbPath: /data/shard1/data
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
       cacheSizeGB: 20
 
# how the process runs
processManagement:
  fork: true 
  pidFilePath: /data/shard1/log/shard1.pid
 
# network interfaces
net:
  port: 27001
  bindIp: 192.168.90.10
 
#operationProfiling:
replication:
    replSetName: shard1
sharding:
    clusterRole: shardsvr

启动三台服务器的shard1 server

/usr/local/mongodb/bin/mongod --config /usr/local/mongodb/conf/shard1.conf
numactl --interleave=all mongod  --config  /usr/local/mongodb/conf/shard1.conf

登陆任意一台服务器，初始化副本集

mongo 192.168.90.10:27001
#使用admin数据库
use admin
#定义副本集配置
config = {
     _id : "shard1",
      members : [
         {_id : 0, host : "192.168.90.10:27001" },
         {_id : 1, host : "192.168.90.11:27001" },
         {_id : 2, host : "192.168.90.12:27001" }
      ]
 }

初始化副本集配置

rs.initiate(config);
#查看分区状态
rs.status();

配置第二组个分片副本集

#在服务器11、12、13上面做以下配置
#配置文件
vi /usr/local/mongodb/conf/shard2.conf

#配置文件内容
# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /data/shard2/log/shard2.log
 
# Where and how to store data.
storage:
  dbPath: /data/shard2/data
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
       cacheSizeGB: 20
 
# how the process runs
processManagement:
  fork: true 
  pidFilePath: /data/shard2/log/shard2.pid
 
# network interfaces
net:
  port: 27002
  bindIp: 192.168.90.11
 
 
#operationProfiling:
replication:
    replSetName: shard2
sharding:
    clusterRole: shardsvr

三台服务器的shard2 server

/usr/local/mongodb/bin/mongod --config /usr/local/mongodb/conf/shard2.conf
numactl --interleave=all mongod  --config /usr/local/mongodb/conf/shard2.conf

登陆任意一台服务器，初始化副本集

mongo 192.168.90.32:27002
#使用admin数据库
use admin
#定义副本集配置
config = {
...    _id : "shard2",
...     members : [
...         {_id : 0, host : "192.168.90.11:27002" },
...         {_id : 1, host : "192.168.90.12:27002" },
...         {_id : 2, host : "192.168.90.13:27002" }
...     ]
... }
初始化副本集配置
rs.initiate(config);
#查看分区状态
rs.status();

配置第三组分片副本集

#在服务器12、13、14上面做以下配置
#配置文件
vi /usr/local/mongodb/conf/shard3.conf

#配置文件
# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /data/shard3/log/shard3.log
 
# Where and how to store data.
storage:
  dbPath: /data/shard3/data
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
       cacheSizeGB: 20
# how the process runs
processManagement:
  fork: true 
  pidFilePath: /data/shard3/log/shard3.pid
 
# network interfaces
net:
  port: 27003
  bindIp: 192.168.90.12
 
 
#operationProfiling:
replication:
    replSetName: shard3
sharding:
    clusterRole: shardsvr

启动三台服务器的shard3 server

/usr/local/mongodb/bin/mongod --config /usr/local/mongodb/conf/shard3.conf
numactl --interleave=all mongod  --config  /usr/local/mongodb/conf/shard3.conf

登陆任意一台服务器，初始化副本集

mongo 192.168.90.13:27003
#使用admin数据库
use admin
#定义副本集配置
config = {
      _id : "shard3",
        members : [
            {_id : 0, host : "192.168.90.12:27003" },
            {_id : 1, host : "192.168.90.13:27003" },
            {_id : 2, host : "192.168.90.14:27003" }
        ]
   }
初始化副本集配置
rs.initiate(config);
#查看分区状态
rs.status();

配置第四个分片副本集

#在服务器10、13、14上面做以下配置
$配置文件
vi /usr/local/mongodb/conf/shard4.conf

#配置文件内容
# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /data/shard4/log/shard4.log
 
# Where and how to store data.
storage:
  dbPath: /data/shard4/data
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
       cacheSizeGB: 20
 
# how the process runs
processManagement:
  fork: true 
  pidFilePath: /data/shard4/log/shard4.pid
 
# network interfaces
net:
  port: 27004
  bindIp: 192.168.90.10
 
 
#operationProfiling:
replication:
    replSetName: shard4
sharding:
    clusterRole: shardsvr

启动三台服务器的shard4 server

/usr/local/mongodb/bin/mongod --config /usr/local/mongodb/conf/shard4.conf

numactl --interleave=all mongod  --config /usr/local/mongodb/conf/shard4.conf
登陆任意一台服务器，初始化副本集
mongo 192.168.0.34:27004
#使用admin数据库
use admin
#定义副本集配置
config = {
...    _id : "shard4",
...     members : [
...         {_id : 0, host : "192.168.90.10:27004" },
...         {_id : 1, host : "192.168.90.13:27004" },
...         {_id : 2, host : "192.168.00.14:27004" }
...     ]
... }
初始化副本集配置
rs.initiate(config);
#查看分区状态
rs.status();

配置第五个分片副本集

#在服务器10、11、14上面做以下配置
#配置文件
vi /usr/local/mongodb/conf/shard5.conf

#配置文件内容
# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /data/shard5/log/shard5.log
 
# Where and how to store data.
storage:
  dbPath: /data/shard5/data
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
       cacheSizeGB: 20
 
# how the process runs
processManagement:
  fork: true 
  pidFilePath: /data/shard5/log/shard5.pid
 
# network interfaces
net:
  port: 27005
  bindIp: 192.168.0.35
 
 
#operationProfiling:
replication:
    replSetName: shard5
sharding:
    clusterRole: shardsvr
启动三台服务器的shard5 server
/usr/local/mongodb/bin/mongod --config /usr/local/mongodb/conf/shard5.conf
numactl --interleave=all mongod  --config  /usr/local/mongodb/conf/shard5.conf
登陆任意一台服务器，初始化副本集
mongo 192.168.0.10:27005
#使用admin数据库
use admin
#定义副本集配置
config = {
...    _id : "shard5",
...     members : [
...         {_id : 0, host : "192.168.90.10:27005" },
...         {_id : 1, host : "192.168.90.11:27005" },
...         {_id : 2, host : "192.168.90.14:27005" }
...     ]
... }
初始化副本集配置
rs.initiate(config);
#查看分区状态
rs.status();

至此，五个分片和副本集搭建完毕

4、配置路由服务器 mongos

以下配置在服务器10、11上执行

注意：先启动配置服务器和分片服务器,后启动路由实例

vi /usr/local/mongodb/conf/mongos.conf

#配置文件
systemLog:
  destination: file
  logAppend: true
  path: /data/mongos/log/mongos.log
processManagement:
  fork: true
#  pidFilePath: /usr/local/mongodb/mongos.pid
 
# network interfaces
net:
  port: 20000
  bindIp: 192.168.90.10

#监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字
sharding:
   configDB: config/192.168.90.12:21000,192.168.90.13:21000,192.168.90.14:21000

启动二台服务器的 mongos server

#/usr/local/mongodb/bin/mongod --config /usr/local/mongodb/conf/mongos.conf
mongos  --config  /usr/local/mongodb/conf/mongos.conf

5、启用分片

目前搭建了mongodb配置服务器、路由服务器，各个分片服务器，不过应用程序连接到mongos路由服务器并不能使用分片机制，还需要在程序里设置分片配置，让分片生效。

登陆任意一台mongos 路由服务

mongo 192.168.0.10:20000
#使用admin数据库
use  admin
#串联路由服务器与分配副本集
sh.addShard("shard1/192.168.90.10:27001,192.168.90.11:27001,192.168.90.12:27001")
sh.addShard("shard2/192.168.90.11:27002,192.168.90.12:27002,192.168.90.13:27002")
sh.addShard("shard3/192.168.90.12:27003,192.168.90.13:27003,192.168.90.14:27003")
sh.addShard("shard4/192.168.90.10:27004,192.168.90.13:27004,192.168.90.14:27004")
sh.addShard("shard5/192.168.90.10:27005,192.168.90.11:27005,192.168.90.14:27005")

#查看集群状态
sh.status()

mongodb的五台集群搭建就已经完成了;

配置用户

#进入mongodb shell
mongo 192.168.90.11:20000
# 切换admin
use admin
创建一个超级用户

db.createUser(
  {
    user: "root",
    pwd: "xeon#388w3ww",
    roles: [ { role: "userAdminAnyDatabase", db: "admin" }, "readWriteAnyDatabase" ]
  }
)

验证用户

db.system.users.find()
# db.auth('admin','xeon#388w3ww') 不好用 ??
mongo 192.168.90.10:20000 -u "root" --authenticationDatabase "admin" -p

关闭服务

 ./mongod
> use admin
> db.shutdownServer()

你可能感兴趣的:(mongodb 4.0.8 集群搭建五台集群)

  • Flink中的SQL Client和SQL Gateway BigDataMLApplication flinkflinksqlgateway
    Flink中的SQLClient和SQLGateway对比目录定义基本原理适用场景主要区别常用运维命令示例官方链接正文1.定义SQLClient：FlinkSQLClient是一种用于提交和执行FlinkSQL语句的命令行界面或图形界面工具。SQLGateway：FlinkSQLGateway是一个独立的服务，它允许客户端通过RESTfulAPI将SQL查询提交到Flink集群。2.基本原理SQL
  • docker怎么端口映射 Lance_mu docker容器运维
    1、默认固定的端口#Web服务器：WebApache或Nginx通常使用80端口HTTP：80HTTPS：443#数据库服务器MySQL：3306PostgreSQL：5432MongoDB：27017Redis：6379#邮件服务器SMTP：25POP3：110IMAP：143#其他服务SSH：22FTP：21DNS（域名解析）：53代理服务器Squid：3128版本控制系统Git：9418(S
  • Redis分布式锁—SETNX+Lua脚本实现 Sahm5k javaredis分布式lua
    使用redis实现分布式锁，就是利用redis中的setnx，如果key不存在则进行set操作返回1，key已经存在则直接返回0。优点：设置expiretime过期时间，可以避免程序宕机长期持有锁不释放。redis作为一个中间服务，所有微服务都可见，满足分布式的需求。只需redis中原生setnx命令即可构建，实现简单。性能高效，redis数据在内存中。高可用，可以部署redis集群。加锁在red
  • macOS安装mongoDB（homebrew） lx741602698 macosmongodb数据库
    使用HomebrewHomebrew是macOS的一个包管理器，可以非常方便地安装MongoDB和其他软件。如果你还没有安装Homebrew，可以从它的官网上找到安装指令。已安装Homebrew的话，先更新一下homebrewbrewupdate你可以使用下面的命令来安装MongoDB的社区版：brewtapmongodb/brewbrewinstallmongodb-community安装完成后
  • 部署es集群 liushaojiax elasticsearchjava大数据
    我们会在单机上利用docker容器运行多个es实例来模拟es集群。不过生产环境推荐大家每一台服务节点仅部署一个es的实例。部署es集群可以直接使用docker-compose来完成，但这要求你的Linux虚拟机至少有4G的内存空间创建es集群首先编写一个docker-compose文件，内容如下：version:'2.2'services:es01:image:elasticsearch:7.12
  • MongoDB聚合运算符：$indexOfArray 原子星 mongodbmongodb数据库
    文章目录语法使用举例$indexOfArray聚合运算符返回指定值在数组中第一次出现的索引位置，数组的索引从0开始。语法{$indexOfArray:[,,,]}$indexOfArray参数说明：，字符串，可以是任何能够解析为数组的表达式，如果表达式解析为null或引用的字段不存在，$indexOfArray返回null。如果表达式不能解析为数组或null且引用的字段都存在，$indexOfAr
  • 利用K8S Statefulset搭建Etcd集群 - 本地存储 夜晓码农 大数据Dockerkubernetesetcd容器
    目录概述测试环境yaml配置service.yamlcluster.yamlQ&A参考链接概述公司因项目需要使用K8S部署ETCD集群供其他业务调用，网上搜索了解了下，一般K8S搭建ETCD集群大部分都是使用EtcdOperator来搭建。但是公司的项目运行在离线ARM架构平台，直接使用网上EtcdOperator代码，他们提供的镜像都是x86_64架构，经过Opeartor编译等尝试，最后都以失
  • mac 安装 mongoDB的若干坑 --原mac bash环境中和(item2 + oh-my-zsh 环境中)安装mongo Kurtice
    mac安装mongoDB的若干坑--原macbash环境中和(item2+oh-my-zsh环境中)安装mongo本文链接：https://blog.csdn.net/weixin_38080573/article/details/88817869imageMongoDBmac安装mongoDB有挺多种方式，操作的过程中有一些坑，记录下来，供参考。这里采用的是curl的方式来安装。1、安装先打开m
  • 3月23日，每日信息差 信息差Pro 信息差Pro大数据oracle数据库mysqlsql
    素材来源官方媒体/网络新闻首个国产单池万卡液冷算力集群投入运营，满足万亿级大模型训练需求快手电商正式启动兴农计划360AI浏览器APP即将上线，支持500万字长文本处理安卓15将支持音频共享，可同时连接多个耳机播放音乐✨音视频领域首个，阿里云推出华为鸿蒙HarmonyOSNEXT版音视频SDK全球首个万兆宽带落户上海一小区：下载90GB文件72秒第一、中国电信宣布，天翼云上海临港国产万卡算力池正式
  • MongoDB聚合运算符：$indexOfBytes 原子星 mongodbmongodb数据库
    文章目录语法使用举例$聚合运算符在字符串中搜索子字符串的出现位置并返回第一次出现的UTF-8字节索引（从零开始）。如果未找到子字符串，则返回-1。语法{$indexOfBytes:[,,,]}参数说明：参数说明字符串表达式，如果表达式的值为null或应用的字段缺失，则返回null；如果表达式的值不为字符串、null、或字段缺失，则报错要搜索的字符串，可以是任何可解析为字符串的表达式可选参数，可解析
  • redis key中的“{}“是啥玩意 不腾 redis数据库
    背景有一天,在代码中执行redis的rename命令的时候，突然返回了这个错误(error)CROSSSLOTKeysinrequestdon'thashtothesameslot这个错误的意思是：rename前的key和rename后的key不在同一个slot。我们知道，在redis集群中，有16384个Slot槽位，每个redis实例负责一部分槽。redis会根据key的hash计算出这个ke
  • skynet cluster集群笔记 半夏知半秋 skynet笔记服务器lua系统架构
    skynetcluster集群笔记前言cluster相关方法说明集群设计方案：集群中常遇到的问题：注意事项：前言skynet是一个基于事件驱动的分布式游戏服务器框架，支持构建高性能、高并发的网络程序。在skynet中，集群是指将多个节点连接在一起，共同协作完成任务的一个系统，一个skynet集群架构中涉及的一些名词如下：1.节点：skynet中的节点是指运行着skynet实例的独立服务器。每个节点
  • 集群方式下的java Redis锁 lua脚本 成长之旅 后端java
    下面说一下集群方式redis下的原子锁带超时时间java代码如下：Listkeys=Collections.singletonList("test_key1");System.out.println("打印前：："+jedisCluster.get("test_key1"));//获取lua脚本这里你可以所以我是放在META-INF/scripts/redis/test.lua路径下，//获取到之
  • 使用 BPF 监控 Kubernetes 集群(k8s BPF 工具 kubectl-trace认知 山河已无恙 K8s&kubelct插件BPFkubernetes容器云原生
    写在前面学习中遇到，整理分享，博文内容涉及：kubectl-trace安装，在节点，容器中如何使用需要注意的问题：job闪完成，一直Pending状态解决理解不足小伙伴帮忙指正不必太纠结于当下，也不必太忧虑未来，当你经历过一些事情的时候，眼前的风景已经和从前不一样了。——村上春树kubectl-trace安装┌──[[email protected]]-[~/ansi
  • 【Elasticsearch】从零开始搭建ES8集群并且集成到Springboot，更好的服务电商类等需要全文索引的项目（一） Smily清禾酥酒 中间件elasticsearchspringbootlucenejava全文检索
    从零开始搭建Elasticsearch集群（一）从零开始搭建Elasticsearch8.6集群（一）简单介绍下Elasticsearch，以及为何使用它下载Elasticsearch准备服务器解压安装配置文件elasticsearch.yml修改调整JVM运行内存设置密码证书认证1.生成证书2.生成秘钥3.迁移凭证地址到config目录下4.其他集群都要将这个凭证移动到这个ES安装的config
  • 2019 MongoDB 中国用户大会超级早鸟特惠票倒计时3天！ MongoDBChina
    2019MongoDB中国用户大会2019MongoDB中国用户大会即将走进上海！我们诚邀您参加此次MongoDB年度盛会，与构建MongoDB数据库、助力众多用户成功部署MongoDB的官方团队，共同探讨学习最热门的MongoDB技能，以及最前沿的app设计和性能管理等高阶技术。MongoDB全球及中国技术专家将携手行业典型客户、MongoDB技术大牛和专业的合作伙伴倾情为您打造一场数据的盛宴。
  • 云原生部署手册01：构建k8s集群并配置持久化存储 吴智深 云原生kubernetes容器
    写在前面：k8s弃用docker的影响其实没那么大k8s通过dockershim对docker的支持从1.20版本后就已经移除，仅支持符合ContainerRuntimeInterface(CRI)的容器运行环境，比如containerd。containerd本身就是docker底层的容器运行环境，只不过docker在containerd的基础上增加了符合人类操作的接口。docker构建的镜像并不
  • mongo 哪些指令条件需要包含分片键 笨死de猪 mongo数据库mongodb
    一、mongo分片原理在MongoDB中，数据根据一个称为分片键(SharedKey)的字段进行分片。根据指定字段按照指定分片方式(哈希分片、范围分片)将数据拆分到mongo集群里的不同服务器中分片键的选择非常关键，它应该能够确保数据均匀分布，避免热点问题。分片键通常是在文档中的一个字段，MongoDB根据这个字段的值来决定将文档存储在哪个分片上二、分片作用1、MongoDB分片的主要优势在于它允
  • Redis 哨兵集群如何实现高可用？（2） fighting哥 缓存java数据库redis缓存
    目录7.slave配置的自动纠正8.slave->master选举算法9.quorum和majority10.configurationepoch11.configuration传播7.slave配置的自动纠正哨兵会负责自动纠正slave的一些配置，比如slave如果要成为潜在的master候选人，哨兵会确保slave复制现有master的数据;如果slave连接到了一个错误的master上，比如
  • MongoDB聚合运算符：$documentNumber 原子星 mongodbmongodb数据库
    文章目录语法用法举例每个州的文档编号重复值、空值和缺失值的文档编号$documentNumber聚合运算符返回$setWindowFields聚合阶段文档在分区中的位置。从版本5.0开始支持。语法{$documentNumber:{}}$documentNumber聚合运算符没有参数。用法$setWindowFields阶段的sortBy字段决定了文档的编号。$documentNumber返回文档
  • 【项目经验】Redis Sentinel从工程中下线并对业务迁移-进行中 小王师傅66 Redis项目实战redissentineljava
    一、背景：某天，接到DBA通知，Redissentinel只支持到3.2.X(这个命题有问题，往下翻，见彩蛋)，为节省运维成本，提升运维效率，决定将工程中使用的Redissentinel下线，都使用Rediscluster模式，并且给出了当前都有哪些组对哪些Redissentinel集群有引用。因为各种历史原因，我们的工程中引用了Redissentinel和Rediscluster两种方式，而且组
  • ZooKeeper 概述 龙大. Zookeeperzookeeper分布式云原生
    定义和功能ZooKeeper是一个开源的分布式协调服务，由Apache软件基金会托管。它主要用于解决分布式应用中遇到的一些复杂问题，如命名服务、状态同步服务、集群管理、分布式锁和队列管理等。核心特性一致性:ZooKeeper保证了客户端之间的数据一致性，即客户端无论连接到哪一个ZooKeeper服务器，看到的数据都是一致的。简单的数据模型:ZooKeeper维护了一个类似文件系统的数据结构，它的数
  • 记录一次filebeat日志丢失的问题 无聊的刀刀
    在java化项目中，部署到k8s集群后，一度出现无法定位问题的情况。起初怀疑是日志调用链改造导致的，也修复了一些问题，但没有解决根本问题问题表现日志搜集不够实时在k8s中执行kubectllogs--tail=500test-6bb5648c4c-4fmrr-ntestns随机取一条记录，在kibana界面无法查询日志没有被搜集上个问题或许过一段时间能查询到，但有些日志则是完全无法查到，就算过了1
  • 基于ElasticSearch存储海量AIS数据-架构设计篇 iOS逆向 数据库技能elasticsearch大数据搜索引擎
    文章目录引言I背景II数据集群架构选型2.1关键点2.2架构设计2.3数据迁移工具:Canal关键词：时空索引；船舶自动识别系统；轨迹压缩；数据集群引言船舶自动识别系统(AIS)数据具有海量性、时空性和小记录频繁更新等特性。面向海量AIS数据，提出了一种基于分布式集群的AIS数据存储方法。该方法对AIS数据存储索引结构进行了设计，通过对时间维按月切分，以及对空间范围聚类切分，构造了索引时空立方体，
  • opendronemap集群搭建 Robber2000 云计算容器运维云原生
    需求OpenDroneMap（ODM）是一个开源项目，旨在利用无人机采集的图像数据生成地图、模型和其他地理空间数据。它主要解决以下问题：航空摄影数据处理：ODM可以处理无人机拍摄的大量航空图像数据，通过图像处理和计算机视觉技术生成高质量的地图和模型。地图制作与更新：利用ODM，用户可以快速、成本效益地生成地图，并及时更新地理空间数据，有助于城市规划、灾害监测等领域的应用。三维建模：ODM可以生成精
  • 关于k8s中 storageclass 的 is-default-sc 默认存储设置 网络飞鸥 Kuberneteskubernetes容器云原生
    为什么要改变默认存储类？取决于安装模式，你的Kubernetes集群可能和一个被标记为默认的已有StorageClass一起部署。这个默认的StorageClass以后将被用于动态的为没有特定存储类需求的PersistentVolumeClaims配置存储。更多细节请查看PersistentVolumeClaim文档。如果准入控制器插件被启用，则管理员可以设置一个默认的StorageClass。所
  • MongoDB聚合运算符：$eq 原子星 mongodbmongodb数据库
    文章目录语法举例$eq聚合运算符用于比较两个值并返回是否相等，如果相等返回true，否则返回false语法{$eq:[,]}$eq可以用来比较任何类型的值，针对不同的类型使用特定的BSON比较顺序。举例inventory集合有下列文档：{"_id":1,"item":"abc1","description":"product1","qty":300}{"_id":2,"item":"abc2","
  • RabbitMQ 进阶- 阿里云服务器部署RabbitMQ集群 Java北边
    一、为什么要搭建RabbitMQ集群？未部署集群的缺点如果RabbitMQ集群只有一个broker节点，那么该节点的失效将导致整个服务临时性的不可用，并且可能会导致message的丢失（尤其是在非持久化message存储于非持久化queue中的时候）。可以将所有message都设置为持久化，并且使用持久化的queue，但是这样仍然无法避免由于缓存导致的问题：因为message在发送之后和被写入磁盘
  • Hbase集群搭建超详细教程 笑看风云路 集群搭建系列hbasehbasehadoop大数据
    Hbase集群搭建前言详细步骤1、下载安装包2、解压3、修改配置文件3.1修改hbase-env.sh文件3.2修改hbase-site.xml3.3修改regionservers文件4、分发hbase目录5、启动HBase集群6、查看HBaseWebUI大家好，我是风云，欢迎大家关注我的博客，在未来的日子里我们一起来学习大数据相关的技术，一起努力奋斗，遇见更好的自己！前言HBase是一个开源的、
  • MongoDB聚合运算符：$dayOfMonth 原子星 杂谈mongodb数据库
    MongoDB聚合运算符：$dayOfMonth$dayOfMonth返回日期中“日”的部分，值的范围1~31。$dayOfMonth可以用于以下场景：提取日期字段的"日"部分：当需要从日期字段中提取出具体的天数时，可以使用$dayOfMonth。例如，有一个包含日期的集合，可以使用$dayOfMonth来获取每个日期的天数。按天进行分组和统计：当结合$group操作符使用时，$dayOfMont
  • mysql主从数据同步 林鹤霄 mysql主从数据同步
    配置mysql5.5主从服务器(转) 教程开始：一、安装MySQL 说明：在两台MySQL服务器192.168.21.169和192.168.21.168上分别进行如下操作，安装MySQL 5.5.22  二、配置MySQL主服务器（192.168.21.169）mysql  -uroot  -p   &nb
  • oracle学习笔记 caoyong oracle
    1、ORACLE的安装    a>、ORACLE的版本    8i,9i :   i是internet    10g,11g : grid (网格)    12c : cloud (云计算)       b>、10g不支持win7 &
  • 数据库，SQL零基础入门 天子之骄 sql数据库入门基本术语
    数据库，SQL零基础入门        做网站肯定离不开数据库，本人之前没怎么具体接触SQL，这几天起早贪黑得各种入门，恶补脑洞。一些具体的知识点，可以让小白不再迷茫的术语，拿来与大家分享。          数据库，永久数据的一个或多个大型结构化集合，通常与更新和查询数据的软件相关
  • pom.xml 一炮送你回车库 pom.xml
    1、一级元素dependencies是可以被子项目继承的 2、一级元素dependencyManagement是定义该项目群里jar包版本号的，通常和一级元素properties一起使用，既然有继承，也肯定有一级元素modules来定义子元素 3、父项目里的一级元素<modules> <module>lcas-admin-war</module> <
  • sql查地区省市县 3213213333332132 sqlmysql
    -- db_yhm_city SELECT * FROM db_yhm_city WHERE class_parent_id = 1 -- 海南 class_id = 9 港、奥、台 class_id = 33、34、35 SELECT * FROM db_yhm_city WHERE class_parent_id =169 SELECT d1.cla
  • 关于监听器那些让人头疼的事 宝剑锋梅花香 画图板监听器鼠标监听器
           本人初学JAVA，对于界面开发我只能说有点蛋疼，用JAVA来做界面的话确实需要一定的耐心（不使用插件，就算使用插件的话也没好多少）既然Java提供了界面开发，老师又要求做，只能硬着头皮上啦。但是监听器还真是个难懂的地方，我是上了几次课才略微搞懂了些。       
  • JAVA的遍历MAP darkranger map
    Java Map遍历方式的选择 1. 阐述 　　对于Java中Map的遍历方式，很多文章都推荐使用entrySet，认为其比keySet的效率高很多。理由是：entrySet方法一次拿到所有key和value的集合；而keySet拿到的只是key的集合，针对每个key，都要去Map中额外查找一次value，从而降低了总体效率。那么实际情况如何呢？ 　　为了解遍历性能的真实差距，包括在遍历ke
  • POJ 2312 Battle City 优先多列+bfs aijuans 搜索
    来源：http://poj.org/problem?id=2312 题意：题目背景就是小时候玩的坦克大战，求从起点到终点最少需要多少步。已知S和R是不能走得，E是空的，可以走，B是砖，只有打掉后才可以通过。 思路：很容易看出来这是一道广搜的题目，但是因为走E和走B所需要的时间不一样，因此不能用普通的队列存点。因为对于走B来说，要先打掉砖才能通过，所以我们可以理解为走B需要两步，而走E是指需要1
  • Hibernate与Jpa的关系，终于弄懂 avords javaHibernate数据库jpa
    我知道Jpa是一种规范，而Hibernate是它的一种实现。除了Hibernate，还有EclipseLink(曾经的toplink)，OpenJPA等可供选择，所以使用Jpa的一个好处是，可以更换实现而不必改动太多代码。 在play中定义Model时，使用的是jpa的annotations，比如javax.persistence.Entity, Table, Column, OneToMany
  • 酸爽的console.log bee1314 console
    在前端的开发中，console.log那是开发必备啊，简直直观。通过写小函数，组合大功能。更容易测试。但是在打版本时，就要删除console.log，打完版本进入开发状态又要添加，真不够爽。重复劳动太多。所以可以做些简单地封装，方便开发和上线。 /** * log.js hufeng * The safe wrapper for `console.xxx` functions *
  • 哈佛教授：穷人和过于忙碌的人有一个共同思维特质 bijian1013 时间管理励志人生穷人过于忙碌
            一个跨学科团队今年完成了一项对资源稀缺状况下人的思维方式的研究，结论是：穷人和过于忙碌的人有一个共同思维特质，即注意力被稀缺资源过分占据，引起认知和判断力的全面下降。这项研究是心理学、行为经济学和政策研究学者协作的典范。 　　这个研究源于穆来纳森对自己拖延症的憎恨。他7岁从印度移民美国，很快就如鱼得水，哈佛毕业
  • other operate 征客丶 OSosx
    一、Mac Finder 设置排序方式，预览栏 在显示－》查看显示选项中 二、有时预览显示时，卡死在那，有可能是一些临时文件夹被删除了，如：/private/tmp[有待验证] -------------------------------------------------------------------- 若有其他凝问或文中有错误，请及时向我指出， 我好及时改正，同时也让我们一
  • 【Scala五】分析Spark源代码总结的Scala语法三 bit1129 scala
    1. If语句作为表达式 val properties = if (jobIdToActiveJob.contains(jobId)) { jobIdToActiveJob(stage.jobId).properties } else { // this stage will be assigned to "default" po
  • ZooKeeper 入门 BlueSkator 中间件zk
    ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。 值得注意的是，ZK并非天生就是为这些应用场景设计的，都是后来众多开发者根据其框架的特性，利
  • MySQL取得当前时间的函数是什么 格式化日期的函数是什么 BreakingBad mysqlDate
    取得当前时间用 now() 就行。 在数据库中格式化时间 用DATE_FORMA T(date, format) . 根据格式串format 格式化日期或日期和时间值date，返回结果串。 可用DATE_FORMAT( ) 来格式化DATE 或DATETIME 值，以便得到所希望的格式。根据format字符串格式化date值: %S, %s 两位数字形式的秒（ 00,01,
  • 读《研磨设计模式》-代码笔记-组合模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.List; abstract class Component { public abstract void printStruct(Str
  • 4_JAVA+Oracle面试题(有答案) chenke oracle
    基础测试题 卷面上不能出现任何的涂写文字，所有的答案要求写在答题纸上，考卷不得带走。 选择题 1、 What will happen when you attempt to compile and run the following code? （3） public class Static { static { int x = 5; // 在static内有效 } st
  • 新一代工作流系统设计目标 comsci 工作算法脚本
      用户只需要给工作流系统制定若干个需求，流程系统根据需求，并结合事先输入的组织机构和权限结构，调用若干算法，在流程展示版面上面显示出系统自动生成的流程图，然后由用户根据实际情况对该流程图进行微调，直到满意为止，流程在运行过程中，系统和用户可以根据情况对流程进行实时的调整，包括拓扑结构的调整，权限的调整，内置脚本的调整。。。。。 在这个设计中，最难的地方是系统根据什么来生成流
  • oracle 行链接与行迁移 daizj oracle行迁移
    表里的一行对于一个数据块太大的情况有二种(一行在一个数据块里放不下) 第一种情况: INSERT的时候，INSERT时候行的大小就超一个块的大小。Oracle把这行的数据存储在一连串的数据块里(Oracle Stores the data for the row in a chain of data blocks)，这种情况称为行链接(Row Chain)，一般不可避免(除非使用更大的数据
  • [JShop]开源电子商务系统jshop的系统缓存实现 dinguangx jshop电子商务
    前言 jeeshop中通过SystemManager管理了大量的缓存数据，来提升系统的性能，但这些缓存数据全部都是存放于内存中的，无法满足特定场景的数据更新（如集群环境）。JShop对jeeshop的缓存机制进行了扩展，提供CacheProvider来辅助SystemManager管理这些缓存数据，通过CacheProvider,可以把缓存存放在内存,ehcache,redis，memcache
  • 初三全学年难记忆单词 dcj3sjt126com englishword
    several 儿子；若干 shelf 架子 knowledge 知识；学问 librarian 图书管理员 abroad 到国外，在国外 surf 冲浪 wave 浪；波浪 twice 两次；两倍 describe 描写；叙述 especially 特别；尤其 attract 吸引 prize 奖品；奖赏 competition 比赛；竞争 event 大事；事件 O
  • sphinx实践 dcj3sjt126com sphinx
      安装参考地址:http://briansnelson.com/How_to_install_Sphinx_on_Centos_Server   yum install sphinx 如果失败的话使用下面的方式安装 wget http://sphinxsearch.com/files/sphinx-2.2.9-1.rhel6.x86_64.rpm yum loca
  • JPA之JPQL（三） frank1234 ormjpaJPQL
    1 什么是JPQL JPQL是Java Persistence Query Language的简称，可以看成是JPA中的HQL， JPQL支持各种复杂查询。 2 检索单个对象 @Test public  void querySingleObject1() {     Query query = em.createQuery("sele
  • Remove Duplicates from Sorted Array II hcx2013 remove
    Follow up for "Remove Duplicates":What if duplicates are allowed at most twice? For example,Given sorted array nums = [1,1,1,2,2,3], Your function should return length
  • Spring4新特性——Groovy Bean定义DSL jinnianshilongnian spring 4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • CentOS安装Mysql5.5 liuxingguome centos
    CentOS下以RPM方式安装MySQL5.5 首先卸载系统自带Mysql： yum remove mysql mysql-server mysql-libs compat-mysql51 rm -rf /var/lib/mysql rm /etc/my.cnf 查看是否还有mysql软件： rpm -qa|grep mysql 去http://dev.mysql.c
  • 第14章 工具函数（下） onestopweb 函数
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • POJ 1050 SaraWon 二维数组子矩阵最大和
    POJ ACM第1050题的详细描述，请参照 http://acm.pku.edu.cn/JudgeOnline/problem?id=1050 题目意思： 给定包含有正负整型的二维数组，找出所有子矩阵的和的最大值。 如二维数组 0 -2 -7 0 9 2 -6 2 -4 1 -4 1 -1 8 0 -2 中和最大的子矩阵是 9 2 -4 1 -1 8 且最大和是15
  • [5]设计模式——单例模式 tsface java单例设计模式虚拟机
    单例模式：保证一个类仅有一个实例，并提供一个访问它的全局访问点   安全的单例模式：     /* * @(#)Singleton.java 2014-8-1 * * Copyright 2014 XXXX, Inc. All rights reserved. */ package com.fiberhome.singleton;
  • Java8全新打造，英语学习supertool yangshangchuan javasuperword闭包java8函数式编程
    superword是一个Java实现的英文单词分析软件，主要研究英语单词音近形似转化规律、前缀后缀规律、词之间的相似性规律等等。Clean code、Fluent style、Java8 feature: Lambdas, Streams and Functional-style Programming。   升学考试、工作求职、充电提高，都少不了英语的身影，英语对我们来说实在太重要
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他