wangziustc

Redis集群扩展

本次是在之前redis集群的基础上进行操作的。

1、当前redis集群的状态

./install/bin/redis-cli -h 10.10.36.126 -p 7111
10.10.36.126:7111> cluster nodes
ee447f5137df462f306d926e46db973a3a385ee8 10.10.36.126:7116 slave 1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 0 1483937332566 6 connected
7c18d707e804ef4ad492efeb34712c2b94c37913 10.10.36.126:7111 myself,master - 0 0 1 connected 0-5460
1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 10.10.36.126:7113 master - 0 1483937336604 3 connected 10923-16383
17b0d77e68f8abbac920ccb198493351159a9ce5 10.10.36.126:7112 master - 0 1483937333574 2 connected 5461-10922
fb8ce3074b44876946da5348b2a784d95cf22918 10.10.36.126:7114 slave 7c18d707e804ef4ad492efeb34712c2b94c37913 0 1483937334583 4 connected
4e47df8998c7d508dd6b6fd6b2e98b803239c411 10.10.36.126:7115 slave 17b0d77e68f8abbac920ccb198493351159a9ce5 0 1483937335595 5 connected

以上集群状态输出信息解析:
(1)节点 ID
(2)IP:PORT
(3)节点状态标识: master、slave、myself、fail?、fail
(4)如果是从节点，表示主节点的 ID；如果是主节点，则为 '-'
(5)集群最近一次向各个节点发送 PING 命令后，过去多长时间还没有接到回复
(6)节点最近一次返回 PONG 的时间戳
(7)节点的配置纪元
(8)本节点的网络连接情况: connected、disconnected
(9)如果是主节点，表示节点包含的槽

2、安装两个新的redis节点

server：10.10.36.126
初始Master：7117
初始Slave：7118
将7117，7118， 17117，17118端口在防火墙中打开
安装步骤见之前的博客，此处不再赘述。
安装完成后，启动这两个redis实例。

3、添加新的Mater节点

（1）add-node 将一个节点添加到集群里面，第一个是新节点 ip:port，第二个是任意一个已存在节点 ip:port

./install/bin/redis-trib add-node 10.10.36.126:7117 10.10.36.126:7111

输出：

>>> Performing Cluster Check (using node 10.10.36.126:7111)
M: 7c18d707e804ef4ad492efeb34712c2b94c37913 10.10.36.126:7111
slots:0-5460 (5461 slots) master
1 additional replica(s)
S: ee447f5137df462f306d926e46db973a3a385ee8 10.10.36.126:7116
slots: (0 slots) slave
replicates 1ac7c046b4c1fbe8c30d769792d4071c6b546cfb
M: 1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 10.10.36.126:7113
slots:10923-16383 (5461 slots) master
1 additional replica(s)
M: 17b0d77e68f8abbac920ccb198493351159a9ce5 10.10.36.126:7112
slots:5461-10922 (5462 slots) master
1 additional replica(s)
S: fb8ce3074b44876946da5348b2a784d95cf22918 10.10.36.126:7114
slots: (0 slots) slave
replicates 7c18d707e804ef4ad492efeb34712c2b94c37913
S: 4e47df8998c7d508dd6b6fd6b2e98b803239c411 10.10.36.126:7115
slots: (0 slots) slave
replicates 17b0d77e68f8abbac920ccb198493351159a9ce5
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
>>> Send CLUSTER MEET to node 10.10.36.126:7117 to make it join the cluster.
[OK] New node added correctly.

此时集群状态：

10.10.36.126:7111> cluster nodes
ee447f5137df462f306d926e46db973a3a385ee8 10.10.36.126:7116 slave 1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 0 1483937680097 6 connected
7c18d707e804ef4ad492efeb34712c2b94c37913 10.10.36.126:7111 myself,master - 0 0 1 connected 0-5460
4e661de53cee487619b63e524dbc0be95199a5ce 10.10.36.126:7117 master - 0 1483937677936 0 connected
1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 10.10.36.126:7113 master - 0 1483937676919 3 connected 10923-16383
17b0d77e68f8abbac920ccb198493351159a9ce5 10.10.36.126:7112 master - 0 1483937681126 2 connected 5461-10922
fb8ce3074b44876946da5348b2a784d95cf22918 10.10.36.126:7114 slave 7c18d707e804ef4ad492efeb34712c2b94c37913 0 1483937679379 4 connected
4e47df8998c7d508dd6b6fd6b2e98b803239c411 10.10.36.126:7115 slave 17b0d77e68f8abbac920ccb198493351159a9ce5 0 1483937679046 5 connected

节点添加成功，新增的节点不包含任何数据，因为它没有分配任何 slot。

（2）为新节点分配哈希槽（slot）

只需要指定集群中其中一个节点的地址，redis-trib 就会自动找到集群中的其他节点。

./install/bin/redis-trib reshard 10.10.36.126:7111

输出：

>>> Performing Cluster Check (using node 10.10.36.126:7111)
M: 7c18d707e804ef4ad492efeb34712c2b94c37913 10.10.36.126:7111
slots:0-5460 (5461 slots) master
1 additional replica(s)
S: ee447f5137df462f306d926e46db973a3a385ee8 10.10.36.126:7116
slots: (0 slots) slave
replicates 1ac7c046b4c1fbe8c30d769792d4071c6b546cfb
M: 4e661de53cee487619b63e524dbc0be95199a5ce 10.10.36.126:7117
slots: (0 slots) master
0 additional replica(s)
M: 1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 10.10.36.126:7113
slots:10923-16383 (5461 slots) master
1 additional replica(s)
M: 17b0d77e68f8abbac920ccb198493351159a9ce5 10.10.36.126:7112
slots:5461-10922 (5462 slots) master
1 additional replica(s)
S: fb8ce3074b44876946da5348b2a784d95cf22918 10.10.36.126:7114
slots: (0 slots) slave
replicates 7c18d707e804ef4ad492efeb34712c2b94c37913
S: 4e47df8998c7d508dd6b6fd6b2e98b803239c411 10.10.36.126:7115
slots: (0 slots) slave
replicates 17b0d77e68f8abbac920ccb198493351159a9ce5
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
How many slots do you want to move (from 1 to 16384)?

确认打算移动的哈希槽 slots 的数量（这里槽数量设置为 1000），输入1000，回车。

What is the receiving node ID?

指定目标需要使用节点的 ID ，而不是 IP 地址和端口。7117的ID为4e661de53cee487619b63e524dbc0be95199a5ce，输入该数值，回车。

Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1:

询问重新分片的源节点（source node），也就是要从哪个节点中取出 1000 个哈希槽，并将这些槽移动到目标节点7117上面。如果我们不打算从特定的节点上取出指定数量的哈希槽，那么可以向 redis-trib 输入 all ，这样的话，集群中的所有主节点都会成为源节点， redis-trib 将从各个源节点中各取出一部分哈希槽，凑够 1000 个，然后移动到目标节点7117上面.输入all，回车。

输出选中的1000个哈希槽，并提示：

Do you want to proceed with the proposed reshard plan (yes/no)?

输入 yes 并再次按回车确认， redis-trib 就会正式开始执行重新分片操作，将指定的哈希槽从源节点一个个地移动到目标节点7117上面。

此时，集群状态：

10.10.36.126:7111> cluster nodes
ee447f5137df462f306d926e46db973a3a385ee8 10.10.36.126:7116 slave 1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 0 1483938536376 6 connected
7c18d707e804ef4ad492efeb34712c2b94c37913 10.10.36.126:7111 myself,master - 0 0 1 connected 333-5460
4e661de53cee487619b63e524dbc0be95199a5ce 10.10.36.126:7117 master - 0 1483938534192 7 connected 0-332 5461-5794 10923-11255
1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 10.10.36.126:7113 master - 0 1483938533089 3 connected 11256-16383
17b0d77e68f8abbac920ccb198493351159a9ce5 10.10.36.126:7112 master - 0 1483938530973 2 connected 5795-10922
fb8ce3074b44876946da5348b2a784d95cf22918 10.10.36.126:7114 slave 7c18d707e804ef4ad492efeb34712c2b94c37913 0 1483938534528 4 connected
4e47df8998c7d508dd6b6fd6b2e98b803239c411 10.10.36.126:7115 slave 17b0d77e68f8abbac920ccb198493351159a9ce5 0 1483938535291 5 connected

可以看到7117上已拥有三段哈希槽。

使用check命令检查集群：

./install/bin/redis-trib check 10.10.36.126:7111

>>> Performing Cluster Check (using node 10.10.36.126:7111)
M: 7c18d707e804ef4ad492efeb34712c2b94c37913 10.10.36.126:7111
slots:333-5460 (5128 slots) master
1 additional replica(s)
S: ee447f5137df462f306d926e46db973a3a385ee8 10.10.36.126:7116
slots: (0 slots) slave
replicates 1ac7c046b4c1fbe8c30d769792d4071c6b546cfb
M: 4e661de53cee487619b63e524dbc0be95199a5ce 10.10.36.126:7117
slots:0-332,5461-5794,10923-11255 (1000 slots) master
0 additional replica(s)
M: 1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 10.10.36.126:7113
slots:11256-16383 (5128 slots) master
1 additional replica(s)
M: 17b0d77e68f8abbac920ccb198493351159a9ce5 10.10.36.126:7112
slots:5795-10922 (5128 slots) master
1 additional replica(s)
S: fb8ce3074b44876946da5348b2a784d95cf22918 10.10.36.126:7114
slots: (0 slots) slave
replicates 7c18d707e804ef4ad492efeb34712c2b94c37913
S: 4e47df8998c7d508dd6b6fd6b2e98b803239c411 10.10.36.126:7115
slots: (0 slots) slave
replicates 17b0d77e68f8abbac920ccb198493351159a9ce5
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

可以看到集群正常，7117为主节点，没有从节点。

4、添加Slave节点：

（1）再次使用上面的方法将7118节点加入集群，但不分配哈希槽。

10.10.36.126:7111> cluster nodes

fad49e6d14290225a06f072e319bebef8c1307fd 10.10.36.126:7118 master - 0 1483938984865 0 connected
ee447f5137df462f306d926e46db973a3a385ee8 10.10.36.126:7116 slave 1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 0 1483938985896 6 connected
7c18d707e804ef4ad492efeb34712c2b94c37913 10.10.36.126:7111 myself,master - 0 0 1 connected 333-5460
4e661de53cee487619b63e524dbc0be95199a5ce 10.10.36.126:7117 master - 0 1483938979720 7 connected 0-332 5461-5794 10923-11255
1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 10.10.36.126:7113 master - 0 1483938984146 3 connected 11256-16383
17b0d77e68f8abbac920ccb198493351159a9ce5 10.10.36.126:7112 master - 0 1483938981781 2 connected 5795-10922
fb8ce3074b44876946da5348b2a784d95cf22918 10.10.36.126:7114 slave 7c18d707e804ef4ad492efeb34712c2b94c37913 0 1483938982812 4 connected
4e47df8998c7d508dd6b6fd6b2e98b803239c411 10.10.36.126:7115 slave 17b0d77e68f8abbac920ccb198493351159a9ce5 0 1483938980750 5 connected

（2）将其加入到Master节点

连接7118节点

./install/bin/redis-cli -h 10.10.36.126 -p 7118

使用cluster replicate 对应 master 的 node-id，将其分配到相应的master上。

10.10.36.126:7118> cluster replicate 4e661de53cee487619b63e524dbc0be95199a5ce

此时的集群状态：

10.10.36.126:7118> cluster nodes
17b0d77e68f8abbac920ccb198493351159a9ce5 10.10.36.126:7112 master - 0 1483939475795 2 connected 5795-10922
fb8ce3074b44876946da5348b2a784d95cf22918 10.10.36.126:7114 slave 7c18d707e804ef4ad492efeb34712c2b94c37913 0 1483939477136 1 connected
fad49e6d14290225a06f072e319bebef8c1307fd 10.10.36.126:7118 myself,slave 4e661de53cee487619b63e524dbc0be95199a5ce 0 0 0 connected
4e661de53cee487619b63e524dbc0be95199a5ce 10.10.36.126:7117 master - 0 1483939479916 7 connected 0-332 5461-5794 10923-11255
ee447f5137df462f306d926e46db973a3a385ee8 10.10.36.126:7116 slave 1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 0 1483939474760 3 connected
4e47df8998c7d508dd6b6fd6b2e98b803239c411 10.10.36.126:7115 slave 17b0d77e68f8abbac920ccb198493351159a9ce5 0 1483939477862 2 connected
1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 10.10.36.126:7113 master - 0 1483939478888 3 connected 11256-16383
7c18d707e804ef4ad492efeb34712c2b94c37913 10.10.36.126:7111 master - 0 1483939480946 1 connected 333-5460

可以看到这时 7118 已变成 7117 的 slave节点。

5、reshard 数据

对于负载/数据不均匀的情况，可以在线 reshard slot 来解决,方法与添加新 master 的 reshard 一样，只是需要 reshard 的 master 节点是老节点。

6、移除slave节点

./install/bin/redis-trib del-node 10.10.36.126:7118 fad49e6d14290225a06f072e319bebef8c1307fd

需要同时提供被移除的ip:port 和ID信息。

集群状态：

10.10.36.126:7111> cluster nodes
ee447f5137df462f306d926e46db973a3a385ee8 10.10.36.126:7116 slave 1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 0 1483940054832 6 connected
7c18d707e804ef4ad492efeb34712c2b94c37913 10.10.36.126:7111 myself,master - 0 0 1 connected 333-5460
4e661de53cee487619b63e524dbc0be95199a5ce 10.10.36.126:7117 master - 0 1483940055987 7 connected 0-332 5461-5794 10923-11255
1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 10.10.36.126:7113 master - 0 1483940051569 3 connected 11256-16383
17b0d77e68f8abbac920ccb198493351159a9ce5 10.10.36.126:7112 master - 0 1483940053720 2 connected 5795-10922
fb8ce3074b44876946da5348b2a784d95cf22918 10.10.36.126:7114 slave 7c18d707e804ef4ad492efeb34712c2b94c37913 0 1483940050851 4 connected
4e47df8998c7d508dd6b6fd6b2e98b803239c411 10.10.36.126:7115 slave 17b0d77e68f8abbac920ccb198493351159a9ce5 0 1483940052602 5 connected

可以得知7118节点已被移除成功。

移除一个节点，对应的节点进程也会被关闭。

7、移除master节点

移除master 节点之前首先要使用 reshard 移除该 master 的全部 slot，然后再移除当前节点(目前只能把被移除master 的 slot 迁移到一个节点上)，操作和分配 slot 类似，指定具体的 Source node 即可。

./install/bin/redis-trib reshard 10.10.36.126:7111

输出：

What is the receiving node ID? 7c18d707e804ef4ad492efeb34712c2b94c37913 #7111的ID
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1: 4e661de53cee487619b63e524dbc0be95199a5ce #7117的ID
Source node #2: done

Do you want to proceed with the proposed reshard plan (yes/no)? yes

此时集群状态：

10.10.36.126:7111> cluster nodes
ee447f5137df462f306d926e46db973a3a385ee8 10.10.36.126:7116 slave 1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 0 1483940783308 6 connected
7c18d707e804ef4ad492efeb34712c2b94c37913 10.10.36.126:7111 myself,master - 0 0 8 connected 0-5794 10923-11255
4e661de53cee487619b63e524dbc0be95199a5ce 10.10.36.126:7117 master - 0 1483940782284 7 connected
1ac7c046b4c1fbe8c30d769792d4071c6b546cfb 10.10.36.126:7113 master - 0 1483940786396 3 connected 11256-16383
17b0d77e68f8abbac920ccb198493351159a9ce5 10.10.36.126:7112 master - 0 1483940787425 2 connected 5795-10922
fb8ce3074b44876946da5348b2a784d95cf22918 10.10.36.126:7114 slave 7c18d707e804ef4ad492efeb34712c2b94c37913 0 1483940784351 8 connected
4e47df8998c7d508dd6b6fd6b2e98b803239c411 10.10.36.126:7115 slave 17b0d77e68f8abbac920ccb198493351159a9ce5 0 1483940785372 5 connected

确认已清空该 Master 节点的所有 slot 后就可以删除该节点了（命令与删除 slave 节点一样）：

./install/bin/redis-trib del-node 10.10.36.126:7117 4e661de53cee487619b63e524dbc0be95199a5ce

此时的redis实例：

ps -ef | grep redis
wangzi 6189 1 0 12:38 ? 00:00:09 ./install/bin/redis-server 10.10.36.126:7111 [cluster]
wangzi 6193 1 0 12:38 ? 00:00:08 ./install/bin/redis-server 10.10.36.126:7112 [cluster]
wangzi 6197 1 0 12:39 ? 00:00:09 ./install/bin/redis-server 10.10.36.126:7113 [cluster]
wangzi 6201 1 0 12:39 ? 00:00:07 ./install/bin/redis-server 10.10.36.126:7114 [cluster]
wangzi 6207 1 0 12:39 ? 00:00:07 ./install/bin/redis-server 10.10.36.126:7115 [cluster]
wangzi 6213 1 0 12:39 ? 00:00:07 ./install/bin/redis-server 10.10.36.126:7116 [cluster]
wangzi 6420 4060 0 12:48 pts/1 00:00:00 ./install/bin/redis-cli -h 10.10.36.126 -p 7111
wangzi 7536 3988 0 13:49 pts/0 00:00:00 grep --color=auto redis

nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
非关系型数据库天秤-white nosql
一、为什么要用Nosql1.单机MySQL的时代。一个基本的网站访问量一般不会太大，单个数据库完全足够。那时候更多使用的静态网页html，服务器根本没有太大压力。这时候网站的瓶颈是什么？-数据量如果太大，一个机器放不下。-数据量太大需要建立数据的索引（B+Tree），一个服务器内存放不下。-访问量读写混合，一个服务器承受不了。2.memcached缓存+MySQL+垂直拆分（读写分离）。网站80%
[转载] NoSQL简介 weixin_30325793 大数据数据库运维
摘自“百度百科”。NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。虽然NoSQL流行语
Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell） May--J--Oldhu HBase HBase shell hbase物理架构 hbase逻辑架构 hbase
NoSQL综述及ApacheHBase基础一.HBase1.HBase概述2.HBase发展历史3.HBase应用场景3.1增量数据-时间序列数据3.2信息交换-消息传递3.3内容服务-Web后端应用程序3.4HBase应用场景示例4.ApacheHBase生态圈5.HBase物理架构5.1HMaster5.2RegionServer5.3Region和Table6.HBase逻辑架构-Row7.
主流行架构 rainbowcheng 架构架构
nexus，gitlab,svn,jenkins,sonar,docker，apollo，catteambition，axure，蓝湖，禅道,WCP；redis，kafka，es，zookeeper，dubbo，shardingjdbc，mysql，InfluxDB，Telegraf，Grafana，Nginx，xxl-job，Neo4j,NebulaGraph是一个高性能的,NOSQL图形数据库
MongoDB ：第五章：MongoDB 插入更新删除查询文档 2401_84558091 作者\/mongodb 数据库
“_id”:ObjectId(“56064f89ade2f21f36b03136”),“title”:“MongoDB”,“description”:“MongoDB是一个Nosql数据库”,“by”:“菜鸟教程”,“url”:“http://www.runoob.com”,“tags”:[“mongodb”,“database”,“NoSQL”],“likes”:100}可以看到标题(title
Redis缓存机制(详解) 就是有缘人 redis 缓存数据库
1.Redis是什么?*redis是*一个运行在内存上的key-value存储系统。是NoSQL数据库之一2.缓存穿透,缓存击穿,缓存雪崩/**缓存穿透*/它会先查询Redis,Redis没有会查询数据库,数据库也没有这就是缓存穿透业界主流解决方案:布隆过滤器布隆过滤器的使用步骤布隆过滤器的使用步骤:1.针对现有所有数据,生成布隆过滤器2.在业务逻辑层,判断Redis之前先检查这个id是否在布隆过
NoSQL之REDIS配置与优化 m0_73868728 nosql redis 数据库
一、Redis简介Redis（RemoteDictionaryServer）是一个开源的、使用C语言编写的NoSQL数据库，它基于内存运行并支持持久化，采用key-value的存储形式。Redis因其高性能、丰富的数据类型支持和原子性操作而广泛应用于缓存、实时分析系统、排行榜等多种场景。二、Redis的安装1.使用包管理器安装对于大多数Linux发行版，可以使用包管理器直接安装Redis。例如，在
hadoop 0.22.0 部署笔记 weixin_33701564 大数据 java 运维
为什么80%的码农都做不了架构师？>>>因为需要使用hbase，所以开始对hbase进行学习。hbase是部署在hadoop平台上的NOSql数据库，因此在部署hbase之前需要先部署hadoop。环境：redhat5、hadoop-0.22.0.tar.gz、jdk-6u13-linux-i586.zipip192.168.1.128hostname：localhost.localdomain（
NoSQL（非关系型数据库）之Redis 花狮66 nosql redis 数据库
目录一、关系型数据库与非关系型数据库1.1关系型数据库1.2非关系型数据库1.3区别1.3.1数据存储方式不同1.3.2扩展方式不同1.4非关系型数据库产生背景二、Redis简介2.1Redis概述2.2Redis优点2.3Redis为什么这么快？总结一数据流向二各自特点一、关系型数据库与非关系型数据库1.1关系型数据库关系型数据库是一个结构化的数据库，创建在关系模型(二维表格模型)基础上，一般面
【Redis基础篇】详细讲解Redis ‍小林同学学JAVA redis数据库 redis 服务器 nosql 缓存数据库 java spring boot
这篇文章让你详细了解Redis的相关知识，有代码讲解以及图片剖析，让你更轻松掌握制作不易，感觉不错，请点赞收藏哟！！！目录1redis基础1.1定义1.2SQL和NOSQL不同点1.3特征1.4Redis通用命令1.5Redis数据结构介绍1.6Redis的java客户端2Jedis快速入门2.1操作步骤2.2Jedis连接池3SpringDataRedis3.1定义3.2优势3.3API3.4操
mongoDB 对一个做了索引的字段，要不要给默认值？ hongkid mongodb 数据库
引言在设计数据库模式时，如何处理字段的默认值是一个值得深入探讨的话题。对于MongoDB这样的NoSQL数据库来说，灵活性是其一大特点，但这同时也意味着开发者需要更加谨慎地考虑数据的一致性和完整性。本文将探讨在一个已创建索引的字段上，在插入文档时是否应该显式设置默认值的问题，并给出具体的建议。MongoDB中的索引与字段设置在MongoDB中，索引可以帮助提高查询性能，特别是在处理大规模数据集时。
大型网站核心架构要素贾欣晓架构架构
文章目录1性能1.1性能优化1.2性能度量2可用性2.1可用性指标2.2可用性目标2.3可用性方案2.4可用性度量3伸缩性3.1伸缩性度量3.2伸缩性方案3.2.1应用服务器集群3.2.2缓存服务器集群3.2.3关系数据库集群3.2.4NoSQL数据库产品4扩展性4.1扩展性度量4.2扩展性方案4.2.1事件驱动架构4.2.2分布式服务5安全性5.1安全性度量6小结关于什么是架构，一种比较通俗的说
Redis总结星空怎样
[toc]Redis是什么Redis是C语言开发的一个开源的高性能键值对(key-value)的内存数据库，可以用作数据库、缓存、消息中间件等。这是一种NoSQL的数据库。Redis作为一个内存数据库：性能优秀，数据在内存中，读写速度非常快，支持并发10WQPS。单进程单线程，是线程安全的，采用IO多了复用机制。丰富的数据类型，支持字符串(strings)、散列(hash)、列表(lists)、集
Hbase的简单使用示例傲雪凌霜，松柏长青后端大数据 hbase 数据库大数据
HBase是基于HadoopHDFS构建的分布式、列式存储的NoSQL数据库，适用于存储和检索超大规模的非结构化数据。它支持随机读写，并且能够处理PB级数据。HBase通常用于实时数据存取场景，与Hadoop生态紧密集成。使用HBase的Java示例前置条件HBase集群：确保HBase集群已经安装并启动。如果没有，你可以通过本地伪分布模式或Docker来运行HBase。Hadoop配置：HBas
Spring常用中间件贺仙姑 spring 中间件 java
1.数据库中间件（1）MySQL:常用的关系型数据库，支持JDBC和JPA。（2）PostgreSQL:功能强大的开源关系型数据库，支持复杂查询。（3）MongoDB:NoSQL数据库，适合存储非结构化数据。（4）Redis:内存数据结构存储，常用于缓存和消息队列。2.消息队列（1）RabbitMQ:开源消息代理，支持多种消息协议，适合异步处理。（2）Kafka:分布式流处理平台，适合处理大规模数
Hive和Hbase的区别傲雪凌霜，松柏长青大数据后端 hive hbase hadoop
Hive和HBase都是Hadoop生态系统中的重要组件，它们都能处理大规模数据，但各自有不同的适用场景和设计理念。以下是两者的主要区别：1.数据模型Hive：Hive类似于传统的关系型数据库(RDBMS)，以表格形式存储数据。它使用SQL-like语言HiveQL来查询和处理数据，数据通常是结构化或半结构化的。HBase：HBase是一个NoSQL数据库，基于Google的BigTable模型。
HBase 傲雪凌霜，松柏长青大数据后端 hbase 数据库大数据
ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。HBase的设计灵感来自Google的Bigtable，能够在海量数据中提供快速的随机读写操作，适合需要低延迟和高吞吐量的应用场景。HBase核心概念表（Table）：HBase的数据存储在表中，与传统的关系型数据库不同，HBase的表是面向列族（Co
ES架构及原理李澎昆 ES ES
Elasticsearch是一个兼有搜索引擎和NoSQL数据库功能的开源系统，基于Java/Lucene构建，可以用于全文搜索，结构化搜索以及近实时分析。说明：Lucene：只是一个框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene，学习成本高，Lucene确实非常复杂。Elasticsearch是面向文档型数据库，这意味着它存储的是整个对象或者文档，它不但会存储它们，还会为
经验笔记：NoSQL数据库及其缓存方法实践漆黑的莫莫数据库笔记 nosql 缓存
NoSQL数据库及其缓存方法实践经验笔记随着大数据时代的到来，传统的关系型数据库在处理大规模数据时面临诸多挑战，如扩展性不足、性能瓶颈等问题。NoSQL数据库因其在可扩展性、灵活性和性能方面的优势，逐渐成为解决这些问题的有效方案之一。本文将探讨NoSQL数据库的基本概念，并分享NoSQL缓存方法的实践经验，特别关注Redis作为缓存的案例分析。一、NoSQL数据库简介NoSQL数据库是非关系型数据
Redis数据类型简介及使用场景空青726 redis 数据库缓存跳槽考研面试后端
Redis是一种开源的、基于内存的、数据结构存储的、可以用作数据库、缓存和消息队列的NoSQL系统。它提供了多种丰富的数据类型，每种数据类型都有其特定的使用场景和优点。在本文中，我们将详细介绍Redis支持的五种基本数据类型：字符串(String)、哈希(Hash)、列表(List)、集合(Set)和有序集合(Zset)，以及三种高级数据类型：HyperLogLog、Bitmap和Geo。1.字符
Hadoop组件静听山水 Hadoop hadoop
这张图片展示了Hadoop生态系统的一些主要组件。Hadoop是一个开源的大数据处理框架，由Apache基金会维护。以下是每个组件的简短介绍：HBase：一个分布式、面向列的NoSQL数据库，基于GoogleBigTable的设计理念构建。HBase提供了实时读写访问大量结构化和半结构化数据的能力，非常适合大规模数据存储。Pig：一种高级数据流语言和执行引擎，用于编写MapReduce任务。Pig
Redis概述 AC编程
一、为什么需要NoSQLHighperformance高并发读写HugeStorage海量数据的高效率存储和访问HighScalability&&HighAvailability高可拓展性和高可用性二、NoSQL数据库的四大分类键值（Key-Value）存储列存储文档数据库图形数据库三、四类NoSQL数据库比较键值（Key-Value）存储相关产品：Redis、Voldemort、TokyoCab
MongoDB | MongoDB 终端查询进击的小白菜数据库 mongodb 数据库
文章目录准备工作基本查询操作连接到MongoDB数据库切换数据库查询所有文档查询特定条件下的文档查询多个字段条件查询并限制结果数量排序结果跳过某些结果实际案例查询示例总结MongoDB是一个高性能、易扩展的文档型NoSQL数据库。本文档将指导你如何使用MongoDB的命令行工具mongoshell来查询存储在MongoDB数据库中的数据。准备工作安装MongoDB:如果你还没有安装MongoDB，
SpringBoot学习（3）Redis使用星河漫漫l springboot 运维开发学习开发语言
SpringBoot对常用的数据库支持外，对Nosql数据库也进行了封装自动化。Redis介绍Redis是目前业界使用最广泛的内存数据存储。相比Memcached，Redis支持更丰富的数据结构，例如hashes,lists,sets等，同时支持数据持久化。除此之外，Redis还提供一些类数据库的特性，比如事务，HA，主从库。可以说Redis兼具了缓存系统和数据库的一些特性，因此有着丰富的应用场景
Spring Data：JPA与Querydsl 光图强 java
JPAJPA是java的一个规范，用于在java对象和数据库之间保存数据，充当面向对象领域模型和数据库之间的桥梁。它使用Hibernate、TopLink、IBatis等ORM框架实现持久性规范。SpringDataSpringData是Spring的一个子项目，用于简化数据库访问，支持NoSql数据和关系数据库。支持的NoSql数据库包括：Mongodb、redis、Hbase、Neo4j。Sp
缓存读写策略 Cache Aside Pattern，开发必备架构师修炼缓存缓存 java 读写策略分布式
我们在前面讲到了当我们业务面临大量写并发的时候，将数据库开发成分布式存储系统，然后又介绍了NoSql数据库与关系型数据库互相配合，以用来更好的服务与我们的业务发展。但随着并发的持续增加，存储数据量的增多，数据库的磁盘IO逐渐成了系统的瓶颈，我们需要一种访问更快的组件来降低请求响应时间，提升整体系统性能，这时我们就会使用到缓存。至于缓存这个概念，这里就不去多说了，我相信大家都懂，也知道它的作用是为了
NoSQL是非关系型数据库潘志杰_34fd
NoSQL是非关系型数据库，NoSQL=NotOnlySQL。关系型数据库采用的结构化的数据，NoSQL采用的是键值对的方式存储数据。在处理非结构化/半结构化的大数据时；在水平方向上进行扩展时；随时应对动态增加的数据项时可以优先考虑使用NoSQL数据库。在考虑数据库的成熟度；支持；分析和商业智能；管理及专业性等问题时，应优先考虑关系型数据库。
如何设计能扩展到1亿用户的系统 Go语言由浅入深
原文地址要设计一个支持数亿用户的系统并不容易。对于软件架构师来说，这是一个很大的挑战(不过今天读完这篇文章之后，就会变得容易了)下面是我在本文中讨论的一些主题。从简单开始：一体机（allinone）扩展的艺术：横向扩展和纵向扩展扩展关系数据库:主-从复制、主-主复制、联合、分片、去范式化和SQL调优。选择哪种数据库：NoSQL还是SQL？高级概念：缓存、CDN、geoDNS等。今天，我不想讨论高性
探索企业级数据库新势力：Redis 基础与进阶刘大帅ps 数据库 redis 缓存运维网络 linux 服务器
目录一.关系型数据库和NoSQL数据库1.1.数据库主要分为两大类：关系型数据库与NoSQL数据库1.2.为什么还要用NoSQL数据库呢？二.RemoteDictionaryServer简介2.1.什么是redis2.2.Redis特性2.3.单线程为何如此快?2.4.Redis应用场景三Redis的安装四.Redis的基本操作一.关系型数据库和NoSQL数据库1.1.数据库主要分为两大类：关系型
rust的指针作为函数返回值是直接传递，还是先销毁后创建？ wudixiaotie 返回值
这是我自己想到的问题，结果去知呼提问，还没等别人回答，我自己就想到方法实验了。。 fn main() { let mut a = 34; println!("a's addr:{:p}", &a); let p = &mut a; println!("p's addr:{:p}", &a
java编程思想 -- 数据的初始化百合不是茶 java 数据的初始化
1.使用构造器确保数据初始化 /* *在ReckInitDemo类中创建Reck的对象 */ public class ReckInitDemo { public static void main(String[] args) { //创建Reck对象 new Reck(); } }
[航天与宇宙]为什么发射和回收航天器有档期 comsci
地球的大气层中有一个时空屏蔽层,这个层次会不定时的出现,如果该时空屏蔽层出现,那么将导致外层空间进入的任何物体被摧毁,而从地面发射到太空的飞船也将被摧毁... 所以,航天发射和飞船回收都需要等待这个时空屏蔽层消失之后,再进行 &
linux下批量替换文件内容商人shang linux 替换
1、网络上现成的资料　　格式: sed -i "s/查找字段/替换字段/g" `grep 查找字段 -rl 路径` 　　linux sed 批量替换多个文件中的字符串　　sed -i "s/oldstring/newstring/g" `grep oldstring -rl yourdir` 　　例如：替换/home下所有文件中的www.admi
网页在线天气预报 oloz 天气预报
网页在线调用天气预报 <%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transit
SpringMVC和Struts2比较杨白白 springMVC
1. 入口 spring mvc的入口是servlet，而struts2是filter（这里要指出，filter和servlet是不同的。以前认为filter是servlet的一种特殊），这样就导致了二者的机制不同，这里就牵涉到servlet和filter的区别了。参见：http://blog.csdn.net/zs15932616453/article/details/8832343 2
refuse copy, lazy girl! 小桔子 copy
妹妹坐船头啊啊啊啊！都打算一点点琢磨呢。文字编辑也写了基本功能了。。今天查资料，结果查到了人家写得完完整整的。我清楚的认识到： 1.那是我自己觉得写不出的高度 2.如果直接拿来用，很快就能解决问题 3.然后就是抄咩~~ 4.肿么可以这样子，都不想写了今儿个，留着作参考吧！拒绝大抄特抄，慢慢一点点写！
apache与php整合 aichenglong php apache web
一 apache web服务器 1 apeche web服务器的安装 1)下载Apache web服务器 2)配置域名(如果需要使用要在DNS上注册) 3)测试安装访问http://localhost/验证是否安装成功 2 apache管理 1)service.msc进行图形化管理 2)命令管理，配
Maven常用内置变量 AILIKES maven
Built-in properties ${basedir} represents the directory containing pom.xml ${version} equivalent to ${project.version} (deprecated: ${pom.version}) Pom/Project properties Al
java的类和对象百合不是茶 JAVA面向对象类对象
java中的类： java是面向对象的语言，解决问题的核心就是将问题看成是一个类，使用类来解决 java使用 class 类名来创建类，在Java中类名要求和构造方法，Java的文件名是一样的创建一个A类： class A{ } java中的类：将某两个事物有联系的属性包装在一个类中，再通
JS控制页面输入框为只读 bijian1013 JavaScript
在WEB应用开发当中，增、删除、改、查功能必不可少，为了减少以后维护的工作量，我们一般都只做一份页面，通过传入的参数控制其是新增、修改或者查看。而修改时需将待修改的信息从后台取到并显示出来，实际上就是查看的过程，唯一的区别是修改时，页面上所有的信息能修改，而查看页面上的信息不能修改。因此完全可以将其合并，但通过前端JS将查看页面的所有信息控制为只读，在信息量非常大时，就比较麻烦。
AngularJS与服务器交互 bijian1013 JavaScript AngularJS $http
对于AJAX应用（使用XMLHttpRequests）来说，向服务器发起请求的传统方式是：获取一个XMLHttpRequest对象的引用、发起请求、读取响应、检查状态码，最后处理服务端的响应。整个过程示例如下： var xmlhttp = new XMLHttpRequest(); xmlhttp.onreadystatechange
[Maven学习笔记八]Maven常用插件应用 bit1129 maven
常用插件及其用法位于：http://maven.apache.org/plugins/ 1. Jetty server plugin 2. Dependency copy plugin 3. Surefire Test plugin 4. Uber jar plugin 1. Jetty Pl
【Hive六】Hive用户自定义函数(UDF) bit1129 自定义函数
1. 什么是Hive UDF Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：文件格式：Text File，Sequence File 内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本：不管什么
杀掉nginx进程后丢失nginx.pid，如何重新启动nginx ronin47 nginx 重启 pid丢失
nginx进程被意外关闭，使用nginx -s reload重启时报如下错误：nginx: [error] open() “/var/run/nginx.pid” failed (2: No such file or directory)这是因为nginx进程被杀死后pid丢失了，下一次再开启nginx -s reload时无法启动解决办法：nginx -s reload 只是用来告诉运行中的ng
UI设计中我们为什么需要设计动效 brotherlamp UI ui教程 ui视频 ui资料 ui自学
随着国际大品牌苹果和谷歌的引领，最近越来越多的国内公司开始关注动效设计了，越来越多的团队已经意识到动效在产品用户体验中的重要性了，更多的UI设计师们也开始投身动效设计领域。但是说到底，我们到底为什么需要动效设计？或者说我们到底需要什么样的动效？做动效设计也有段时间了，于是尝试用一些案例，从产品本身出发来说说我所思考的动效设计。一、加强体验舒适度嗯，就是让用户更加爽更加爽的用你的产品。
Spring中JdbcDaoSupport的DataSource注入问题 bylijinnan java spring
参考以下两篇文章： http://www.mkyong.com/spring/spring-jdbctemplate-jdbcdaosupport-examples/ http://stackoverflow.com/questions/4762229/spring-ldap-invoking-setter-methods-in-beans-configuration Sprin
数据库连接池的工作原理 chicony 数据库连接池
随着信息技术的高速发展与广泛应用，数据库技术在信息技术领域中的位置越来越重要，尤其是网络应用和电子商务的迅速发展，都需要数据库技术支持动态Web站点的运行，而传统的开发模式是：首先在主程序（如Servlet、Beans）中建立数据库连接；然后进行SQL操作，对数据库中的对象进行查询、修改和删除等操作；最后断开数据库连接。使用这种开发模式，对
java 关键字 CrazyMizzz java
关键字是事先定义的，有特别意义的标识符，有时又叫保留字。对于保留字，用户只能按照系统规定的方式使用，不能自行定义。 Java中的关键字按功能主要可以分为以下几类：（1）访问修饰符 public,private,protected p
Hive中的排序语法 daizj 排序 hive order by DISTRIBUTE BY sort by
Hive中的排序语法 2014.06.22 ORDER BY hive中的ORDER BY语句和关系数据库中的sql语法相似。他会对查询结果做全局排序，这意味着所有的数据会传送到一个Reduce任务上，这样会导致在大数量的情况下，花费大量时间。与数据库中 ORDER BY 的区别在于在hive.mapred.mode = strict模式下，必须指定 limit 否则执行会报错。
单态设计模式 dcj3sjt126com 设计模式
单例模式（Singleton）用于为一个类生成一个唯一的对象。最常用的地方是数据库连接。使用单例模式生成一个对象后，该对象可以被其它众多对象所使用。 <?phpclass Example{ // 保存类实例在此属性中 private static&
svn locked dcj3sjt126com Lock
post-commit hook failed (exit code 1) with output: svn: E155004: Working copy 'D:\xx\xxx' locked svn: E200031: sqlite: attempt to write a readonly database svn: E200031: sqlite: attempt to write a
ARM寄存器学习 e200702084 数据结构 C++c C#F#
无论是学习哪一种处理器，首先需要明确的就是这种处理器的寄存器以及工作模式。 ARM有37个寄存器，其中31个通用寄存器，6个状态寄存器。 1、不分组寄存器（R0-R7）不分组也就是说说，在所有的处理器模式下指的都时同一物理寄存器。在异常中断造成处理器模式切换时，由于不同的处理器模式使用一个名字相同的物理寄存器，就是
常用编码资料 gengzg 编码
List<UserInfo> list=GetUserS.GetUserList(11); String json=JSON.toJSONString(list); HashMap<Object,Object> hs=new HashMap<Object, Object>(); for(int i=0;i<10;i++) {
进程 vs. 线程 hongtoushizi 线程 linux 进程
我们介绍了多进程和多线程，这是实现多任务最常用的两种方式。现在，我们来讨论一下这两种方式的优缺点。首先，要实现多任务，通常我们会设计Master-Worker模式，Master负责分配任务，Worker负责执行任务，因此，多任务环境下，通常是一个Master，多个Worker。如果用多进程实现Master-Worker，主进程就是Master，其他进程就是Worker。如果用多线程实现
Linux定时Job：crontab -e 与 /etc/crontab 的区别 Josh_Persistence linux crontab
一、linux中的crotab中的指定的时间只有5个部分：* * * * * 分别表示：分钟，小时，日，月，星期，具体说来：第一段代表分钟 0—59 第二段代表小时 0—23 第三段代表日期 1—31 第四段代表月份 1—12 第五段代表星期几，0代表星期日 0—6 如： */1 * * * * 每分钟执行一次。 *
KMP算法详解 hm4123660 数据结构 C++算法字符串 KMP
字符串模式匹配我们相信大家都有遇过，然而我们也习惯用简单匹配法（即Brute-Force算法)，其基本思路就是一个个逐一对比下去，这也是我们大家熟知的方法，然而这种算法的效率并不高，但利于理解。假设主串s="ababcabcacbab",模式串为t="
枚举类型的单例模式 zhb8015 单例模式
E.编写一个包含单个元素的枚举类型[极推荐]。代码如下： public enum MaYun {himself; //定义一个枚举的元素，就代表MaYun的一个实例private String anotherField;MaYun() {//MaYun诞生要做的事情//这个方法也可以去掉。将构造时候需要做的事情放在instance赋值的时候：/** himself = MaYun() {*
Kafka+Storm+HDFS ssydxa219 storm
cd /myhome/usr/stormbin/storm nimbus &bin/storm supervisor &bin/storm ui &Kafka+Storm+HDFS整合实践kafka_2.9.2-0.8.1.1.tgzapache-storm-0.9.2-incubating.tar.gzKafka安装配置我们使用3台机器搭建Kafk
Java获取本地服务器的IP 中华好儿孙 java Web 获取服务器ip地址
System.out.println("getRequestURL:"+request.getRequestURL()); System.out.println("getLocalAddr:"+request.getLocalAddr()); System.out.println("getLocalPort:&quo

Redis集群扩展

你可能感兴趣的:(NoSQL)