kto
kto

2019-06-18 linux安装Redis集群

linux安装Redis集群（三主三备）

2017-08-05

Redis是一个可基于内存亦可持久化的日志型（aof，rdb）、高性能Key-Value数据库，并提供多种语言的API，Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。

-redis

我们这里搭建的集群就需要六台机器，三台为主，redis集群和其他技术的集群有点不一样。redis一共分成16384个槽，并且把这些槽基本算是平均分配到三台机器上，。引入了备机才能算集群+高可用，即存入的数据采用一定策略存到三台机器上，而备用机会实现同步主机的数据，并且当主机发生故障时，备用机能及时的通过选举，上来充当主机，维护集群的稳定。

-准备工作

-六台虚拟机

192.168.40.142

………..

192.168.40.147

-安装

首先安装分别安装：

#yum -y install wget

注意：编译时候如果报错。可能是没安装gcc，请安装后再执行 make && make install

# yum install gcc gcc-c++

安装redis时遇到zmalloc.h:50:31: 致命错误：jemalloc/jemalloc.h：没有那个文件或目录

解决办法

# make MALLOC=libc

下载并解压

# cd /usr/local

# wget http://download.redis.io/releases/redis-3.2.4.tar.gz

# tar -zxvf redis-3.2.4.tar.gz

# mv redis-3.2.4 redis3

编译安装

# cd redis3

# make && make install

单机启动办法：

# redis-server redis.conf

-集群配置

创建集群配置目录

第一台：192.168.40.142

# mkdir -p /usr/local/redis3/cluster/7142

#cp /usr/local/redis3/redis.conf /usr/local/redis3/cluster/7142/redis-7142.conf

第二台：192.168.40.143

# mkdir -p /usr/local/redis3/cluster/7143

#cp /usr/local/redis3/redis.conf /usr/local/redis3/cluster/7143/redis-7143.conf

第三台：192.168.40.144

# mkdir -p /usr/local/redis3/cluster/7144

#cp /usr/local/redis3/redis.conf /usr/local/redis3/cluster/7144/redis-7144.conf

第四台：192.168.40.145

# mkdir -p /usr/local/redis3/cluster/7145

#cp /usr/local/redis3/redis.conf /usr/local/redis3/cluster/7145/redis-7145.conf

第五台：192.168.40.146

# mkdir -p /usr/local/redis3/cluster/7146

#cp /usr/local/redis3/redis.conf /usr/local/redis3/cluster/7146/redis-7146.conf

第六台：192.168.40.147

# mkdir -p /usr/local/redis3/cluster/7147

#cp /usr/local/redis3/redis.conf /usr/local/redis3/cluster/7147/redis-7147.conf

4.修改配置文件redis-7142.conf … redis-7147.conf （6个文件都按照以下格式 一 一修改）

bind 127.0.0.1 # 改为本机地址

port 7142 #改为你设置的端口号

cluster-enabled yes

cluster-node-timeout 15000

cluster-config-file  /usr/local/redis3/cluster/7142/nodes-7142.conf

cluster-migration-barrier 1

注意：6台机器的配置都要改哦 特别容易出错的是7142这种 因为每一台机器设置都不一样

比如我的就分别是7142，7143,7144,7145,7146,7147

在每台机器的防火墙强上，配置redis集群端口，除了设置7142这类端口，还需设置redis集群直接通信的接口，系统默认是在你设置的redis端口上默认加上10000，及1742

编辑防火墙(此处只拿192.168.40.142机器来做演示，其他机器仿照着改 只用改变端口号就行)：

  #  vi /etc/sysconfig/iptables

添加如下两个redis端口：

-A INPUT -p tcp -m state --state NEW -m tcp --dport 7147 -j ACCEPT

-A INPUT -p tcp -m state --state NEW -m tcp --dport 17147 -j ACCEPT

保存 退出 重启防火墙

# service iptables restart

##-启动各节点 ##

分别 启动各个节点

第一台：

# /usr/local/redis3/src/redis-server /usr/local/redis3/cluster/7142/redis-7142.conf

第二台：

#  /usr/local/redis3/src/redis-server /usr/local/redis3/cluster/7143/redis-7143.conf

第三台：

# /usr/local/redis3/src/redis-server /usr/local/redis3/cluster/7144/redis-7144.conf

第四台：

#  /usr/local/redis3/src/redis-server /usr/local/redis3/cluster/7145/redis-7145.conf

第五台：

# /usr/local/redis3/src/redis-server /usr/local/redis3/cluster/7146/redis-7146.conf

第六台：

#  /usr/local/redis3/src/redis-server /usr/local/redis3/cluster/7147/redis-7147.conf

果成功则会显示如下界面：

特别注意：该界面不能关闭，不能退出。必须保持。否则会导致redis不可用

解决办法使用nohup命令来启动 就可以了

注意：此时虽然6台机器都正常运行了redis，但是集群仍未完成

6、查看服务（新开终端）

# ps -ef | grep redis  #查看是否启动成功

# netstat -tnlp | grep redis #可以看到redis监听端口

-创建集群

-安装ruby、rubygems

前面已经准备好了搭建集群的redis节点，接下来我们要把这些节点都串连起来搭建集群。官方提供了一个工具：redis-trib.rb(/usr/local/redis-3.2.1/src/redis-trib.rb) 看后缀就知道不能直接执行，它是用ruby写的一个程序，所以我们还得安装ruby.

# yum -y install ruby ruby-devel rubygems rpm-build

再用 gem 这个命令来安装 redis接口 gem是ruby的一个工具包.

此时会出现一个问题：因为墙的缘故安装gem会没有反应，解决办法是更换为阿里巴巴的ruby源。

# 删除默认的官方源

# gem sources -r https://rubygems.org/

#添加淘宝源

# gem sources -a https://ruby.taobao.org/

#查看当前源 

[root@localhost src]# gem sources -l

*** CURRENT SOURCES ***

https://ruby.taobao.org/

-安装gem

安装gem

[root@localhost src]# gem install redis

Successfully installed redis-3.3.3

Parsing documentation for redis-3.3.3

上面结束了，接下来运行一下redis-trib.rb

# /usr/local/redis3/src/redis-trib.rb

redis集群就是依靠 上面这些操作 完成集群搭建的.

确认所有的节点都启动，接下来使用参数create 创建 (在192.168.40.142中来创建)

/usr/local/redis3/src/redis-trib.rb  create  --replicas  1  192.168.40.142:7142 192.168.40.143:7143  192.168.40.144:7144 192.168.40.145:7145  192.168.40.146:7146  192.168.40.147:7147

集群创建成功：如下所示

[root@localhost src]#  /usr/local/redis3/src/redis-trib.rb  create  --replicas  1  192.168.40.142:7142 192.168.40.143:7143  192.168.40.144:7144 192.168.40.145:7145  192.168.40.146:7146  192.168.40.147:7147

>>> Creating cluster

>>> Performing hash slots allocation on 6 nodes...

Using 3 masters:

192.168.40.142:7142

192.168.40.143:7143

192.168.40.144:7144

Adding replica 192.168.40.145:7145 to 192.168.40.142:7142

Adding replica 192.168.40.146:7146 to 192.168.40.143:7143

Adding replica 192.168.40.147:7147 to 192.168.40.144:7144

M: d80a23c6773fef5456e81f0c1d187d7e51c3d650 192.168.40.142:7142

  slots:0-5460 (5461 slots) master

M: 382ed5a4cb3108c95cab35e27ea0ab340ce45270 192.168.40.143:7143

  slots:5461-10922 (5462 slots) master

M: 909bbc04c98fae3cd17cf4916b1edcec65cb57d1 192.168.40.144:7144

  slots:10923-16383 (5461 slots) master

S: 75cde28bfbfc8f27ead87302a3aa2baba44dd983 192.168.40.145:7145

  replicates d80a23c6773fef5456e81f0c1d187d7e51c3d650

S: 09314222f26560cf405c77ac77d09cae13a26fa5 192.168.40.146:7146

  replicates 382ed5a4cb3108c95cab35e27ea0ab340ce45270

S: 88a5ea69ec4f73b169f6ece244a1a525b86ccd66 192.168.40.147:7147

  replicates 909bbc04c98fae3cd17cf4916b1edcec65cb57d1

Can I set the above configuration? (type 'yes' to accept): yes

>>> Nodes configuration updated

>>> Assign a different config epoch to each node

>>> Sending CLUSTER MEET messages to join the cluster

Waiting for the cluster to join....

>>> Performing Cluster Check (using node 192.168.40.142:7142)

M: d80a23c6773fef5456e81f0c1d187d7e51c3d650 192.168.40.142:7142

  slots:0-5460 (5461 slots) master

  1 additional replica(s)

M: 909bbc04c98fae3cd17cf4916b1edcec65cb57d1 192.168.40.144:7144

  slots:10923-16383 (5461 slots) master

  1 additional replica(s)

S: 88a5ea69ec4f73b169f6ece244a1a525b86ccd66 192.168.40.147:7147

  slots: (0 slots) slave

  replicates 909bbc04c98fae3cd17cf4916b1edcec65cb57d1

M: 382ed5a4cb3108c95cab35e27ea0ab340ce45270 192.168.40.143:7143

  slots:5461-10922 (5462 slots) master

  1 additional replica(s)

S: 75cde28bfbfc8f27ead87302a3aa2baba44dd983 192.168.40.145:7145

  slots: (0 slots) slave

  replicates d80a23c6773fef5456e81f0c1d187d7e51c3d650

S: 09314222f26560cf405c77ac77d09cae13a26fa5 192.168.40.146:7146

  slots: (0 slots) slave

  replicates 382ed5a4cb3108c95cab35e27ea0ab340ce45270

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

[OK] All 16384 slots covered.

说明：

/usr/local/redis3/src/redis-trib.rb create –replicas 1 192.168.40.142:7142 192.168.40.143:7143 192.168.40.144:7144 192.168.40.145:7145 192.168.40.146:7146 192.168.40.147:7147

–replicas 1 表示 自动为每一个master节点分配一个slave节点 上面有6个节点，程序会按照一定规则生成 3个master（主）3个slave(从)

前面已经提醒过的 防火墙一定要开放监听的端口，否则会创建失败。

运行中，提示Can I set the above configuration? (type ‘yes’ to accept): yes //输入yes

接下来 提示 Waiting for the cluster to join………. 安装的时候在这里就一直等等等，没反应，傻傻等半天，看这句提示上面一句，Sending Cluster Meet Message to join the Cluster.

这下明白了，我刚开始在一台Server上去配，也是不需要等的，这里还需要跑到Server2上做一些这样的操作。

在192.168.1.238, redis-cli -c -p 700* 分别进入redis各节点的客户端命令窗口， 依次输入 cluster meet 192.168.1.238 7000……

回到Server1，已经创建完毕了。

查看一下 /usr/local/redis/src/redis-trib.rb check 192.168.1.237:7000

到这里集群已经初步搭建好了。

最后可以测试：

[root@localhost ~]# /usr/local/redis3/src/redis-cli -h 192.168.40.145 -p 7145

192.168.40.145:7145> get test1

"hh"

192.168.40.145:7145> set gg shuaige

OK

192.168.40.145:7145>

在其他几台机器上获取

[root@localhost src]#  redis-cli -h 192.168.40.145 -p 7145

192.168.40.145:7145> set test1 hh

OK

192.168.40.145:7145> get test

(error) MOVED 6918 192.168.40.143:7143

192.168.40.145:7145> get test1

"hh"

192.168.40.145:7145> get gg

"shuaige"

192.168.40.145:7145>

配置成功。

-redis集群操作

-集群(cluster)

CLUSTER INFO 打印集群的信息

CLUSTER NODES 列出集群当前已知的所有节点（node），以及这些节点的相关信息。

-节点(node)

CLUSTER MEET 将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。

CLUSTER FORGET 从集群中移除 node_id 指定的节点。

CLUSTER REPLICATE 将当前节点设置为 node_id 指定的节点的从节点。

CLUSTER SAVECONFIG 将节点的配置文件保存到硬盘里面。

-槽(slot)

CLUSTER ADDSLOTS [slot …] 将一个或多个槽（slot）指派（assign）给当前节点。

CLUSTER DELSLOTS [slot …] 移除一个或多个槽对当前节点的指派。

CLUSTER FLUSHSLOTS 移除指派给当前节点的所有槽，让当前节点变成一个没有指派任何槽的节点。

CLUSTER SETSLOT NODE 将槽 slot 指派给 node_id 指定的节点，如果槽已经指派给另一个节点，那么先让另一个节点删除该槽>，然后再进行指派。

CLUSTER SETSLOT MIGRATING 将本节点的槽 slot 迁移到 node_id 指定的节点中。

CLUSTER SETSLOT IMPORTING 从 node_id 指定的节点中导入槽 slot 到本节点。

CLUSTER SETSLOT STABLE 取消对槽 slot 的导入（import）或者迁移（migrate）。

-键 (key)

CLUSTER KEYSLOT 计算键 key 应该被放置在哪个槽上。

CLUSTER COUNTKEYSINSLOT 返回槽 slot 目前包含的键值对数量。

CLUSTER GETKEYSINSLOT 返回 count 个 slot 槽中的键。

这些命令是集群所独有的。执行上述命令要先登录

[root@manage redis]# redis-cli -c -p 6382 -h 192.168.10.220    //登录

192.168.10.220:6382> cluster info  //查看集群情况

cluster_state:ok

cluster_slots_assigned:16384

cluster_slots_ok:16384

cluster_slots_pfail:0

cluster_slots_fail:0

cluster_known_nodes:6

cluster_size:3

cluster_current_epoch:8

cluster_my_epoch:4

cluster_stats_messages_sent:82753

cluster_stats_messages_received:82754

-redis节点操作

redis集群节点 增删

-添加从节点

添加从节点slave(某个主节点的复制品)

#  ./redis-cli -h 192.168.40.145 -p 7145

192.168.40.145> cluster replicate 此处是主节点master的ID

192.168.40.145> ok

-删除从节点

删除从节点

# redis-trib.rb del-node 192.168.10.220:6385 '9c240333476469e8e2c8e80b089c48f389827265'

-删除主节点

删除主节点

如果主节点有从节点，将从节点转移到其他主节点

如果主节点有slot，去掉分配的slot，然后在删除主节点

# redis-trib.rb reshard 192.168.10.219:6378 //取消分配的slot,下面是主要过程

How many slots do you want to move (from 1 to 16384)? 1000 //被删除master的所有slot数量

What is the receiving node ID? 5d8ef5a7fbd72ac586bef04fa6de8a88c0671052 //接收6378节点slot的master

Please enter all the source node IDs.

Type 'all' to use all the nodes as source nodes for the hash slots.

Type 'done' once you entered all the source nodes IDs.

Source node #1:03ccad2ba5dd1e062464bc7590400441fafb63f2 //被删除master的node-id

Source node #2:done 

Do you want to proceed with the proposed reshard plan (yes/no)? yes //取消slot后，reshard

新增master节点后，也进行了这一步操作，当时是分配，现在去掉。反着的。

# redis-trib.rb del-node 192.168.10.219:6378 '03ccad2ba5dd1e062464bc7590400441fafb63f2'

改变从节点的master

//查看一下6378的从节点

# redis-cli -p 6378 cluster nodes | grep slave | grep 03ccad2ba5dd1e062464bc7590400441fafb63f2

//将6385加入到新的master

# redis-cli -c -p 6385 -h 192.168.10.220

192.168.10.220:6385> cluster replicate 5d8ef5a7fbd72ac586bef04fa6de8a88c0671052  //新master的node id

OK

192.168.10.220:6385> quit

//查看新master的slave

# redis-cli -p 6379 cluster nodes | grep slave | grep 5d8ef5a7fbd72ac586bef04fa6de8a88c0671052

查看一下，集群情况

# /usr/local/redis3/src/redis-trib.rb check 192.168.40.145:7145

可以看到M为主节点，S为从节点

redis cluster命令行（redis-cli -h 192.168.40.145 -p 7145）

1，新配置二个测试节点

# cd /etc/redis

//新增配置

# cp redis-6379.conf redis-6378.conf && sed -i "s/6379/6378/g" redis-6378.conf

# cp redis-6382.conf redis-6385.conf && sed -i "s/6382/6385/g" redis-6385.conf

//启动

# redis-server /etc/redis/redis-6385.conf > /var/log/redis/redis-6385.log 2>&1 &

# redis-server /etc/redis/redis-6378.conf > /var/log/redis/redis-6378.log 2>&1 &

-添加主节点

添加主节点

# redis-trib.rb add-node 192.168.10.219:6378 192.168.10.219:6379

注释：

192.168.10.219:6378是新增的节点

192.168.10.219:6379集群任一个旧节点

-添加从节点

# redis-trib.rb add-node --slave --master-id 03ccad2ba5dd1e062464bc7590400441fafb63f2 192.168.10.220:6385 192.168.10.219:6379

注释：

--slave，表示添加的是从节点

--master-id 03ccad2ba5dd1e062464bc7590400441fafb63f2,主节点的node id，在这里是前面新添加的6378的node id

192.168.10.220:6385,新节点

192.168.10.219:6379集群任一个旧节点

-从新分配slot

重新分配slot

# redis-trib.rb reshard 192.168.10.219:6378 //下面是主要过程

How many slots do you want to move (from 1 to 16384)? 1000 //设置slot数1000

What is the receiving node ID? 03ccad2ba5dd1e062464bc7590400441fafb63f2 //新节点node id

Please enter all the source node IDs.

Type 'all' to use all the nodes as source nodes for the hash slots.

Type 'done' once you entered all the source nodes IDs.

Source node #1:all //表示全部节点重新洗牌

Do you want to proceed with the proposed reshard plan (yes/no)? yes //确认重新分

新增加的主节点，是没有slots的，

M: 03ccad2ba5dd1e062464bc7590400441fafb63f2 192.168.10.219:6378

slots:0-332,5461-5794,10923-11255 (0 slots) master

主节点如果没有slots的话，存取数据就都不会被选中。

可以把分配的过程理解成打扑克牌，all表示大家重新洗牌；输入某个主节点的node id，然后在输入done的话，就好比从某个节点，抽牌。

你可能感兴趣的:(2019-06-18 linux安装Redis集群)

  • linux简单安装gcc和gdb chn-zgq Linuxlinuxubuntu
    linux安装gcc以及环境配置和gdb安装gcc-10.0添加源:sudoadd-apt-repositoryppa:ubuntu-toolchain-r/ppa更新源:sudoaptupdate下载gcc:sudoaptinstallgcc-10g++-10默认GCC版本设置为gcc-10.0:sudoupdate-alternatives--install/usr/bin/gccgcc/us
  • 关于Redis集群同步/持久化/淘汰机制的详解 尾巴尖上的阳光 大数据redis数据库
    Redis是非常常用的KV数据库,使用内存以及HashMap进行存储的特点带来了高效的查询.本文将围绕Redis的常见开发使用场景,阐述在Redis集群中各个节点是如何进行数据同步,每个节点如何进行持久化以及在长期使用中如何对数据进行更新和淘汰.如果对Redis有更多的兴趣,可以查看我的技术博客:https://dingyuqi.com下面是Redis在开发过程中常用的几种使用场景.集群Redis
  • Redis 集群 確定饿的猫 redislinux
    目录Redis主从复制Redis主从复制简介Redis主从复制的作用Redis主从复制流程搭建Redis主从复制master节点slave节点验证哨兵故障转移机制部署哨兵Redis集群作用数据分区高可用Redis集群Redis高可用实现的方式有持久化、主从复制、哨兵、集群，与持久化不同，另外三种方式都是属于集群，之前已经分析了解过两种持久化模式了，现在了解另外几种方式Redis主从复制Redis主
  • linux安装Oracle所需pdksh包下载 Amor风信子 linuxoracle
    linux安装Oracle所需pdksh包下载：pdksh-5.2.14-37.el5.x86_64.rpm的下载提取码：msoe直接安装即可：rpm-ivhpdksh-5.2.14-37.el5.x86_64.rpm如果安装失败则尝试强制安装，强制安装命令：rpm-ivh*****.rpm--nodeps--force例如;rpm-ivhpdksh-5.2.14-37.el5.x86_64.rp
  • Linux搭建Java环境之jdk1.8安装图文教程 yundashi168 Java教程阿里云教程
    Linux的使用相信大家都要用到java吧！在使用java前我们得先安装jdk以及配置环境变量等工作；下面小编给大家分享关于Linux安装jdk的详细步骤：【Linux服务器远程连接工具】xshell6快捷下载，xftp6快捷下载温馨提示：xshell负责编写和执行Linux命令，就是大家都知道的命令行。xftp负责上传和下载文件。两款软件搭配使用。还有一款免费的国产的linux远程连接客户端—f
  • 2019-06-18晨间日记 天天tiantian
    ⊙一日之计在于晨⊙图片发自App昨日就寝☪︎01:00今日晨起☼06：00昨日午休/冥想：30/10min【今日三只青蛙】OA处理，劳产率计算分析，听课【昨日收获】❤️总结反思1.小组微学习，如何准备领导讲话材料。改进的地方:语速过快，没有录音的语速听着舒适自然。对于大纲还是不熟悉，还是想着去看大纲。2.回听录音，找稿子念和不看稿子靠理解的念，还是有所区别。不看稿子，由于大脑同时要思考，语速不得不
  • 2019-06-18 a8592650cd02
    今天，中午放学解散的时候，我就和接送站的大姨回接送站了，到了接送站，我们吃了西红柿加糖和白菜，还有黄瓜加火腿，我一共吃了好几碗饭，我西红柿加白糖吃了三碗，还吃了两碗黄瓜加火腿肠，我都吃得饱饱的，我很开心。
  • Redis:缓存雪崩 我的程序快快跑啊 缓存redisjava
    缓存雪崩：大量的key同时失效或redis服务宕机，导致大量请求直接到达数据库,造成巨大压力解决方案：1.给不同的key的TTL+随机数，使其分散在一个时间段内2.利用redis集群提高redis服务的可靠性3.给缓存业务添加降级限流策略4.添加多级缓存(nginx,jvm等)
  • 2019-06-18锻炼第二天 moyu33
    早上一碗燕麦片，中午两碗饭。。荤菜、汤以及吃辣椒蒸茄子又到有些肚痛胃烧，实在喜欢。。。晚上无主食，干了一大碗丝瓜及汤。。今天无便便。。囧体重：61.8kg锻炼1小时左右，各种拉伸15min-波板运动15个(不标准)-跳绳500个-瑜伽简单拉伸10min结束Goahead~
  • 2019-06-18 68d243cc0aa1
    能征服人心的，永远不是聪明。——而是善良。能感动人心的，永远不是语言。——而是真诚！图片发自App
  • heidisql linux 安装_linux安装mysql教程 是佐罗而非索隆 heidisqllinux安装
    1系统约定安装文件下载目录：/data/softwareMysql目录安装位置：/usr/local/mysql数据库保存位置：/data/mysql日志保存位置：/data/log/mysql执行如下命名：#mkdir/data/software#cd/data/software--下载安装包--建议：在windows上使用迅雷下载，速度很快(我的是1M/s)，然后用工具(Xftp)上传到/da
  • OSError: libnccl.so.2: cannot open shared object file: No such file or directory 王小葱鸭 python
    linux安装完torch或者tensorflow的gpu版本，安装没问题，但是import就有问题，报错OSError:libnccl.so.2:cannotopensharedobjectfile:Nosuchfileordirectory，是缺少nvidia的ncll，下面介绍解决方法：1安装ncll下载链接https://developer.nvidia.com/nccl/nccl-dow
  • telnet yum linux安装,CentOS 7 LINUX下安装telnet服务 WebWarrior telnetyumlinux安装
    在CentOS7下升级了openssl和openssh，顺便装了下telnet服务。#安装telnet避免ssh无法登录yum-yinstallxinetdtelnettelnet-server在telnet情况下root登录提示loginincorrectlinux默认情况下root用户使用telnet是登录不了的，需要修改/etc/secruetty文件#允许root账号登陆vi/etc/se
  • Linux系统搭建思维导图软件Simple Mind Map并实现无公网IP远程访问 老秦包你会 linuxtcp/ip运维
    文章目录1.Docker一键部署思维导图2.本地访问测试3.Linux安装Cpolar4.配置公网地址5.远程访问思维导图6.固定Cpolar公网地址7.固定地址访问SimpleMindMap是一个可私有部署的web思维导图工具。它提供了丰富的功能和特性，包含插件化架构、多种结构类型（逻辑结构图、思维导图、组织结构图等）、节点内容支持文本、图片、图标、超链接等，支持拖拽、导入导出功能、快捷键等。c
  • Docker学习笔记 Hi，你好啊 运维docker学习笔记
    文章目录Docker的基本概念容器的概念容器的特点容器与虚拟机的区别容器的三个核心概念Docker的底层隔离机制NameSpaceCgroupUnion文件系统Linux安装DockerCentOSUbuntuDocker基本命令Docker限制容器资源Docker中的网络Docker网络模式Docker网络配置Docker中的卷挂载文件系统到容器Docker镜像Docker镜像的特点Docker
  • Linux - Linux安装部署Maven以及环境变量配置 MinggeQingchun LinuxMavenlinuxmaven运维
    1、下载Maven：前往官网下载最新版的Maven：Maven–DownloadApacheMaven2、解压Maven：将下载的压缩包解压到你希望安装Maven的目录，例如：tar-zxvfapache-maven-3.8.6-bin.tar.gz-C/opt/maven3、配置环境变量：编辑.bashrc或.bash_profile文件，添加以下内容：exportM2_HOME=/opt/ma
  • shiro 采用redis共享session，出现反序列化错误的排查过程 nightseventhunit redisjava数据库
    这是一个老系统改造的过程，该老系统采用的框架是#jfinal#shiroredis,采用outh2协议的方式，对多个子系统之间进行单点登录，以实现系统之间的session，由于速度方面的影响，现在要改造成多个系统之间共享session，并采用redis集群的方式。说明一下当前项目的整体运行环境，此项目的多个子系统都在同一个域名下，通过上下文不同来区分子系统。以下将记录整个改造过程，采用jfinal
  • linux安装npm包报`permissions`错误的问题 雷布斯基
    执行sudochown-R$(whoami)$(npmconfiggetprefix)/{lib/node_modules,bin,share}修改文件夹权限后，重新安装即可。参考：Fixingnpmpermissions
  • Linux安装redis执行make命令报错:gcc not found和*** [adlist.o] Error 1 Holy_Java Mysql&Redis数据库开发需求&错误解决linuxcentos运维
    目录第一章、问题分析与解决1.1）报错11.2）报错2友情提醒先看文章目录，大致了解文章知识点结构，点击文章目录可直接跳转到文章指定位置。第一章、问题分析与解决1.1）报错1报错问题1：gcc:Commandnotfound解决方式：执行命令：yum-yinstallgcc执行命令：yum-yinstallgcc1.2）报错2报错问题2：error:jemalloc/jemalloc.h:Nosu
  • redis cluster 黑夜无路人 redisredis数据库缓存
    文章目录节点CLUSTERMEET命令的实现槽指派传播节点的槽指派信息复制与故障转移故障检测故障转移选举新的主节点节点一个Redis集群通常由多个节点（node）组成，在刚开始的时候，每个节点都是相互独立的，它们都处于一个只包含自己的集群当中，要组建一个真正可工作的集群，我们必须将各个独立的节点连接起来，构成一个包含多个节点的集群。连接各个节点的工作可以使用CLUSTERMEET命令来完成，该命令
  • 第04课：基于 Redis 的分布式缓存实现及加固策略 Jin_Kwok 分布式中间件实践之路架构分布式中间件
    本文将从Redis-Cluster搭建切入，详解集群的创建原理和加固策略。之后，分析集群所存在的几种可靠性问题并给出解决方案，最后，介绍一个集群运维软件的实现方案。1.Redis-Cluster搭建本节将介绍基于Redis和Lettuce搭建一个分布式缓存集群的方法。为了生动地呈现集群创建过程，我没有采用Redis集群管理工具redis-trib，而是基于Lettuce编写Java代码实现集群的创
  • linux安装java -centos安装java -linux配置java环境变量 shuair 环境配置linuxjavacentos
    下载jdk推荐下载jdk-8u202-linux-x64.tar.gz下载页面：https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html下载时注意版本号，下载需要登录安装jdk#如果服务器中已存在openjdk等组件时，可以选择直接使用，或者卸载后安装自己下载的jdk#在/usr/local下创建j
  • Linux安装R包TwoSampleMR遇见的报错 xbinbzy
    最近一位老友在倒腾GWAS的研究，发现R包TwoSampleMR用于pQTL的分析，让我在Linux系统上帮忙安装下，根据网页的安装提示进行操作（https://github.com/MRCIEU/epigraphdb-pqtl/），在操作过程中遇见了一些报错和实践的解决方案，在此文特此记录：library(devtools)install_github("MRCIEU/TwoSampleMR")
  • python分布式集群ray_GitHub - Leesire-Python/jd_spider: 两只蠢萌京东的分布式爬虫. weixin_39781930 python分布式集群ray
    使用scrapy,scrapy-redis,graphite实现的京东分布式爬虫，以mongodb实现底层存储。分布式实现，解决带宽和性能的瓶颈，提高爬取的效率。实现scrapy-redis对进行url的去重以及调度，利用redis的高效和易于扩展能够轻松实现高效率下载：当redis存储或者访问速度遇到瓶颈时，可以通过增大redis集群数和爬虫集群数量改善版本支持现在支持Py2和Py3,但是需要注
  • linux系统下make安装,如何在Linux上安装和使用Makeself weixin_39777875 linux系统下make安装
    Makeself只是Linux下的一个脚本，可用于文件的创建，因为makeself重写过，所以会有不少人不懂怎么使用makeself，下面小编就给大家介绍下Linux安装使用makeself的方法。Makeself.sh是一个小的Shell脚本，用于从一个目录中生成自解压的tar.gz压缩包。结果文件以一个shell脚本显示(大多数以.run作为后缀名)，可以自动运行。该文档会解压自己到一个临时目
  • Redis：支撑高并发及高可用复杂的缓存架构 玉成226 【Redis】缓存redis架构
    这里写目录标题一、企业级Redis集群架构二、（nginx+lua）+redis+ehcache的三级缓存架构三、数据库+缓存双写一致性解决方案四、大key：缓存维度拆分解决方案五、如何提高缓存的命中率一、企业级Redis集群架构二、（nginx+lua）+redis+ehcache的三级缓存架构三、数据库+缓存双写一致性解决方案四、大key：缓存维度拆分解决方案五、如何提高缓存的命中率
  • Linux系统一键部署Nexus Maven私有仓库结合内网穿透实现远程管理 E绵绵 Everythinglinuxmaven运维
    文章目录前言1.Docker安装Nexus2.本地访问Nexus3.Linux安装Cpolar4.配置Nexus界面公网地址5.远程访问Nexus界面6.固定Nexus公网地址7.固定地址访问Nexus前言本文主要介绍在Linux中使用Docker来一键部署NexusMaven私有仓库工具并结合Cpolar内网穿透实现远程访问Nexus进行管理.Nexus是一个仓库管理工具，用于管理和组织软件构建
  • Spring Boot 整合Redis Sentinel(1主2从3哨兵) 弓长日含 RedisSpringBoot
    介绍在前面的博客中已经介绍了如何搭建Redis集群(最简单的Redis集群：1主2从3哨兵)RedisSentinel故障转移Redis主从配置上面的配置虽然可以在服务器上面模拟测试成功，但是在整合到SpringBoot项目中，还是出现了一些小坑。本来准备直接在原博客上面改，但是考虑到更改后与当时的截图不一致，就在这里重新补充。Redis集群配置这里就只贴配置文件，配置项与原来无太大区别，仅仅是在
  • 2021-08-01 yqq32
    转载自https://blog.csdn.net/yy150122/article/details/106146414Linux从零开始学习笔记从零开始学习Linux，记录笔记，担心自己以后会忘，也供大家茶余饭后，闲来无事看看，自己的理解只能到这，能力有限。Linux学习笔记第一章Linux起源第二章系统分区第三章Linux安装与配置第四章Linux常用命令第一节文件处理命令第一讲命令格式与目录处
  • linux安装 cuda.run,Ubuntu18.04下安装CUDA和cudnn weixin_39535527 linux安装cuda.run
    安装前需要注意的问题：1需要安装对应的驱动，具体参考下图：安装过程可以参考：Ubuntu18.04安装nvidia显卡驱动2由于Cuda-9只支持gcc-6以下的版本，而Ubuntu18.04系统默认安装的gcc-7版，所以需要gcc降级，具体可以查看：linux下gcc、g++不同版本的安装和切换1.下载cuda.xxx.run文件这里需要注意的是cuda9并没有18.04的安装包，所以下载16
  • js动画html标签（持续更新中） 843977358 htmljs动画mediaopacity
    1.jQuery 效果 - animate() 方法    改变 "div" 元素的高度：    $(".btn1").click(function(){      $("#box").animate({height:"300px
  • springMVC学习笔记 caoyong springMVC
    1、搭建开发环境    a>、添加jar文件，在ioc所需jar包的基础上添加spring-web.jar,spring-webmvc.jar    b>、在web.xml中配置前端控制器       <servlet>     &nbs
  • POI中设置Excel单元格格式 107x poistyle列宽合并单元格自动换行
    引用：http://apps.hi.baidu.com/share/detail/17249059 POI中可能会用到一些需要设置EXCEL单元格格式的操作小结： 先获取工作薄对象: HSSFWorkbook wb = new HSSFWorkbook(); HSSFSheet sheet = wb.createSheet(); HSSFCellStyle setBorder = wb.
  • jquery 获取A href 触发js方法的this参数 无效的情况 一炮送你回车库 jquery
    html如下：  <td class=\"bord-r-n bord-l-n c-333\"> <a class=\"table-icon edit\" onclick=\"editTrValues(this);\">修改</a> </td>"   j
  • md5 3213213333332132 MD5
    import java.security.MessageDigest; import java.security.NoSuchAlgorithmException; public class MDFive { public static void main(String[] args) { String md5Str = "cq
  • 完全卸载干净Oracle11g sophia天雪 orale数据库卸载干净清理注册表
    完全卸载干净Oracle11g A、存在OUI卸载工具的情况下：     第一步：停用所有Oracle相关的已启动的服务；     第二步：找到OUI卸载工具：在“开始”菜单中找到“oracle_OraDb11g_home”文件夹中         &
  • apache 的access.log 日志文件太大如何解决 darkranger apache
    CustomLog logs/access.log common  此写法导致日志数据一致自增变大。 直接注释上面的语法 #CustomLog logs/access.log common 增加： CustomLog "|bin/rotatelogs.exe -l logs/access-%Y-%m-d.log 
  • Hadoop单机模式环境搭建关键步骤 aijuans 分布式
            Hadoop环境需要sshd服务一直开启，故，在服务器上需要按照ssh服务，以Ubuntu Linux为例，按照ssh服务如下： sudo apt-get install ssh sudo apt-get install rsync 编辑HADOOP_HOME/conf/hadoop-env.sh文件，将JAVA_HOME设置为Java
  • PL/SQL DEVELOPER 使用的一些技巧 atongyeye javasql
    1 记住密码 这是个有争议的功能，因为记住密码会给带来数据安全的问题。 但假如是开发用的库，密码甚至可以和用户名相同，每次输入密码实在没什么意义，可以考虑让PLSQL Developer记住密码。 位置：Tools菜单－－Preferences－－Oracle－－Logon HIstory－－Store with password 2 特殊Copy 在SQL Window
  • PHP：在对象上动态添加一个新的方法 bardo 方法动态添加闭包
    有关在一个对象上动态添加方法，如果你来自Ruby语言或您熟悉这门语言，你已经知道它是什么...... Ruby提供给你一种方式来获得一个instancied对象，并给这个对象添加一个额外的方法。   好！不说Ruby了，让我们来谈谈PHP   PHP未提供一个“标准的方式”做这样的事情，这也是没有核心的一部分...   但无论如何，它并没有说我们不能做这样
  • ThreadLocal与线程安全 bijian1013 javajava多线程threadLocal
    首先来看一下线程安全问题产生的两个前提条件：  1.数据共享，多个线程访问同样的数据。  2.共享数据是可变的，多个线程对访问的共享数据作出了修改。    实例：         定义一个共享数据： public static int a = 0;        
  • Tomcat 架包冲突解决 征客丶 tomcatWeb
    环境： Tomcat 7.0.6 win7 x64 错误表象：【我的冲突的架包是：catalina.jar 与 tomcat-catalina-7.0.61.jar 冲突，不知道其他架包冲突时是不是也报这个错误】 严重: End event threw exception java.lang.NoSuchMethodException: org.apache.catalina.dep
  • 【Scala三】分析Spark源代码总结的Scala语法一 bit1129 scala
    Scala语法 1. classOf运算符 Scala中的classOf[T]是一个class对象，等价于Java的T.class,比如classOf[TextInputFormat]等价于TextInputFormat.class    2. 方法默认值 defaultMinPartitions就是一个默认值，类似C++的方法默认值    
  • java 线程池管理机制 BlueSkator java线程池管理机制
    编辑 Add Tools   jdk线程池   一、引言 第一：降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。第二：提高响应速度。当任务到达时，任务可以不需要等到线程创建就能立即执行。第三：提高线程的可管理性。线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。  
  • 关于hql中使用本地sql函数的问题（问-答） BreakingBad HQL存储函数
    转自于：http://www.iteye.com/problems/23775 问： 我在开发过程中，使用hql进行查询（mysql5）使用到了mysql自带的函数find_in_set()这个函数作为匹配字符串的来讲效率非常好，但是我直接把它写在hql语句里面（from ForumMemberInfo fm,ForumArea fa where find_in_set(fm.userId,f
  • 读《研磨设计模式》-代码笔记-迭代器模式-Iterator bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.Arrays; import java.util.List; /** * Iterator模式提供一种方法顺序访问一个聚合对象中各个元素，而又不暴露该对象内部表示 * * 个人觉得，为了不暴露该
  • 常用SQL chenjunt3 oraclesqlC++cC#
    --NC建库 CREATE TABLESPACE NNC_DATA01 DATAFILE 'E:\oracle\product\10.2.0\oradata\orcl\nnc_data01.dbf' SIZE 500M AUTOEXTEND ON NEXT 50M EXTENT MANAGEMENT LOCAL UNIFORM SIZE 256K ; CREATE TABLESPA
  • 数学是科学技术的语言 comsci 工作活动领域模型
      从小学到大学都在学习数学，从小学开始了解数字的概念和背诵九九表到大学学习复变函数和离散数学，看起来好像掌握了这些数学知识，但是在工作中却很少真正用到这些知识，为什么？    最近在研究一种开源软件-CARROT2的源代码的时候，又一次感觉到数学在计算机技术中的不可动摇的基础作用，CARROT2是一种用于自动语言分类（聚类）的工具性软件，用JAVA语言编写，它
  • Linux系统手动安装rzsz 软件包 daizj linuxszrz
    1、下载软件 rzsz-3.34.tar.gz。登录linux，用命令 wget http://freeware.sgi.com/source/rzsz/rzsz-3.48.tar.gz下载。 2、解压 tar zxvf  rzsz-3.34.tar.gz 3、安装  cd rzsz-3.34 ; make posix 。注意：这个软件安装与常规的GNU软件不
  • 读源码之:ArrayBlockingQueue dieslrae java
        ArrayBlockingQueue是concurrent包提供的一个线程安全的队列,由一个数组来保存队列元素.通过 takeIndex和 putIndex来分别记录出队列和入队列的下标,以保证在出队列时 不进行元素移动. //在出队列或者入队列的时候对takeIndex或者putIndex进行累加,如果已经到了数组末尾就又从0开始,保证数
  • C语言学习九枚举的定义和应用 dcj3sjt126com c
    枚举的定义 # include <stdio.h> enum WeekDay { MonDay, TuesDay, WednesDay, ThursDay, FriDay, SaturDay, SunDay }; int main(void) { //int day; //day定义成int类型不合适 enum WeekDay day = Wedne
  • Vagrant 三种网络配置详解 dcj3sjt126com vagrant
    Forwarded port Private network Public network Vagrant 中一共有三种网络配置，下面我们将会详解三种网络配置各自优缺点。 端口映射(Forwarded port)，顾名思义是指把宿主计算机的端口映射到虚拟机的某一个端口上，访问宿主计算机端口时，请求实际是被转发到虚拟机上指定端口的。Vagrantfile中设定语法为： c
  • 16.性能优化-完结 frank1234 性能优化
    性能调优是一个宏大的工程，需要从宏观架构(比如拆分，冗余，读写分离，集群，缓存等)， 软件设计（比如多线程并行化，选择合适的数据结构）， 数据库设计层面（合理的表设计，汇总表，索引，分区，拆分，冗余等） 以及微观（软件的配置，SQL语句的编写，操作系统配置等）根据软件的应用场景做综合的考虑和权衡，并经验实际测试验证才能达到最优。 性能水很深， 笔者经验尚浅 ，赶脚也就了解了点皮毛而已，我觉得
  • Word Search hcx2013 search
    Given a 2D board and a word, find if the word exists in the grid. The word can be constructed from letters of sequentially adjacent cell, where "adjacent" cells are those horizontally or ve
  • Spring4新特性——Web开发的增强 jinnianshilongnian springspring mvcspring4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • CentOS安装配置tengine并设置开机启动 liuxingguome centos
    yum install gcc-c++  yum install pcre pcre-devel  yum install zlib zlib-devel  yum install openssl openssl-devel Ubuntu上可以这样安装 sudo aptitude install libdmalloc-dev libcurl4-opens
  • 第14章 工具函数（上） onestopweb 函数
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • Xelsius 2008 and SAP BW at a glance blueoxygen BOXelsius
    Xelsius提供了丰富多样的数据连接方式，其中为SAP BW专属提供的是BICS。那么Xelsius的各种连接的优缺点比较以及Xelsius是如何直接连接到BEx Query的呢？ 以下Wiki文章应该提供了全面的概览。   http://wiki.sdn.sap.com/wiki/display/BOBJ/Xcelsius+2008+and+SAP+NetWeaver+BW+Co
  • oracle表空间相关 tongsh6 oracle
    在oracle数据库中，一个用户对应一个表空间，当表空间不足时，可以采用增加表空间的数据文件容量，也可以增加数据文件，方法有如下几种： 1.给表空间增加数据文件    ALTER TABLESPACE "表空间的名字" ADD DATAFILE    '表空间的数据文件路径' SIZE 50M;   &nb
  • .Net framework4.0安装失败 yangjuanjava .netwindows
    上午的.net framework 4.0，各种失败，查了好多答案，各种不靠谱，最后终于找到答案了 和Windows Update有关系，给目录名重命名一下再次安装，即安装成功了！ 下载地址：http://www.microsoft.com/en-us/download/details.aspx?id=17113 方法： 1.运行cmd，输入net stop WuAuServ 2.点击开
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他