Rdies基础 安装、常用命令、持久化

一、NoSQL Redis概述

  • NoSQL概述
    RDBMS (Relational Database Management System)关系数据库管理系统
    按照预先设置的组织结构，将数据存储在物理介质上
    数据之间可以做关联操作
  • RDBMS软件
    主流的RDBMS软件
    MySQL
    MariaDB
    Oracle
    DB2
    SQL Server
  • NoSQL (NoSQL = Not Only SQL)意思是“不仅仅是SQL”
    泛指非关系型数据库
    不需要预先定义数据存储结构
    每条记录可以有不同的数据类型和字段个数
  • NoSQL软件
    主流软件
    Memcached
    Redis
    MongoDB
    CouchDB-Neo4j
    FlockDB
  • Redis介绍
    Remote Dictionary Server (远程字典服务器）
    是一款高性能的（Key/Values)分布式内存数据库
    支持数据持久化(定期把内存里数据存储到硬盘)
    支持多种数据类型string.list、hash .....
    支持 master-salve模式数据备份
    中文网站www.redis.cn
  • 初始配置
    配置服务运行参数
    ]# ./utils/install_server.sh //初始化
    默认端口 6379
    主配置文件 /etc/redis/6379.conf
    日志文件 /var/log/redis_6379.log
    数据库目录 /var/lib/redis/6379
    服务启动程序 /usr/local/bin/redis-server
    命令行连接命令 /usr/local/bin/redis-cli
  • 管理服务
    ]# /etc/init.d/redis_6379 stop //停止服务
    ]# /etc/init.d/redis_6379 start //启动服务
    ]# ps -C redis-server //查看进程
    ]# netstat -utnlp | grep :6379 //查看端口
  • 连接服务
    访问redis服务
    redis-cli 默认连接本机的redis服务
    Redis Desktop Manager（RDM）常用可视化管理工具

二、Redis安装部署

案例1:搭建Redis服务器
具体要求如下∶
-在主机192.168.4.155上安装并启动redis服务
-设置变量school，值为tarena
-查看变量school值

软件安装
1）安装源码redis软件

[root@redis ~]# yum -y install gcc
[root@redis ~]# tar -xf redis-5.0.10.tar.gz   //先从官网下载redis安装包
[root@redis ~]# cd redis-5.0.10/
[root@redis redis-5.0.10]# ls
00-RELEASENOTES  COPYING  Makefile   redis.conf       runtest-moduleapi  src
BUGS             deps     MANIFESTO  runtest          runtest-sentinel   tests
CONTRIBUTING     INSTALL  README.md  runtest-cluster  sentinel.conf      utils

[root@redis redis-5.0.10]# make
[root@redis redis-5.0.10]# make install
[root@redis redis-5.0.10]# cd utils/
[root@redis utils]# ./install_server.sh 
Welcome to the redis service installer
This script will help you easily set up a running redis server

Please select the redis port for this instance: [6379] 
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] 
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] 
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] 
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server] 
Selected config:
Port           : 6379          //端口号
Config file    : /etc/redis/6379.conf      //配置文件目录
Log file       : /var/log/redis_6379.log   //日志目录
Data dir       : /var/lib/redis/6379    //数据库目录
Executable     : /usr/local/bin/redis-server   //启动程序的目录
Cli Executable : /usr/local/bin/redis-cli  //命令行的连接工具
Is this ok? Then press ENTER to go on or Ctrl-C to abort.   //回车完成配置
Copied /tmp/6379.conf => /etc/init.d/redis_6379   //服务启动脚本
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...   //提示服务已经启动
Installation successful!   //提示安装成功

2）查看服务状态 监听的端口

[root@redis utils]# /etc/init.d/redis_6379 status
Redis is running (5541)
[root@redis utils]# ss -anput|grep :6379   //查看端口 默认6379
tcp    LISTEN     0      128    127.0.0.1:6379                  *:*                   users:(("redis-server",pid=5541,fd=6))
[root@redis utils]# ps -aux|grep redis   //查看进程
root      5541  0.1  0.5 153888  7652 ?        Ssl  15:52   0:03 /usr/local/bin/redis-server    127.0.0.1:6379

3）停止服务

[root@redis utils]# /etc/init.d/redis_6379 stop
Stopping ...
Redis stopped

4）连接redis

[root@redis utils]# /etc/init.d/redis_6379 start
/var/run/redis_6379.pid exists, process is already running or crashed

[root@redis utils]# redis-cli 
127.0.0.1:6379> ping    //提示PONG表示连接成功
PONG
127.0.0.1:6379>

5）存储变量school，值为tarena，查看变量school的值

127.0.0.1:6379> set school tarena
OK
127.0.0.1:6379> get school
"tarena"

三、常用命令

  • set key名 key值 //存储1个key值
  • mset key名列表 //存储多个key值
  • get key名 //获取key值
  • mget //获取多个key值
  • select 数据库编号0-15 //切换库
  • keys * //显示所有key名
  • keys a? //显示指定key名
  • exists key名 //测试key名是否存在
  • ttl key名 //查看key生存时间
  • type key名 //查看key类型

Redis默认有16个库；默认使用的是0号库；

  • move key名库编号 //移动key到指定库
  • expire key名数字 //设置key有效时间
  • del key名 //删除指定的key
  • flushall //删除内存里所有key
  • flushdb //删除所在库的所有key
  • save //保存所有key到硬盘
  • shutdown //停止服务

案例2∶常用命令练习
练习如下命令的使用:
set mset get mget keys type
exists ttl expire move 、select
del flushdb flushall save shutdown

1）命令set 、 mset 、 get 、 mget

127.0.0.1:6379> set name bob
OK
127.0.0.1:6379> mset age 19 sex boy
OK
127.0.0.1:6379> get name
"bob"
127.0.0.1:6379> get sex
"boy"
127.0.0.1:6379> mget age sex
1) "19"
2) "boy"

2）命令keys 、 type 、 exists 、 del

127.0.0.1:6379> keys *
1) "age"
2) "name"
3) "sex"
4) "school"
127.0.0.1:6379> keys ???
1) "age"
2) "sex"
127.0.0.1:6379> keys a*
1) "age"
127.0.0.1:6379> type age  //使用set命令存储的变量都是字符类型
string
127.0.0.1:6379> del age
(integer) 1
127.0.0.1:6379> exists age  //变量不存储返回值0
(integer) 0
127.0.0.1:6379> exists sex  //变量存在 返回值1
(integer) 1
127.0.0.1:6379>

3）命令ttl 、 expire 、 move 、 flushdb 、flushall 、save、shutdown、select

127.0.0.1:6379> ttl sex  //返回值-1 表示变量永不过期
(integer) -1
127.0.0.1:6379> expire sex 20 //设置变量过期时间为 20 秒
(integer) 1
127.0.0.1:6379> ttl sex  //还剩7秒过期
(integer) 7
127.0.0.1:6379> ttl sex  //返回值-2 表示已经过期
(integer) -2
127.0.0.1:6379> exists sex  //变量已经不存在
(integer) 0
127.0.0.1:6379> move name 1  //把变量name移动到1号库里
(integer) 1
127.0.0.1:6379> select 1  //切换到1号库
OK
127.0.0.1:6379[1]> keys *   //查看
1) "name"
127.0.0.1:6379[1]> select 0  //切换到0号库
OK
127.0.0.1:6379> keys *   //查看
1) "school"
127.0.0.1:6379> select 1  //切换到1号库
OK
127.0.0.1:6379[1]> keys *
1) "name"
127.0.0.1:6379[1]> flushdb
OK
127.0.0.1:6379[1]> keys  *
(empty list or set)
127.0.0.1:6379[1]> flushall
OK
127.0.0.1:6379[1]> save  
OK
127.0.0.1:6379[1]> shutdown  //提示连接断开
not connected> exit
[root@redis utils]# 
[root@redis utils]# ps aux|grep redis    //没有进程信息
[root@redis utils]# /etc/init.d/redis_6379 start  //启动服务
Starting Redis server...
[root@redis utils]# ps aux|grep redis
root      5625  0.0  0.5 153888  7688 ?        Ssl  17:06   0:00 /usr/local/bin/redis-server 127.0.0.1:6379

四、常用配置及内存管理

  • 6379.conf 配置文件解析 模块分类
    NETWORK 网络
    GENERAL 常规
    SNAPSHOTTING 快照
    REPLICATION 复制
    SECURITY 安全
    CLIENTS 客户端
    MEMORY MANAGEMENT 内存管理
  • 常用配置
    port 6379 //端口
    bind 127.0.0.1 //IP地址
    daemonize yes //守护进程方式运行
    databases 16 //数据库个数
    logfile /var/log/redis_6379.log //日志文件
    maxclients 10000 //并发连接数量
    dir /var/lib/redis/6379 //数据库目录

内存管理

  • 内存清除策略
    volatile-Iru //最近最少使用（针对设置了TTL的key )
    allkeys-lru //删除最少使用的key(针对所有的key)
    alkeys-lfu //从所有key中清除使用频率最少的key
    volatile-lfu //从所有配置了过期时间的key中清除使用频率最少的key
    volatile-random //在设置了TTL的key里随机移除
    allkeys-random //随机移除key
    volatile-ttl (minor TTL) //移除最近过期的key
    noeviction //不删除，写满时报错
  • 优化设置
    maxmemory //最大内存
    maxmemory-policy //定义使用策略
    maxmemory-samples //选取key模板的个数(针对lru和ttl策略)

连接密码
设置密码、ip地址、端口

]# vim /etc/redis/6379.conf
requirepass 123456bind 192.168.4.50port 6350
:wq
]# redis-cli -h192.168.4.50 -p6350//连接服务192.168.4.50:6350> ping
(error) NOAUTH Authentication required.192.168.4.50:6350> auth 123456//输入密码OK
192.168.4.50:6350> pingPONG
]# redis-cli -h 192.168.4.50 -p 6350 -a 123456//连接时加密码
]# redis-cli -h 192.168.4.64 -p 6364 -a 123456 shutdown//停止服务

案例3∶修改Redis服务运行参数
对Redis服务器192.168.4.155做如下配置:
-.端口号6350
-.IP地址192.168.4.155-连接密码123456-测试配置
1）修改配置文件

[root@redis utils]# cp /etc/redis/6379.conf /root/6379.conf   //可以先备份一份，防止修改错误没法还原
[root@redis utils]# /etc/init.d/redis_6379 stop
Stopping ...
Redis stopped
[root@redis utils]# vim /etc/redis/6379.conf
bind 192.168.4.155   //设置服务使用的ip
port 6360   //更改端口号
requirepass 123456   //设置密码

2）修改启动脚本

[root@redis utils]# vim +43 /etc/init.d/redis_6379
 43             $CLIEXEC -h 192.168.4.50 -p 6360 -a 123456 shutdown

3）启动服务

[root@redis utils]# /etc/init.d/redis_6379 start
Starting Redis server...
[root@redis utils]# ps aux|grep redis
root      5712  0.0  0.5 153888  7688 ?        Ssl  17:13   0:00 /usr/local/bin/redis-server 192.168.4.155:6360
root      5717  0.0  0.0 112720   984 pts/1    S+   17:13   0:00 grep --color=auto redis

4）测试配置 访问服务存取数据

[root@redis utils]# redis-cli -h 192.168.4.155 -p 6360 -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.4.155:6360> ping
PONG

五、持久化 RDB、AOF

RDB介绍
Redis数据库文件，全称Redis DataBase
-数据持久化方式之一
-数据持久化默认方式
-按照指定时间间隔，将内存中的数据集快照写入硬盘
-快照术语叫Snapshot
-恢复时，将快照文件直接读入内存

定义RDB文件名
vim /etc/redis/6379.conf
dbfilename "dump.rdb"//文件名

使用RDB文件恢复数据
·备份数据
-备份dump.rdb文件到其他位置
]# cp 数据库目录/dump.rdb备份目录
·恢复数据
-拷贝备份文件到数据库目录，重启redis服务
]#cp 备份目录/dump.rdb数据库目录/

优化设置

数据从内存保存到硬盘的频率

  • save 900 1 //15分钟且有1个key改变
  • save 300 10 //5分钟且有10个key改变
  • save 60 10000 //1分钟且有10000个key改变

·手动存盘

  • save //阻塞写存盘
    save 命令是同步方式生成快照，会造成Redis阻塞，所有后续到达的命令要等待save完成以后才能执行。
  • bgsave //不阻塞写存盘
    bgsave 命令采用异步方式生成快照，Redis会fork出一个子进程进行RDB文件的生成。
    Redis只有在fork子进程时被阻塞，子进程完成快照生成的同时，Redis可以正常工作。

RDB优点与缺点
·RDB优点
-高性能的持久化实现 创建一个子进程来执行持久化，先将数据写入临时文件，持久化过程结束后，再用这个临时文件替换上次持久化好的文件;过程中主进程不做任何IO操作
-比较适合大规模数据恢复，且对数据完整性要求不是非常高的场合

RDB的缺点
-意外宕机时，丢失最后一次持久化的所有数据

案例4∶使用RDB文件恢复数据
要求如下︰
-启用RDB
-设置存盘间隔为120秒且10个key改变数据自动存盘
-备份RDB文件
-删除数据
-使用RDB文件恢复数据

[root@redis ~]# vim /etc/redis/6379.conf
save 900 1
#save 300 10  //注释原有设置
save 120 10   //时间修改为 120秒
save 60 10000

[root@redis ~]# /etc/init.d/redis_6379 stop    //停止服务
[root@redis ~]# rm -fr /var/lib/redis/6379/*   //清空数据库目录
[root@redis ~]# ll /var/lib/redis/6379/    //此时，查看数据库目录下没有
dump.rdb文件
总用量 0
[root@redis ~]# /etc/init.d/redis_6379 start    //启动服务

[root@redis ~]# redis-cli -h 192.168.4.155 -p 6360 -a 123456    //连接服
务，在200秒内存储10个变量，就会自动在数据库目录下创建dump.rdb 文件
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.4.155:6360> ping
PONG
192.168.4.155:6360> set v1 k1
OK
192.168.4.155:6360> set v2 k2
OK
192.168.4.155:6360> set v3 k3
OK
192.168.4.155:6360> set v4 k4
OK
192.168.4.155:6360> set v5 k5
OK
192.168.4.155:6360> set v6 k6
OK
192.168.4.155:6360> set v7 k7
OK
192.168.4.155:6360> set v8 k8
OK
192.168.4.155:6360> set v9 k9
OK
192.168.4.155:6360> set v10 k10
OK
192.168.4.155:6360> set v11 k11
OK
192.168.4.155:6360> keys *
 1) "v5"
 2) "v1"
 3) "v10"
 4) "v3"
 5) "v7"
 6) "v8"
 7) "v2"
 8) "v11"
 9) "v9"
10) "v4"
11) "v6"
192.168.4.155:6360> exit

[root@redis ~]# ls /var/lib/redis/6379/   //此时，查看数据库目录下有
dump.rdb文件
dump.rdb

[root@redis ~]# cp /var/lib/redis/6379/dump.rdb   /tmp/     //备份dump.rdb
[root@redis ~]# redis-cli -h 192.168.4.155 -p 6360 -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.4.155:6360> flushall
OK
192.168.4.155:6360> keys *
(empty list or set)
192.168.4.155:6360> exit
[root@redis ~]# /etc/init.d/redis_6379 stop
Stopping ...
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
Redis stopped

[root@redis ~]# rm -fr /var/lib/redis/6379/*  //确保数据库被精空
[root@redis ~]# cp /tmp/dump.rdb /var/lib/redis/6379/   //拷贝备份文件到数据库目录下
[root@redis ~]# /etc/init.d/redis_6379 start
Starting Redis server...
[root@redis ~]# redis-cli -h 192.168.4.155 -p 6360 -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.4.155:6360> keys *     //查看数据
 1) "v6"
 2) "v2"
 3) "v10"
 4) "v4"
 5) "v11"
 6) "v9"
 7) "v8"
 8) "v3"
 9) "v5"
10) "v1"
11) "v7"

192.168.4.155:6360>

AOF介绍
Append Only File
追加方式记录写操作的文件
记录redis服务所有写操作
不断的将新的写操作，追加到文件的末尾
默认没有启用
使用cat命令可以查看文件内容

启用AOF

> config set appendonly yes   //启用
> config rewrite    //写进配置文件

使用AOF文件恢复数据
备份数据
备份appendonly.aof文件到其他位置
]# cp 数据库目录/applendonly.aof备份目录

恢复数据
拷贝备份文件到数据库目录
重启redis服务
]# cp 备份目录/appendonly.aof 数据库目录
]#/etc/redis/redis_端口 start

通过配置启动AOF
定义文件名
appendonly yes //启用aof 默认no
appendfilename "appendonly.aof" //指定文件名

AOF文件记录写操作的方式
appendfsync always //时时记录，并完成磁盘同步
appendfsync everysec //每秒记录一次，并完成磁盘同步
appendfsync no //写入aof ，不执行磁盘同步

日志文件会不断增大，何时触发日志重写?
auto-aof-rewrite-min-size 64mb //首次重写触发值
auto-aof-rewrite-percentage 100 //再次重写，增长百分比

修复AOF文件
一把文件恢复到最后一次的正确操作

[root@redis ~]# redis-check-aof --fix appendonly.aofox83: Expected rln, got: 6166
AOF analyzed: size=160, ok_up_to=123, diff=37
This will shrink the AOF from i60 bytes, with 37 bytes, to 123bytes
Continue? [y/N]: y
Successfully truncated AOF

AOF优点与缺点
AOF优点
可以灵活设置持久化方式
出现意外宕机时，仅可能丢失1秒的数据
AOF缺点
持久化文件的体积通常会大于RDB方式
执行fsync策略时的速度可能会比RDB方式慢

案例5︰使用AOF文件恢复数据
要求如下:
-启用AOF
-备份AOF文件
-删除数据
-使用AOF文件恢复数据
1）修改配置文件

[root@redis ~]# redis-cli -h 192.168.4.155 -p 6360 -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.4.155:6360> config set appendonly yes  //启用aof，默认no
OK
192.168.4.155:6360> config rewrite   //写进配置文件
OK
192.168.4.155:6360> save
OK
192.168.4.155:6360> exit

2）备份AOF文件

[root@redis ~]# cd /var/lib/redis/6379/
[root@redis 6379]# ls
appendonly.aof  dump.rdb
[root@redis 6379]# cp appendonly.aof /tmp/
[root@redis 6379]# redis-cli -h 192.168.4.155 -p 6360 -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.4.155:6360> flushall
OK
192.168.4.155:6360> keys *
(empty list or set)
192.168.4.155:6360> exit

3）删除数据

[root@redis 6379]# /etc/init.d/redis_6379 stop
Stopping ...
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
Redis stopped
[root@redis 6379]# rm -fr /var/lib/redis/6379/*   //确定数据库被清空

4) 使用AOF文件恢复数据

[root@redis 6379]# cp /tmp/appendonly.aof /var/lib/redis/6379/  //拷贝备份文件到目录
[root@redis 6379]# ls
appendonly.aof
[root@redis 6379]# /etc/init.d/redis_6379 start
Starting Redis server...
[root@redis 6379]# redis-cli -h 192.168.4.155 -p 6360 -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.4.155:6360> keys *   //查看数据
 1) "v9"
 2) "v3"
 3) "v4"
 4) "v5"
 5) "v2"
 6) "v7"
 7) "v1"
 8) "v6"
 9) "v8"
10) "v11"
11) "v10"
192.168.4.155:6360>

你可能感兴趣的:(redis运维linux)

  • Redis系列：Geo 类型赋能亿级地图位置计算 Ly768768 redisbootstrap数据库
    1前言我们在篇深刻理解高性能Redis的本质的时候就介绍过Redis的几种基本数据结构，它是基于不同业务场景而设计的：动态字符串(REDIS_STRING)：整数(REDIS_ENCODING_INT)、字符串(REDIS_ENCODING_RAW)双端列表(REDIS_ENCODING_LINKEDLIST)压缩列表(REDIS_ENCODING_ZIPLIST)跳跃表(REDIS_ENCODI
  • 华为云分布式缓存服务DCS 8月新特性发布 华为云PaaS服务小智 华为云分布式缓存
    分布式缓存服务（DistributedCacheService，简称DCS）是华为云提供的一款兼容Redis的高速内存数据处理引擎，为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，满足用户高并发及数据快速访问的业务诉求。此次为大家带来DCS8月的特性更新内容，一起来看看吧！
  • Redis Key的过期策略 ArchManual 分布式架构分布式Java后端微服务架构redis
    Redis的过期策略主要是指管理和删除那些设定了过期时间的键，以确保内存的有效使用和数据的及时清理。具体来说，Redis有三种主要的过期策略：定期删除（ScheduledDeletion）、惰性删除（LazyDeletion）和内存淘汰策略（EvictionPolicies）。1.定期删除Redis的定期删除策略（ScheduledDeletion）的步骤如下：设置定期任务：Redis会在后台线程
  • Redis:缓存击穿 我的程序快快跑啊 缓存redisjava
    缓存击穿(热点key)：部分key(被高并发访问且缓存重建业务复杂的)失效,无数请求会直接到数据库，造成巨大压力1.互斥锁：可以保证强一致性线程一：未命中之后，获取互斥锁，再查询数据库重建缓存，写入缓存，释放锁线程二：查询未命中，未获得锁(已由线程一获得)，等待一会，缓存命中互斥锁实现方式：redis中setnxkeyvalue:改变对应key的value,仅当value不存在时执行，以此来实现互
  • Redis 有哪些危险命令？如何防范？ 花小疯 redis缓存数据库危险命令大数据
    Redis有哪些危险命令？Redis的危险命令主要有以下几个：1.keys客户端可查询出所有存在的键。2.flushdb删除Redis中当前所在数据库中的所有记录，并且此命令从不会执行失败。3.flushall删除Redis中所有数据库中的所有记录，不止是当前所在数据库，并且此命令从不会执行失败。4.config客户端可修改Redis配置。怎么禁用和重命名危险命令？看下redis.conf默认配置
  • Rides实现分布式锁，保障数据一致性,Redisson分布式事务处理 朱杰jjj 缓存分布式
    分布式环境下分布式锁有三种方式：基于数据库分布式锁基于Redis分布式锁基于zk分布式锁本帖只介绍Redis分布式锁为什么需要用到分布式锁？在单机环境下一个服务中多个线程对同一个事物或数据资源进行操作时，可以通过添加加锁方式（synchronized和lock）来解决数据一致性的问题。但是如果出现多个服务的情况下，这时候我们在通过synchronized和lock的方式来加锁会出现问题，因为多个服
  • Cloud Native Weekly | 华为云抢先发布Redis5.0，红帽宣布收购混合云提供商 weixin_34302561 数据库devops大数据
    1——华为云抢先发布Redis5.02——DigitalOceanK8s服务正式上线3——红帽宣布收购混合云提供商NooBaa4——微软发布多项AzureKubernetes服务更新1华为云抢先发布Redis5.012月17日，华为云在DCS2.0的基础上，快人一步，抢先推出了新的Redis5.0产品，这是一个崭新的突破。目前国内在缓存领域的发展普遍停留在Redis4.0阶段，华为云率先发布了Re
  • 华为云分布式缓存服务DCS与开源服务差异对比 hcinfo_18 redis使用华为云Redis5.0分布式缓存服务Redis客户端
    分布式缓存服务DCS提供单机、主备、集群等丰富的实例类型，满足用户高读写性能及快速数据访问的业务诉求。支持丰富的实例管理操作，帮助用户省去运维烦恼。用户可以聚焦于业务逻辑本身，而无需过多考虑部署、监控、扩容、安全、故障恢复等方面的问题。DCS基于开源Redis、Memcached向用户提供一定程度定制化的缓存服务，因此，除了拥有开源服务缓存数据库的优秀特性，DCS提供更多实用功能。一、与开源Red
  • 关于Redis集群同步/持久化/淘汰机制的详解 尾巴尖上的阳光 大数据redis数据库
    Redis是非常常用的KV数据库,使用内存以及HashMap进行存储的特点带来了高效的查询.本文将围绕Redis的常见开发使用场景,阐述在Redis集群中各个节点是如何进行数据同步,每个节点如何进行持久化以及在长期使用中如何对数据进行更新和淘汰.如果对Redis有更多的兴趣,可以查看我的技术博客:https://dingyuqi.com下面是Redis在开发过程中常用的几种使用场景.集群Redis
  • 主流行架构 rainbowcheng 架构架构
    nexus，gitlab,svn,jenkins,sonar,docker，apollo，catteambition，axure，蓝湖，禅道,WCP；redis，kafka，es，zookeeper，dubbo，shardingjdbc，mysql，InfluxDB，Telegraf，Grafana，Nginx，xxl-job，Neo4j,NebulaGraph是一个高性能的,NOSQL图形数据库
  • 网上商城项目总结 续 猫只i javaweb电子商城结构
    前台1.用户登录注册邮箱验证校验用户名是否存在验证码自动登录2.导航条自定义标签库采用异步读取数据（使用gson将集合转换json数据）Redis服务器3.首页热门商品查询展示4.分类列表分页查询5.商品详情用cookie实现浏览记录6.购物车实现商品添加到购物车商品的查询，添加，修改，删除清空购物车7.提交订单添加订单（订单详情）确认订单（易宝支付）8.我的订单9.Fliter定义权限拦截（提交
  • 常用类库 Guava 简介 豆瑞瑞 java
    简介GoogleGuava是一个由Google开发的Java开源函数库。前身是GoogleCollectionsLibrary，提供了许多简化工具，如缓存、连接器、过滤器、关联数组等仓库代码GitCode-全球开发者的开源社区,开源代码托管平台参考https://github.com/google/guavahttps://github.com/google/guava/wikiRedisStre
  • 2024Mysql And Redis基础与进阶操作系列（8）作者——LJS[含MySQL 创建、修改、跟新、重命名、删除视图等具体详步骤；注意点及常见报错问题所对应的解决方法] 肾透侧视攻城狮 MYSQLREDISAdvanceoperationredismysql数据库linuxsqlbashadb
    目录1MySQL视图1.概念2.作用3.特点4.具体如何操作实现MYSQL视图4.1创建视图语法示例查看表和视图查看视图的结构查看视图属性信息（比如：显示数据表的存储引擎、版本、数据行数和数据大小等）查看视图的详细定义信息4.2修改视图简介格式举例4.3更新视图简介下述结构中不可更新的视图补充说明举例更新视图视图包含聚合函数不可更新视图包含distinct不可更新视图包含goupby、having
  • 自定义布隆过滤器解决缓存穿透 暗金烂狗 缓存
    什么是缓存穿透以及常见解决方案缓存穿透是指客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会打到数据库，导致数据库压力提高，造成宕机。缓存穿透就是指用户访问那些在数据库和Redis中都不存在的数据，例如我们知道id采用自增策略，那么就不可能出现负数id，而如果不法分子使用负数id进行查询，那么这些请求都会穿过Redis直接向数据库发送请求，从而导致数据库压力骤增，导致数
  • Redis 为什么这么快？ 小海海不怕困难 Redisredis
    决定Redis请求效率的因素主要是三个方面，分别是网络、cpu、内存。在网络层面，Redis采用多路复用的设计，提升了并发处理的连接数，不过这个阶段，Server端的所有IO操作，都是由同一个主线程处理的这个时候IO的瓶颈就会影响到Redis端的整体处理性能。所以从Redis6.0开始，在多路复用及层面增加了多线程的处理，来优化IO处理的能力不过，具体的数据操作仍然是由主线程来处理的，所以我们可以
  • Redis 集群 確定饿的猫 redislinux
    目录Redis主从复制Redis主从复制简介Redis主从复制的作用Redis主从复制流程搭建Redis主从复制master节点slave节点验证哨兵故障转移机制部署哨兵Redis集群作用数据分区高可用Redis集群Redis高可用实现的方式有持久化、主从复制、哨兵、集群，与持久化不同，另外三种方式都是属于集群，之前已经分析了解过两种持久化模式了，现在了解另外几种方式Redis主从复制Redis主
  • Redisson分布式锁实现原理和使用 牧竹子 springboot#redisRedissonredis
    常见的锁内存锁lock,synchronize分布式锁redis，zookeeper实现Redisson基于redis实现了Lock接口的分布式集群锁，是可重入锁，功能强大，源码复杂，比redis单机模式分布式锁可靠，稳定性更高，支持集群模式，支持锁根据业务时长自动延迟释放redis普通分布式锁存在一定的缺陷——它加锁只作用在一个Redis节点上，如果通过sentinel和cluster保证高可用
  • 分布式框架Celery七(Django-Celery-Flower实现异步和定时爬虫及其监控邮件告警) yjjpp2301 Celery分布式djangopython后端
    Django中集成方式安装模块pipinstallDjango==3.2.22pipinstallcelerypipinstallredispipinstalleventlet#在windows环境下需要安装eventlet包-----------pipinstalldjango-celery-beatpipinstalldjango-celery-resultspipinstalldjango-
  • Redis的持久化和高可用性 小辛学西嘎嘎 redis数据库缓存
    目录一、淘汰策略1、背景2、淘汰策略二、持久化1、背景2、fork进程写时复制机制3、Redis持久化方式1、aof2、rdb三、高可用1、主从复制2、Redis哨兵模式3、Rediscluster集群一、淘汰策略1、背景首先Redis是一个内存数据库，将所有数据存放在内存中，通过对K值进行hash后存储在散列表中。有一个小问题Redis数据库占96G，但为什么最终占满只有48G呢。因为中间有个过
  • 【Redis】Redis缓存 1886i JavaRedis缓存redis数据库
    目录一、缓存1、概念2、作用3、缺点二、缓存模型三、缓存的更新1、更新策略2、主动更新的三种模式1.cacheasidepattern2.read/writethroughpattern3.writebehindcachingpattern3、线程安全问题1.缓存删除还是更新缓存2.先删除缓存后操作数据库3.先操作数据库后删除缓存4.如何保证缓存与数据库操作同时成功或失败4、最佳选择一、缓存1、概
  • Windows系统下安装Redis bjzhang75 windowsredis数据库
    文章目录1、下载Redis安装包2、解压压缩包3、运行Redis4、Redis连接检测5、Redis相关设置5.1设置环境变量PATH5.2Redis配置文件修改1、下载Redis安装包Windows版本的Redis可以在Github中下载：下载Redis2、解压压缩包将下载的压缩包解压到某个目录下，比如：C:\redis。3、运行Redis在cmd窗口中运行命令redis-serverredis
  • 实现多级缓存的六种策略方法 Kixuan214 缓存redisrabbitmq
    保证多级缓存数据一致性是一个复杂的任务，尤其是在分布式和高并发环境中。以下是一些常见的方法和策略，可以帮助实现多级缓存的数据一致性1.缓存失效策略1.1主动失效在更新数据库时，主动使相关缓存失效。步骤：更新数据库删除或失效缓存publicclassCacheService{privateLocalCachelocalCache;privateRedisCacheredisCache;private
  • redis-shake v4全量增量同步redis数据 nangonghen redisredis数据库缓存redis-shake
    1概述RedisShake是一个用于处理和迁移Redis数据的工具，github地址是https://github.com/tair-opensource/RedisShake。它提供以下特性：1）Redis兼容性：RedisShake兼容从2.8到7.2的Redis版本，并支持各种部署方式，包括单机，主从，哨兵和集群。2）云服务兼容性：RedisShake与主流云服务提供商提供的流行Redis-
  • redis,codis,云redis shuff1e
    redis的分布式解决方式--codis（转）https://www.cnblogs.com/softidea/p/5365640.htmlhttps://help.aliyun.com/document_detail/57797.html?spm=5176.173352.925244.2.bF70Gb
  • Redis总结（八）redis单线程还是多线程问题 卢小记
    redis为什么可以支持高并发和它内部的工作模式有不可分割的关系：绝大部分请求是纯粹的内存操作（非常快速）采用单线程,避免了不必要的上下文切换和竞争条件非阻塞IO-IO多路复用Redis客户端对服务端的每次调用都经历了发送命令，执行命令，返回结果三个过程。其中执行命令阶段，由于Redis是单线程来处理命令的，所有到达服务端的命令都不会立刻执行，所有的命令都会进入一个队列中，然后逐个执行，并且多个客
  • Java 使用 Redis lly202406 开发语言
    Java使用Redis1.引言Redis是一个开源的高性能键值对数据库。它支持多种类型的数据结构，如字符串、列表、集合、散列表等，适用于多种场景，如缓存、消息队列等。Java是一种广泛使用的编程语言，它在企业级应用中有着广泛的应用。在Java应用中，使用Redis可以提高数据访问速度，减轻数据库的压力。本文将介绍如何在Java应用中使用Redis。2.准备工作在开始使用Redis之前，需要确保已经
  • Redis数据结构—跳跃表 skiplist 马卫斌 前端工程师 skiplist
    跳跃表（Skiplist）是Redis中用于实现有序集合（SortedSet）的一种高效数据结构。以下是关于Redis中跳跃表（Skiplist）的关键特性和工作原理的概览：基本概念层级结构：跳跃表通过多层次的链表组成，每一层都是下一层的稀疏视图，顶层最快地遍历整个链表，而底层则是完全连通所有节点的传统链表结构。这样的设计使得查询操作能够快速跳过大量不需要检查的元素。有序集合：每个节点（或称为元素
  • Redis安装详解（单机安装，sentinel哨兵模式，Cluster模式） dream21st 中间件学习笔记sentinelredisjava
    文章目录1Redis单机安装1.1windows中安装1.2linux中安装2Redis主从复制安装3Redis哨兵模式安装4Springboot项目操作RedisSentinel集群5官方cluster分区搭建5.1部署架构5.2RedisCluster的优势5.3集群搭建6Springboot项目操作Cluster集群1Redis单机安装Redis安装包可以从官网下载，也可以在redis的官方
  • Redis哨兵模式(Sentinel)详解 水木渔樵 Redisredis
    目录文章目录一、Sentinel1.何为Sentinel2.Sentinel启动流程当一个Sentinel启动时，它需要执行以下步骤：2.1初始化服务器2.2使用Sentinel专用代码2.3初始化Sentinel状态2.4初始化Sentinel状态的masters属性2.5创建连向主服务器的网络连接3.Sentinel获取主服务器信息4.Sentinel获取从服务器信息5.Sentinel与主从
  • Redis Sentinel（哨兵）详解 dlwlrma ⥳ Java八股框架redissentinel数据库
    目录一：什么是Sentinel（哨兵）二：Sentinel有什么用1.监控2.故障转移3通知4.配置提供三：Sentinel如何检测master节点宕机1.主观下线2.客观下线四：Sentinel是如何选举出新的master1.slave的优先级2.复制进度3.runid五：如何在sentinel集群中选择出Leader前言：有关Redis的基础知识可以参照我之前写的文章Redis必知必会的知识在
  • Java 并发包之线程池和原子计数 lijingyao8206 Java计数ThreadPool并发包java线程池
    对于大数据量关联的业务处理逻辑，比较直接的想法就是用JDK提供的并发包去解决多线程情况下的业务数据处理。线程池可以提供很好的管理线程的方式，并且可以提高线程利用率，并发包中的原子计数在多线程的情况下可以让我们避免去写一些同步代码。     这里就先把jdk并发包中的线程池处理器ThreadPoolExecutor 以原子计数类AomicInteger 和倒数计时锁C
  • java编程思想 抽象类和接口 百合不是茶 java抽象类接口
    接口c++对接口和内部类只有简介的支持,但在java中有队这些类的直接支持   1 ,抽象类 :  如果一个类包含一个或多个抽象方法,该类必须限定为抽象类(否者编译器报错)   抽象方法 : 在方法中仅有声明而没有方法体    package com.wj.Interface;
  • [房地产与大数据]房地产数据挖掘系统 comsci 数据挖掘
           随着一个关键核心技术的突破,我们已经是独立自主的开发某些先进模块,但是要完全实现,还需要一定的时间...        所以,除了代码工作以外,我们还需要关心一下非技术领域的事件..比如说房地产     &nb
  • 数组队列总结 沐刃青蛟 数组队列
          数组队列是一种大小可以改变，类型没有定死的类似数组的工具。不过与数组相比，它更具有灵活性。因为它不但不用担心越界问题，而且因为泛型（类似c++中模板的东西）的存在而支持各种类型。      以下是数组队列的功能实现代码：   import List.Student; public class
  • Oracle存储过程无法编译的解决方法 IT独行者 oracle存储过程　
    今天同事修改Oracle存储过程又导致2个过程无法被编译，流程规范上的东西，Dave 这里不多说，看看怎么解决问题。   1.     查看无效对象 XEZF@xezf(qs-xezf-db1)> select object_name,object_type,status from all_objects where status='IN
  • 重装系统之后oracle恢复 文强chu oracle
    前几天正在使用电脑，没有暂停oracle的各种服务。 突然win8.1系统奔溃，无法修复，开机时系统 提示正在搜集错误信息，然后再开机，再提示的无限循环中。 无耐我拿出系统u盘 准备重装系统，没想到竟然无法从u盘引导成功。 晚上到外面早了一家修电脑店，让人家给装了个系统，并且那哥们在我没反应过来的时候， 直接把我的c盘给格式化了 并且清理了注册表，再装系统。 然后的结果就是我的oracl
  • python学习二（ 一些基础语法） 小桔子 pthon基础语法
    紧接着把！昨天没看继续看django 官方教程，学了下python的基本语法 与c类语言还是有些小差别： 1.ptyhon的源文件以UTF-8编码格式 2. /   除 结果浮点型 //  除 结果整形 %   除 取余数 *   乘 **  乘方 eg 5**2 结果是5的2次方25 _&
  • svn 常用命令 aichenglong SVN版本回退
    1 svn回退版本   1)在window中选择log,根据想要回退的内容,选择revert this version或revert chanages from this version 两者的区别:   revert this version:表示回退到当前版本(该版本后的版本全部作废)   revert chanages from this versio
  • 某小公司面试归来 alafqq 面试
    先填单子，还要写笔试题，我以时间为急，拒绝了它。。时间宝贵。 老拿这些对付毕业生的东东来吓唬我。。 面试官很刁难，问了几个问题，记录下； 1，包的范围。。。public,private,protect. --悲剧了 2，hashcode方法和equals方法的区别。谁覆盖谁.结果，他说我说反了。 3，最恶心的一道题，抽象类继承抽象类吗？（察，一般它都是被继承的啊） 4，stru
  • 动态数组的存储速度比较 集合框架 百合不是茶 集合框架
    集合框架： 自定义数据结构(增删改查等) package 数组; /** * 创建动态数组 * @author 百合 * */ public class ArrayDemo{ //定义一个数组来存放数据 String[] src = new String[0]; /** * 增加元素加入容器 * @param s要加入容器
  • 用JS实现一个JS对象，对象里有两个属性一个方法 bijian1013 js对象
    <html> <head> </head> <body> 用js代码实现一个js对象，对象里有两个属性，一个方法 </body> <script> var obj={a:'1234567',b:'bbbbbbbbbb',c:function(x){
  • 探索JUnit4扩展：使用Rule bijian1013 java单元测试JUnitRule
            在上一篇文章中，讨论了使用Runner扩展JUnit4的方式，即直接修改Test Runner的实现(BlockJUnit4ClassRunner)。但这种方法显然不便于灵活地添加或删除扩展功能。下面将使用JUnit4.7才开始引入的扩展方式——Rule来实现相同的扩展功能。 1. Rule       &n
  • [Gson一]非泛型POJO对象的反序列化 bit1129 POJO
    当要将JSON数据串反序列化自身为非泛型的POJO时，使用Gson.fromJson(String, Class)方法。自身为非泛型的POJO的包括两种： 1. POJO对象不包含任何泛型的字段 2. POJO对象包含泛型字段，例如泛型集合或者泛型类 Data类 a.不是泛型类， b.Data中的集合List和Map都是泛型的 c.Data中不包含其它的POJO    
  • 【Kakfa五】Kafka Producer和Consumer基本使用 bit1129 kafka
    0.Kafka服务器的配置 一个Broker， 一个Topic Topic中只有一个Partition（）   1. Producer： package kafka.examples.producers; import kafka.producer.KeyedMessage; import kafka.javaapi.producer.Producer; impor
  • lsyncd实时同步搭建指南——取代rsync+inotify ronin47
    1. 几大实时同步工具比较 1.1 inotify + rsync 最近一直在寻求生产服务服务器上的同步替代方案，原先使用的是 inotify + rsync，但随着文件数量的增大到100W+，目录下的文件列表就达20M，在网络状况不佳或者限速的情况下，变更的文件可能10来个才几M，却因此要发送的文件列表就达20M，严重减低的带宽的使用效率以及同步效率；更为要紧的是，加入inotify
  • java-9. 判断整数序列是不是二元查找树的后序遍历结果 bylijinnan java
    public class IsBinTreePostTraverse{ static boolean isBSTPostOrder(int[] a){ if(a==null){ return false; } /*1.只有一个结点时，肯定是查找树 *2.只有两个结点时，肯定是查找树。例如{5,6}对应的BST是 6 {6,5}对应的BST是
  • MySQL的sum函数返回的类型 bylijinnan javaspringsqlmysqljdbc
    今天项目切换数据库时，出错 访问数据库的代码大概是这样： String sql = "select sum(number) as sumNumberOfOneDay from tableName"; List<Map> rows = getJdbcTemplate().queryForList(sql); for (Map row : rows
  • java设计模式之单例模式 chicony java设计模式
    在阎宏博士的《JAVA与模式》一书中开头是这样描述单例模式的： 　　作为对象的创建模式，单例模式确保某一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。这个类称为单例类。 单例模式的结构 　　单例模式的特点： 单例类只能有一个实例。 单例类必须自己创建自己的唯一实例。 单例类必须给所有其他对象提供这一实例。 　　饿汉式单例类   publ
  • javascript取当月最后一天 ctrain JavaScript
    <!--javascript取当月最后一天--> <script language=javascript> var current = new Date(); var year = current.getYear(); var month = current.getMonth(); showMonthLastDay(year, mont
  • linux tune2fs命令详解 daizj linuxtune2fs查看系统文件块信息
    一.简介： tune2fs是调整和查看ext2/ext3文件系统的文件系统参数，Windows下面如果出现意外断电死机情况，下次开机一般都会出现系统自检。Linux系统下面也有文件系统自检，而且是可以通过tune2fs命令，自行定义自检周期及方式。 二.用法： Usage: tune2fs [-c max_mounts_count] [-e errors_behavior] [-g grou
  • 做有中国特色的程序员 dcj3sjt126com 程序员
      从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有
  • Android：TextView属性大全 dcj3sjt126com textview
    android:autoLink    设置是否当文本为URL链接/email/电话号码/map时，文本显示为可点击的链接。可选值(none/web/email/phone/map/all)  android:autoText    如果设置，将自动执行输入值的拼写纠正。此处无效果，在显示输入法并输
  • tomcat虚拟目录安装及其配置 eksliang tomcat配置说明tomca部署web应用tomcat虚拟目录安装
    转载请出自出处：http://eksliang.iteye.com/blog/2097184 1.-------------------------------------------tomcat  目录结构 config：存放tomcat的配置文件 temp  ：存放tomcat跑起来后存放临时文件用的 work   ： 当第一次访问应用中的jsp
  • 浅谈：APP有哪些常被黑客利用的安全漏洞 gg163 APP
    首先，说到APP的安全漏洞，身为程序猿的大家应该不陌生；如果抛开安卓自身开源的问题的话，其主要产生的原因就是开发过程中疏忽或者代码不严谨引起的。但这些责任也不能怪在程序猿头上，有时会因为BOSS时间催得紧等很多可观原因。由国内移动应用安全检测团队爱内测（ineice.com）的CTO给我们浅谈关于Android 系统的开源设计以及生态环境。 1. 应用反编译漏洞：APK 包非常容易被反编译成可读
  • C#根据网址生成静态页面 hvt Web.netC#asp.nethovertree
    HoverTree开源项目中HoverTreeWeb.HVTPanel的Index.aspx文件是后台管理的首页。包含生成留言板首页，以及显示用户名，退出等功能。根据网址生成页面的方法：   bool CreateHtmlFile(string url, string path) { //http://keleyi.com/a/bjae/3d10wfax.htm stri
  • SVG 教程 （一） 天梯梦 svg
    SVG 简介 SVG 是使用 XML 来描述二维图形和绘图程序的语言。 学习之前应具备的基础知识： 继续学习之前，你应该对以下内容有基本的了解： HTML XML 基础 如果希望首先学习这些内容，请在本站的首页选择相应的教程。 什么是SVG？ SVG 指可伸缩矢量图形 (Scalable Vector Graphics) SVG 用来定义用于网络的基于矢量
  • 一个简单的java栈 luyulong java数据结构栈
    public class MyStack { private long[] arr; private int top; public MyStack() { arr = new long[10]; top = -1; } public MyStack(int maxsize) { arr = new long[maxsize]; top
  • 基础数据结构和算法八：Binary search sunwinner AlgorithmBinary search
    Binary search needs an ordered array so that it can use array indexing to dramatically reduce the number of compares required for each search, using the classic and venerable binary search algori
  • 12个C语言面试题，涉及指针、进程、运算、结构体、函数、内存，看看你能做出几个！ 刘星宇 c面试
    12个C语言面试题，涉及指针、进程、运算、结构体、函数、内存，看看你能做出几个！ 1.gets()函数 问：请找出下面代码里的问题： #include<stdio.h> int main(void) {     char buff[10];     memset(buff,0,sizeof(buff));
  • ITeye 7月技术图书有奖试读获奖名单公布 ITeye管理员 活动ITeye试读
    ITeye携手人民邮电出版社图灵教育共同举办的7月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 7月试读活动回顾： http://webmaster.iteye.com/blog/2092746 本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）： 《Java性能优化权威指南》
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他