Armin_1024
Armin_1024

Redis详细使用与讲解

Redis

一些常识

  1. 数据存在磁盘里，以磁盘的维度有两个指标

    1. 寻址：毫秒级
    2. 带宽：单位时间内可以有G/M字节流过去

  2. 数据存在内存里，内存有两个指标

    1. 寻址：纳秒级的
    2. 带宽：很大很大

    所以从这里可以看来，在磁盘中获取数据和在内存中获取数据的速度相差非常大，有10万倍

  3. 数据库维护索引会让增删改变慢，创建索引后查询如果命中索引是比没有索引快的，但是当高并发情况下，一万个查询同时就来，就会受带宽影响导致查询变慢；所以是从两个方面出发考虑的：

    1. 一个是数据库自身查询
    2. 另一个是硬件I/O影响

  4. 每秒操作次数（OPS）

    1. redis：10w/s级别
    2. 关系型数据库：千/s级别

介绍

Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions） 和不同级别的 磁盘持久化（persistence）， 并通过 Redis哨兵（Sentinel）和自动 分区（Cluster）提供高可用性（high availability）

Redis和Memcache区别

Redis详细使用与讲解_第1张图片

  • memcache：value没有类型区分，存储复杂对象采用json，从复杂对象获取数据需要先获取全量数据再使用代码解析
  • redis：有类型区分（不重要），server中每种类型都有自己的取值方法，使取值更方便

memcache -> redis：计算向数据移动

为什么快

单进程，使用epoll（数据的“顺序”为文件描述符到达的先后顺序进行挨个处理）

  1. 完全基于内存，绝大部分请求是纯粹的内存操作，非常快速。数据存在内存中，类似于HashMap，HashMap的优势就是查找和操作的时间复杂度都是O(1)；
  2. 数据结构简单，对数据操作也简单，Redis中的数据结构是专门进行设计的；
  3. 采用单线程，避免了不必要的上下文切换和竞争条件，也不存在多进程或者多线程导致的切换而消耗 CPU，不用去考虑各种锁的问题，不存在加锁释放锁操作，没有因为可能出现死锁而导致的性能消耗；
  4. 使用多路I/O复用模型，非阻塞IO；
  5. 使用底层模型不同，它们之间底层实现方式以及与客户端之间通信的应用协议不一样，Redis直接自己构建了VM 机制 ，因为一般的系统调用系统函数的话，会浪费一定的时间去移动和请求；

内核的演变

Redis详细使用与讲解_第2张图片

  • BIO（阻塞）：socket产生的fd（文件描述符），在读fd时数据包还未到（not ready）时，read命令就不能返回（阻塞住），所以会抛出更多线程获取新的socket（JVM线程成本1MB【栈】），如果是单核CPU，那么某一时间点时间片只能一个线程处理，线程更多切换线程也存在成本问题（CPU忙着调度去了），同时更多的线程会占用更多的内存空间
  • NIO（同步非阻塞）：单线程循环遍历（轮循发生在用户空间）处理文件描述符，遍历到fd有数据则进行处理，完成后再继续遍历（遍历和处理都是线程自己）

Redis详细使用与讲解_第3张图片

  • select（多路复用）：将fd交给内核select，线程调用一次select一次性返回目前有数据的fd给线程，线程再去read该fd
  • epoll（select增强版）：优化select数据拷来拷去的问题，当描述符在epoll函数中为ready时，才可以去read，减少线程不必要的调用；epoll会准备一块内核态和用户态共享空间（mmap），共享空间增删改操作由系统内核实现，减少数据传输（fd全放在红黑树中，ready的fd再转移到链表，线程直接从链表中获取fd进行read），用户空间wait()，当链表中有数据时从阻塞变为非阻塞获取到文件描述符再进行read操作，并且用户空间线程对于新来的链接可以调用epoll将文件描述符添加或移除共享空间中的红黑树

Redis详细使用与讲解_第4张图片

  • 图一：
    • 原始文件传输：文件经过内核缓冲区，经过程序拷贝再发送给接收方（网卡）
    • sendfile（零拷贝）：文件在内核缓冲区经过sendfile函数的处理直接到接收方，省略了程序的拷贝过程
  • 图二：
    • kafka：网卡数据过来结果nmap共享空间将数据写入文件，再通过sendfile函数获取文件内容给消费者

Redis使用

默认16个数据库，默认选择0号库

一些命令

- keys * #查询所有key
- flushalll / flushdb #清库（慎用）
- help [命令] #查看具体命令操作文档（可自动补齐）
  help @[类型] #查看类型的操作

#k=key v=value
- set k1 ooxx nx #如果k1不存在新增k1并赋值ooxx
	set k2 hello xx #如果k2存在则更新k2=hello
	mset k1 v1 k2 v2 #批量添加
	mget k1 k2 #批量获取

string (byte：redis没有数据类型，在存储时，双方客户端应约定好编码进行数据存储【字节流】)

  • 字符串

    # GETRANGE
#向k1追加字符串，使用GETRANGE获取索引范围数据（正向【从0开始】/负向【从-1开始】索引）
127.0.0.1:6379> set k1 hello nx
OK
127.0.0.1:6379> APPEND k1 " world"
(integer) 11
127.0.0.1:6379> GETRANGE k1 6 10
"world"
127.0.0.1:6379> GETRANGE k1 6 -1
"world"
127.0.0.1:6379> GETRANGE k1 0 -1
"hello world"	

# SETRANGE（从某key索引位置覆盖新的值）
127.0.0.1:6379> get k1
"hello world"
127.0.0.1:6379> SETRANGE k1 6 ARMIN
(integer) 11
127.0.0.1:6379> get k1
"hello ARMIN"

# STRLEN（获取某key的字符长度）
127.0.0.1:6379> STRLEN k1
(integer) 11

# type（获取key的类型，key前面的命令是哪个group的type即为group值）
127.0.0.1:6379> help set

  SET key value [EX seconds|PX milliseconds|EXAT timestamp|PXAT milliseconds-timestamp|KEEPTTL] [NX|XX] [GET]
  summary: Set the string value of a key
  since: 1.0.0
  group: string

127.0.0.1:6379> set k1 99
OK
127.0.0.1:6379> type k1
string

  • 数值

    • INCR自增（原子性）
    # OBJECT（获取key的value类型，int类型可以做数值操作）
127.0.0.1:6379> OBJECT encoding k2
"embstr"
127.0.0.1:6379> OBJECT encoding k1
"int"
# INCR（对某key做+1操作）
# INCRBY（对某key加指定数值）
127.0.0.1:6379> INCR k1
(integer) 100
127.0.0.1:6379> get k1
"100"
127.0.0.1:6379> INCRBY k1 22
(integer) 122
127.0.0.1:6379> get k1
"122"
# DECR（某key-1）
# DECRBY（某key减指定数值）
127.0.0.1:6379> DECR k1
(integer) 121
127.0.0.1:6379> DECRBY k1 22
(integer) 99
# INCRBYFLOAT（对某key加指定数值的浮点数）
127.0.0.1:6379> INCRBYFLOAT k1 0.5
"99.5"

# redis是二进制安全的（类型的变化都是为了存储的安全，redis采用二进制进行存储）
127.0.0.1:6379> set k3 jjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjj
OK
127.0.0.1:6379> OBJECT encoding k3
"embstr"
127.0.0.1:6379> APPEND k3 jjjjj
(integer) 44
127.0.0.1:6379> OBJECT encoding k3
"raw"

127.0.0.1:6379> FLUSHALL
OK
127.0.0.1:6379> get k1
(nil)
127.0.0.1:6379> set k1 hello
OK
127.0.0.1:6379> STRLEN k1
(integer) 5
127.0.0.1:6379> set k2 9
OK
127.0.0.1:6379> OBJECT encoding k2
"int"
127.0.0.1:6379> STRLEN k2
(integer) 1
127.0.0.1:6379> APPEND k2 999
(integer) 4
127.0.0.1:6379> get k2
"9999"
127.0.0.1:6379> OBJECT encoding k2
"raw"
127.0.0.1:6379> INCR k2
(integer) 10000
127.0.0.1:6379> OBJECT encoding k2
"int"
127.0.0.1:6379> STRLEN k2
(integer) 5
127.0.0.1:6379> set k3 a
OK
127.0.0.1:6379> get k3
"a"
127.0.0.1:6379> STRLEN k3
(integer) 1
127.0.0.1:6379> APPEND k3 中 #由于链接redis客户端机器编码采用的utf-8则一个中文占3个字节
(integer) 4
127.0.0.1:6379> get k3
"a\xe4\xb8\xad"
127.0.0.1:6379> STRLEN k3
(integer) 4

# redis-cli --raw 使用当前编码进行客户端启动（默认不带参数为ascii码，超过ascii码表示范围直接按十六进制显示）
armin@xiaobawangxuexiji-2 ~ % redis-cli --raw
127.0.0.1:6379> get k3
a中

# GETSET（某key设置新的值并返回老的值，相较get&set通信上面减少了一次I/O）
127.0.0.1:6379> GETSET k1 ARMIN
hello
127.0.0.1:6379> get k1
ARMIN

# MSETNX（以k v形式批量添加，如果k存在则该条语句的所有操作均失败【保障原子性】）
127.0.0.1:6379> FLUSHALL
OK
127.0.0.1:6379> MSETNX k1 a k2 b
1
127.0.0.1:6379> mget k1 k2
a
b
127.0.0.1:6379> MSETNX k2 c k3 d
0
127.0.0.1:6379> mget k1 k2 k3
a
b

  • bitmap

    • setbit
    • bitcount
    • bitpos
    • bitop
    # SETBIT 给某key二进制下标赋值二进制0/1(offset为某key二进制下标第几位，value值为二进制0/1)
127.0.0.1:6379> FLUSHALL
OK
127.0.0.1:6379> help SETBIT

  SETBIT key offset value
  summary: Sets or clears the bit at offset in the string value stored at key
  since: 2.2.0
  group: string

127.0.0.1:6379> setbit k1 1 1 #给k1二进制位第1位（从0开始）赋值1【0100 0000】
0
127.0.0.1:6379> STRLEN k1 
1															#占用一个字节
127.0.0.1:6379> get k1				#[0100 0000]ascii码解码后的值
@
127.0.0.1:6379> setbit k1 7 1 #[0100 0000]->[0100 0001]第七位赋值1
0
127.0.0.1:6379> STRLEN k1
1
127.0.0.1:6379> get k1 #[0100 0001]->ascii=A
A
127.0.0.1:6379> setbit k1 9 1 #[0100 0001]+[0100 0000]第九位赋值1
0
127.0.0.1:6379> STRLEN k1 #[0100 0001][0100 0000]占两个字节
2
127.0.0.1:6379> get k1 #ascii码翻译 A@
A@

# BITPOS (获取某key的二进制位在索引字符开始位与索引字符开始结束位的第几个二进制位)
127.0.0.1:6379> help bitpos

  BITPOS key bit [start] [end]
  summary: Find first bit set or clear in a string
  since: 2.8.7
  group: string

127.0.0.1:6379> BITPOS k1 1 0 0 #k1[01000001 01000000] 的第一个二进制1在第0个字节与第0个字节见的第1个二进制位
1
127.0.0.1:6379> BITPOS k1 1 1 1 #k1[01000001 01000000] 的第一个二进制1在第1个字节与第1个字节见的第9个二进制位
9
127.0.0.1:6379> BITPOS k1 1 0 1 #k1[01000001 01000000] 的第一个二进制1在第0个字节与第1个字节见的第1个二进制位
1

# BITCOUNT (某key从字符索引位到字符索引位出现二进制1的次数)
127.0.0.1:6379> help BITCOUNT

  BITCOUNT key [start end]
  summary: Count set bits in a string
  since: 2.6.0
  group: string

127.0.0.1:6379> BITCOUNT k1 0 1 #k1[0100000101000000]从字符0到字符1共出现3次二进制1
3
127.0.0.1:6379> BITCOUNT k1 0 0
2
127.0.0.1:6379> BITCOUNT k1 1 1
1

# BITOP (某些key进行按位操作)
127.0.0.1:6379> help BITOP

  BITOP operation destkey key [key ...]
  summary: Perform bitwise operations between strings
  since: 2.6.0
  group: string

127.0.0.1:6379> FLUSHALL
OK
127.0.0.1:6379> help BITOP

  BITOP operation destkey key [key ...]
  summary: Perform bitwise operations between strings
  since: 2.6.0
  group: string

127.0.0.1:6379> FLUSHALL
OK
127.0.0.1:6379> SETBIT k1 1 1
0
127.0.0.1:6379> SETBIT k1 7 1
0
127.0.0.1:6379> get k1	#[0100 0001]
A
127.0.0.1:6379> SETBIT k2 1 1
0
127.0.0.1:6379> SETBIT k2 6 1 #[0100 0010]
0
127.0.0.1:6379> get k2
B
127.0.0.1:6379> BITOP and andkey k1 k2 #k1 k2按位与结果放在andkey
1
127.0.0.1:6379> get andkey #[0100 0000]
@
127.0.0.1:6379> BITOP or orkey k1 k2 #k1 k2按位或运算
1
127.0.0.1:6379> get orkey #[0100 0011]
C

    需求分析：

    1. 有用户系统，统计用户登录天数，且窗口随机

      分析：
如果采用关系型数据库至少两个字段：用户id、登录时间（假设这两个字段公8个字节，那么一年就有365x8字节，再加上用户数量，这张表足够庞大）
解决方案：
使用redis bitmap；按每年400天算，仅占50个字节
使用方法：
setbit [用户key] 1 1 #表示该用户第二天已登录
setbit [用户key] 7 1 #表示用户第八天已登录
setbit [用户key] 364 1 #表示用户第365天已登录
bitcount [用户key] -2 -1 #查询用户最近两周登录次数，负数表示从某位到最前的字节索引
不但节省空间，且二进制位运算在计算机中是最快的

    2. 我的商城618做活动，登录就送礼物，大库存备多少送礼物，假设商城2亿用户

      分析：
用户主要有：僵尸用户/冷热用户/忠诚用户；进行活跃用户统计且可以随机窗口查询
比如：1号-3号 连续登录 去重
解决方案：
使用redis bitmap 每天作为key每个用户约定好各自的二进制位，当天登录则在当天的key中该用户所占二进制位中赋值1
使用方法：
setbit 20220901 1 1
setbit 20220902 1 1
setbit 20220902 7 1
bitop or destkey 20220901 20220902
bitcount destkey 0 -1 #计算destkek字节第0位到字节最后一位出现1的次数，每个1都代表一个用户，这样就能统计处1号-2号登录的用户数

list

  • 栈：同向命令

  • 队列：反向命令

    • lpush：数据从左往右依次插入
    • rpush：数据从右往左依次插入
    • lpop：从最左边弹出一个元素
    • rpop：从最右边弹出一个元素
    • lrange：获取集合中开始结束索引位中所有数据
    • lindex：取出key值集合中某索引的元素
    • lset：给key值集合某索引设置新的值
    • lindex：获取key值集合索引位下数据
    • lset：设置key值某索引位数据为新的值
    • lrem：移除key值多少个（绝对值：+索引前两个；-索引后两个）某元素值
    • linsert：在key值某元素前或后插入元素某（如元素出现多次仅在第一次出现的位置插入）
    • llen：统计key值元素个数
    • ltrim：删除key值两索引两端外数据
    127.0.0.1:6379> FLUSHALL
OK
127.0.0.1:6379> lpush k1  a b c d e f
(integer) 6
127.0.0.1:6379> rpush k2 a b c d e f
(integer) 6
127.0.0.1:6379> lpop k1
"f"
127.0.0.1:6379> lpop k1
"e"
127.0.0.1:6379> lpop k1
"d"
127.0.0.1:6379> rpop k2
"f"
127.0.0.1:6379> lpop k2
"a"

# LRANGE key startIndex endIndex
127.0.0.1:6379> LRANGE k2 0 -1 #也有正向与负向索引-1往后
1) "b"
2) "c"
3) "d"
4) "e"
127.0.0.1:6379> 
127.0.0.1:6379> lpush k1  a b c d e f
(integer) 6
127.0.0.1:6379> LRANGE k1 0 -1
1) "f"
2) "e"
3) "d"
4) "c"
5) "b"
6) "a"
127.0.0.1:6379> rpush k2 a b c d e f #rpush从右往左，最后一位添加的数据为a
(integer) 6
127.0.0.1:6379> LRANGE k2 0 -1 #栈结构：先进后出
1) "a"
2) "b"
3) "c"
4) "d"
5) "e"
6) "f"

# LINDEX LSET
127.0.0.1:6379> LINDEX k1 0 #获取k1 0号索引位数据
"f" 
127.0.0.1:6379> LSET k1 3 xxxx #设置k1 3号索引位数据为xxxx
OK
127.0.0.1:6379> LRANGE k1 0 -1
1) "f"
2) "e"
3) "d"
4) "xxxx"
5) "b"
6) "a"

# LREM
127.0.0.1:6379> LRANGE k3 0 -1
 1) "d"
 2) "6"
 3) "a"
 4) "5"
 5) "c"
 6) "4"
 7) "a"
 8) "3"
 9) "b"
10) "2"
11) "a"
12) "1"
127.0.0.1:6379> LREM k3 2 a #移除k3中2个a（2为正数则从正向低索引位开始移除）
(integer) 2
127.0.0.1:6379> LRANGE k3 0 -1
 1) "d"
 2) "6"
 3) "5"
 4) "c"
 5) "4"
 6) "3"
 7) "b"
 8) "2"
 9) "a"
10) "1"
# LINSERT
127.0.0.1:6379> LINSERT k3 after 6 a #在k3集合中6元素后插入一个a
(integer) 11
127.0.0.1:6379> LINSERT k3 before 3 a
(integer) 12
127.0.0.1:6379> LRANGE k3 0 -1
 1) "d"
 2) "6"
 3) "a"
 4) "5"
 5) "c"
 6) "4"
 7) "a"
 8) "3"
 9) "b"
10) "2"
11) "a"
12) "1"
127.0.0.1:6379> LREM k3 -2 a #移除k3中2个a（-2为负数则从负向低索引位开始移除）
(integer) 2
127.0.0.1:6379> LRANGE k3 0 -1
 1) "d"
 2) "6"
 3) "a"
 4) "5"
 5) "c"
 6) "4"
 7) "3"
 8) "b"
 9) "2"
10) "1"
# LTRIM
127.0.0.1:6379> LTRIM k3 2 -2 #删除索引位两端外数据（索引2的左边，-2的右边）
OK
127.0.0.1:6379> LRANGE k3 0 -1
1) "a"
2) "5"
3) "c"
4) "4"
5) "3"
6) "b"
7) "2"

  • 阻塞 单播队列（先进先出）

    • blpop：出栈key值一个数据且设置阻塞时间，0为一直阻塞直到获取到值

      多个客户端链接服务端使用blpop获取同一个key值数据，当该key未设置值时，突然有一个客户端设置了该key一个值，这时第一个链接客户端发送blpop命令的会获取到数据结束阻塞，其他客户端继续阻塞，直到有新的值赋值且轮到该客户端获取则结束阻塞，前提设置阻塞时间都为0（一直阻塞）

hash

在没有hash需要对复杂对象分别存储信息时，可以采用如下方式

# 以string结构，key细分某对象的属性，最后使用该对象名称*进行获取所有属性，从而进行分别获取数据
127.0.0.1:6379> set sean::name 'armin'
OK
127.0.0.1:6379> get sean::name
"armin"
127.0.0.1:6379> set sean::age 18
OK
127.0.0.1:6379> keys sean*
1) "sean::age"
2) "sean::name"
127.0.0.1:6379> keys *age #*可以左右匹配所有
1) "sean::age"

  • hset：设置key的hash存储类似java中的map，只是key为map的key

  • hmset：同时设置多个值

  • hget：获取某key中某属性的值

  • hmget：同时获取多个key中哪些属性的值

  • hkeys：获取某key中所有属性

  • hvals：获取某key中所有属性对应的所有值

  • HINCRBYFLOAT：某key中某属性的value增加指定浮点数*（如从int转为float后仅可使用fload的指令）*

    127.0.0.1:6379> hset sean name armin #设置hash key sean 中的 name=armin
(integer) 1
127.0.0.1:6379> hmset sean age 16 address chengdu #sean: age=16 & address=cehngdu
OK
# hget hmget
127.0.0.1:6379> hget sean name
"armin"
127.0.0.1:6379> hmget sean name age
1) "armin"
2) "16"
# hkeys hvals
127.0.0.1:6379> hkeys sean #获取sean key对应的所有属性
1) "name"
2) "age"
3) "adress"
127.0.0.1:6379> hvals sean #获取sean key中所有属性对应的值
1) "armin"
2) "16"
3) "chengdu"
# hgetall
127.0.0.1:6379> hgetall sean #获取sean key中所有的数据
1) "name"
2) "armin"
3) "age"
4) "16"
5) "adress"
6) "chengdu"
# HINCRBYFLOAT
127.0.0.1:6379> HINCRBYFLOAT sean age 0.5 #sean key 中 age +0.5
"16.5"
127.0.0.1:6379> HINCRBYFLOAT sean age -1 #sean key 中 age -1
"15.5"

    应用场景：

    1. 商品的详情页中的属性与值
    2. 商品被浏览的次数，加入购物车、点赞、收藏次数等（可计算且批处理同时获取这些属性与值）

set

数据去重，不维护插入排序，乱序的

  • SMEMBERS：获取某key中所有元素*（尽量不用，会消耗redis所在主机的网卡吞吐量，那么其他进程或redis实例链接请求会变慢）*

  • sadd：某key添加一个或多个元素

  • srem：移除某key中哪些元素

  • SINTER：对某些key进行交集得出结果

  • SINTERSTORE：对某些key进行交集结构存入定义的某key*（所有的操作一步完成，相较于SINTER完成该操作直接在服务端一步完成省略了更多的IO操作）*

  • SUNION：对某些key得出并集

  • SUNIONSTORE：对某些key的并集存入新定义的key

  • SDIFF：差集，以哪个key为准该key放在最左边

    # sadd
127.0.0.1:6379> sadd k1 tom sean peter ooxx tom xxoo #六个元素添加了五个（去重）
(integer) 5
127.0.0.1:6379> SMEMBERS k1 #获取k1所有元素
1) "tom"
2) "ooxx"
3) "sean"
4) "xxoo"
5) "peter"
# srem
127.0.0.1:6379> srem k1 ooxx xxoo #移除元素
(integer) 2
127.0.0.1:6379> SMEMBERS k1
1) "peter"
2) "tom"
3) "sean"

127.0.0.1:6379> sadd k2 1 2 3 4 5
(integer) 5
127.0.0.1:6379> sadd k3 4 5 6 7 8
(integer) 5
# SINTER  
127.0.0.1:6379> SINTER k2 k3
1) "4"
2) "5"
127.0.0.1:6379> SINTERSTORE dest k2 k3 #k2 k3交集存入dest key
(integer) 2
127.0.0.1:6379> SMEMBERS dest
1) "4"
2) "5"
# SUNION SUNIONSTORE
127.0.0.1:6379> SUNION k2 k3 #并集（已去重）
1) "1"
2) "2"
3) "3"
4) "4"
5) "5"
6) "6"
7) "7"
8) "8"
# SDIFF
127.0.0.1:6379> SDIFF k2 k3 #差集
1) "1"
2) "2"
3) "3"
127.0.0.1:6379> SDIFF k3 k2
1) "6"
2) "7"
3) "8"

  • 随机事件

    • SRANDMEMBER

      SRANDMEMBER key count
key的取值：
- 正数：取出一个去重的结果集（不能超过已有集）
- 负数：取出一个带重复的结果集，一定满足你要的数量
- 0：不返回

      应用场景：

      1. 抽奖：10个奖品，用户大于或小于10，中奖是否重复
        1. 假设k1中有20个用户，count=10，则随机中奖人数为10且不重复
        2. 假设k1中有20个用户，count=-10，则中奖次数为10，允许重复中奖
        3. 假设k1中有3个用户，count=-10，则中奖次数为10，允许重复中奖
      2. 解决家庭斗争问题
        1. 当孩子出生要改孩子起名字，三大姑八大爷都想起名字，将孩子名字放入集合count设置为较集合更大的值进行随机获取名字，哪个名字出现的次数多就用哪个名字

    • SPOP：随机弹出一个元素，该元素弹出后就不再该set集合中了

      应用场景：

      1. 公司年会抽奖，所有员工存入一个set集合，每当抽取一个奖品随机弹出一个用户

  • SMISMEMBER：检查给定的值是不是特定key的成员

    SMISMEMBER key member [member...] #member值可以为多个，返回多个结果

127.0.0.1:6379> sadd k1 tom ooxx xxoo xoxo oxox xoox oxxo
(integer) 7
127.0.0.1:6379> SMISMEMBER k1 tom
1) (integer) 1
127.0.0.1:6379> SMISMEMBER k1 za tom
1) (integer) 0 #false
2) (integer) 1 #true

sorted set （zset）

有序去重集合（默认升序），其内部结构包含三部分且物理内存按左小右大且不随命令而改变

  1. 分值：根据不同的排序得出不同的分值，可根据分值直接获取数据
  2. 元素：去重且有序的具体的数据，如果分值相同的情况下会根据名称进行排序
  3. 索引：跟其他集合相同，有正向与负向索引

命令

  • zadd：向某key添加元素并赋值其分值

  • ZRANGE：根据索引取出某key的集索引内集合

  • ZRANGEBYSCORE：根据某key的分值范围取出元素*（left<=score<=rigth || left

  • ZREVRANGE：ZRANGE的倒序

    # zadd ZRANGE ZRANGEBYSCORE
127.0.0.1:6379> zadd k1 8 apple 2 banana 3 orange
(integer) 3
127.0.0.1:6379> ZRANGE k1 0 -1
1) "banana"
2) "orange"
3) "apple"
127.0.0.1:6379> ZRANGE k1 0 -1 withscores
1) "banana"
2) "2"
3) "orange"
4) "3"
5) "apple"
6) "8"
127.0.0.1:6379> ZRANGEBYSCORE k1 3 8 #left<=score<=rigth
1) "orange"
2) "apple"
127.0.0.1:6379> ZRANGEBYSCORE k1 (3 8 #left
1) "apple"

    需求分析

    1. 根据分数的由低到高取出前两名的数据

      127.0.0.1:6379> ZRANGE k1 0 1
1) "banana"
2) "orange"

    2. 根据分数的由高到低取出前两名的数据

      127.0.0.1:6379> ZREVRANGE k1 0 1
1) "apple"
2) "orange"
#错误示范
127.0.0.1:6379> ZRANGE k1 -2 -1 #此处返回的数据还是由小到大
1) "orange"
2) "apple"

  • ZSCORE：获取某key某元素的分值

  • ZRANK：获取某key某元素的排名

    127.0.0.1:6379> ZSCORE k1 apple #分值
"8"
127.0.0.1:6379> ZRANK k1 apple #排名（从零开始升序）
(integer) 2

  • ZINCRBY：对某key某元素分值进行增加指定数值，可以是浮点数，增加后排序随之自动更新

    127.0.0.1:6379> ZRANGE k1 0 -1 withscores
1) "banana"
2) "2"
3) "orange"
4) "3"
5) "apple"
6) "8"
127.0.0.1:6379> ZINCRBY k1 2.5 banana
"4.5"
127.0.0.1:6379> ZRANGE k1 0 -1 withscores
1) "orange"
2) "3"
3) "banana"
4) "4.5"
5) "apple"
6) "8"

    需求分析

    1. 歌曲榜单的top10排名，用户每点击一次该歌曲的元素分值+1，top10显示为ZREVRANGE0~9

  • ZUNIONSTORE：指定数量key与具体key并集且输出到某key

  • 交集差级类似，且命令与set结构类似s->z

    127.0.0.1:6379> zadd k1 80 tom 60 sean 70 baby
(integer) 3
127.0.0.1:6379> zadd k2 60 tom 100 sean 40 armin
(integer) 3
127.0.0.1:6379> ZUNIONSTORE unkey 2 k1 k2 #默认权重都为1，且相同元素分值进行求和（sum）
(integer) 4
127.0.0.1:6379> ZRANGE unkey 0 -1 withscores
1) "armin"
2) "40"
3) "baby"
4) "70"
5) "tom"
6) "140"
7) "sean"
8) "160"
127.0.0.1:6379> ZUNIONSTORE unkey1 2 k1 k2 weights 1 0.5 #k1权重1，k2权重0.5（原分值的1/2）
(integer) 4
127.0.0.1:6379> ZRANGE unkey1 0 -1 withscores
1) "armin"
2) "20"
3) "baby"
4) "70"
5) "sean"
6) "110"
7) "tom"
8) "110"
127.0.0.1:6379> ZUNIONSTORE unkey1 2 k1 k2 aggregate max #相同元素分值取最大值进行并集
(integer) 4
127.0.0.1:6379> ZRANGE unkey1 0 -1 withscores
1) "armin"
2) "40"
3) "baby"
4) "70"
5) "tom"
6) "80"
7) "sean"
8) "100"

底层原理

排序是怎么实现的，增删改查的速度？

增删改性能类似链表，查询效率优于链表，综合性能最优

跳跃表*（skip list）*

Redis详细使用与讲解_第5张图片

  • 增删改均以修改链表指针进行排序
  • 新增一个元素，首先会根据最高层比较自己的分数，然后再到倒数第二次进行比较直到最后一层确定位置，进行对前后数据的指针进行修改，且随机生成该元素的层数，生成层数元素也是修改当前层进行比较后进行指针的修改，前面元素指向当前元素，当前元素指向上一个元素指向之前的元素（典型的空间换时间：消耗存储空间进而提升查询效率）

管道

通过nc命令链接服务端进行指令传输，让通信成本更低

armin@xiaobawangxuexiji-2 ~ % nc localhost 6379
keys *								#查询所有key
*0										#返回没有key
set k1 hello					#设置新k1
+OK										#返回结果
#使用客户端获取数据
127.0.0.1:6379> get k1
"hello"

也可以通过echo命令进行数据传输

# -e 可识别\n换行符；｜为管道符；设置k2=99且自增1，再获取k2
armin@xiaobawangxuexiji-2 ~ % echo -e "set k2 99\nincr k2\n get k2" | nc localhost 6379
+OK									#设置k2成功
:100								#k2自增成功返回
$3									#get k2返回宽度为3
100									#获取k2

补充

  • 管道衔接，前一个命令的输出作为后一个命令的输入
  • 管道会触发创建子进程
echo $$ | more
echo $BASHPID | more
#$$ 优先级高于 |

Redis发布订阅

只有在发布（PUBLISH）端发送之前另一端订阅（SUBSCRIBE）了才会在前者发送消息后收到消息

#发布端
127.0.0.1:6379> PUBLISH ooxx hello
(integer) 0
127.0.0.1:6379> PUBLISH ooxx helloxiaobawang
(integer) 1

#接收端
127.0.0.1:6379> SUBSCRIBE ooxx
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "ooxx"
3) (integer) 1    #由于第一条发送时并未订阅ooxx所以未收到第一条消息
1) "message"
2) "ooxx"
3) "helloxiaobawang"

使用场景

  • 直播聊天室、聊天软件聊天，可查看近三天聊天记录或更早的聊天记录

Redis详细使用与讲解_第6张图片

  • 实现方式

    1. 实时聊天可使用redis发布订阅功能
    2. 查看最近三天可使用redis用sorted_set缓存三天的数据，时间为分值，记录为具体的值，使用ZREMRANGEBYRANK/ZREMRANGEBYSCORE命令可以移除不需要的分值范围数据，比如超过三天时间的分值
    3. 查看更早的数据使用人数会少很多，所以可以对数据进行数据入库，后续查询出日期在三天前的数据。由于入库数据消息可能会很多可以采用消息队列的形式进行入库，并实时缓存到三天内数据的sorted_set集合

  • 根据上面的原理可以对系统架构进行解耦实现，如下图

    Redis详细使用与讲解_第7张图片

    1. 发布客户端发布消息到redis
    2. 订阅客户端订阅redis中实时消息
    3. 另一个redis服务订阅发布到目标redis服务中的数据，并实时缓存近三天消息
    4. 另一个处理数据入库的微服务订阅发布目标redis的服务，获取消息发送到消息队列对消息进行入库处理

Redis事务

客户端需要开启事务时需要在一连串要绑定事务的命令前首先执行mutli（开启事务），最后在执行exec（执行事务）那么期间的命令都在一个事务中；如果有多个客户端同时开启事务，客户端1删除某key，客户端2获取某key，客户端2能否获取到key取决于客户端2的exec指令是否比客户端1先到达，哪个客户端的exec指令先到的就先执行该客户端这同一事物中的所有指令

127.0.0.1:6379> MULTI #开启事务
OK
127.0.0.1:6379(TX)> set k1 aaa #事务中的数据会先放到队列中，当执行时根据队列一并执行
QUEUED
127.0.0.1:6379(TX)> set k2 bbb
QUEUED
127.0.0.1:6379(TX)> exec #执行
1) OK
2) OK
#当含删除的事务先执行
127.0.0.1:6379> MULTI 
OK
127.0.0.1:6379(TX)> del k1
QUEUED
127.0.0.1:6379(TX)> exec
1) (integer) 1
#后执行的获取事务，那么该key不存在
127.0.0.1:6379> MULTI
OK
127.0.0.1:6379(TX)> get k1
QUEUED
127.0.0.1:6379(TX)> exec
1) (nil)

查看事务指令：help @transactions

Redis详细使用与讲解_第8张图片

  • watch：在事务开启之前使用该命令实现监控该条事务中的k1，当图中k1在执行到get命令时k1发生了改变则该食物的所有操作会被取消

    #先开启的事务
127.0.0.1:6379> set k1 aaa
OK
127.0.0.1:6379> WATCH k1
OK
127.0.0.1:6379> MULTI
OK
127.0.0.1:6379(TX)> get k1
QUEUED
127.0.0.1:6379(TX)> keys *
QUEUED
127.0.0.1:6379(TX)> EXEC #后执行，由于watch k1，k1在下面事务中已经发生了改变所以该事务中操作都被取消了
(nil)
#后开启的事务
127.0.0.1:6379> MULTI
OK
127.0.0.1:6379(TX)> set k1 bbb
QUEUED
127.0.0.1:6379(TX)> EXEC #先执行
1) OK
#最后获取k1是事务先执行的赋值
127.0.0.1:6379> get k1
"bbb"

为什么redis不支持回滚

  • 从实用性的角度来说，失败的命令是由编程错误造成的，而这些错误应该在开发的过程中被发现，而不应该出现在生产环境中
  • 因为不需要对回滚进行支持，所以 Redis 的内部可以保持简单且快速

布隆过滤器（Bloom）

解决缓存击穿问题

缓存击穿问题也叫热点Key问题，就是一个被高并发访问并且缓存重建业务较复杂（意味着对数据库压力相对较大）的key突然失效了（可以理解为redis的缓存突然无了），无数的请求访问会在瞬间给数据库带来巨大的冲击

解决方案：

  1. 对于热点查询，设置key-null，为其缓存空对象
  2. 使用布隆过滤器

布隆过滤器原理

小的空间解决大量数据匹配的过程

维护一个bitmap。布隆算法可以客户端实现，也可以直接使用redis中额外引用的，bitmap可以由客户端维护，也可以由redis维护。大致是，bitmap中标记已有的数据，没有的数据直接由维护的bitmap过滤掉，从而不再访问数据库，存在一定概率误标记，但是成本低

  • 布隆过滤器实现原理

    Redis详细使用与讲解_第9张图片

  • 布隆过滤器的几种实现方案

    Redis详细使用与讲解_第10张图片

Redis作为数据库与缓存的区别

缓存数据不重要（不是全量数据）缓存应该随着访问变化（热数据）

redis里的数据怎么能随着业务变化，只保留热数据，因为内存大小式有限的，也就是瓶颈：使用淘汰策略

淘汰策略

  • noeviction：返回错误当内存限制达到并且客户端尝试执行会让更多内存被使用的命令（大部分的写入指令，但DEL和几个例外）
  • allkeys-lru：尝试回收最少使用的键（LRU），使得新添加的数据有空间存放
  • volatile-lru：尝试回收最少使用的键（LRU），但仅限于在过期集合的键,使得新添加的数据有空间存放
  • allkeys-random：回收随机的键使得新添加的数据有空间存放
  • volatile-random：回收随机的键使得新添加的数据有空间存放，但仅限于在过期集合的键
  • volatile-ttl：回收在过期集合的键，并且优先回收存活时间（TTL）较短的键,使得新添加的数据有空间存放
  • allkeys-lfu：缓存满了之后，使用LFU算法在所有的数据中进行筛选删除
  • volatile-lfu：缓存满了之后，针对设置了过期时间的键值对，采用LFU的算法进行淘汰

Redis详细使用与讲解_第11张图片

实际情况中常用LRU：如果设置过期key较多使用volatile-lru，反之使用allkeys-lru

淘汰原理

Redis keys过期有两种方式：被动和主动方式。

当一些客户端尝试访问它时，key会被发现并主动的过期。

当然，这样是不够的，因为有些过期的keys，永远不会访问他们。 无论如何，这些keys应该过期，所以定时随机测试设置keys的过期时间。所有这些过期的keys将会从密钥空间删除。

具体就是Redis每秒10次做的事情：

  1. 测试随机的20个keys进行相关过期检测。
  2. 删除所有已经过期的keys。
  3. 如果有多于25%的keys过期，重复步奏1.

这是一个平凡的概率算法，基本上的假设是，我们的样本是这个密钥控件，并且我们不断重复过期检测，直到过期的keys的百分百低于25%,这意味着，在任何给定的时刻，最多会清除1/4的过期keys。

在复制AOF文件时如何处理过期

为了获得正确的行为而不牺牲一致性，当一个key过期，DEL将会随着AOF文字一起合成到所有附加的slaves。在master实例中，这种方法是集中的，并且不存在一致性错误的机会。

然而，当slaves连接到master时，不会独立过期keys（会等到master执行DEL命令），他们任然会在数据集里面存在，所以当slave当选为master时淘汰keys会独立执行，然后成为master。

持久化

写在前面

在linux系统中：

  1. 父子进程数据是隔离的
  2. 父进程可以让子进程看到父进程的数据，采用export修饰
  3. export的环境变量，父子进程的修改互补影响，影响范围仅为自身进程

redis如何在非阻塞的情况下对某一时刻数据进行持久化

  1. redis父进程使用fork()系统调用，创建一个子进程，其为redis中创建那一刻中虚拟地址的拷贝，其虚拟地址同样指向相同的内存地址，则有两个虚拟地址引用了该物理地址
  2. fork()实现了copy on write内存机制，在父进程修改数据时，首先会在内存中写入修改的值，并将指针从原来的地址指向新的地址，所以子进程的数据不会改变，还是那一刻的数据，从而达到非阻塞保存时点快照

fork()特点：速度快，占用空间小

RDB

  • 主动（同步阻塞）：比如关机维护时使用

  • 被动（异步非阻塞）：fork()系统调用，可在配置文件中配置触发规则

    #在多少秒后至少有多少个key发生变化触发写入磁盘操作（可配置多条）
save <seconds> <changes> #默认开启，可增加 save "" 表示禁用
    • 如果想要修改写入磁盘文件名称，找到dbfilename dump.rdb对dump.rdb改为需要的文件名
    • 如果想要修改写入磁盘文件位置，找到The working directory注释，重写其dir路径即可

    只要触发了RDB操作，等待该操作完成后，下一次的RDB触发才可执行

弊端：

  1. 不支持拉链，永远只有一个dump.rdb文件，需要人为干预进行备份
  2. 时点与时点之间窗口数据容易丢失，如：8点得到一个RDB数据文件，9点刚要触发RDB，宕机了，那么8点到9点的数据就丢失了

优点：类似java中的序列化，恢复的速度相对较快

适当的配置redis最大存储空间maxmemory可以提升RDB的效率，最大空间过大会导致RBD时间过长

AOF

RDB与AOF可以同时开启，如果开启了AOF只会使用AOF进行数据恢复

优点：数据丢失少

弊端：操作日志文件的体量会越来越大，从而导致恢复慢

针对弊端redis根据让日志只记录增量且合并重复命令的原理对AOF进行了优化：

  • 4.0前：重写日志文件，删除抵消的命令合并重复的命令，得到一个缩小版的纯指令的日志文件

  • 4.0后：重写日志文件，将某一刻老的数据RDB到AOF文件中，将增量的指令以追加的方式追加到AOF文件中

    AOF是一个混合体，既利用了RDB的快速恢复也利用了日志的全量特点

相关配置

  1. AOF默认关闭：appendonly no -> yes开启AOF
  2. 默认AOF文件名：appendfilename "appendonly.aof" 可自定义
  3. redis往aof文件中刷写的策略
    1. appendfsync always：每来一条指令调用一次内核将数据直接刷写到磁盘，最多丢失一条数据（一条指令正在写宕机了）；数据最可靠
    2. appendfsync everysec：每秒触发一次I/O对buffer进行flush到aof文件中，可能会导致接近一个buffer缓存内容的丢失；数据较为可靠
    3. appendfsync no：每当内核buffer缓冲区内容填满时触发一次I/O，对缓冲区的数据flush写入磁盘aof文件；最多丢失一块buffer缓冲区内容数据，换来I/O成本最少
  4. no-appendfsync-on-rewrite：yes/no（默认）当redis抛出一个子进程进行AOF重写或者RDB重写，允不允许序号3的策略进行aof文件的写入，yes可能会导致一部分性能阻塞，no可能导致一些数据的丢失
  5. aof-use-rdb-preamble yes：开启重写日志文件，见上4.0后；如果aof文件以REDIS开头的则是重写过的混合体文件（默认开启）
  6. 自动触发BGREWRITEAOF（重写）规则
    1. auto-aof-rewrite-percentage [百分比(省略%)]：记录6.2.命令达到的百分比触发重写
    2. auto-aof-rewrite-min-size [文件大小(mb)]：首次aof文件达到该大小且满足6.1.自动触发重写，并且redis会记录重写后此时文件大小lastSize，当文件超过lastSize的设置百分比6.1.时再次出发重写，依次类推自动重写操作（此变量仅初始化启动redis有效，如果是redis恢复时，则lastSize等于初始aof文件大小）

你可能感兴趣的:(redis,redis,学习,数据库)

  • 情绪觉察日记第37天 露露_e800
    今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 铭刻于星（四十二） 随风至
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
  • UI学习——cell的复用和自定义cell Magnetic_h ui学习
    目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
  • 学点心理知识，呵护孩子健康 静候花开_7090
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
  • ArcGIS栅格计算器常见公式（赋值、0和空值的转换、补充栅格空值） 研学随笔 arcgis经验分享
    我们在使用ArcGIS时通常经常用到栅格计算器，今天主要给大家介绍我日常中经常用到的几个公式，供大家参考学习。将特定值（-9999）赋值为0，例如-9999.Con("raster"==-9999,0,"raster")2.给空值赋予特定的值（如0）Con(IsNull("raster"),0,"raster")3.将特定的栅格值(如1)赋值为空值，其他保留原值SetNull("raster"==
  • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数 广龙宇 一起学Rust#Rust设计模式rust设计模式开发语言
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
  • 回溯 Leetcode 332 重新安排行程 mmaerd Leetcode刷题学习记录leetcode算法职场和发展
    重新安排行程Leetcode332学习记录自代码随想录给你一份航线列表tickets，其中tickets[i]=[fromi,toi]表示飞机出发和降落的机场地点。请你对该行程进行重新规划排序。所有这些机票都属于一个从JFK（肯尼迪国际机场）出发的先生，所以该行程必须从JFK开始。如果存在多种有效的行程，请你按字典排序返回最小的行程组合。例如，行程[“JFK”,“LGA”]与[“JFK”,“LGB
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • 2019-12-22-22:30 涓涓1016
    今天是冬至，写下我的日更，是因为这两天的学习真的是能量的满满，让我看到了自己，未来另外一种可能性，也让我看到了这两年这几年的过程中我所接受那些痛苦的来源。一切的根源和痛苦都来自于人生，家庭，而你的原生家庭，你的爸爸和妈妈，是因为你这个灵魂在那一刻选择他们作为你的爸爸和妈妈来的，所以你得接受他，你得接纳他，他就是因为他的存在而给你的学习和成长带来这些痛苦，那其实是你必然要经历的这个过程，当你去接纳的
  • Google earth studio 简介 陟彼高冈yu 旅游
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
  • 将cmd中命令输出保存为txt文本文件 落难Coder Windowscmdwindow
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
  • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
  • SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
  • 四章-32-点要素的聚合 彩云飘过
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
  • GitHub上克隆项目 bigbig猩猩 github
    从GitHub上克隆项目是一个简单且直接的过程，它允许你将远程仓库中的项目复制到你的本地计算机上，以便进行进一步的开发、测试或学习。以下是一个详细的步骤指南，帮助你从GitHub上克隆项目。一、准备工作1.安装Git在克隆GitHub项目之前，你需要在你的计算机上安装Git工具。Git是一个开源的分布式版本控制系统，用于跟踪和管理代码变更。你可以从Git的官方网站（https://git-scm.
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动 二挡起步 web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • 人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
    随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • node.js学习 小猿L node.jsnode.js学习vim
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
  • 阶段总结反思 轻争
    马上就要进入10月份了，今天做一下前段时间的总结和反思。前段时间，日更、英语、健身、护肤坚持的比较好。阅读、书法坚持的不好。1.中间被迫停更半个多月，其余时间一直在坚持日更挑战。偶尔也有不想写的时候，就做一下摘抄。因为阅读（输入）没跟上来，所以写作（输出）质量有待进一步加强。2.英语做到了一周至少学习5天，每次不少于30分钟，但是小班课没有跟上更新速度，下一步要争取利用零碎时间补听小班课。3.减肥
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • Redis系列：Geo 类型赋能亿级地图位置计算 Ly768768 redisbootstrap数据库
    1前言我们在篇深刻理解高性能Redis的本质的时候就介绍过Redis的几种基本数据结构，它是基于不同业务场景而设计的：动态字符串(REDIS_STRING)：整数(REDIS_ENCODING_INT)、字符串(REDIS_ENCODING_RAW)双端列表(REDIS_ENCODING_LINKEDLIST)压缩列表(REDIS_ENCODING_ZIPLIST)跳跃表(REDIS_ENCODI
  • ARM驱动学习之基础小知识 JT灬新一 ARM嵌入式arm开发学习
    ARM驱动学习之基础小知识•sch原理图工程师工作内容–方案–元器件选型–采购（能不能买到，价格）–原理图（涉及到稳定性）•layout画板工程师–layout（封装、布局，布线，log）（涉及到稳定性）–焊接的一部分工作（调试阶段板子的焊接）•驱动工程师–驱动，原理图，layout三部分的交集容易发生矛盾•PCB研发流程介绍–方案，原理图(网表)–layout工程师（gerber文件）–PCB板
  • ARM驱动学习之5 LEDS驱动 JT灬新一 嵌入式C底层arm开发学习单片机
    ARM驱动学习之5LEDS驱动知识点：•linuxGPIO申请函数和赋值函数–gpio_request–gpio_set_value•三星平台配置GPIO函数–s3c_gpio_cfgpin•GPIO配置输出模式的宏变量–S3C_GPIO_OUTPUT注意点：DRIVER_NAME和DEVICE_NAME匹配。实现步骤：1.加入需要的头文件：//Linux平台的gpio头文件#include//三
  • ARM驱动学习之4小结 JT灬新一 嵌入式C++arm开发学习linux
    ARM驱动学习之4小结#include#include#include#include#include#defineDEVICE_NAME"hello_ctl123"MODULE_LICENSE("DualBSD/GPL");MODULE_AUTHOR("TOPEET");staticlonghello_ioctl(structfile*file,unsignedintcmd,unsignedlo
  • 展现思维导图魅力，不断挖掘人生宝藏 思维导图讲师Mandy
    第13期最强思维导图训练营已经结束一周了，但是我依旧是感觉所有学员还在努力的学习，这些学员中有教师、学生、白领、公务员、宝妈等等，只要你努力，只要你想改变自己，任何行业，任何岗位都可以参与进来，28天足以让你见成效，在这28天中，我们的学员不仅仅是收获了一枚毕业证，最重要的是让自己的思维方式得到升级，今天的你为自己投资，明天的你就会感谢你今天的付出，我们来听一听来自13期最强思维导图训练营优秀学员
  • 【PG】常见数据库、表属性设置 江无羡 数据库
    PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
  • JAVA中的Enum 周凡杨 javaenum枚举
    Enum是计算机编程语言中的一种数据类型---枚举类型。 在实际问题中，有些变量的取值被限定在一个有限的范围内。     例如，一个星期内只有七天 我们通常这样实现上面的定义： public String monday; public String tuesday; public String wensday; public String thursday
  • 赶集网mysql开发36条军规 Bill_chen mysql业务架构设计mysql调优mysql性能优化
    (一)核心军规 (1)不在数据库做运算    cpu计算务必移至业务层； (2)控制单表数据量    int型不超过1000w，含char则不超过500w；    合理分表；    限制单库表数量在300以内； (3)控制列数量    字段少而精，字段数建议在20以内
  • Shell test命令 daizj shell字符串test数字文件比较
    Shell test命令 Shell中的 test 命令用于检查某个条件是否成立，它可以进行数值、字符和文件三个方面的测试。 数值测试 参数 说明 -eq 等于则为真 -ne 不等于则为真 -gt 大于则为真 -ge 大于等于则为真 -lt 小于则为真 -le 小于等于则为真 实例演示： num1=100 num2=100if test $[num1]
  • XFire框架实现WebService(二) 周凡杨 javawebservice
       有了XFire框架实现WebService(一)，就可以继续开发WebService的简单应用。 Webservice的服务端(WEB工程)： 两个java bean类： Course.java    package cn.com.bean; public class Course {     private
  • 重绘之画图板 朱辉辉33 画图板
           上次博客讲的五子棋重绘比较简单，因为只要在重写系统重绘方法paint（）时加入棋盘和棋子的绘制。这次我想说说画图板的重绘。        画图板重绘难在需要重绘的类型很多，比如说里面有矩形，园，直线之类的，所以我们要想办法将里面的图形加入一个队列中，这样在重绘时就
  • Java的IO流 西蜀石兰 java
    刚学Java的IO流时，被各种inputStream流弄的很迷糊，看老罗视频时说想象成插在文件上的一根管道，当初听时觉得自己很明白，可到自己用时，有不知道怎么代码了。。。 每当遇到这种问题时，我习惯性的从头开始理逻辑，会问自己一些很简单的问题，把这些简单的问题想明白了，再看代码时才不会迷糊。 IO流作用是什么？ 答：实现对文件的读写，这里的文件是广义的； Java如何实现程序到文件
  • No matching PlatformTransactionManager bean found for qualifier 'add' - neither 林鹤霄
    java.lang.IllegalStateException: No matching PlatformTransactionManager bean found for qualifier 'add' - neither qualifier match nor bean name match!   网上找了好多的资料没能解决，后来发现：项目中使用的是xml配置的方式配置事务，但是
  • Row size too large (> 8126). Changing some columns to TEXT or BLOB aigo column
    原文：http://stackoverflow.com/questions/15585602/change-limit-for-mysql-row-size-too-large   异常信息： Row size too large (> 8126). Changing some columns to TEXT or BLOB or using ROW_FORMAT=DYNAM
  • JS 格式化时间 alxw4616 JavaScript
    /** * 格式化时间 2013/6/13 by 半仙 [email protected] * 需要 pad 函数 * 接收可用的时间值. * 返回替换时间占位符后的字符串 * * 时间占位符:年 Y 月 M 日 D 小时 h 分 m 秒 s 重复次数表示占位数 * 如 YYYY 4占4位 YY 占2位<p></p> * MM DD hh mm
  • 队列中数据的移除问题 百合不是茶 队列移除
         队列的移除一般都是使用的remov();都可以移除的,但是在昨天做线程移除的时候出现了点问题,没有将遍历出来的全部移除,  代码如下;      // package com.Thread0715.com; import java.util.ArrayList; public class Threa
  • Runnable接口使用实例 bijian1013 javathreadRunnablejava多线程
    Runnable接口 a.       该接口只有一个方法：public void run(); b.       实现该接口的类必须覆盖该run方法 c.       实现了Runnable接口的类并不具有任何天
  • oracle里的extend详解 bijian1013 oracle数据库extend
    扩展已知的数组空间，例： DECLARE TYPE CourseList IS TABLE OF VARCHAR2(10); courses CourseList; BEGIN -- 初始化数组元素，大小为3 courses := CourseList('Biol 4412 ', 'Psyc 3112 ', 'Anth 3001 '); --
  • 【httpclient】httpclient发送表单POST请求 bit1129 httpclient
    浏览器Form Post请求 浏览器可以通过提交表单的方式向服务器发起POST请求，这种形式的POST请求不同于一般的POST请求 1. 一般的POST请求，将请求数据放置于请求体中，服务器端以二进制流的方式读取数据，HttpServletRequest.getInputStream()。这种方式的请求可以处理任意数据形式的POST请求，比如请求数据是字符串或者是二进制数据 2. Form
  • 【Hive十三】Hive读写Avro格式的数据 bit1129 hive
     1. 原始数据 hive> select * from word; OK 1 MSN 10 QQ 100 Gtalk 1000 Skype      2. 创建avro格式的数据表   hive> CREATE TABLE avro_table(age INT, name STRING)STORE
  • nginx+lua+redis自动识别封解禁频繁访问IP ronin47
    在站点遇到攻击且无明显攻击特征，造成站点访问慢，nginx不断返回502等错误时，可利用nginx+lua+redis实现在指定的时间段 内，若单IP的请求量达到指定的数量后对该IP进行封禁，nginx返回403禁止访问。利用redis的expire命令设置封禁IP的过期时间达到在 指定的封禁时间后实行自动解封的目的。 一、安装环境： CentOS x64 release 6.4(Fin
  • java-二叉树的遍历-先序、中序、后序（递归和非递归）、层次遍历 bylijinnan java
    import java.util.LinkedList; import java.util.List; import java.util.Stack; public class BinTreeTraverse { //private int[] array={ 1, 2, 3, 4, 5, 6, 7, 8, 9 }; private int[] array={ 10,6,
  • Spring源码学习-XML 配置方式的IoC容器启动过程分析 bylijinnan javaspringIOC
    以FileSystemXmlApplicationContext为例，把Spring IoC容器的初始化流程走一遍： ApplicationContext context = new FileSystemXmlApplicationContext ("C:/Users/ZARA/workspace/HelloSpring/src/Beans.xml&q
  • [科研与项目]民营企业请慎重参与军事科技工程 comsci 企业
         军事科研工程和项目 并非要用最先进，最时髦的技术，而是要做到“万无一失”    而民营科技企业在搞科技创新工程的时候，往往考虑的是技术的先进性，而对先进技术带来的风险考虑得不够，在今天提倡军民融合发展的大环境下，这种“万无一失”和“时髦性”的矛盾会日益凸显。。。。。。所以请大家在参与任何重大的军事和政府项目之前，对
  • spring 定时器-两种方式 cuityang springquartz定时器
    方式一： 间隔一定时间 运行 <bean id="updateSessionIdTask" class="com.yang.iprms.common.UpdateSessionTask" autowire="byName" /> <bean id="updateSessionIdSchedule
  • 简述一下关于BroadView站点的相关设计 damoqiongqiu view
    终于弄上线了，累趴，戳这里http://www.broadview.com.cn   简述一下相关的技术点   前端：jQuery+BootStrap3.2+HandleBars，全站Ajax（貌似对SEO的影响很大啊！怎么破？），用Grunt对全部JS做了压缩处理，对部分JS和CSS做了合并（模块间存在很多依赖，全部合并比较繁琐，待完善）。   后端：U
  • 运维 PHP问题汇总 dcj3sjt126com windows2003
    1、Dede(织梦)发表文章时,内容自动添加关键字显示空白页 解决方法： 后台>系统>系统基本参数>核心设置>关键字替换（是/否），这里选择“是”。 后台>系统>系统基本参数>其他选项>自动提取关键字，这里选择“是”。   2、解决PHP168超级管理员上传图片提示你的空间不足 网站是用PHP168做的，反映使用管理员在后台无法
  • mac 下 安装php扩展 - mcrypt dcj3sjt126com PHP
    MCrypt是一个功能强大的加密算法扩展库，它包括有22种算法，phpMyAdmin依赖这个PHP扩展，具体如下： 下载并解压libmcrypt-2.5.8.tar.gz。 在终端执行如下命令： tar zxvf libmcrypt-2.5.8.tar.gz cd libmcrypt-2.5.8/ ./configure --disable-posix-threads --
  • MongoDB更新文档 [四] eksliang mongodbMongodb更新文档
    MongoDB更新文档 转载请出自出处：http://eksliang.iteye.com/blog/2174104 MongoDB对文档的CURD，前面的博客简单介绍了，但是对文档更新篇幅比较大，所以这里单独拿出来。 语法结构如下： db.collection.update( criteria, objNew, upsert, multi) 参数含义 参数   
  • Linux下的解压，移除，复制，查看tomcat命令 y806839048 tomcat
    重复myeclipse生成webservice有问题删除以前的，干净 1、先切换到：cd usr/local/tomcat5/logs 2、tail -f catalina.out 3、这样运行时就可以实时查看运行日志了 Ctrl+c 是退出tail命令。 有问题不明的先注掉   cp /opt/tomcat-6.0.44/webapps/g
  • Spring之使用事务缘由(3-XML实现) ihuning spring
      用事务通知声明式地管理事务   事务管理是一种横切关注点。为了在 Spring 2.x 中启用声明式事务管理，可以通过 tx Schema 中定义的 <tx:advice> 元素声明事务通知，为此必须事先将这个 Schema 定义添加到 <beans> 根元素中去。声明了事务通知后，就需要将它与切入点关联起来。由于事务通知是在 <aop:
  • GCD使用经验与技巧浅谈 啸笑天 GC
    前言 GCD(Grand Central Dispatch)可以说是Mac、iOS开发中的一大“利器”，本文就总结一些有关使用GCD的经验与技巧。 dispatch_once_t必须是全局或static变量 这一条算是“老生常谈”了，但我认为还是有必要强调一次，毕竟非全局或非static的dispatch_once_t变量在使用时会导致非常不好排查的bug，正确的如下： 1
  • linux（Ubuntu）下常用命令备忘录1 macroli linux工作ubuntu
    在使用下面的命令是可以通过--help来获取更多的信息1,查询当前目录文件列表：ls ls命令默认状态下将按首字母升序列出你当前文件夹下面的所有内容，但这样直接运行所得到的信息也是比较少的，通常它可以结合以下这些参数运行以查询更多的信息：  ls / 显示/.下的所有文件和目录  ls -l 给出文件或者文件夹的详细信息 ls -a 显示所有文件，包括隐藏文
  • nodejs同步操作mysql qiaolevip 学习永无止境每天进步一点点mysqlnodejs
    // db-util.js var mysql = require('mysql'); var pool = mysql.createPool({ connectionLimit : 10, host: 'localhost', user: 'root', password: '', database: 'test', port: 3306 });
  • 一起学Hive系列文章 superlxw1234 hiveHive入门
      [一起学Hive]系列文章 目录贴，入门Hive，持续更新中。   [一起学Hive]之一—Hive概述，Hive是什么 [一起学Hive]之二—Hive函数大全-完整版 [一起学Hive]之三—Hive中的数据库(Database)和表(Table) [一起学Hive]之四-Hive的安装配置 [一起学Hive]之五-Hive的视图和分区 [一起学Hive
  • Spring开发利器：Spring Tool Suite 3.7.0 发布 wiselyman spring
    Spring Tool Suite(简称STS)是基于Eclipse，专门针对Spring开发者提供大量的便捷功能的优秀开发工具。   在3.7.0版本主要做了如下的更新：   将eclipse版本更新至Eclipse Mars 4.5 GA Spring Boot(JavaEE开发的颠覆者集大成者，推荐大家学习)的配置语言YAML编辑器的支持(包含自动提示，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他