学心理学的猫
学心理学的猫

Redis6学习笔记（万字总结_从入门到起飞）

目录

NoSQL数据库

常用五大基本数据类型

前言：Redis键（key操作）

字符串（String）

列表（List）

Set（集合）

Hash（哈希）

Zset（有序集合）

配置文件

Redis的发布与订阅

Redis6 新数据类型

Bitmaps

HyperLogLog

Geospatial

事务和锁机制

Multi、Exec、Discard

悲观锁

乐观锁

Watch、unwatch

事务三特性

Redis中两种持久化机制

RDB

Fork

配置

优点

缺点

AOF

配置

优点

缺点

总结

主从复制

基本介绍

 搭建一主两从

一主二从

主从复制原理

薪火相传

反客为主

哨兵模式

基本介绍

选举规则

复制延时

    Redis 是典型的  NoSQL 数据库，支持多种数据结构类型。设计思想是： 单线程+多路IO复用技术  Redis6学习笔记（万字总结_从入门到起飞）_第1张图片

图中例子说明：“黄牛”到“火车站”为单线程操作，同时使用多个socket链接可以使得“黄牛”一刻不停一但处理完成后就可以继续下一个任务。总结一句话就是：通过一个线程，进行拨开关的方式，来同时传输多个IO流。

NoSQL数据库

​ web2.0时代，访问量太大，CPUI和内存有巨大压力，如果还是按照单个服务器进行响应的话，显然性能是不够的，于是引出分布式架构的服务，也就是多台服务器来响应请求，使用过NoSQL数据库进行解决。

NoSQL数据库的特点：

NoSQL（ NoSQL = Not Only SQL ），意即 “不仅仅是 SQL” ，泛指非关系型的数据库。

NoSQL 不依赖业务逻辑方式存储，而以简单的 key-value 模式存储。因此大大的增加了数据库的扩展能力。

  • 不遵循 SQL 标准。
  • 不支持 ACID。
  • 远超于 SQL 的性能。

适用于的场景

  • 对数据高并发的读写；
  • 海量数据的读写；
  • 对数据高可扩展性的。

不适用的场景

  • 需要事务支持；
  • 基于 sql 的结构化查询存储，处理复杂的关系，需要即席查询。
  • 用不着sql的情况以及用了sql也不行的情况下，考虑NoSQL

常见的 NoSQL 数据库

  • Redis

    Redis6学习笔记（万字总结_从入门到起飞）_第2张图片​

  • MongoDB

  • Redis6学习笔记（万字总结_从入门到起飞）_第3张图片​

常用五大基本数据类型

前言：Redis键（key操作）

keys *：查看当前库所有 key

set key value：添加一组 k-v

exists key：判断某个 key 是否存在

type key：查看你的 key 是什么类型

del key ：删除指定的 key 数据（直接删除，而不是异步删除）

unlink key：根据 value 选择非阻塞删除，仅将 keys 从 keyspace 元数据中删除，真正的删除会在后续异步操作

expire key 10 ：为给定的 key 设置过期时间

ttl key：查看还有多少秒过期，-1表示永不过期，-2表示已过期

select：命令切换数据库

dbsize：查看当前数据库的 key 的数量

flushdb：清空当前库

flushall：通杀全部库

字符串（String）

String 类型是最基本的类型，是二进制安全的。意味着 Redis 的 string 可以包含任何数据，比如 jpg 图片或者序列化的对象，只要数据能够存储为字符串类型，redis都能通过k-v的形式存储。

String 类型是 Redis 最基本的数据类型，一个 Redis 中字符串 value 最多可以是 512M。

命令操作：

set ：添加键值对，也包含对一个key下的value进行覆盖

get ：查询对应键值

append ：将给定的  追加到原值的末尾，返回添加后的字符串长度值

strlen ：获得值的长度

setnx ：只有在 key 不存在时，才能设置 key 的值（注意与set命令的区别）

incr ：将 key 中储存的数字值增 1，只能对数字值操作，如果为空，新增值为 1（具有原子性）

decr ：将 key 中储存的数字值减 1，只能对数字值操作，如果为空，新增值为 -1

incrby/decrby <步长>：将 key 中储存的数字值增减。自定义步长

mset  ：同时设置一个或多个 key-value 对

mget ...：同时获取一个或多个 value

msetnx ...：同时设置一个或多个 key-value 对，当且仅当所有给定 key 都不存在（原子性操作，有一个失败那么就全部失败，成功返回1，反之返回0）

getrange <起始位置><结束位置>：获得值的范围（将字符串理解成一个数组，按数组序号进行取子字符串的操作）

setrange <起始位置>：用  覆写  所储存的字符串值

setex <过期时间>：设置键值的同时，设置过期时间，单位秒。（可以通过ttl key的命令，查看过期时间）

getset ：以新换旧，设置了新值同时获得旧值。

原子性

所谓 原子 操作是指不会被线程调度机制打断的操作；

这种操作一旦开始，就一直运行到结束，中间不会有任何 context switch （切换到另一个线程）。

  • 在单线程中， 能够在单条指令中完成的操作都可以认为是"原子操作"，因为中断只能发生于指令之间。（而redis是单线程的，所以redis中的操作是不会被打断的）

  • 在多线程中，不能被其它进程（线程）打断的操作就叫原子操作。

Redis 单命令的原子性主要得益于 Redis 的单线程。

列表（List）

单键多值

Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）。

它的底层实际是个双向链表，对两端的操作性能很高，通过索引下标的操作中间的节点性能会较差。

lpush/rpush ....： 从左边/右边插入一个或多个值。

k1内部:  v3 v2 v1（lpush）
k1内部:  v1 v2 v3（rpush）

lpop/rpop ：从左边/右边吐出一个值。值在键在，值光键亡。

rpoplpush ：从  列表右边吐出一个值，插到  列表左边。(道理同上)

lrange ：按照索引下标获得元素（从左到右）

lrange 0 -1：左边第一个，-1右边第一个，（0 -1表示获取所有）

lindex ：按照索引下标获得元素（从左到右，从0开始到index索引值）

llen ：获得列表长度

linsert before/after ：在  的前面/后面插入  插入值

lrem ：从左边删除 n 个 value（从左到右）

lset ：将列表 key 下标为 index 的值替换成 value

数据结构

List 的数据结构为快速链表 quickList。

  • 首先在列表元素较少的情况下会使用一块连续的内存存储，这个结构是 ziplist，也即是压缩列表。

    • 它将所有的元素紧挨着一起存储，分配的是一块连续的内存。

  • 当数据量比较多的时候才会改成 quicklist。

    • 因为普通的链表需要的附加指针空间太大，会比较浪费空间。比如这个列表里存的只是 int 类型的数据，结构上还需要两个额外的指针 prev 和 next。

      Redis6学习笔记（万字总结_从入门到起飞）_第4张图片

  • Redis 将链表和 ziplist 结合起来组成了 quicklist。也就是将多个 ziplist 使用双向指针串起来使用。这样既满足了快速的插入删除性能，又不会出现太大的空间冗余。quicklist结构图如下：

Set（集合）

Set 对外提供的功能与 List 类似列表的功能。（一个key，对应一个set集合）

  • 特殊之处在于 Set 是可以 自动排重 的

  • 当需要存储一个列表数据，又不希望出现重复数据时，Set 是一个很好的选择，并且 Set 提供了判断某个成员是否在一个 Set 集合内的重要接口，这个也是 List 所不能提供的。

  • Redis 的 Set 是 String 类型的无序集合。它底层其实是一个 value 为 null 的 hash 表，所以添加，删除，查找的复杂度都是 O(1)。

一个算法，随着数据的增加，执行时间的长短，如果是 O(1)，数据增加，查找数据的时间不变。

sadd .....：将一个或多个 member 元素加入到集合 key 中，已经存在的 member 元素将被忽略

smembers ：取出该集合的所有值。

sismember ：判断集合  是否为含有该  值，有返回 1，没有返回 0

scard：返回该集合的元素个数。

srem ....：删除集合中的某个元素

spop ：随机从该集合中吐出一个值

srandmember ：随机从该集合中取出 n 个值，不会从集合中删除

smove value：把集合中一个值从一个集合移动到另一个集合（会删除该值）

sinter ：返回两个集合的交集元素

sunion ：返回两个集合的并集元素

sdiff ：返回两个集合的差集元素（key1 中的，不包含 key2 中的）

Hash（哈希）

Redis hash 是一个键值对集合。

Redis hash 是一个 String 类型的 field 和 value 的映射表，hash 特别适合用于存储对象。（ 可以理解为Java中的Map ）

hset ：给  集合中的  键赋值 

  • hset user:1001 id 1，redis允许key带 ：，可以理解为key值是 user:1001，这是为了存很多对象时，用来区分不同对象
  • hset user:1001 name zhanggsan，给 user:1001 这个key对应的对象中，添加一个name字段，值为zhangsan

hget ：从  集合  取出 value

  • hget user:1001 id，打印结果为“1”
  • hget user:1001 name，打印结果为“zhangsan”

 Redis6学习笔记（万字总结_从入门到起飞）_第5张图片

hmset ...： 批量设置 hash 的值（新版本这项命令，已经可以用hset进行实现了）

hexists ：查看哈希表 key 中，给定域 field 是否存在（1：存在，0：不存在）

 

hkeys ：列出该 hash 集合的所有 field

  • hkeys user:1001，列出这个key下所有的字段

 

hvals ：列出该 hash 集合的所有 value

hincrby ：为哈希表 key 中的域 field 的值加上增量 1 -1

Redis6学习笔记（万字总结_从入门到起飞）_第6张图片

hsetnx ：将哈希表 key 中的域 field 的值设置为 value ，当且仅当域 field 不存在

数据结构

Hash 类型对应的数据结构是两种：ziplist（压缩列表），hashtable（哈希表）。

当 field-value 长度较短且个数较少时，使用 ziplist，否则使用 hashtable。

Zset（有序集合）

Redis 有序集合 zset 与普通集合 set 非常相似，是一个没有重复元素的字符串有序集合。

不同之处是有序集合的每个成员都关联了一个评分（score）,这个评分（score）被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的，但是评分可以是重复的。

因为元素是有序的，所以可以很快的根据评分（score）或者次序（position）来获取一个范围的元素。

访问有序集合的中间元素也是非常快的，因此能够使用有序集合作为一个没有重复成员的智能列表。

zadd …：将一个或多个 member 元素及其 score 值加入到有序集 key 当中

zrange [WITHSCORES]：返回有序集 key 中，下标在  之间的元素（ 0 -1 ，表示所有）

  • 当带上 WITHSCORES 时，可以让分数一起和值返回到结果集

zrangebyscore key min max [withscores] [limit offset count]：返回有序集 key 中，所有 score 值介于 min 和 max 之间（包括等于 min 或 max ）的成员。有序集成员按 score 值递增（从小到大）次序排列。

zrevrangebyscore key max min [withscores] [limit offset count]：同上，改为从大到小排列

zincrby ：为元素的 score 加上增量

zrem ：删除该集合下，指定值的元素

zcount ：统计该集合，分数区间内的元素个数

zrank ：返回该值在集合中的排名，从 0 开始。

数据结构

SortedSet（zset）是 Redis 提供的一个非常特别的数据结构，一方面它等价于 Java 的数据结构 Map，可以给每一个元素 value 赋予一个权重 score，另一方面它又类似于 TreeSet，内部的元素会按照权重 score 进行排序，可以得到每个元素的名次，还可以通过 score 的范围来获取元素的列表。

zset 底层使用了两个数据结构

  • hash，hash 的作用就是关联元素 value 和权重 score（通过key值，能够找到关联的value和score），保障元素 value 的唯一性，可以通过元素 value 找到相应的 score 值

  • 跳跃表，跳跃表的目的在于给元素 value 排序，根据 score 的范围获取元素列表

Redis6学习笔记（万字总结_从入门到起飞）_第7张图片

配置文件

**Redis 的配置文件位于 Redis 安装目录下，文件名为 ** redis.conf (Windows 名为 redis.windows.conf)。

网络相关配置。

##bind##

默认情况 bind=127.0.0.1 只能接受本机的访问请求。

不写的情况下，无限制接受任何 ip 地址的访问。

生产环境肯定要写你应用服务器的地址，服务器是需要远程访问的，所以需要将其注释掉。

如果开启了protected-mode，那么在没有设定 bind ip 且没有设密码的情况下，Redis 只允许接受本机的响应

##protected-mode##

将本机访问保护模式设置 no。

##port##

端口号，默认 6379

##tcp-backlog##

设置 tcp 的 backlog，backlog 其实是一个连接队列，backlog 队列总和 $=$ 未完成三次握手队列 $+$ 已经完成三次握手队列。

在高并发环境下你需要一个高 backlog 值来避免慢客户端连接问题。

##timeout##

一个空闲的客户端维持多少秒会关闭，0 表示关闭该功能。即永不关闭。

##tcp-keepalive##

对访问客户端的一种心跳检测，每个 n 秒检测一次。（默认是300s检测一次）

单位为秒，如果设置为 0，则不会进行 Keepalive 检测。

##daemonize##

是否为后台进程，设置为 yes。

守护进程，后台启动。

##pidfile##

存放 pid 文件的位置，每个实例会产生一个不同的 pid 文件。

##loglevel##

指定日志记录级别，Redis 总共支持四个级别：debug、verbose、notice、warning，默认为 notice。

##logfile##

日志文件名称。

##database##

设定库的数量 默认16，默认数据库为 0，可以使用 SELECT  命令在连接上指定数据库 id。

##maxmemory##

建议必须设置，否则，将内存占满，造成服务器宕机。

设置 redis 可以使用的内存量。一旦到达内存使用上限，redis 将会试图移除内部数据，移除规则可以通过 maxmemory-policy 来指定。

如果 redis 无法根据移除规则来移除内存中的数据，或者设置了不允许移除，那么 redis 则会针对那些需要申请内存的指令返回错误信息，比如 SET、LPUSH 等。

但是对于无内存申请的指令，仍然会正常响应，比如 GET 等。如果你的 redis 是主 redis（ 说明你的 redis 有从 redis ），那么在设置内存使用上限时，需要在系统中留出一些内存空间给同步队列缓存，只有在你设置的是“不移除”的情况下，才不用考虑这个因素。

##maxmemory-policy##

volatile-lru：使用 LRU 算法移除 key，只对设置了过期时间的键（最近最少使用）。

allkeys-lru：在所有集合 key 中，使用 LRU 算法移除 key。

volatile-random：在过期集合中移除随机的 key，只对设置了过期时间的键。

allkeys-random：在所有集合 key 中，移除随机的 key。

volatile-ttl：移除那些 TTL 值最小的 key，即那些最近要过期的 key。

noeviction：不进行移除。针对写操作，只是返回错误信息。

##maxmemory-samples##

设置样本数量，LRU 算法和最小 TTL 算法都并非是精确的算法，而是估算值，所以你可以设置样本的大小，redis 默认会检查这么多个 key 并选择其中 LRU 的那个。

一般设置 3 到 7 的数字，数值越小样本越不准确，但性能消耗越小。

Redis的发布与订阅

Redis 发布订阅（ pub/sub ）是一种消息通信模式：发送者（ pub ）发送消息，订阅者（ sub ）接收消息。

Redis 客户端可以订阅任意数量的频道。

Redis6学习笔记（万字总结_从入门到起飞）_第8张图片

发布者可以建立许多个频道进行消息的发送（如上图频道1、频道2、频道3），供订阅者进行接收和监听消息。

  1. 客户端可以订阅频道
  2. Redis6学习笔记（万字总结_从入门到起飞）_第9张图片

  1. 当给这个频道发布消息后，消息就会发送给订阅的客户端
  2. Redis6学习笔记（万字总结_从入门到起飞）_第10张图片

发布订阅命令行实现

  1. 打开一个客户端订阅channel1
  • subscribe channel1
  1. 打开另一个客户端，给channel1发布消息hello

  • publish channel1 hello

  • 返回的数字表示：订阅者的数量、

  1. 打开第一个客户端可以看到发送的信息

Redis6学习笔记（万字总结_从入门到起飞）_第11张图片

Redis6 新数据类型

Bitmaps

Redis6学习笔记（万字总结_从入门到起飞）_第12张图片

  • 将 Bitmaps 数据类型理解为一个数组，每个单位只存储0和1

实例：

Redis6学习笔记（万字总结_从入门到起飞）_第13张图片

  • getbit ：获取Bitmaps中某个偏移量的值
  • bitcount [start end]：统计字符串被设置为1的bit数，start end可以指定范围，且可以使用负数值，例如：-1表示最后一个位，-2表示倒数第二个位置（从0开始....）
  • bitop and(or/not/xor) [key...]：复合操作，可以做多个Bitmaps的交集、并集等操作，并将结果保存在destkey中
    • 例如：bitop and users:1 users:2 users:3，将users:2与users:3的交集结果存放到key为users:1的值中

Bitmaps与set对比

Redis6学习笔记（万字总结_从入门到起飞）_第14张图片

HyperLogLog

Redis6学习笔记（万字总结_从入门到起飞）_第15张图片

基数：{1，2，2，3，4，5} 去重后是{1，2，3，4，5} 基数就是5

命令操作：

  1. pfadd [element...]：添加指定元素到HyperLogLog中，执行命令后，若基数发生变化则返回1，否则返回0

     

  2. pfcount [key...]：计算基数值

     

  3. pfmerge [其中，sourcekey可以为多个]：将多个HyperLogLog数据类型进行合并，例子比如将月活跃用户数与日活跃用户数进行合并，就可以使用pfcount进行统计基数 

 Redis6学习笔记（万字总结_从入门到起飞）_第16张图片

Geospatial

Redis6学习笔记（万字总结_从入门到起飞）_第17张图片

Redis6学习笔记（万字总结_从入门到起飞）_第18张图片

Redis6学习笔记（万字总结_从入门到起飞）_第19张图片

Redis6学习笔记（万字总结_从入门到起飞）_第20张图片

Redis6学习笔记（万字总结_从入门到起飞）_第21张图片

事务和锁机制

Redis 事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。

Redis 事务的主要作用就是串联多个命令防止别的命令插队。

Multi、Exec、Discard

Redis6学习笔记（万字总结_从入门到起飞）_第22张图片​

Multi

Exec

Discard

从输入 Multi 命令开始，输入的命令都会依次进入命令队列中，但不会执行，直到输入 Exec 后，Redis 会将之前的命令队列中的命令依次执行。

组队的过程中可以通过 Discard 来放弃组队。

​ Redis的事务就是：先使用multi进行命令的添加（组队过程），组队完毕后，使用exec进行执行，这个执行过程不能被其他命令打断（相当于事务执行的过程），如果要中止，就使用discard命令（类似于回滚操作）。

  • multi开启组队，输入命令；组队成功，exec执行事务，执行完毕，事务结束Redis6学习笔记（万字总结_从入门到起飞）_第23张图片

  • 放弃组队Redis6学习笔记（万字总结_从入门到起飞）_第24张图片

  • 组队中有命令错误，不会执行Redis6学习笔记（万字总结_从入门到起飞）_第25张图片

  • 组队中不报错，执行时报错Redis6学习笔记（万字总结_从入门到起飞）_第26张图片

悲观锁

悲观锁（Pessimistic Lock），即每次去拿数据的时候都认为有其他线程会修改，所以每次在拿数据的时候都会上锁，这样其他线程想要拿到这个数据就会被 block 直到释放锁后，成功拿到锁。（效率低，操作之前先上锁）

乐观锁

乐观锁（Optimistic Lock），即每次去拿数据的时候都认为其他线程不会修改，所以不会上锁，但是在更新的时候会判断，在此期间有没有其他线程去更新这个数据，可以使用版本号控制等机制。

乐观锁适用于多读的应用类型，这样可以提高吞吐量。

Redis 就是利用这种 check-and-set 机制实现事务的。

Watch、unwatch

在执行 multi 之前，先执行 watch key1 [key.....]，可以监视一个（或多个 ）key 。如果在事务执行之前，这个 key 被其他命令所改动，那么事务将被打断。（类似于上锁，一旦发现watch的这个key被修改了，那么自己的exec操作就会中断）

取消 WATCH 命令对所有 key 的监视：如果在执行 WATCH 命令之后，EXEC 命令或 DISCARD 命令先被执行，那么就不需要再执行 UNWATCH 。Redis6学习笔记（万字总结_从入门到起飞）_第27张图片

事务三特性

  • 单独的隔离操作

    事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。

  • 没有隔离级别的概念

    队列中的命令没有提交之前都不会实际被执行，因为事务提交前任何指令都不会被实际执行。

  • 不保证原子性

    事务中如果有一条命令执行失败，其后的命令仍然会被执行，没有回滚 。

模拟秒杀

 Controller层

package com.hubin.controller;


import com.hubin.service.RedisService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.Random;
import java.util.UUID;

@RestController
public class RedisController {

    @Autowired
    RedisService redisService;

    @RequestMapping("/test")
        public String seckilll(){
        String mid = UUID.randomUUID().toString().replace("-", "");
        String proId=UUID.randomUUID().toString().replace("-","");

        String doseekill = redisService.doseekill(mid, proId);
        return doseekill;
    }
}

service层

package com.hubin.service.impl;


import com.hubin.service.RedisService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.dao.DataAccessException;
import org.springframework.data.redis.core.RedisOperations;
import org.springframework.data.redis.core.SessionCallback;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Service;

import java.util.List;

@Service
public class RedisServiceImpl   implements RedisService {

    @Autowired
//    StringRedisTemplate redisTemplate;
    StringRedisTemplate redisTemplate;

    @Override
    public String doseekill(String mid, String proId) {
        redisTemplate.setEnableTransactionSupport(true);
        //1.判断非空
        //略
        //2.拼接key
        String midKey="sk:"+mid+"user";
        String proKey="sk:"+proId+"pro";

        List execute = redisTemplate.execute(new SessionCallback>() {
            @Override
            public List execute(RedisOperations redisOperations) throws DataAccessException {
                redisTemplate.watch("ware");
                String ware = redisTemplate.opsForValue().get("ware");
                //4.获取库存如果没有，则还么开始
                if (ware == null) {
                    System.out.println("还没开始");
                    return null;
                }
                //5.判断用户是否在重复秒杀操作
                String s = redisTemplate.opsForValue().get(midKey);
                if (s != null) {
                    System.out.println("该用户已经秒杀过了");
                    return null;
                }

                //6如果没有货物了则秒杀结束
                if (Integer.parseInt(ware) < 1) {
                    System.out.println("货物已经销售完毕");
                    return null;
                }
                //7秒杀
                redisOperations.multi();
                redisOperations.opsForValue().decrement("ware");
                redisOperations.opsForValue().set(midKey, proKey);
                return redisOperations.exec();
            }
        });
        if(execute!=null&&execute.size()!=0){
            System.out.println(execute);
            System.out.println("秒杀成功");
            return "秒杀成功";
        }
        return "秒杀失败";
    }
}
 
  
html
 
  



    
    Title


        

            
        




 
  
超卖情况
 
  
Redis6学习笔记（万字总结_从入门到起飞）_第28张图片
 
  
Redis6学习笔记（万字总结_从入门到起飞）_第29张图片
 
  
 
  
 
  
 
   
Redis中两种持久化机制
 
   
两种持久化机制，RDB和AOF，简单来说就是存数据使用的哪种机制，默认是使用RDB(Redis DataBase)。
 
  
 
  
 
   
RDB
 
   
Redis DataBase
 
   
​ 在指定的时间间隔内将内存中的 数据集快照 写入磁盘，即 Snapshot 快照，恢复时是将快照文件直接读到内存里。
 
   
​ 周期性地进行持久化的操作
 
  
 
  
 
  
Redis 会单独创建一个子进程（fork）来进行持久化。
 
  
Redis6学习笔记（万字总结_从入门到起飞）_第30张图片
 
  
底层执行过程：先将数据写入到一个临时文件中，待持久化过程完成后（同步过程完成），再将这个临时文件内容覆盖到 dump.rdb（持久化文件）。
 
  
     
   
  • 整个过程中，主进程是不进行任何 IO 操作的，这就确保了极高的性能。
    •  
   
  • 为什么要先同步到文件临时区域而不直接同步到rdb中？若同步过程中发生异常情况中断，不会导致数据库中的数据发生损坏，待同步过程完成后，用临时文件替代这个持久化的文件，保证了数据的完整性和一致性。
    •  
   
  • 如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那 RDB 方式要比 AOF 方式更加的高效。
    •  
  
 
  
RDB 的缺点是最后一次持久化后的数据可能丢失。
 
  
Fork
 
  
     
   
  •  
    Redis进程执行fork操作创建子进程，RDB持久化过程由子进程负责，完成后自动结束。阻塞只发生在fork阶段，一般时间很短。
     
    •  
   
  •  
    作用是复制一个与当前进程一样的进程。新进程的所有数据（变量、环境变量、程序计数器等） 数值都和原进程一致，但是是一个全新的进程，并作为原进程的子进程
     
    •  
   
  •  
    在 Linux 程序中，fork() 会产生一个和父进程完全相同的子进程，但子进程在此后多会 exec 系统调用，出于效率考虑，Linux 中引入了 写时复制技术
     
    •  
   
  •  
    一般情况父进程和子进程会共用同一段物理内存，只有进程空间的各段的内容要发生变化时，才会将父进程的内容复制一份给子进程
     
    •  
  
 
  
配置
 
  
 
   
dump 文件名字
 
   
在 redis.conf 中配置文件名称，默认为 dump.rdb。
 
   
 
   
dump 保存位置
 
   
rdb 文件的保存路径可以修改。默认为 Redis 启动时命令行所在的目录下。Redis6学习笔记（万字总结_从入门到起飞）_第31张图片
 
   
 
   
stop-writes-on-bgsave-error
 
   
即当 redis 无法写入磁盘，关闭 redis 的写入操作。推荐yesRedis6学习笔记（万字总结_从入门到起飞）_第32张图片
 
   
 
   
rdbcompression
 
   
持久化的文件是否进行压缩存储。
 
   
 
 
   
 
   
rdbchecksum
 
   
完整性的检查，即数据是否完整性、准确性。
 
   
Redis6学习笔记（万字总结_从入门到起飞）_第33张图片
 
   
 
   
save
 
   
表示写操作的次数。Redis6学习笔记（万字总结_从入门到起飞）_第34张图片
 
   
 
   
 
    
格式：save 秒 写操作次数

 
   
 
  
 
  
优点
 
  
     
   
  • 适合大规模的数据恢复；
    •  
   
  • 对数据完整性和一致性要求不高更适合使用；
    •  
   
  • 节省磁盘空间；
    •  
   
  • 恢复速度快。
    •  
   
  • redis主进程会fork()一个子进程来处理所有保存工作，主进程不需要进行任何磁盘IO操作
    •  
  
 
  
缺点
 
  
     
   
  • Fork 的时候，内存中的数据被克隆了一份，大致 2 倍的膨胀性需要考虑；
    •  
   
  • 虽然 Redis 在 fork 时使用了写时拷贝技术，但是如果数据庞大时还是比较消耗性能；
    •  
   
  • 在备份周期在一定间隔时间做一次备份，所以如果还没到达指定备份时间间隔的时候，Redis 意外 down 掉的话，就会丢失最后一次快照后的所有修改，数据发生了丢失。
    •  
  
 
  
 
   
AOF
 
   
Append Only File
 
   
​ 以日志的形式来记录每个写操作（增量保存），将 Redis 执行过的所有写指令记录下来（读操作不记录）， 只许追加文件但不可以改写文件（可能是使用的redo和undo日志恢复？）。Redis 启动之初会读取该文件重新构建数据，换言之，如果 Redis 重启就会根据日志文件的内容将写指令从前到后执行一次，以完成数据的恢复工作。
 
   
​ 一种使用追加方式记录数据的方法
 
  
 
  
执行流程
 
  
     
   
  •  
    客户端的请求写命令会被 append 追加到 AOF 缓冲区内；
     
    •  
   
  •  
    AOF 缓冲区根据 AOF 持久化策略 [always,everysec,no] 将操作 sync 同步到磁盘的 AOF 文件中；
     
    •  
   
  •  
    AOF 文件大小超过重写策略或手动重写时，会对 AOF 文件 Rewrite 重写，压缩 AOF 文件容量；
     
    •  
   
  •  
    Redis 服务重启时，会重新 load 加载 AOF 文件中的写操作达到数据恢复的目的。
     
    •  
  
 
  
AOF 和 RDB 同时开启时，系统默认读取 AOF 的数据（数据不会存在丢失）
 
  
配置
 
  
redis.conf中配置开启aof，默认生成的aof配置文件为appendonly.aof，与rdb文件路径一致（启动路径）。
 
  
 
   
AOF 默认不开启 （RDB默认开启）
 
   
     
    
  • Redis6学习笔记（万字总结_从入门到起飞）_第35张图片若AOF和RDB同时开启，系统默认读取AOF的数据（数据不会存在丢失）。
    •  
   
 
   
 文件名字
 
   
 
   
 
   
AOF 同步频率设置
 
   
Redis6学习笔记（万字总结_从入门到起飞）_第36张图片
 
   
 
   
appendfsync always
 
   
​ 始终同步，每次 Redis 的写入都会立刻记入日志；
 
   
​ 性能较差但数据完整性比较好。
 
   
appendfsync everysec
 
   
​ 每秒同步，每秒记入日志一次，如果宕机，本秒的数据可能丢失。
 
   
appendfsync no
 
   
​ Redis 不主动进行同步，把同步时机交给操作系统。
 
   
Rewrite 压缩
 
   
当 AOF 文件的大小超过所设定的阈值时，Redis 就会启动 AOF 文件的内容压缩，只保留可以恢复数据的最小指令集。可以使用命令 bgrewriteaof。
 
   
Redis6学习笔记（万字总结_从入门到起飞）_第37张图片
 
   
 
  
 
  
优点
 
  
     
   
  • 备份机制更稳健，丢失数据概率更低；
    •  
   
  • 可读的日志文本，通过操作 AOF 稳健，可以处理误操作。
    •  
  
 
  
缺点
 
  
     
   
  • 比起 RDB 占用更多的磁盘空间（不仅记录数据还要记录操作）；
    •  
   
  • 恢复备份速度要慢；
    •  
   
  • 每次读写都同步的话，有一定的性能压力；
    •  
   
  • 存在个别 Bug，造成不能恢复。
    •  
  
 
  
总结
 
  
 
   
官方推荐两个都启用。
 
   
如果对数据不敏感（允许数据有部分丢失），可以选单独用 RDB。
 
   
不建议单独用 AOF，因为可能会出现 Bug。
 
   
如果只是做纯内存缓存，可以都不用。
 
  
 
  
 
   
主从复制
 
   
基本介绍
 
   
​ 主机数据更新后根据配置和策略， 自动同步到备机的 master/slaver 机制，Master 以写为主，Slaver 以读为主，即主服务器承担写操作，复制的若干 从服务器 则承担读操作。
 
  
 
  
 
  
Redis6学习笔记（万字总结_从入门到起飞）_第38张图片​
 
  
 
  
特点：
 
  
     
   
  1.  
    读写分离，性能扩展
     
    2.  
  
 
  
Redis6学习笔记（万字总结_从入门到起飞）_第39张图片​​编
 
  
 
  
    2.容灾快速恢复
 
  
         1.某个从服务器发生故障，那么会快速切换到另一个从服务器中，不影响读操作的进行
 
  
     3.一主多从
 
  
          1.只有一台主服务器，供其他从服务器进行复制
 
  
 搭建一主两从
 
  
1.完全复制一份一摸一样的redis文件夹（作为从服务器）
 
  
2.修改第二份里面的redis.windows.conf里面的port，将其修改为与主服务器不一样的端口
 
  
3.在从文件夹里面的redis.windows.conf里面添加一句slaveof 127.0.0.1 6379（这里的6379是我主服务器的端口号）这个配置是为了让从服务器找到主服务器（不在配置文件里面加直接在黑从客户
 
  
端的黑窗口中直接输入也可以）。
 
  
4.依次先启动主服务器=>从服务器=>主客户端=>从客户端，使用info命令查看当前服务器主从状态
 
  
       注意：1.在启动从客户端的时候要以黑窗口形式启动并且指定配置文件不然启动无效。​
 
  
 2.启动从客户端的时候指定启动的端口号不然会启动为主客户端 ​ 
 
  
           
 
  
 
  
一主二从
 
  
特点：
 
  
 
   
主机 6379，从机 6380 和 6381。
 
   
     
    
  1.  
    假设从机 6380 挂掉。（从机挂掉）
     
     
       
      
    • 当6380重启后，6380不再是6379的从机，而是作为新的master；（从机重启后，不再是某个主机的从机，其自身就是一个主机）
      •  
      
    • 当再次把6380作为6379的从机加入后，从机才会把数据从头到尾复制。（从机重启后，需要再输入成为从机的指令）
      •  
     
    2.  
    
  2.  
    假设主机 6379 挂掉。（主机挂掉）
     
     
       
      
    • 6380和6381仍然是6379的从机，不会做任何事；（从机不会改变）
      •  
      
    • 当6379重启后，既然是主服务器。（主机重启后，还是主机）
      •  
     
    3.  
   
 
  
 
  
主从复制原理
 
  
完整版：
 
  
     
   
  •  
    slave 启动成功连接到 master 后会发送一个 sync 命令（同步命令）。
     
    •  
   
  •  
    master 接到命令启动后台的存盘进程，对数据进行持久化操作，同时收集所有接收到的用于修改数据集命令，在后台进程执行完毕之后，master 将传送整个数据文件（rdb）到 slave，以完成一次完全同步。
     
    •  
   
  •  
    当主服务进行写操作后，和从服务器进行数据同步。
     
    •  
   
  •  
    全量复制：而 slave 服务在接收到数据库文件数据后，将其存盘并加载到内存中。
     
    •  
   
  •  
    增量复制：master 继续将新的所有收集到的修改命令依次传给 slave，完成同步。
     
    •  
   
  •  
    只要是重新连接 master，一次完全同步（全量复制）将被自动执行。
     
    •  
  
 
  
 
   
全量复制：是从机主动去请求主机进行同步操作，是一开始连接的时候
 
   
增量复制：主机进行一次写操作之后，就主动同步从机
 
  
 
  
简洁版 
 
  
Redis6学习笔记（万字总结_从入门到起飞）_第40张图片​
 
  
 
  
薪火相传
 
  
​ 上一个 slave 可以是下一个 slave 的 master（从机是另一个从机的主机，并由这个担任主机的从机，进行数据同步），slave 同样可以接收其他 slave的连接和同步请求，那么该 slave 作为了链条中下一个的 master，可以有效减轻 master 的写压力，去中心化降低风险。
 
  
 
   
slaveof  

 
  
 
  
     
   
  •  
    特点与一主二从类似
     
    •  
   
  •  
    中途变更转向：会清除之前的数据，重新建立拷贝最新的。
     
    •  
   
  •  
    当某个担任主机的 slave 宕机，其挂在后面的 slave 都没法备份。
     
    
       
     
    • 即当主机挂掉，从机还是从机，但是无法继续写数据。
      •  
    
    •  
  
 
  
反客为主
 
  
当一个 master 宕机后，后面的 slave 可以立刻升为 master，其后面的 slave 不用做任何修改。（需要手动完成，如果不手动执行的话，那么从机没有任何动作，主机重新启动后，还依旧是主机
 
  
        
 
  
哨兵模式
 
  
基本介绍
 
  
反客为主的自动版，即能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库。
 
  
     
   
  1. 创建 sentinel.conf 文件
    2.  
  
 
  
 
   
/opt/etc/sentinel.conf

 
  
 
  
     
   
  1. 配置哨兵
    2.  
  
 
  
 
   
sentinel monitor mymaster 172.16.xx.xxx 6379 1

# mymaster：给监控对象起的服务器名称
# 1：至少有多少个哨兵同意迁移的数量

 
  
 
  
     
   
  1. 启动哨兵
    2.  
  
 
  
 
   
redis-sentinel  /opt/etc/sentinel.conf 

 
  
 
  
 
   
Window版下为:redis-server.exe sentinel.conf --sentinel
 
  
 
  
主机挂掉，哨兵监控到之后，会按照选举规则，从 从机 中选举中产生新的主机，原来挂掉的主机会变成新主机的从机。
 
  
 Redis6学习笔记（万字总结_从入门到起飞）_第41张图片​ 
 
  
选举规则
 
  
选择条件依次为：Redis6学习笔记（万字总结_从入门到起飞）_第42张图片​
 
  
     
   
  •  
    根据优先级别，slave-priority/replica-priority，优先选择优先级靠前的。（越小优先级越高）Redis6学习笔记（万字总结_从入门到起飞）_第43张图片​
     
     
    •  
   
  •  
    根据偏移量，优先选择偏移量大的。（偏移量是指获得原主机数据最全的）
     
    •  
   
  •  
    若前两个条件相同，那么选择 runid 最小的，优先选择最小的服务
     
    
       
     
    • 每个redis实例启动后，都会随机生成一个40位的runid
      •  
    
    •  
  
 
  
复制延时
 
  
​ 由于所有的写操作都是先在 master 上操作，然后同步更新到 slave 上，所以从 master 同步到 slave 从机有一定的延迟，当系统很繁忙的时候，延迟问题会更加严重，slave 机器数量的增加也会使这个问题更加严重。
 
  
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(redis,学习,数据库)

        

            

                
    
                    
  • 情绪觉察日记第37天
                        露露_e800

                        
    今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
    
                    
    • 
                    
  • 机器学习与深度学习间关系与区别
                        ℒℴѵℯ心·动ꦿ໊ོ꫞
人工智能学习深度学习python
                        
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
    
                    
    • 
                    
  • 铭刻于星（四十二）
                        随风至

                        
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
    
                    
    • 
                    
  • UI学习——cell的复用和自定义cell
                        Magnetic_h
ui学习
                        
    目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
    
                    
    • 
                    
  • 学点心理知识，呵护孩子健康
                        静候花开_7090

                        
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
    
                    
    • 
                    
  • ArcGIS栅格计算器常见公式（赋值、0和空值的转换、补充栅格空值）
                        研学随笔
arcgis经验分享
                        
    我们在使用ArcGIS时通常经常用到栅格计算器，今天主要给大家介绍我日常中经常用到的几个公式，供大家参考学习。将特定值（-9999）赋值为0，例如-9999.Con("raster"==-9999,0,"raster")2.给空值赋予特定的值（如0）Con(IsNull("raster"),0,"raster")3.将特定的栅格值(如1)赋值为空值，其他保留原值SetNull("raster"==
    
                    
    • 
                    
  • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数
                        广龙宇
一起学Rust#Rust设计模式rust设计模式开发语言
                        
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
    
                    
    • 
                    
  • 回溯 Leetcode 332 重新安排行程
                        mmaerd
Leetcode刷题学习记录leetcode算法职场和发展
                        
    重新安排行程Leetcode332学习记录自代码随想录给你一份航线列表tickets，其中tickets[i]=[fromi,toi]表示飞机出发和降落的机场地点。请你对该行程进行重新规划排序。所有这些机票都属于一个从JFK（肯尼迪国际机场）出发的先生，所以该行程必须从JFK开始。如果存在多种有效的行程，请你按字典排序返回最小的行程组合。例如，行程[“JFK”,“LGA”]与[“JFK”,“LGB
    
                    
    • 
                    
  • Python数据分析与可视化实战指南
                        William数据分析
pythonpython数据
                        
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
    
                    
    • 
                    
  • 2019-12-22-22:30
                        涓涓1016

                        
    今天是冬至，写下我的日更，是因为这两天的学习真的是能量的满满，让我看到了自己，未来另外一种可能性，也让我看到了这两年这几年的过程中我所接受那些痛苦的来源。一切的根源和痛苦都来自于人生，家庭，而你的原生家庭，你的爸爸和妈妈，是因为你这个灵魂在那一刻选择他们作为你的爸爸和妈妈来的，所以你得接受他，你得接纳他，他就是因为他的存在而给你的学习和成长带来这些痛苦，那其实是你必然要经历的这个过程，当你去接纳的
    
                    
    • 
                    
  • Google earth studio 简介
                        陟彼高冈yu
旅游
                        
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
    
                    
    • 
                    
  • 将cmd中命令输出保存为txt文本文件
                        落难Coder
Windowscmdwindow
                        
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
    
                    
    • 
                    
  • 关于提高复杂业务逻辑代码可读性的思考
                        编程经验分享
开发经验java数据库开发语言
                        
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
    
                    
    • 
                    
  • SQL Server_查询某一数据库中的所有表的内容
                        qq_42772833
SQLServer数据库sqlserver
                        
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
    
                    
    • 
                    
  • 四章-32-点要素的聚合
                        彩云飘过

                        
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
    
                    
    • 
                    
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具
                        nseejrukjhad
数据库python
                        
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
    
                    
    • 
                    
  • GitHub上克隆项目
                        bigbig猩猩
github
                        
    从GitHub上克隆项目是一个简单且直接的过程，它允许你将远程仓库中的项目复制到你的本地计算机上，以便进行进一步的开发、测试或学习。以下是一个详细的步骤指南，帮助你从GitHub上克隆项目。一、准备工作1.安装Git在克隆GitHub项目之前，你需要在你的计算机上安装Git工具。Git是一个开源的分布式版本控制系统，用于跟踪和管理代码变更。你可以从Git的官方网站（https://git-scm.
    
                    
    • 
                    
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动
                        二挡起步
web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
                        
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
    
                    
    • 
                    
  • Day1笔记-Python简介&标识符和关键字&输入输出
                        ~在杰难逃~
Pythonpython开发语言大数据数据分析数据挖掘
                        
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
    
                    
    • 
                    
  • 人工智能时代，程序员如何保持核心竞争力？
                        jmoych
人工智能
                        
    随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
    
                    
    • 
                    
  • MongoDB Oplog 窗口
                        喝醉酒的小白
MongoDB运维
                        
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
    
                    
    • 
                    
  • node.js学习
                        小猿L
node.jsnode.js学习vim
                        
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
    
                    
    • 
                    
  • 阶段总结反思
                        轻争

                        
    马上就要进入10月份了，今天做一下前段时间的总结和反思。前段时间，日更、英语、健身、护肤坚持的比较好。阅读、书法坚持的不好。1.中间被迫停更半个多月，其余时间一直在坚持日更挑战。偶尔也有不想写的时候，就做一下摘抄。因为阅读（输入）没跟上来，所以写作（输出）质量有待进一步加强。2.英语做到了一周至少学习5天，每次不少于30分钟，但是小班课没有跟上更新速度，下一步要争取利用零碎时间补听小班课。3.减肥
    
                    
    • 
                    
  • python os 环境变量
                        CV矿工
python开发语言numpy
                        
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
    
                    
    • 
                    
  • Redis系列：Geo 类型赋能亿级地图位置计算
                        Ly768768
redisbootstrap数据库
                        
    1前言我们在篇深刻理解高性能Redis的本质的时候就介绍过Redis的几种基本数据结构，它是基于不同业务场景而设计的：动态字符串(REDIS_STRING)：整数(REDIS_ENCODING_INT)、字符串(REDIS_ENCODING_RAW)双端列表(REDIS_ENCODING_LINKEDLIST)压缩列表(REDIS_ENCODING_ZIPLIST)跳跃表(REDIS_ENCODI
    
                    
    • 
                    
  • ARM驱动学习之基础小知识
                        JT灬新一
ARM嵌入式arm开发学习
                        
    ARM驱动学习之基础小知识•sch原理图工程师工作内容–方案–元器件选型–采购（能不能买到，价格）–原理图（涉及到稳定性）•layout画板工程师–layout（封装、布局，布线，log）（涉及到稳定性）–焊接的一部分工作（调试阶段板子的焊接）•驱动工程师–驱动，原理图，layout三部分的交集容易发生矛盾•PCB研发流程介绍–方案，原理图(网表)–layout工程师（gerber文件）–PCB板
    
                    
    • 
                    
  • ARM驱动学习之5 LEDS驱动
                        JT灬新一
嵌入式C底层arm开发学习单片机
                        
    ARM驱动学习之5LEDS驱动知识点：•linuxGPIO申请函数和赋值函数–gpio_request–gpio_set_value•三星平台配置GPIO函数–s3c_gpio_cfgpin•GPIO配置输出模式的宏变量–S3C_GPIO_OUTPUT注意点：DRIVER_NAME和DEVICE_NAME匹配。实现步骤：1.加入需要的头文件：//Linux平台的gpio头文件#include//三
    
                    
    • 
                    
  • ARM驱动学习之4小结
                        JT灬新一
嵌入式C++arm开发学习linux
                        
    ARM驱动学习之4小结#include#include#include#include#include#defineDEVICE_NAME"hello_ctl123"MODULE_LICENSE("DualBSD/GPL");MODULE_AUTHOR("TOPEET");staticlonghello_ioctl(structfile*file,unsignedintcmd,unsignedlo
    
                    
    • 
                    
  • 展现思维导图魅力，不断挖掘人生宝藏
                        思维导图讲师Mandy

                        
    第13期最强思维导图训练营已经结束一周了，但是我依旧是感觉所有学员还在努力的学习，这些学员中有教师、学生、白领、公务员、宝妈等等，只要你努力，只要你想改变自己，任何行业，任何岗位都可以参与进来，28天足以让你见成效，在这28天中，我们的学员不仅仅是收获了一枚毕业证，最重要的是让自己的思维方式得到升级，今天的你为自己投资，明天的你就会感谢你今天的付出，我们来听一听来自13期最强思维导图训练营优秀学员
    
                    
    • 
                    
  • 【PG】常见数据库、表属性设置
                        江无羡
数据库
                        
    PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
    
                    
    • 
                                
  • 插入表主键冲突做更新
                                    a-john

                                    
    有以下场景： 
用户下了一个订单，订单内的内容较多，且来自多表，首次下单的时候，内容可能会不全（部分内容不是必须，出现有些表根本就没有没有该订单的值）。在以后更改订单时，有些内容会更改，有些内容会新增。 
问题： 
如果在sql语句中执行update操作，在没有数据的表中会出错。如果在逻辑代码中先做查询，查询结果有做更新，没有做插入，这样会将代码复杂化。 
解决： 
mysql中提供了一个sql语
    
                                
    • 
                                
  • Android xml资源文件中@、@android:type、@*、？、@+含义和区别
                                    Cb123456
@+@?@*
                                    
    一.@代表引用资源 
1.引用自定义资源。格式：@[package:]type/name 
android：text="@string/hello" 
  
2.引用系统资源。格式：@android:type/name 
    android:textColor="@android:color/opaque_red"
    
                                
    • 
                                
  • 数据结构的基本介绍
                                    天子之骄
数据结构散列表树、图线性结构价格标签
                                    
    数据结构的基本介绍 
数据结构就是数据的组织形式，用一种提前设计好的框架去存取数据，以便更方便，高效的对数据进行增删查改。正确选择合适的数据结构，对软件程序的高效执行的影响作用不亚于算法的设计。此外，在计算机系统中数据结构的作用也是非同小可。例如常常在编程语言中听到的栈，堆等，就是经典的数据结构。 
  
经典的数据结构大致如下： 
  
一：线性数据结构 
(1)：列表 
a
    
                                
    • 
                                
  • 通过二维码开放平台的API快速生成二维码
                                    一炮送你回车库
api
                                    
     现在很多网站都有通过扫二维码用手机连接的功能，联图网(http://www.liantu.com/pingtai/)的二维码开放平台开放了一个生成二维码图片的Api,挺方便使用的。闲着无聊，写了个前台快速生成二维码的方法。 
       html代码如下:(二维码将生成在这div下)    
?       1      
 &nbs
    
                                
    • 
                                
  • ImageIO读取一张图片改变大小
                                    3213213333332132
javaIOimageBufferedImage
                                    
    
package com.demo;

import java.awt.image.BufferedImage;
import java.io.File;
import java.io.IOException;

import javax.imageio.ImageIO;

/**
 * @Description 读取一张图片改变大小
 * @author FuJianyon
    
                                
    • 
                                
  • myeclipse集成svn（一针见血）
                                    7454103
eclipseSVNMyEclipse
                                    
                                     &n
    
                                
    • 
                                
  • 装箱与拆箱----autoboxing和unboxing
                                    darkranger
J2SE
                                    
    4.2　自动装箱和拆箱 
 
基本数据(Primitive)类型的自动装箱(autoboxing)、拆箱(unboxing)是自J2SE 5.0开始提供的功能。虽然为您打包基本数据类型提供了方便，但提供方便的同时表示隐藏了细节，建议在能够区分基本数据类型与对象的差别时再使用。 
 
4.2.1　autoboxing和unboxing 
 
在Java中，所有要处理的东西几乎都是对象(Object)
    
                                
    • 
                                
  • ajax传统的方式制作ajax
                                    aijuans
Ajax
                                    
    //这是前台的代码 
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <% String path = request.getContextPath(); String basePath = request.getScheme()+
    
                                
    • 
                                
  • 只用jre的eclipse是怎么编译java源文件的？
                                    avords
javaeclipsejdktomcat
                                    
    eclipse只需要jre就可以运行开发java程序了，也能自动 编译java源代码，但是jre不是java的运行环境么，难道jre中也带有编译工具？ 还是eclipse自己实现的？谁能给解释一下呢问题补充：假设系统中没有安装jdk or jre，只在eclipse的目录中有一个jre，那么eclipse会采用该jre，问题是eclipse照样可以编译java源文件，为什么呢？ 
&nb
    
                                
    • 
                                
  • 前端模块化
                                    bee1314
模块化
                                    
    背景：   前端JavaScript模块化，其实已经不是什么新鲜事了。但是很多的项目还没有真正的使用起来，还处于刀耕火种的野蛮生长阶段。       JavaScript一直缺乏有效的包管理机制，造成了大量的全局变量，大量的方法冲突。我们多么渴望有天能像Java（import），Python (import)，Ruby(require)那样写代码。在没有包管理机制的年代，我们是怎么避免所
    
                                
    • 
                                
  • 处理百万级以上的数据处理
                                    bijian1013
oraclesql数据库大数据查询
                                    
    一.处理百万级以上的数据提高查询速度的方法：        1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 
        2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 o
    
                                
    • 
                                
  • mac 卸载 java 1.7 或更高版本
                                    征客丶
javaOS
                                    
    卸载 java 1.7 或更高 
sudo rm -rf /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin 
成功执行此命令后，还可以执行 java 与 javac 命令 
 
sudo rm -rf /Library/PreferencePanes/JavaControlPanel.prefPane 
成功执行此命令后，还可以执行 java 
    
                                
    • 
                                
  • 【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析
                                    bit1129
Stream
                                    
    第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中 
第二部，Spark Streaming读取Kafka中的数据，进行实时分析 
  
本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接 1. Flume配置 
1. 下载Flume和Kafka集成的插件，下载地址：https://github.com/beyondj2ee/f
    
                                
    • 
                                
  • Erlang vs TNSDL
                                    bookjovi
erlang
                                    
      
    TNSDL是Nokia内部用于开发电信交换软件的私有语言，是在SDL语言的基础上加以修改而成，TNSDL需翻译成C语言得以编译执行，TNSDL语言中实现了异步并行的特点，当然要完整实现异步并行还需要运行时动态库的支持，异步并行类似于Erlang的process（轻量级进程），TNSDL中则称之为hand，Erlang是基于vm(beam)开发，
    
                                
    • 
                                
  • 非常希望有一个预防疲劳的java软件, 预防过劳死和眼睛疲劳,大家一起努力搞一个
                                    ljy325
企业应用
                                    
    　非常希望有一个预防疲劳的java软件，我看新闻和网站，国防科技大学的科学家累死了，太疲劳，老是加班，不休息，经常吃药，吃药根本就没用，根本原因是疲劳过度。我以前做java,那会公司垃圾，老想赶快学习到东西跳槽离开，搞得超负荷，不明理。深圳做软件开发经常累死人，总有不明理的人，有个软件提醒限制很好，可以挽救很多人的生命。 
 
相关新闻： 
（1）IT行业成五大疾病重灾区：过劳死平均37.9岁 

    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-原型模式
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 



/**
 * Effective Java 建议使用copy constructor or copy factory来代替clone()方法：
 * 1.public Product copy(Product p){}
 * 2.publi
    
                                
    • 
                                
  • 配置管理---svn工具之权限配置
                                    chenyu19891124
SVN
                                    
    今天花了大半天的功夫，终于弄懂svn权限配置。下面是今天收获的战绩。 
安装完svn后就是在svn中建立版本库，比如我本地的是版本库路径是C:\Repositories\pepos。pepos是我的版本库。在pepos的目录结构 
pepos 
   component 
   webapps 
在conf里面的auth里赋予的权限配置为 
[groups]
    
                                
    • 
                                
  • 浅谈程序员的数学修养
                                    comsci
设计模式编程算法面试招聘
                                    
             
                        浅谈程序员的数学修养 
    
                                
    • 
                                
  • 批量执行 bulk collect与forall用法
                                    daizj
oraclesqlbulk collectforall
                                    
    BULK COLLECT 子句会批量检索结果，即一次性将结果集绑定到一个集合变量中，并从SQL引擎发送到PL/SQL引擎。通常可以在SELECT INTO、 
FETCH INTO以及RETURNING INTO子句中使用BULK COLLECT。本文将逐一描述BULK COLLECT在这几种情形下的用法。 
    有关FORALL语句的用法请参考：批量SQL之 F
    
                                
    • 
                                
  • Linux下使用rsync最快速删除海量文件的方法
                                    dongwei_6688
OS
                                    
    1、先安装rsync：yum install rsync 
2、建立一个空的文件夹：mkdir /tmp/test 
3、用rsync删除目标目录：rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/这样我们要删除的log目录就会被清空了，删除的速度会非常快。rsync实际上用的是替换原理，处理数十万个文件也是秒删。 

    
                                
    • 
                                
  • Yii CModel中rules验证规格
                                    dcj3sjt126com
rulesyiivalidate
                                    
    Yii cValidator主要用法分析：  
 yii验证rulesit 分类： Yii yii的rules验证 cValidator主要属性 attributes ,builtInValidators,enableClientValidation,message,on,safe,skipOnError 
 
    
                                
    • 
                                
  • 基于vagrant的redis主从实验
                                    dcj3sjt126com
vagrant
                                    
    平台: Mac 
工具: Vagrant 
系统: Centos6.5 
实验目的: Redis主从 
  
实现思路 
制作一个基于sentos6.5, 已经安装好reids的box, 添加一个脚本配置从机, 然后作为后面主机从机的基础box 
  
制作sentos6.5+redis的box 
  
mkdir vagrant_redis 
cd vagrant_
    
                                
    • 
                                
  • Memcached(二)、Centos安装Memcached服务器
                                    frank1234
centosmemcached
                                    
    一、安装gcc 
rpm和yum安装memcached服务器连接没有找到，所以我使用的是make的方式安装，由于make依赖于gcc，所以要先安装gcc 
 
开始安装，命令如下，[color=red][b]顺序一定不能出错[/b][/color]：

建议可以先切换到root用户，不然可能会遇到权限问题：su root 输入密码......


rpm -ivh kernel-head
    
                                
    • 
                                
  • Remove Duplicates from Sorted List
                                    hcx2013
remove
                                    
    Given a sorted linked list, delete all duplicates such that each element appear only once. 
For example,Given 1->1->2, return 1->2.Given 1->1->2->3->3, return&
    
                                
    • 
                                
  • Spring4新特性——JSR310日期时间API的支持
                                    jinnianshilongnian
spring4
                                    
    Spring4新特性——泛型限定式依赖注入 
Spring4新特性——核心容器的其他改进 
Spring4新特性——Web开发的增强 
Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  
Spring4新特性——Groovy Bean定义DSL 
Spring4新特性——更好的Java泛型操作API  
Spring4新
    
                                
    • 
                                
  • 浅谈enum与单例设计模式
                                    247687009
java单例
                                    
    在JDK1.5之前的单例实现方式有两种(懒汉式和饿汉式并无设计上的区别故看做一种)，两者同是私有构
造器，导出静态成员变量，以便调用者访问。

第一种 
package singleton;

public class Singleton {
        //导出全局成员
        public final static Singleton INSTANCE = new S
    
                                
    • 
                                
  • 使用switch条件语句需要注意的几点
                                    openwrt
cbreakswitch
                                    
    1. 当满足条件的case中没有break，程序将依次执行其后的每种条件（包括default）直到遇到break跳出 
 
int main()
{
    int n = 1;
    switch(n) {
    case 1:
        printf("--1--\n");
    default:
        printf("defa
    
                                
    • 
                                
  • 配置Spring Mybatis JUnit测试环境的应用上下文
                                    schnell18
springmybatisJUnit
                                    
    Spring-test模块中的应用上下文和web及spring boot的有很大差异。主要试下来差异有： 
 
 单元测试的app context不支持从外部properties文件注入属性 
 @Value注解不能解析带通配符的路径字符串 
 
解决第一个问题可以配置一个PropertyPlaceholderConfigurer的bean。 
第二个问题的具体实例是： 
   
    
                                
    • 
                                
  • Java 定时任务总结一
                                    tuoni
javaspringtimerquartztimertask
                                    
     Java定时任务总结  一.从技术上分类大概分为以下三种方式：  1.Java自带的java.util.Timer类，这个类允许你调度一个java.util.TimerTask任务;   说明：    java.util.Timer定时器，实际上是个线程，定时执行TimerTask类 &
    
                                
    • 
                                
  • 一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法
                                    yangshangchuan
rank相似度计算文本相似度词袋模型余弦相似度
                                    
    本文描述了一种在ITEYE博客频道上面出现的新型的商业广告形式及其应对方法，对于其他的用户生成内容站点类型也具有同样的适用性。 
  
最近在ITEYE博客频道上面出现了一种新型的商业广告形式，方法如下： 
    1、注册多个账号（一般10个以上）。 
    2、从多个账号中选择一个账号，发表1-2篇博文
    
                                
    •