浪子呦
浪子呦

学习笔记--redis

  • redis是一款高性能nosql系列的非关系型数据库，最常被开发人员来作为缓存使用
  • mysql是将数据存储到硬盘上的，而redis是将数据存储到内存中的
  • redis是（k，v）结构的，k一般为字符串类型，v一般有五种基本类型和三种特殊类型

下载安装

  1. 官网：https://redis.io

  2. 中文网：http://www.redis.net.cn/

  3. 解压直接可以使用：

​ * redis.windows.conf：配置文件

​ * redis-cli.exe：redis的客户端

​ * redis-server.exe：redis服务器端

value的五种基本类型：

  1. 字符串类型 string

    存储：set key value

    eg：set name aaa（输出：ok）

    获取：get key

    eg：get name（输出：aaa）

    删除：del key

    eg：del name（输出：ok）

  2. 哈希类型 hash：map形式

    存储：hset key field value（field为map的k）

    eg：hset name a aaa（输出：ok）

    获取：hget key field

    eg：hget name a（输出：aaa）

    删除：hdel key field

    eg：hdel name a（输出：ok）

  3. 列表类型 list：linkedlist格式，支持重复元素

    存储：lpush key value（list类型，lpush为将元素添加到前边/左边）

    ​ rpush key value（rpush为将元素添加到后边/右边）

    eg：rpush name aaa（输出：ok）

    获取：lrange key start end（范围获取）

    eg：lrange name 0 -1（输出：aaa）

    删除：ipop key（删除最左边的，并返回删除的值）

    ​ rpop key（删除最右边的，并返回删除的值）

    eg：ipop name（输出：ok）

  4. 集合类型 set：不支持重复元素

    存储：sadd key value

    eg：sadd name aaa（输出：ok）

    获取：smembers key（获取所有）

    eg：smembers name

    删除：srem key value

    eg：srem name aaa（输出：ok）

  5. 有序集合类型 sortedset：不支持重复元素且元素有顺序

    存储：zadd key score value（每个添加的值都需要关联一个score，它是一个数字，用来集合排序，顺序为从小到大）

    eg：zadd name 60 aaa（输出：ok）

    获取：zrange key start end [withscores]

    eg：zrange key 0 -1（输出：aaa，withscores可选，加上了它输出为：aaa 60）

    删除：zrem key value

    eg：zrem name aaa（输出：ok）

  6. 通用命令：

    keys * : 查询所有的键

    type key ： 获取键对应的value的类型

    del key：删除指定的key value

持久化

AOF 持久化

  • AOF - 将每条写命令追加至 aof 文件，当重启时会执行 aof 文件中每条命令来重建内存数据
  • AOF 日志是写后日志，即先执行命令，再记录日志
    • Redis 为了性能，向 aof 记录日志时没有对命令进行语法检查，如果要先记录日志，那么日志里就会记录语法错误的命令
  • 记录 AOF 日志时，有三种同步策略
    • Always 同步写，日志写入磁盘再返回，可以做到基本不丢数据，性能不高
      • 为什么说基本不丢呢，因为 aof 是在 serverCron 事件循环中执行 aof 写入的，并且这次写入的是上一次循环暂存在 aof 缓冲中的数据，因此最多还是可能丢失一个循环的数据
    • Everysec 每秒写，日志写入 AOF 文件的内存缓冲区，每隔一秒将内存缓冲区数据刷入磁盘，最多丢一秒的数据
    • No 操作系统写，日志写入AOF 文件的内存缓冲区，由操作系统决定何时将数据刷入磁盘

AOF 重写

  • AOF 文件太大引起的问题
    1. 文件大小受操作系统限制
    2. 文件太大，写入效率变低
    3. 文件太大，恢复时非常慢
  • 重写就是对同一个 key 的多次操作进行瘦身
    1. 例如一个 key 我改了 100 遍，aof 里记录了100 条修改日志，但实际上只有最后一次有效
    2. 重写无需操作现有 aof 日志，只需要根据当前内存数据的状态，生成相应的命令，记入一个新的日志文件即可
    3. 重写过程是由另一个后台子进程完成的，不会阻塞主进程
  • AOF 重写过程
    1. 创建子进程时会根据主进程生成内存快照，只需要对子进程的内存进行遍历，把每个 key 对应的命令写入新的日志文件（即重写日志）
    2. 此时如果有新的命令执行，修改的是主进程内存，不会影响子进程内存，并且新命令会记录到 重写缓冲区
    3. 等子进程所有的 key 处理完毕，再将 重写缓冲区 记录的增量指令写入重写日志
    4. 在此期间旧的 AOF 日志仍然在工作，待到重写完毕，用重写日志替换掉旧的 AOF 日志

RDB 持久化

  • RDB - 是把整个内存数据以二进制方式写入磁盘
    • 对应数据文件为 dump.rdb
    • 好处是恢复速度快
  • 相关命令有两个
    • save - 在主进程执行，会阻塞其它命令
    • bgsave - 创建子进程执行，避免阻塞，是默认方式
      • 子进程不会阻塞主进程，但创建子进程的期间，仍会阻塞，内存越大，阻塞时间越长
      • bgsave 也是利用了快照机制，执行 RDB 持久化期间如果有新数据写入，新的数据修改发生在主进程，子进程向 RDB 文件中写入还是旧的数据，这样新的修改不会影响到 RDB 操作
      • 但这些新数据不会补充至 RDB 文件
  • 缺点： 可以通过调整 redis.conf 中的 save 参数来控制 rdb 的执行周期，但这个周期不好把握
    • 频繁执行的话，会影响性能
    • 偶尔执行的话，如果宕机又容易丢失较多数据

混合持久化

  • 从 4.0 开始，Redis 支持混合持久化，即使用 RDB 作为全量备份，两次 RDB 之间使用 AOF 作为增量备份
    • 配置项 aof-use-rdb-preamble 用来控制是否启用混合持久化，默认值 no
    • 持久化时将数据都存入 AOF 日志，日志前半部分为二进制的 RDB 格式，后半部分是 AOF 命令日志
    • 下一次 RDB 时，会覆盖之前的日志文件
  • 优缺点
    • 结合了 RDB 与 AOF 的优点，恢复速度快，增量用 AOF 表示，数据更完整（取决于同步策略）、也无需 AOF 重写
    • 与旧版本的 redis 文件格式不兼容

java集成redis

* Jedis: 一款java操作redis数据库的工具.
		* 使用步骤：
			1. 下载jedis的jar包
			2. 使用
				//1. 获取连接
        		Jedis jedis = new Jedis("localhost",6379);
       			//2. 操作
       			jedis.set("username","zhangsan");
        		//3. 关闭连接
        		jedis.close();

		
		* Jedis操作各种redis中的数据结构
			1) 字符串类型 string
				set
				get
				
				 //1. 获取连接
		        Jedis jedis = new Jedis();//如果使用空参构造，默认值 "localhost",6379端口
		        //2. 操作
		        //存储
		        jedis.set("username","zhangsan");
		        //获取
		        String username = jedis.get("username");
		        System.out.println(username);
		
		        //可以使用setex()方法存储可以指定过期时间的 key value
		        jedis.setex("activecode",20,"hehe");//将activecode：hehe键值对存入redis，并且20秒后自动删除该键值对
		
		        //3. 关闭连接
		        jedis.close();

			2) 哈希类型 hash ： map格式  
				hset
				hget
				hgetAll
				//1. 获取连接
		        Jedis jedis = new Jedis();//如果使用空参构造，默认值 "localhost",6379端口
		        //2. 操作
		        // 存储hash
		        jedis.hset("user","name","lisi");
		        jedis.hset("user","age","23");
		        jedis.hset("user","gender","female");
		
		        // 获取hash
		        String name = jedis.hget("user", "name");
		        System.out.println(name);
		
		
		        // 获取hash的所有map中的数据
		        Map user = jedis.hgetAll("user");
		
		        // keyset
		        Set keySet = user.keySet();
		        for (String key : keySet) {
		            //获取value
		            String value = user.get(key);
		            System.out.println(key + ":" + value);
		        }
		
		        //3. 关闭连接
		        jedis.close();


			3) 列表类型 list ： linkedlist格式。支持重复元素
				lpush / rpush
				lpop / rpop
				lrange start end : 范围获取
				
				 //1. 获取连接
		        Jedis jedis = new Jedis();//如果使用空参构造，默认值 "localhost",6379端口
		        //2. 操作
		        // list 存储
		        jedis.lpush("mylist","a","b","c");//从左边存
		        jedis.rpush("mylist","a","b","c");//从右边存
		
		        // list 范围获取
		        List mylist = jedis.lrange("mylist", 0, -1);
		        System.out.println(mylist);
		        
		        // list 弹出
		        String element1 = jedis.lpop("mylist");//c
		        System.out.println(element1);
		
		        String element2 = jedis.rpop("mylist");//c
		        System.out.println(element2);
		
		        // list 范围获取
		        List mylist2 = jedis.lrange("mylist", 0, -1);
		        System.out.println(mylist2);
		
		        //3. 关闭连接
		        jedis.close();


			4) 集合类型 set  ： 不允许重复元素
				sadd
				smembers:获取所有元素

				//1. 获取连接
		        Jedis jedis = new Jedis();//如果使用空参构造，默认值 "localhost",6379端口
		        //2. 操作
		
		
		        // set 存储
		        jedis.sadd("myset","java","php","c++");
		
		        // set 获取
		        Set myset = jedis.smembers("myset");
		        System.out.println(myset);
		
		        //3. 关闭连接
		        jedis.close();
			5) 有序集合类型 sortedset：不允许重复元素，且元素有顺序
				zadd
				zrange

				//1. 获取连接
		        Jedis jedis = new Jedis();//如果使用空参构造，默认值 "localhost",6379端口
		        //2. 操作
		        // sortedset 存储
		        jedis.zadd("mysortedset",3,"亚瑟");
		        jedis.zadd("mysortedset",30,"后裔");
		        jedis.zadd("mysortedset",55,"孙悟空");
		
		        // sortedset 获取
		        Set mysortedset = jedis.zrange("mysortedset", 0, -1);
		
		        System.out.println(mysortedset);
		
		
		        //3. 关闭连接
		        jedis.close();


		
		* jedis连接池： JedisPool
			* 使用：
				1. 创建JedisPool连接池对象
				2. 调用方法 getResource()方法获取Jedis连接
					//0.创建一个配置对象
			        JedisPoolConfig config = new JedisPoolConfig();
			        config.setMaxTotal(50);
			        config.setMaxIdle(10);
			
			        //1.创建Jedis连接池对象
			        JedisPool jedisPool = new JedisPool(config,"localhost",6379);
			
			        //2.获取连接
			        Jedis jedis = jedisPool.getResource();
			        //3. 使用
			        jedis.set("hehe","heihei");
			
			
			        //4. 关闭 归还到连接池中
			        jedis.close();
			
			* 连接池工具类
				public class JedisPoolUtils {

				    private static JedisPool jedisPool;
				
				    static{
				        //读取配置文件
				        InputStream is = JedisPoolUtils.class.getClassLoader().getResourceAsStream("jedis.properties");
				        //创建Properties对象
				        Properties pro = new Properties();
				        //关联文件
				        try {
				            pro.load(is);
				        } catch (IOException e) {
				            e.printStackTrace();
				        }
				        //获取数据，设置到JedisPoolConfig中
				        JedisPoolConfig config = new JedisPoolConfig();
				        config.setMaxTotal(Integer.parseInt(pro.getProperty("maxTotal")));
				        config.setMaxIdle(Integer.parseInt(pro.getProperty("maxIdle")));
				
				        //初始化JedisPool
				        jedisPool = new JedisPool(config,pro.getProperty("host"),Integer.parseInt(pro.getProperty("port")));
				    }
				
				    /**
				     * 获取连接方法
				     */
				    public static Jedis getJedis(){
				        return jedisPool.getResource();
				    }
				}

springboot整合jedis

学习笔记--redis_第1张图片

学习笔记--redis_第2张图片

学习笔记--redis_第3张图片

sprinboot整合redis–redistemplate方式（是spring框架对jedis和lettuce的封装）

学习笔记--redis_第4张图片

学习笔记--redis_第5张图片

springboot整合后使用@Autowired注解自动注入使用，eg：

@Autowired
Redistemplate redistemplate;

redistemplate

1.String：

//void set(K key, V value);
redisTemplate.opsForValue().set("num","123");
redisTemplate.opsForValue().get("num")  输出结果为123

//void set(K key, V value, long timeout, TimeUnit unit);
redisTemplate.opsForValue().set("num","123",10, TimeUnit.SECONDS);
redisTemplate.opsForValue().get("num")设置的是10秒失效，十秒之内查询有结果，十秒之后返回为null

//void set(K key, V value, long offset);
//覆写(overwrite)给定 key 所储存的字符串值，从偏移量 offset 开始
template.opsForValue().set("key","hello world");
template.opsForValue().set("key","redis", 6);
System.out.println("***************"+template.opsForValue().get("key"));
//结果：***************hello redis

//V get(Object key);
template.opsForValue().set("key","hello world");
System.out.println("***************"+template.opsForValue().get("key"));
结果：***************hello world

//V getAndSet(K key, V value); 
//设置键的字符串值并返回其旧值
template.opsForValue().set("getSetTest","test");
System.out.println(template.opsForValue().getAndSet("getSetTest","test2"));
结果：test

//Integer append(K key, String value);
//如果key已经存在并且是一个字符串，则该命令将该值追加到字符串的末尾。如果键不存在，则它被创建并设置为空字符串，因此APPEND在这种特殊情况下将类似于SET。
template.opsForValue().append("test","Hello");
System.out.println(template.opsForValue().get("test"));
template.opsForValue().append("test","world");
System.out.println(template.opsForValue().get("test"));
Hello
Helloworld

//Long size(K key);
//返回key所对应的value值得长度
template.opsForValue().set("key","hello world");
System.out.println("***************"+template.opsForValue().size("key"));
***************11

2.List:

//Long size(K key);
//返回存储在键中的列表的长度。如果键不存在，则将其解释为空列表，并返回0。当key存储的值不是列表时返回错误。
System.out.println(template.opsForList().size("list"));
6

//Long leftPush(K key, V value);
//将所有指定的值插入存储在键的列表的头部。如果键不存在，则在执行推送操作之前将其创建为空列表。（从左边插入）
template.opsForList().leftPush("list","java");
template.opsForList().leftPush("list","python");
template.opsForList().leftPush("list","c++");
返回的结果为推送操作后的列表的长度
1
2
3

//V range(K key, int a,int b);
//查询，a为从左到右，从0开始，b为从右到左，从-1开始
String[] strs = new String[]{"1","2","3"};
template.opsForList().leftPushAll("list",strs);
System.out.println(template.opsForList().range("list",0,-1));
[3, 2, 1]

//Long leftPushAll(K key, V... values);
//批量把一个数组插入到列表中
String[] strs = new String[]{"1","2","3"};
template.opsForList().leftPushAll("list",strs);
System.out.println(template.opsForList().range("list",0,-1));
[3, 2, 1]

//Long rightPush(K key, V value);
//将所有指定的值插入存储在键的列表的头部。如果键不存在，则在执行推送操作之前将其创建为空列表。（从右边插入）
template.opsForList().rightPush("listRight","java");
template.opsForList().rightPush("listRight","python");
template.opsForList().rightPush("listRight","c++");
1
2
3

//Long rightPushAll(K key, V... values);
String[] strs = new String[]{"1","2","3"};
template.opsForList().rightPushAll("list",strs);
System.out.println(template.opsForList().range("list",0,-1));
[1, 2, 3]

//void set(K key, long index, V value);
//在列表中index的位置设置value值
System.out.println(template.opsForList().range("listRight",0,-1));
template.opsForList().set("listRight",1,"setValue");
System.out.println(template.opsForList().range("listRight",0,-1));
[java, python, oc, c++]
[java, setValue, oc, c++]

//Long remove(K key, long count, Object value);
//从存储在键中的列表中删除等于值的元素的第一个计数事件。
//计数参数以下列方式影响操作：
//count> 0：删除等于从头到尾移动的值的元素。
//count <0：删除等于从尾到头移动的值的元素。
//count = 0：删除等于value的所有元素。
System.out.println(template.opsForList().range("listRight",0,-1));
template.opsForList().remove("listRight",1,"setValue");//将删除列表中存储的列表中第一次次出现的“setValue”。
System.out.println(template.opsForList().range("listRight",0,-1));
[java, setValue, oc, c++]
[java, oc, c++]

//V index(K key, long index);
//根据下表获取列表中的值，下标是从0开始的
System.out.println(template.opsForList().range("listRight",0,-1));
System.out.println(template.opsForList().index("listRight",2));
[java, oc, c++]
c++

//V leftPop(K key);
//弹出最左边的元素，弹出之后该值在列表中将不复存在
System.out.println(template.opsForList().range("list",0,-1));
System.out.println(template.opsForList().leftPop("list"));
System.out.println(template.opsForList().range("list",0,-1));
[c++, python, oc, java, c#, c#]
c++
[python, oc, java, c#, c#]

//V rightPop(K key);
//弹出最右边的元素，弹出之后该值在列表中将不复存在
System.out.println(template.opsForList().range("list",0,-1));
System.out.println(template.opsForList().rightPop("list"));
System.out.println(template.opsForList().range("list",0,-1));
[python, oc, java, c#, c#]
c#
[python, oc, java, c#]

3.hash:

//Long delete(H key, Object... hashKeys);
//删除给定的哈希hashKeys
System.out.println(template.opsForHash().delete("redisHash","name"));
System.out.println(template.opsForHash().entries("redisHash"));
1
{class=6, age=28.1}

//Boolean hasKey(H key, Object hashKey);
//确定哈希hashKey是否存在
System.out.println(template.opsForHash().hasKey("redisHash","666"));
System.out.println(template.opsForHash().hasKey("redisHash","777"));
true
false

//HV get(H key, Object hashKey);
//从键中的哈希获取给定hashKey的值
System.out.println(template.opsForHash().get("redisHash","age"));
26

//Set keys(H key);
//获取key所对应的散列表的key
System.out.println(template.opsForHash().keys("redisHash"));
//redisHash所对应的散列表为{class=1, name=666, age=27}
[name, class, age]

//Long size(H key);
//获取key所对应的散列表的大小个数
System.out.println(template.opsForHash().size("redisHash"));
//redisHash所对应的散列表为{class=1, name=666, age=27}
3

//void putAll(H key, Map m);
//使用m中提供的多个散列字段设置到key对应的散列表中
Map testMap = new HashMap();
testMap.put("name","666");
testMap.put("age",27);
testMap.put("class","1");
template.opsForHash().putAll("redisHash1",testMap);
System.out.println(template.opsForHash().entries("redisHash1"));
{class=1, name=jack, age=27}

//void put(H key, HK hashKey, HV value);
//设置散列hashKey的值
template.opsForHash().put("redisHash","name","666");
template.opsForHash().put("redisHash","age",26);
template.opsForHash().put("redisHash","class","6");
System.out.println(template.opsForHash().entries("redisHash"));
{age=26, class=6, name=666}

//List values(H key);
//获取整个哈希存储的值根据密钥
System.out.println(template.opsForHash().values("redisHash"));
[tom, 26, 6]

//Map entries(H key);
//获取整个哈希存储根据密钥
System.out.println(template.opsForHash().entries("redisHash"));
{age=26, class=6, name=tom}

//Cursor> scan(H key, ScanOptions options);
//使用Cursor在key的hash中迭代，相当于迭代器。
Cursor> curosr = template.opsForHash().scan("redisHash", 
  ScanOptions.ScanOptions.NONE);
    while(curosr.hasNext()){
        Map.Entry entry = curosr.next();
        System.out.println(entry.getKey()+":"+entry.getValue());
    }
age:27
class:6
name:666

4.set:

//Long add(K key, V... values);
//无序集合中添加元素，返回添加个数
//也可以直接在add里面添加多个值 如：template.opsForSet().add("setTest","aaa","bbb")
String[] strs= new String[]{"str1","str2"};
System.out.println(template.opsForSet().add("setTest", strs));
2

//Long remove(K key, Object... values);
//移除集合中一个或多个成员
String[] strs = new String[]{"str1","str2"};
System.out.println(template.opsForSet().remove("setTest",strs));
2

//V pop(K key);
//移除并返回集合中的一个随机元素
System.out.println(template.opsForSet().pop("setTest"));
System.out.println(template.opsForSet().members("setTest"));
bbb
[aaa, ccc]

//Boolean move(K key, V value, K destKey);
//将 member 元素从 source 集合移动到 destination 集合
template.opsForSet().move("setTest","aaa","setTest2");
System.out.println(template.opsForSet().members("setTest"));
System.out.println(template.opsForSet().members("setTest2"));
[ccc]
[aaa]

//Long size(K key);
//无序集合的大小长度
System.out.println(template.opsForSet().size("setTest"));
1

//Set members(K key);
//返回集合中的所有成员
System.out.println(template.opsForSet().members("setTest"));
[ddd, bbb, aaa, ccc]

//Cursor scan(K key, ScanOptions options);
//遍历set
Cursor curosr = template.opsForSet().scan("setTest", ScanOptions.NONE);
  while(curosr.hasNext()){
     System.out.println(curosr.next());
  }
ddd
bbb
aaa
ccc
 
  
5.zset:
 
  
//Boolean add(K key, V value, double score);
//新增一个有序集合，存在的话为false，不存在的话为true
System.out.println(template.opsForZSet().add("zset1","zset-1",1.0));
true

//Long add(K key, Set> tuples);
//新增一个有序集合
ZSetOperations.TypedTuple objectTypedTuple1 = new DefaultTypedTuple<>("zset-5",9.6);
ZSetOperations.TypedTuple objectTypedTuple2 = new DefaultTypedTuple<>("zset-6",9.9);
Set> tuples = new HashSet>();
tuples.add(objectTypedTuple1);
tuples.add(objectTypedTuple2);
System.out.println(template.opsForZSet().add("zset1",tuples));
System.out.println(template.opsForZSet().range("zset1",0,-1));
[zset-1, zset-2, zset-3, zset-4, zset-5, zset-6]

//Long remove(K key, Object... values);
//从有序集合中移除一个或者多个元素
System.out.println(template.opsForZSet().range("zset1",0,-1));
System.out.println(template.opsForZSet().remove("zset1","zset-6"));
System.out.println(template.opsForZSet().range("zset1",0,-1));
[zset-1, zset-2, zset-3, zset-4, zset-5, zset-6]
1
[zset-1, zset-2, zset-3, zset-4, zset-5]

//Long rank(K key, Object o);
//返回有序集中指定成员的排名，其中有序集成员按分数值递增(从小到大)顺序排列
System.out.println(template.opsForZSet().range("zset1",0,-1));
System.out.println(template.opsForZSet().rank("zset1","zset-2"));
[zset-2, zset-1, zset-3, zset-4, zset-5]
0   //表明排名第一

//Set range(K key, long start, long end);
//通过索引区间返回有序集合成指定区间内的成员，其中有序集成员按分数值递增(从小到大)顺序排列
System.out.println(template.opsForZSet().range("zset1",0,-1));
[zset-2, zset-1, zset-3, zset-4, zset-5]

//Long count(K key, double min, double max);
//通过分数返回有序集合指定区间内的成员个数
System.out.println(template.opsForZSet().rangeByScore("zset1",0,5));
System.out.println(template.opsForZSet().count("zset1",0,5));
[zset-2, zset-1, zset-3]
3

//Long size(K key);
//获取有序集合的成员数，内部调用的就是zCard方法
System.out.println(template.opsForZSet().size("zset1"));
6

//Double score(K key, Object o);
//获取指定成员的score值
System.out.println(template.opsForZSet().score("zset1","zset-1"));
2.2

//Long removeRange(K key, long start, long end);
//移除指定索引位置的成员，其中有序集成员按分数值递增(从小到大)顺序排列
System.out.println(template.opsForZSet().range("zset2",0,-1));
System.out.println(template.opsForZSet().removeRange("zset2",1,2));
System.out.println(template.opsForZSet().range("zset2",0,-1));
[zset-1, zset-2, zset-3, zset-4]
2
[zset-1, zset-4]

//Cursor> scan(K key, ScanOptions options);
//遍历zset
Cursor> cursor = template.opsForZSet().scan("zzset1", ScanOptions.NONE);
    while (cursor.hasNext()){
       ZSetOperations.TypedTuple item = cursor.next();
       System.out.println(item.getValue() + ":" + item.getScore());
    }
zset-1:1.0
zset-2:2.0
zset-3:3.0
zset-4:6.0
 
  
redis中一些需要注意的问题
 
  
1.redis有一亿个 key，使用 keys 命令会影响线上服务
 
  
     
   
  •  
    keys 命令时间复杂度是  O ( n ) O(n) O(n)，n 即总的 key 数量，n 如果很大，性能非常低
     
    •  
   
  •  
    redis 执行命令是单线程执行，一个命令执行太慢会阻塞其它命令，阻塞时间长甚至会让 redis 发生故障切换
     
    •  
   
  •  
    可以使用 scan 命令替换 keys 命令，语法 scan 起始游标 match 匹配规则 count 提示数目，返回值代表下次的起点
     
    
       
     
    1. 虽然 scan 命令的时间复杂度仍是  O ( n ) O(n) O(n)，但它是通过游标分步执行，不会导致长时间阻塞
      2.  
     
    2. 可以用 count 参数提示返回 key 的个数
      3.  
     
    3. 弱状态，客户端仅需维护游标
      4.  
     
    4. scan 能保证在 rehash 也正常工作
      5.  
     
    5. 缺点是可能会重复遍历 key（缩容时）、应用应自己处理重复 key
      6.  
    
     
    •  
  
 
  
2.key 过期时间
 
  
     
   
  •  
    每个库中都包含了 expires 过期字典
     
    
       
     
    • hashtable结构，键为指针，指向真正 key，值为 long 类型的时间戳，毫秒精度
      •  
    
     
    •  
   
  •  
    当设置某个 key 有过期时间时，就会向过期字典中添加此 key 的指针和时间戳
     
    •  
   
  •  
    惰性删除
     
    
       
     
    • 在执行读写数据库的命令时，执行命令前会检查 key 是否过期，如果已过期，则删除 key
      •  
    
     
    •  
   
  •  
    定期删除
     
    
       
     
    •  
      redis 有一个定时任务处理器 serverCron，负责周期性任务处理，默认 100 ms 执行一次（hz 参数控制）包括：① 处理过期 key、② hash 表 rehash、③ 更新统计结果、④ 持久化、⑤ 清理过期客户端
       
      •  
     
    •  
      对于处理过期 key 会：依次遍历库，在规定时间内运行如下操作
       
      ① 从每个库的 expires 过期字典中随机选择 20 个 key 检查，如果过期则删除
       
      ② 如果删除达到 5 个，重复 ① 步骤，没有达到，遍历至下一个库
       
      ③ 规定时间没有做完，等待下一轮 serverCron 运行
       
      •  
    
     
    •  
  
 
  
3.redis启动不了问题
 
  
     
   
  •  
    点击redis-server时闪退，则在路径上cmd后输入以下命令：redis-server.exe redis.windows.conf
     
    •  
   
  •  
    如果报错：[18408] 01 Jun 17:07:38.890 # QForkMasterInit: system error caught. error code=0x000005af, message=VirtualAllocEx failed.: unknown error，则是因为由于没有设置redis的最大内存导致的。在 redis.windows.conf 文件里添加配置：
     
    maxmemory 268435456
maxheap 314572800

     
    •  
  
 
  
redis缓存问题
 
  
1.缓存击穿：某一热点 key 在缓存和数据库中都存在，它过期时，这时由于并发用户特别多，同时读缓存没读到，又同时去数据库去读，压垮数据库
 
  
     
   
  • 设置热点数据不过期
    •  
   
  • 对【查询缓存没有，查询数据库，结果放入缓存】这三步进行加锁，这时只有一个客户端能获得锁，其它客户端会被阻塞，等锁释放开，缓存已有了数据，其它客户端就不必访问数据库了。但会影响吞吐量（有损方案）
    •  
  
 
  
2.缓存雪崩：由于大量 key 设置了相同的过期时间（数据在缓存和数据库都存在），一旦到达过期时间点，这些 key 集体失效，造成访问这些 key 的请求全部进入数据库，或者redis宕机，请求全部进入数据库。
 
  
     
   
  • 错开过期时间：在过期时间上加上随机值（比如 1~5 分钟）
    •  
   
  • 服务降级：暂停非核心数据查询缓存，返回预定义信息（错误页面，空值等）
    •  
   
  • 事前预防：搭建高可用集群
    •  
   
  • 多级缓存：缺点是实现复杂度高
    •  
   
  • 熔断：通过监控一旦雪崩出现，暂停缓存访问待实例恢复，返回预定义信息（有损方案）
    •  
   
  • 限流：通过监控一旦发现数据库访问量超过阈值，限制访问数据库的请求数（有损方案）
    •  
  
 
  
3.缓存穿透：如果一个 key 在缓存和数据库都不存在，那么访问这个 key 每次都会进入数据库（可能是恶意攻击手段）
 
  
     
   
  • 如果数据库没有，也将此不存在的 key 关联 null 值放入缓存，缺点是这样的 key 没有任何业务作用，白占空间
    •  
   
  • 布隆过滤器
    •  
  
 
  
学习笔记--redis_第6张图片
 
  
① 过滤器可以用来判定 key 不存在，发现这些不存在的 key，把它们过滤掉就好
 
  
② 需要将所有的 key 都预先加载至布隆过滤器
 
  
③ 布隆过滤器不能删除，因此查询删除的数据一定会发生穿透
 
  
4.旁路缓存：
 
  
     
   
  • 旁路缓存（Cache Aside），是一种常见的使用缓存的策略（会有短暂不一致，但最终会一致）
    •  
   
  • 查询规则 
    
       
     
    • 先读缓存
      •  
     
    • 如果命中，直接返回
      •  
     
    • 如果缺失，查 DB 并将结果放入缓存，再返回
      •  
    
     
    •  
   
  • 增、删、改规则 
    
       
     
    • 新增数据，直接存 DB
      •  
     
    • 修改、删除数据，先更新DB，再删缓存
      •  
    
     
    •  
  
 
  
     
   
  • 假设操作库和缓存均能成功，如果先操作缓存，会大几率出现数据库与缓存不一致的情况
    •  
   
  • 可以用锁实现一致性，但影响吞吐量、分布式锁设计较为复杂
    •  
  
 
  
缓存原子性
 
  
Redis 事务局限性
 
  
     
   
  • 单条命令是原子性，这是由 redis 单线程保障的
    •  
   
  • 多条命令用 multi + exec 无法保证读 + 写的原子性
    •  
  
 
  
乐观锁保证原子性
 
  
watch 命令，用来盯住 key（一到多个），如果这些 key 在事务期间：
 
  
     
   
  •  
    没有被别的客户端修改，则 exec 才会成功
     
    •  
   
  •  
    被别的客户端改了，则 exec 返回 nil
     
    •  
  
 
  
get a /* 存入客户端临时变量 */
get b /* 存入客户端临时变量 */
/* 客户端计算出 a 和 b 更新后的值 */
watch a b /* 盯住 a 和 b */
multi
set a 500
set b 1500
exec

 
  
此时，如果其他客户端修改了 a 和 b 的值，那么 exec 就会返回 nil，并不会执行两条 set 命令，此时客户端可以进行重试
 
  
lua 脚本保证原子性
 
  
Redis 支持 lua 脚本，能保证 lua 脚本执行的原子性，可以取代 multi + exec
 
  
例如要解决上面的问题，可以执行如下命令
 
  
eval "local a = tonumber(redis.call('GET',KEYS[1]));local b = tonumber(redis.call('GET',KEYS[2]));local c = tonumber(ARGV[1]); if(a >= c) then redis.call('SET', KEYS[1], a-c); redis.call('SET', KEYS[2], b+c); return 1;else return 0; end" 2 a b 500

 
  
     
   
  • eval 用来执行 lua 脚本
    •  
   
  • 2 表示后面用空格分隔的参数中，前两个是 key，剩下的是普通参数
    •  
   
  • 脚本中可以用 keys[n] 来引用第 n 个 key，用 argv[n] 来引用第 n 个普通参数
    •  
   
  • 其中双引号内部的即为 lua 脚本，格式化如下
    •  
  
 
  
local a = tonumber(redis.call('GET',KEYS[1]));
local b = tonumber(redis.call('GET',KEYS[2]));
local c = tonumber(ARGV[1]); 
if(a >= c) then 
    redis.call('SET', KEYS[1], a-c); 
    redis.call('SET', KEYS[2], b+c); 
    return 1;
else 
    return 0; 
end

 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(redis,学习,缓存)

        

            

                
    
                    
  • 机器学习 [白板推导]（三）[线性分类]
                        神齐的小马
机器学习分类人工智能
                        
    4.线性分类4.1.线性分类的典型模型硬分类：输出结果只有0或1这种离散结果；感知机线性判别分析Fisher软分类：会输出0-1之间的值作为各个类别的概率；概率生成模型：高斯判别分析GDA、朴素贝叶斯，主要建模的是p(x⃗,y)p(\vec{x},y)p(x,y)概率判别模型：逻辑回归，主要建模的是p(y∣x⃗)p(y|\vec{x})p(y∣x)4.2.感知机4.2.1.基本模型  模型：f(x
    
                    
    • 
                    
  • CSS3学习教程，从入门到精通，CSS3 列表样式语法知识点及案例代码（8）
                        知识分享小能手
前端开发网页开发编程语言如门css3学习前端csshtml5htmlJava开发
                        
    CSS3列表样式语法知识点及案例代码一、列表样式类型1.list-style-type属性用于指定列表项标记的样式类型。语法格式：list-style-type:;取值说明：对于无序列表（），常见的取值有：disc：实心圆（默认值）。circle：空心圆。square：实心方块。none：无标记。对于有序列表（），常见的取值有：decimal：数字（默认值）。lower-roman：小写罗马数字。
    
                    
    • 
                    
  • CSS3学习教程，从入门到精通，CSS3 选择器权重问题语法知识点及案例代码（5）
                        知识分享小能手
网页开发编程语言如门前端开发css3学习前端html5htmljavacss
                        
    CSS3选择器权重问题语法知识点及案例代码一、选择器权重概述在CSS中，当多个选择器同时匹配同一个元素时，浏览器会根据选择器的权重来决定哪个样式生效。权重高的选择器的样式会覆盖权重低的选择器的样式。二、选择器权重计算规则1.内联样式（InlineStyles）内联样式直接写在HTML元素的style属性中，权重为1000。2.ID选择器（IDSelectors）ID选择器以#开头，权重为100。3
    
                    
    • 
                    
  • CSS3学习教程，从入门到精通，CSS3 常用文本属性语法知识点及案例代码（6）
                        知识分享小能手
前端开发网页开发编程语言如门css3学习前端csshtml5javascriptweb开发
                        
    CSS3常用文本属性语法知识点及案例代码一、文本颜色(color)语法:color:;取值:颜色名称:例如red,blue,green等十六进制颜色值:例如#ff0000,#00ff00,#0000ff等RGB颜色值:例如rgb(255,0,0),rgb(0,255,0),rgb(0,0,255)等RGBA颜色值:例如rgba(255,0,0,0.5),rgba(0,255,0,0.5),rgba
    
                    
    • 
                    
  • CSS3学习教程，从入门到精通， CSS3 样式引入语法知识点及案例代码（2）
                        知识分享小能手
前端开发网页开发编程语言如门css3学习前端html5html开发语言css
                        
    CSS3样式引入语法知识点及案例代码一、CSS3样式引入方式CSS3样式可以通过以下几种方式引入到HTML文档中：1.内联样式(InlineStyles)语法：直接在HTML元素的style属性中编写CSS代码。优点：优先级最高，方便调试。缺点：不利于维护和复用，代码冗余。案例：这是一个段落。2.内部样式表(InternalStyleSheet)语法：在HTML文档的标签内使用标签定义CSS样式。
    
                    
    • 
                    
  • HTML 样式与布局初体验：学习进程中的关键节点（一）
                        计算机毕设定制辅导-无忧学长
#HTMLhtml学习前端
                        
    初涉HTML：开启学习之门在当今互联网飞速发展的时代，网页无处不在，它已经成为人们获取信息、交流互动的重要平台。而HTML，作为构建网页的基石，其样式与布局更是决定了网页的呈现效果和用户体验。我最初接触HTML，是源于对网页设计的浓厚兴趣。看着那些设计精美的网页，我不禁好奇，它们背后的代码世界究竟是怎样的？带着这份好奇，我踏上了HTML样式与布局的学习之旅。HTML样式初体验在初步了解HTML后，
    
                    
    • 
                    
  • HTML 样式与布局初体验：学习进程中的关键节点（二）
                        计算机毕设定制辅导-无忧学长
#HTMLhtml学习css
                        
    学习中的困难与突破在学习HTML样式与布局的过程中，我也遇到了不少困难，这些困难就像是学习道路上的绊脚石，但也正是在克服它们的过程中，我实现了自我的突破和成长。（一）样式冲突：规则的碰撞样式冲突是我遇到的第一个难题。当使用多个CSS规则来定义同一个元素的样式时，由于选择器的优先级和规则的先后顺序不同，经常会出现样式不符合预期的情况。比如，我在一个项目中，同时使用了外部样式表和内嵌样式来设置按钮的样
    
                    
    • 
                    
  • ChatGPT智能聊天机器人实现
                        云端源想
chatgpt机器人
                        
    以下是一个从零实现类ChatGPT智能聊天机器人的完整开发指南，包含技术选型、核心代码逻辑和推荐学习资源：—云端平台整理一、技术架构与工具核心模型基座模型：HuggingFaceTransformers库（如GPT-2/GPT-3.5TurboAPI/LLaMA2）轻量化方案：微软DeepSpeed或MetaFairScale（降低显存占用）训练框架PyTorchLightning+Acceler
    
                    
    • 
                    
  • Python学习日记-第二十九天-tcp（客户端）
                        差点长成吴彦祖
pythonpandastcp/ip网络
                        
    系列文章目录tcp介绍tcp特点tcp客户端一、tcp介绍Tcp协议，传输控制协议是一种面向连接的、可靠的、基于字节流的传输层通信协议，由IETF的RFC793定义TCP通信需要经过创建连接、传输数据、终止连接三个步骤TCP通信模型中，在通信开始之前，一定要先建立相关的链接，才能发送数据，类似于生活中的“打电话”（注：之前学习的udp，在通信前，不需要建立相关的链接，只需要发送数据即可，类似于“写
    
                    
    • 
                    
  • 如何在GitHub上Clone项目：一步步指南
                        Fanstay985
github
                        
    GitHub作为全球最大的代码托管平台，汇聚了无数开发者的智慧结晶。对于初学者和资深开发者来说，学会如何从GitHub上克隆（Clone）项目是一项基本且重要的技能。本文将详细介绍如何在GitHub上克隆项目的步骤，帮助你轻松将他人的代码库下载到本地进行学习和开发。一、准备工作在开始之前，请确保你已经安装了Git。Git是一个分布式版本控制系统，用于代码的版本管理。如果你还没有安装Git，可以从G
    
                    
    • 
                    
  • MVC/MVP/MVVM框架学习总结（二）
                        每次的天空
mvc学习java
                        
    上次已经了解到MVC的知识，现在是扩展实现MVP/MVVM的框架改进本身项目MVVM框架即Model-View-ViewModel框架，是一种软件架构设计模式，以下是具体介绍：核心组件Model（模型）：代表应用程序的数据结构和业务逻辑，负责数据的存储、检索、验证和处理，定义业务规则和算法，是应用程序的数据核心。比如在一个电商应用中，商品数据、用户订单数据等的存储和相关逻辑处理都属于Model层。
    
                    
    • 
                    
  • CURL一文通
                        calmtho
curl网络
                        
    文章目录1.什么是curl2.curl可以发送什么请求3.常见curl发http相关请求怎么写4.curl带上的参数分别有什么，可以怎么用5.进阶用法6.常见错误以及学习指导建议1.什么是curl是利用URL语法在命令行下工作的开源文件传输工具。尤其被广泛应用的在linux系统下。2.curl可以发送什么请求由定义可知道，curl主要应用于网络传输，它支持常用的多种请求，如http,https,f
    
                    
    • 
                    
  • Python学习第十九天
                        Leo来编程
Python学习学习python
                        
    Django-分页后端分页Django提供了Paginator类来实现后端分页。Paginator类可以将一个查询集（QuerySet）分成多个页面，每个页面包含指定数量的对象。fromdjango.shortcutsimportrender,redirect,get_object_or_404from.modelsimportUserfrom.formsimportUserFormfromdja
    
                    
    • 
                    
  • 开源模型应用落地-Qwen2-VL-7B-Instruct-vLLM-OpenAI API Client调用
                        开源技术探险家
开源大语言模型-新手试炼深度学习AI编程AIGC
                        
    一、前言学习Qwen2-VL，为我们打开了一扇通往先进人工智能技术的大门。让我们能够深入了解当今最前沿的视觉语言模型的工作原理和强大能力。这不仅拓宽了我们的知识视野，更让我们站在科技发展的潮头，紧跟时代的步伐。Qwen2-VL具有卓越的图像和视频理解能力，以及多语言支持等特性。学习它可以提升我们处理复杂视觉信息的能力，无论是在学术研究中分析图像数据、解读视频内容，还是在实际工作中进行文档处理、解决
    
                    
    • 
                    
  • 如何配置Kubernetes仪表板dashboard支持http方式并使用ingress-nginx代理访问实践
                        全栈工程师修炼指南
云原生落地实用指南运维dockerkubernetesnginxjava
                        
    公众号关注「WeiyiGeek」设为「特别关注」，每天带你玩转网络安全运维、应用开发、物联网IOT学习！本章目录：配置Kubernetes-dashboard以支持http方式访问原文地址:https://blog.weiyigeek.top/2021/12-1-583.html1.配置Kubernetes-dashboard以支持http方式访问描述:当前默认安装配置的Kubernetes-da
    
                    
    • 
                    
  • Python常用数据结构
                        我真的不会做啊
python数据结构开发语言
                        
    背景：最近在学习自动化测试，发现基本是用python写的脚本就顺带好好学一学python，准备以后也深入学习一下今天简单的介绍一下python里面常用的数据结构吧Python数据结构原生数据结构原生数据结构元组Tuple()tup1=('Python','Java',1,2)tup2=(9527,)注意：1、使用()、tuple()创建元组，元组可以为空且元素类型可以不同；2、若元组中仅包含一个数
    
                    
    • 
                    
  • Ollama 基本概念
                        Mr_One_Zhang
学习Ollamaai
                        
    Ollama是一个本地化的、支持多种自然语言处理（NLP）任务的机器学习框架，专注于模型加载、推理和生成任务。通过Ollama，用户能够方便地与本地部署的大型预训练模型进行交互。1.模型（Model）在Ollama中，模型是核心组成部分。它们是经过预训练的机器学习模型，能够执行不同的任务，例如文本生成、文本摘要、情感分析、对话生成等。Ollama支持多种流行的预训练模型，常见的模型有：deepse
    
                    
    • 
                    
  • 【go从入门到精通】探秘struct结构体转json为什么需要首字母大写？
                        前网易架构师-高司机
golang从入门到精通golangjsongo结构体首字母大写golang从入门到精通go从入门到精通
                        
    目录作者简介：问题抛出分析结论作者简介：高科，先后在IBMPlatformComputing从事网格计算，淘米网，网易从事游戏服务器开发，拥有丰富的C++，go等语言开发经验，mysql，mongo，redis等数据库，设计模式和网络库开发经验，对战棋类，回合制，moba类页游，手游有丰富的架构设计和开发经验。并且深耕深度学习和数据集训练，提供商业化的视觉人工智能检测和预警系统（煤矿，工厂，制造业
    
                    
    • 
                    
  • 【动手学深度学习】#1PyTorch基础操作
                        -一杯为品-
机器学习深度学习人工智能
                        
    主要参考学习资料：《动手学深度学习》阿斯顿·张等著【动手学深度学习PyTorch版】哔哩哔哩@跟李牧学AI目录1.1数据操作1.1.1入门1.1.2运算符1.1.3广播机制1.1.4索引和切片1.1.5节省内存1.1.6转换为其他Python对象1.2数据预处理1.2.1读取数据集1.2.2处理缺失值1.2.3转换为张量格式1.3线性代数1.3.1标量1.3.2向量1.3.3矩阵1.3.4张量1.
    
                    
    • 
                    
  • 38份DeepSeek核心资料汇总｜可下载
                        航锦234
人工智能pdf
                        
    资料链接：https://pan.quark.cn/s/b469ed4018ff为了方便大家查找和使用，我们对之前发布过的DeepSeek系列学习资料进行了分类和汇总。内容包括但不限于清北浙DeepSeek课件资料汇总manus学习资料DeepSeek实操变现指南DeepSeek本地部署教学等等点击最上方链接即可保存下载～
    
                    
    • 
                    
  • HarmonyOS NEXT开发笔记：@Computed装饰器计算属性
                        我很英俊 小名男男
OpenHarmony鸿蒙开发HarmonyOSharmonyos华为开发语言前端鸿蒙移动开发鸿蒙系统
                        
    鸿蒙开发往期必看：一分钟了解”纯血版！鸿蒙HarmonyOSNext应用开发！“非常详细的”鸿蒙HarmonyOSNext应用开发学习路线！（从零基础入门到精通）
    
                    
    • 
                    
  • 算法学习之路——贪心算法
                        蒋楠鑫
算法算法贪心算法
                        
    文章目录一、前言二、什么是算法三、什么是贪心算法1.含义2.基本思路3.适用场景四、代码实现五、经典例题分析六、总结一、前言先来看一道简单的数学问题：小明有30元钱，每瓶酒要5元钱，每3个空瓶子可以换1瓶酒，请问小明最多可以喝到多少瓶酒？这道题目显然是一道求最优解的问题，由于数据量小我们可以用最简单最直接的枚举法来解决，但是如果将题目泛化一下呢：小明现在购买了m瓶酒，每n个空瓶子可以换1瓶酒，请问
    
                    
    • 
                    
  • 学习SpringBoot过程中常见问题汇总及多工程项目使用 IntelliJ IDEA 打开
                        KunQian_smile
springBoot
                        
    一：SpringBoot:redisClientine.test.serviceImpl.RedisServiceImplrequiredabeanoftype‘com.examp1:没有自动注入导致。service类上面没有@service注解或者mapper上没有@Repository注解，但是这种情况比较少见，一般不会忘记。2:配置了mybatis，但没有指定扫描的包。（1）直接在生成出来的
    
                    
    • 
                    
  • AI 大模型应用数据中心建设：高性能计算与存储架构
                        AI智能涌现深度研究
AI大模型应用入门实战与进阶javapythonjavascriptkotlingolang架构人工智能
                        
    AI大模型、数据中心、高性能计算、存储架构、分布式训练、GPU加速、数据管理1.背景介绍近年来，人工智能（AI）技术取得了飞速发展，特别是深度学习模型的突破性进展，催生了一系列基于大规模数据训练的强大AI模型，例如GPT-3、BERT、DALL-E等。这些AI大模型在自然语言处理、计算机视觉、语音识别等领域展现出强大的应用潜力，但也对计算资源和数据存储提出了极高的要求。传统的计算架构难以满足AI大
    
                    
    • 
                    
  • Storyboard 之segue用法总结
                        月未央
iOS学习总结iOS
                        
    Storyboard的好玩之处在于它可以帮我们省略了很多要手动写的代码，其中segue的功劳功不可没，现总结一下学习心得，若有错误之处，望指正。创建工程，选择SingleViewApplication，给工程起个名字，这里是SegueDemo，注意要把下面的UseStoryboard选项勾选上，我使用ARC，这里可以随意。点选工程文件中的MainStoryboard.storyboard文件，可以
    
                    
    • 
                    
  • 人工智能直通车系列24【机器学习基础】（机器学习模型评估指标（回归））
                        浪九天
人工智能直通车开发语言python机器学习深度学习神经网络人工智能
                        
    目录机器学习模型评估指标（回归）1.均方误差（MeanSquaredError,MSE）2.均方根误差（RootMeanSquaredError,RMSE）3.平均绝对误差（MeanAbsoluteError,MAE）4.决定系数（CoefficientofDetermination,R2）机器学习模型评估指标（回归）1.均方误差（MeanSquaredError,MSE）详细解释均方误差是回归问
    
                    
    • 
                    
  • python_学习爬虫遇到的第一个问题_urllib获取baidu首页源代码
                        KJDETL
python_爬虫python学习爬虫
                        
    第一天学习爬虫，学习的是urllib的基本用法，通过urllib.request获取baidu首页源代码。#导入urllib所需要的库importurllib.request#左边自定义名称，右边是要访问的地址url='https://www.baidu.com/Index.htm'#左边自定义名称可以叫做响应，右边是通过urllib.request.urlopen方法向url发出请求respon
    
                    
    • 
                    
  • Redis 安装详细教程（小白版）
                        小小鸭程序员
springjavaAI编程springcloudredis
                        
    一、Windows系统安装Redis方法1：直接安装（推荐新手）下载RedisforWindows访问微软维护的Redis版本：https://github.com/microsoftarchive/redis/releases下载Redis-x64-3.2.100.msi（或最新版本）安装包。安装Redis双击下载的.msi文件点击下一步，勾选“AddRedisinstallationfolde
    
                    
    • 
                    
  • 从零开始学机器学习——构建一个推荐web应用
                        努力的小雨
机器学习机器学习前端人工智能
                        
    首先给大家介绍一个很好用的学习地址：https://cloudstudio.net/columns今天，我们终于将分类器这一章节学习完活了，和回归一样，最后一章节用来构建web应用程序，我们会回顾之前所学的知识点，并新增一个web应用用来让模型和用户交互。所以今天的主题是美食推荐。美食推荐Web应用程序首先，请不要担心，本章节并不会涉及过多的前端知识点。我们此次的学习重点在于机器学习本身，因此我们
    
                    
    • 
                    
  • 【2025年春季】全国CTF夺旗赛-从零基础入门到竞赛，看这一篇就稳了！
                        白帽子凯哥
web安全学习安全CTF夺旗赛网络安全
                        
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包目录一、CTF简介二、CTF竞赛模式三、CTF各大题型简介四、CTF学习路线4.1、初期1、html+css+js（2-3天）2、apache+php（4-5天）3、mysql（2-3天）4、python(2-3天)5、burpsuite（1-2天）4.2、中期1、SQL注入（7-8天）2、文件上传（7-8天）3、其他漏洞（14-15
    
                    
    • 
                                
  • [星球大战]阿纳金的背叛
                                    comsci

                                    
     
      本来杰迪圣殿的长老是不同意让阿纳金接受训练的......... 
 
    但是由于政治原因,长老会妥协了...这给邪恶的力量带来了机会 
 
    所以......现代的地球联邦接受了这个教训...绝对不让某些年轻人进入学院 
 
   
    
                                
    • 
                                
  • 看懂它，你就可以任性的玩耍了！
                                    aijuans
JavaScript
                                    
              javascript作为前端开发的标配技能，如果不掌握好它的三大特点：1.原型 2.作用域 3. 闭包 ,又怎么可以说你学好了这门语言呢？如果标配的技能都没有撑握好，怎么可以任性的玩耍呢？怎么验证自己学好了以上三个基本点呢，我找到一段不错的代码，稍加改动，如果能够读懂它，那么你就可以任性了。 
function jClass(b
    
                                
    • 
                                
  • Java常用工具包 Jodd
                                    Kai_Ge
javajodd
                                    
    Jodd 是一个开源的 Java 工具集， 包含一些实用的工具类和小型框架。简单，却很强大！  写道   Jodd = Tools + IoC + MVC + DB + AOP + TX + JSON + HTML < 1.5 Mb  
Jodd 被分成众多模块，按需选择，其中 
 
  工具类模块有：  
  
   jodd-core    &nb
    
                                
    • 
                                
  • SpringMvc下载
                                    120153216
springMVC
                                    
    @RequestMapping(value = WebUrlConstant.DOWNLOAD)
	public void download(HttpServletRequest request,HttpServletResponse response,String fileName) {
		OutputStream os = null;
		InputStream is = null;

    
                                
    • 
                                
  • Python 标准异常总结
                                    2002wmj
python
                                    
    Python标准异常总结  
    AssertionError 断言语句（assert）失败   AttributeError 尝试访问未知的对象属性   EOFError 用户输入文件末尾标志EOF（Ctrl+d）   FloatingPointError 浮点计算错误   GeneratorExit generator.close()方法被调用的时候   ImportError 导入模块失
    
                                
    • 
                                
  • SQL函数返回临时表结构的数据用于查询
                                    357029540
SQL Server
                                    
    这两天在做一个查询的SQL，这个SQL的一个条件是通过游标实现另外两张表查询出一个多条数据，这些数据都是INT类型，然后用IN条件进行查询，并且查询这两张表需要通过外部传入参数才能查询出所需数据，于是想到了用SQL函数返回值，并且也这样做了，由于是返回多条数据，所以把查询出来的INT类型值都拼接为了字符串，这时就遇到问题了，在查询SQL中因为条件是INT值，SQL函数的CAST和CONVERST都
    
                                
    • 
                                
  • java 时间格式化 | 比较大小| 时区 个人笔记
                                    7454103
javaeclipsetomcatcMyEclipse
                                    
    个人总结！ 不当之处多多包含！ 
 
  引用   1.0 如何设置 tomcat 的时区： 
         位置：(catalina.bat---JAVA_OPTS  下面加上) 
         set JAVA_OPT
    
                                
    • 
                                
  • 时间获取Clander的用法
                                    adminjun
Clander时间
                                    
    /** 
   * 得到几天前的时间 
   * @param d 
   * @param day 
   * @return 
   */ 
  public static Date getDateBefore(Date d,int day){ 
   Calend
    
                                
    • 
                                
  • JVM初探与设置
                                    aijuans
java
                                    
    JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java虚拟机包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。 JVM屏蔽了与具体操作系统平台相关的信息，使Java程序只需生成在Java虚拟机上运行的目标代码（字节码）,就可以在多种平台
    
                                
    • 
                                
  • SQL中ON和WHERE的区别
                                    avords

                                    
    SQL中ON和WHERE的区别       
数据库在通过连接两张或多张表来返回记录时，都会生成一张中间的临时表，然后再将这张临时表返回给用户。   www.2cto.com     在使用left jion时，on和where条件的区别如下：    1、 on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。  
    
                                
    • 
                                
  • 说说自信
                                    houxinyou
工作生活
                                    
    自信的来源分为两种,一种是源于实力,一种源于头脑.实力是一个综合的评定,有自身的能力,能利用的资源等.比如我想去月亮上,要身体素质过硬,还要有飞船等等一系列的东西.这些都属于实力的一部分.而头脑不同,只要你头脑够简单就可以了!同样要上月亮上,你想,我一跳,1米,我多跳几下,跳个几年,应该就到了!什么?你说我会往下掉?你笨呀你!找个东西踩一下不就行了吗? 
  
  
无论工作还
    
                                
    • 
                                
  • WEBLOGIC事务超时设置
                                    bijian1013
weblogicjta事务超时
                                    
            系统中统计数据，由于调用统计过程，执行时间超过了weblogic设置的时间，提示如下错误： 
统计数据出错!
原因：The transaction is no longer active - status: 'Rolling Back. [Reason=weblogic.transaction.internal
    
                                
    • 
                                
  • 两年已过去，再看该如何快速融入新团队
                                    bingyingao
java互联网融入架构新团队
                                    
    偶得的空闲，翻到了两年前的帖子 
该如何快速融入一个新团队，有所感触，就记下来，为下一个两年后的今天做参考。 
 
    时隔两年半之后的今天，再来看当初的这个博客，别有一番滋味。而我已经于今年三月份离开了当初所在的团队，加入另外的一个项目组，2011年的这篇博客之后的时光，我很好的融入了那个团队，而直到现在和同事们关系都特别好。大家在短短一年半的时间离一起经历了一
    
                                
    • 
                                
  • 【Spark七十七】Spark分析Nginx和Apache的access.log
                                    bit1129
apache
                                    
    Spark分析Nginx和Apache的access.log，第一个问题是要对Nginx和Apache的access.log文件进行按行解析，按行解析就的方法是正则表达式： 
  
Nginx的access.log解析正则表达式 
  
val PATTERN = """([^ ]*) ([^ ]*) ([^ ]*) (\\[.*\\]) (\&q
    
                                
    • 
                                
  • Erlang patch
                                    bookjovi
erlang
                                    
    Totally five patchs committed to erlang otp, just small patchs. 
IMO, erlang really is a interesting programming language, I really like its concurrency feature. 
but the functional programming style 
    
                                
    • 
                                
  • log4j日志路径中加入日期
                                    bro_feng
javalog4j
                                    
    要用log4j使用记录日志，日志路径有每日的日期，文件大小5M新增文件。 
实现方式 
log4j: 
<appender name="serviceLog"
		class="org.apache.log4j.RollingFileAppender">
      	<param name="Encoding" v
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-桥接模式
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 



/**
 * 个人觉得关于桥接模式的例子，蜡笔和毛笔这个例子是最贴切的：http://www.cnblogs.com/zhenyulu/articles/67016.html
 * 笔和颜色是可分离的，蜡笔把两者耦合在一起了：一支蜡笔只有一种
    
                                
    • 
                                
  • windows7下SVN和Eclipse插件安装
                                    chenyu19891124
eclipse插件
                                    
    今天花了一天时间弄SVN和Eclipse插件的安装，今天弄好了。svn插件和Eclipse整合有两种方式，一种是直接下载插件包，二种是通过Eclipse在线更新。由于之前Eclipse版本和svn插件版本有差别，始终是没装上。最后在网上找到了适合的版本。所用的环境系统：windows7JDK：1.7svn插件包版本：1.8.16Eclipse：3.7.2工具下载地址：Eclipse下在地址：htt
    
                                
    • 
                                
  • [转帖]工作流引擎设计思路
                                    comsci
设计模式工作应用服务器workflow企业应用
                                    
     作为国内的同行，我非常希望在流程设计方面和大家交流，刚发现篇好文(那么好的文章，现在才发现，可惜)，关于流程设计的一些原理，个人觉得本文站得高，看得远，比俺的文章有深度，转载如下 
 
================================================================================= 
 
自开博以来不断有朋友来探讨工作流引擎该如何
    
                                
    • 
                                
  • Linux 查看内存，CPU及硬盘大小的方法
                                    daizj
linuxcpu内存硬盘大小
                                    
    一、查看CPU信息的命令 
 
[root@R4 ~]# cat /proc/cpuinfo |grep "model name" && cat /proc/cpuinfo |grep "physical id" 
model name : Intel(R) Xeon(R) CPU X5450 @ 3.00GHz 
model name : 
    
                                
    • 
                                
  • linux 踢出在线用户
                                    dongwei_6688
linux
                                    
    两个步骤： 
1.用w命令找到要踢出的用户，比如下面： 
  
[root@localhost ~]# w
 18:16:55 up 39 days,  8:27,  3 users,  load average: 0.03, 0.03, 0.00
USER     TTY      FROM              LOGIN@   IDLE   JCPU   PCPU WHAT
    
                                
    • 
                                
  • 放手吧,就像不曾拥有过一样
                                    dcj3sjt126com

                                    
    内容提要：   
静悠悠编著的《放手吧就像不曾拥有过一样》集结“全球华语世界最舒缓心灵”的精华故事，触碰生命最深层次的感动，献给全世界亿万读者。《放手吧就像不曾拥有过一样》的作者衷心地祝愿每一位读者都给自己一个重新出发的理由，将那些令你痛苦的、扛起的、背负的，一并都放下吧！把憔悴的面容换做一种清淡的微笑，把沉重的步伐调节成春天五线谱上的音符，让自己踏着轻快的节奏，在人生的海面上悠然漂荡，享受宁静与
    
                                
    • 
                                
  • php二进制安全的含义
                                    dcj3sjt126com
PHP
                                    
    PHP里，有string的概念。
string里，每个字符的大小为byte（与PHP相比，Java的每个字符为Character，是UTF8字符，C语言的每个字符可以在编译时选择）。
byte里，有ASCII代码的字符，例如ABC，123，abc，也有一些特殊字符，例如回车，退格之类的。
特殊字符很多是不能显示的。或者说，他们的显示方式没有标准，例如编码65到哪儿都是字母A，编码97到哪儿都是字符
    
                                
    • 
                                
  • Linux下禁用T440s，X240的一体化触摸板(touchpad)
                                    gashero
linuxThinkPad触摸板
                                    
    自打1月买了Thinkpad T440s就一直很火大，其中最让人恼火的莫过于触摸板。 
  
Thinkpad的经典就包括用了小红点(TrackPoint)。但是小红点只能定位，还是需要鼠标的左右键的。但是自打T440s等开始启用了一体化触摸板，不再有实体的按键了。问题是要是好用也行。 
  
实际使用中，触摸板一堆问题，比如定位有抖动，以及按键时会有飘逸。这就导致了单击经常就
    
                                
    • 
                                
  • graph_dfs
                                    hcx2013
Graph
                                    
    package edu.xidian.graph;

class MyStack {
	private final int SIZE = 20;
	private int[] st;
	private int top;

	public MyStack() {
		st = new int[SIZE];
		top = -1;
	}

	public void push(i
    
                                
    • 
                                
  • Spring4.1新特性——Spring核心部分及其他
                                    jinnianshilongnian
spring 4.1
                                    
    目录 
Spring4.1新特性——综述 
Spring4.1新特性——Spring核心部分及其他 
Spring4.1新特性——Spring缓存框架增强 
Spring4.1新特性——异步调用和事件机制的异常处理 
Spring4.1新特性——数据库集成测试脚本初始化 
Spring4.1新特性——Spring MVC增强 
Spring4.1新特性——页面自动化测试框架Spring MVC T
    
                                
    • 
                                
  • 配置HiveServer2的安全策略之自定义用户名密码验证
                                    liyonghui160com

                                    
      
  
具体从网上看 
  
http://doc.mapr.com/display/MapR/Using+HiveServer2#UsingHiveServer2-ConfiguringCustomAuthentication 
  
 
  
   
   LDAP Authentication using OpenLDAP 
   Setting 
    
                                
    • 
                                
  • 一位30多的程序员生涯经验总结
                                    pda158
编程工作生活咨询
                                    
    1.客户在接触到产品之后，才会真正明白自己的需求。 
　　这是我在我的第一份工作上面学来的。只有当我们给客户展示产品的时候，他们才会意识到哪些是必须的。给出一个功能性原型设计远远比一张长长的文字表格要好。 2.只要有充足的时间，所有安全防御系统都将失败。 
　　安全防御现如今是全世界都在关注的大课题、大挑战。我们必须时时刻刻积极完善它，因为黑客只要有一次成功，就可以彻底打败你。   3.
    
                                
    • 
                                
  • 分布式web服务架构的演变
                                    自由的奴隶
linuxWeb应用服务器互联网
                                    
    最开始，由于某些想法，于是在互联网上搭建了一个网站，这个时候甚至有可能主机都是租借的，但由于这篇文章我们只关注架构的演变历程，因此就假设这个时候已经是托管了一台主机，并且有一定的带宽了，这个时候由于网站具备了一定的特色，吸引了部分人访问，逐渐你发现系统的压力越来越高，响应速度越来越慢，而这个时候比较明显的是数据库和应用互相影响，应用出问题了，数据库也很容易出现问题，而数据库出问题的时候，应用也容易
    
                                
    • 
                                
  • 初探Druid连接池之二——慢SQL日志记录
                                    xingsan_zhang
日志连接池druid慢SQL
                                    
    由于工作原因，这里先不说连接数据库部分的配置，后面会补上，直接进入慢SQL日志记录。 
  
1.applicationContext.xml中增加如下配置： 
<bean abstract="true" id="mysql_database" class="com.alibaba.druid.pool.DruidDataSourc
    
                                
    •