TankyZhang
TankyZhang

关于在Redis集群模式下不支持Scan和pipline的解释以及解决方案

 最近在写程序的过程中遇到一个问题，就是需要删除redis中key值以某个字符串开头的数据。因为通过查阅资料以后说如果数据量过大使用keys可能会产生死锁，并且速度会很慢，所以通过查阅各种资料发现使用scan会是比较好的一种方案，但是在真实的开发过程中发现了单节点的redis会支持scan但是集群环境中并不支持scan命令(本人使用的是redistemplate，Jedis是Redis官方推荐的面向Java的操作Redis的客户端，而RedisTemplate是SpringDataRedis中对JedisApi的高度封装。SpringDataRedis相对于Jedis来说可以方便地更换Redis的Java客户端，比Jedis多了自动管理连接池的特性，方便与其他Spring框架进行搭配使用如：SpringCache)，不仅如此并且之前所熟知的Pipline管道操作也是不支持集群环境的，通过翻阅各种网上的博客以及redis的官网，自己简单的实现了一下在java中redis集群环境下scan和pipline的使用。
为什么这两种操作在redis集群环境中是不支持的：
 因为redis中有一个槽（slot）的概念，如果在单个节点的情况下redis是只有16384个槽，使用pipline只建立一次连接，如果循环操作他会首先将数据放入到缓冲区，然后一次将数据发送并且获取，这样无疑比每一次获取建立一次连接性能要高很多。但是在集集群的模式之下，多个节点共享16384个槽，假设集群有三个节点那么此时就是三个节点平分16384个槽位，当放入一个数据是会对key进行hash然后根据hash以后的值找到对应的槽位放入对应的节点，但是如果此时使用pipline就会发现问题，因为pipline要建立一次连接，但是操作的key可能在不同的分片上，所以此时就需要进行请求的转发，但是这是与pipline的思想相违背的所以集群模式下不支持pipline的操作。scan是同样的道理，不同的key可能在不同的节点上，但是scan只能操作一个节点上的数据。
 通过以上的分析那么就知道应该如何解决这个问题了，那就是对所有的key进行hash找出其对应的槽位并且分类。保证同一pipeline内所有的key都对应一个节点就好了，最后通过pipeline执行。当然scan也是同样的道理此外还有mget和mset。但是scan的解决方案就是通过获取每个节点然后通过每个节点的scan的命令来进行寻找key值。
关于pipline和scan使用的代码实现：
(1)Pipline:

public static List clusterPiplineGetAndSet(List keys) throws Exception {

    //获取key的序列化策略
    RedisSerializer keySerializer = redisTemplate.getKeySerializer();
    //定义的map以redis的节点为key  list为value，此处的list存放的该节点下需要存储的key值
    HashMap> nodeKeyMap = new HashMap<>(8);
    List result = new ArrayList<>(8);
    //获取集群的连接对象
    RedisClusterConnection redisClusterConnection = redisTemplate.getConnectionFactory().getClusterConnection();
    try {
        //通过计算每个key的槽点，获取所有的节点
        Iterable redisClusterNodes = redisClusterConnection.clusterGetNodes();
        for (RedisClusterNode redisClusterNode : redisClusterNodes) {
            //得到节点的槽位的范围
            RedisClusterNode.SlotRange slotRange = redisClusterNode.getSlotRange();
            for (String key : keys) {
                //利用redis的key的hash算法得到该key对应的槽位
                int slot = JedisClusterCRC16.getSlot(key);
                if (slotRange.contains(slot)) {
                    List list = nodeKeyMap.get(redisClusterNode);
                    if (null == list) {
                        list = new ArrayList<>();
                        nodeKeyMap.putIfAbsent(redisClusterNode, list);
                    }
                    //将对应的key放入进去
                    list.add(key);
                }
            }
        }
        //开始遍历通过管道往redis中放入数据 遍历上边定义的map
        for (Map.Entry> clusterNodeListEntry : nodeKeyMap.entrySet()) {
            //连接节点
            RedisClusterNode redisClusterNode = clusterNodeListEntry.getKey();
            //获取到每个节点的JedisPool对象  关于jedis和redistemplate的关系下边会进行简单介绍。
            JedisPool jedisPool = ((JedisCluster) redisClusterConnection.getNativeConnection()).getClusterNodes()
                    .get(new HostAndPort(redisClusterNode.getHost(), redisClusterNode.getPort()).toString());
            List nodeListEntryValue = clusterNodeListEntry.getValue();
            byte[][] arr = new byte[nodeListEntryValue.size()][];
            int count = 0;
            //获取key数据
            for (String nodeKey : nodeListEntryValue) {
                //利用之前获取到的键的序列化方式对每个值进行序列化并且放入到byte数组中。
                arr[count++] = keySerializer.serialize(nodeKey);
            }
            //从池子中拿出对应的jedis对象
            Jedis jedis = jedisPool.getResource();
            List> responses = new ArrayList<>();
            try {
                //开始使用单节点的pipline对象进行操作。
                Pipeline pipeline = jedis.pipelined();
                //************************接下来的操作就是对应利用pipline获取值和set值可以根据业务需求选取******************************
                
                //从redis中获取值
                for (String nodeKey : nodeListEntryValue) {
                    responses.add(pipeline.get(keySerializer.serialize(nodeKey)));
                }
                List objects = pipeline.syncAndReturnAll();
                result = objects;

                 //往redis中放入值
                /* for (String nodeKey : nodeListEntryValue) {
                     pipeline.set(keySerializer.serialize(nodeKey),valueSerializer.serialize("nnnn"));
                 }
                 pipeline.sync();*/
                
                //*************************************************************************************************************
                
                pipeline.close();
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                jedis.close();
            }

        }
    } finally {
        RedisConnectionUtils.releaseConnection(redisClusterConnection, redisTemplate.getConnectionFactory());
    }
    return result;
}
 
  
(2)Scan:
 
  
    public static List getRedisKeys(String matchKey) {

    List list = new ArrayList<>();
    RedisClusterConnection redisClusterConnection = redisTemplate.getConnectionFactory().getClusterConnection();
    //这里是获取edispool的另外一种方式与上边的pipline可以对比下，两种方式都可以实现
    Map clusterNodes = ((JedisCluster) redisClusterConnection.getNativeConnection()).getClusterNodes();
    for (Map.Entry entry : clusterNodes.entrySet()) {
        //获取单个的jedis对象
        Jedis jedis = entry.getValue().getResource();
        // 判断非从节点(因为若主从复制，从节点会跟随主节点的变化而变化)，此处要使用主节点从主节点获取数据
        if (!jedis.info("replication").contains("role:slave")) {
            List keys = getScan(jedis, matchKey);
            if (keys.size() > 0) {
                Map> map = new HashMap<>(8);
                //接下来的循环不是多余的，需要注意
                for (String key : keys) {
                    // cluster模式执行多key操作的时候，这些key必须在同一个slot上，不然会报:JedisDataException:
                    int slot = JedisClusterCRC16.getSlot(key);
                    // 按slot将key分组，相同slot的key一起提交
                    if (map.containsKey(slot)) {
                        map.get(slot).add(key);
                    } else {
                        List list1 = new ArrayList();
                        list1.add(key);
                        map.put(slot, list1);
                    }
                }
                for (Map.Entry> integerListEntry : map.entrySet()) {
                    list.addAll(integerListEntry.getValue());
                }
            }
        }
    }
    return list;
}

public static List getScan(Jedis redisService, String key) {
    
    List list = new ArrayList<>();
    //扫描的参数对象创建与封装
    ScanParams params = new ScanParams();
    params.match(key);
    //扫描返回一百行，这里可以根据业务需求进行修改
    params.count(100);
    String cursor = "0";
    ScanResult scanResult = redisService.scan(cursor, params);

    //scan.getStringCursor() 存在 且不是 0 的时候，一直移动游标获取
    while (null != scanResult.getStringCursor()) {
        //封装扫描的结果
        list.addAll(scanResult.getResult());
        if (! "0".equals( scanResult.getStringCursor())) {
            scanResult = redisService.scan(cursor, params);
        } else {
            break;
        }
    }
    return list;
}

 
  
以上便是pipline和scan在集群环境下的实现过程，这只是线下的测试过程具体的redistemplate还需要业务上自行实现，同时一些异常操作安全操作也需要开发者自行实现。
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(学习)

        

            

                
    
                    
  • C++的list-map链表与映射表
                        芯动大师
C++语法嵌入式开发应用案例c++list链表
                        
    C++list-map链表与映射表的简单使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值。list链表链表是由节点之间通过指针连接而成的链式结构存储结构体，对于链表，C++标准库中已经提供了封装好的链表了。require:#include //1.包含头文件usingnamespacestd; //2.打开标准命名空间定义链表，并在首、尾添加、删除元素listlst
    
                    
    • 
                    
  • AirSim学习（3）AirSim的PythonAPI基本操作——环境配置与VehicleClient类
                        睡觉狂魔er
AirSim虚幻自动驾驶python
                        
    文章内容AirSim学习笔记汇总AirSim的PythonAPI的安装AirSim的坐标系统classVehicleClient1.成员变量2.构造函数3.连接与仿真启停resetpinggetClientVersiongetServerVersiongetMinRequiredServerVersiongetMinRequiredClientVersionenableApiControlisAp
    
                    
    • 
                    
  • Vue＜router-view＞＜/router-view＞学习心得
                        立志成为架构师
vue.jsjavascripthtml
                        
    今天看到个Vue项目结构中使用到了，于是了解学习了用法。首先来看router下的index.jsexportdefaultnewRouter({mode:'history',routes:[{//首页跳转到/homepagepath:'/',redirect:'/homepage',name:'zhuye'},{//这是homepage页面的说明，说明使用的页面是homepage。其子页面是lis
    
                    
    • 
                    
  • ROS2 细节知识学习
                        儒雅芝士
ROS2系列机器人c++linux
                        
    1.rosidl_generate_interfaces()在ROS2中，rosidl_generate_interfaces是一个关键的构建工具功能。它主要用于从接口定义文件（如.msg消息文件、.srv服务文件和.action动作文件）生成不同编程语言（如C++、Python等）可以使用的接口代码。这些接口是ROS2中节点间通信的基础，确保了数据在不同组件之间能够准确、高效地传递。在构建系统中
    
                    
    • 
                    
  • 【AirSim+Python】image API和无人机获取图像
                        退堂鼓选手⑥
python无人机开发语言
                        
    没错！这个还是b站【皮卡丘上大学啦】up主学习的代码。我就是懒！今天下午敲得每一行代码都不能白敲，放在这方便我以后复制！up主原代码分享链接：在这！！！1.imageAPI获取相机图像使用的时候根据自己需求进行注释：importairsimimportnumpyasnpimportcv2#与airsim建立连接client=airsim.MultirotorClient()client.confi
    
                    
    • 
                    
  • AirSim python通信环境配置和无人机控制
                        fegxg
无人机python
                        
    本人学习课程链接【AirSim】无人机踏上飞行的征途——第三课-AirSim&Python通信环境配置以及无人机起飞降落、位置控制&速度控制_哔哩哔哩_bilibili，本系列文章对其代码做一个总结和解读一、起飞降落importairsim#connecttotheAirsimsimulatorclient=airsim.MultirotorClient()client.confirmConnec
    
                    
    • 
                    
  • 【技术点】用SQL语言操作关系型数据库Mysql中的数据（有练习资料）
                        ^Mark_Zhang^
后端开发数据库sqlmysql
                        
    用SQL语言操作关系型数据库Mysql中的数据一、增删改查增数据删数据改数据查数据二、触发器三、视图练习题目链接前言：之前操作的时候大多时候都是用GPT生成的sql语句（有一说一真的实用），但是缺少自己完整独立完成sql语句书写的能力，直到学校课程上到了数据库原理才意识到好像真的需要认真学一下这些sql语句了，另外为了方便各位练习达到学习效果，如果想要答案可以私我单独发。一、增删改查增删改查，也称
    
                    
    • 
                    
  • Mybatis源码学习（七）——ResultSetHandler 结果处理
                        Laplaces Demon
mybatis学习
                        
    通过之前对StatementHandler类（Mybatis源码学习（五）——StatementHandler-CSDN博客）的分析发现在所有StatementHandler接口的实现类，无论是PreparedStatementHandler、CallableStatementHandler还是SimpleStatementHandler都是使用ResultSetHandler对象对结果（包括Li
    
                    
    • 
                    
  • Kmeans与KMedoids聚类对比以及python实现
                        呵呵爱吃菜
kmeans聚类python
                        
    在机器学习领域，聚类算法是一种常用的无监督学习方法，用于将数据集中的样本划分为若干个簇，使得同一簇内的样本尽可能相似，而不同簇之间的样本尽可能不同。K-Means和K-Medoids是两种经典的聚类算法，它们都基于划分的思想，但在具体实现和应用场景上存在一些差异。一、算法原理1.K-Means:中心点选择:K-Means算法通过计算簇内所有样本的均值来确定中心点（centroid）。距离度量:通常
    
                    
    • 
                    
  • 图像分类与识别的自组织特征映射网络实践
                        无声远望

                        
    本文还有配套的精品资源，点击获取简介：自组织特征映射网络（SOFM）是一种无监督学习模型，适用于图像处理中的预处理、特征提取和分类识别。通过在MATLAB中实现SOFM，可以进行数据预处理、特征提取、网络训练、分类与识别以及优化评估。本内容涵盖了SOFM网络的应用步骤、训练过程、参数调整和性能评估，旨在提供图像处理问题的解决方案。1.自组织特征映射网络简介1.1自组织特征映射网络概述自组织特征映射
    
                    
    • 
                    
  • Spring注解09——BeanPostProcessor后置处理器深度剖析
                        大黄奔跑
Spring注解驱动
                        
    该系列文章主要学习雷丰阳老师的《Spring注解驱动》课程总结。原课程地址：课程地址包括了自己阅读其他书籍《Spring揭秘》《SpringBoot实战》等课程。该系列文档会不断的完善，欢迎大家留言及提意见。文章目录1.写在之前2.BeanPostProcessor是什么3.xxxBeanPostProcessor源码分析4.Spring框架用该接口干嘛呢？总结1.写在之前本篇会有一些源码的分析，
    
                    
    • 
                    
  • 网络安全态势感知：企业数字化转型的 “安全密钥”
                        知白守黑V
安全运营网络安全态势感知网络
                        
    在数字经济飞速发展的当下，网络安全已经成为企业平稳运营的关键所在。从大型企业的数据泄露事故，到中小企业遭遇的各类网络攻击，网络安全威胁无处不在。而网络安全态势感知产品，作为应对复杂网络威胁的关键技术，正逐渐成为企业守护数字资产的“智慧大脑”。一、态势感知：全景掌控，精准防御你可以把网络安全态势感知想象成企业网络的“超级侦察兵”。它借助大数据分析、机器学习这些先进技术，就像是拥有了超级强大的“洞察力
    
                    
    • 
                    
  • BabylonJS初学习笔记
                        Marina-37
学习笔记
                        
    初步接触Babylonjs，由于学习跨度会比较大，所以就做了一些笔记，在此分享出来，希望能够对那些和我一样学习的新人有所帮助。通过Babylon官网学习这个项目主要就是一些基础方法的学习，以静态HTML为主，附带一些个人笔记，持续更新。项目地址：babylon-learn-byDoc:通过babylon官方网站进行学习，创建一些交互式web文件。Babylon官网：https://www.baby
    
                    
    • 
                    
  • b站任务脚本
                        AALoveTouch
python
                        
    仅供学习参考用于自动化执行Bilibili（哔哩哔哩）网站的一些任务，包括签到、投币、观看视频等。它通过与Bilibili的API接口进行交互来完成各种任务，并返回执行结果。主要功能get_nav(session):获取当前登录用户的基本信息，包括用户名、UID、登录状态、硬币数、VIP类型和当前经验值等。get_today_exp(session):获取当天的经验信息，包括用户参与的各种活动（如
    
                    
    • 
                    
  • 【Nginx系列】Nginx配置超时时间
                        m0_74824552
面试学习路线阿里巴巴nginx运维
                        
    ???欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,G
    
                    
    • 
                    
  • [JS]学习笔记2 -- JAVAScript数据类型
                        Jizhi_Zhang
JavaScript学习笔记javascript学习笔记
                        
    一、常量概念：使用const声明的变量称为“常量”。使用场景：当某个变量永远不会改变的时候，就可以使用const来声明，而不是let。命名规范：和变量一致注：常量不允许重新赋值，在声明的时候必须要赋值（初始化）二、数据类型1、基本数据类型1.1数字型number学习中的数字，整数、小数、正数、负数可以有很多操作：算数+：求和-：求差*：求积/：求商%：取模（取余数）--开发中经常作为某个数字是否被
    
                    
    • 
                    
  • PostgreSQL体系结构
                        eygle

                        
    原文：https://www.enmotech.com/web/detail/1/764/1.html导读：本文主要从日志文件、参数文件、控制文件、数据文件、redo日志（WAL）、后台进程这六个方面来讨论PostgreSQL的结构。一、引言PostgreSQL是最像Oracle的开源数据库，我们可以拿MySQL和Oracle来比较学习它的体系结构，比较容易理解。本文会讨论pg的如下结构：日志文件
    
                    
    • 
                    
  • Three.js学习笔记
                        癫狂de痴梦
前端javascript学习前端
                        
    1.three.js的引入进入官网Three.js–JavaScript3DLibrary，下载文件解压文件，复制three.js-master\build\three.min.js文件在项目中，引入该文件。2.一个简单threeJs程序（1）创建场景constscene=newTHREE.Scene();（2）创建物体constgeomtry=newTHREE.BoxGeometry(1,1,1
    
                    
    • 
                    
  • Python 装饰器详解：@staticmethod 与 @classmethod 的区别与用法：中英双语
                        阿正的梦工坊
Pythonpython开发语言
                        
    缘由：今天在看Huggingface的源码的时候，https://github.com/huggingface/transformers/blob/v4.47.1/src/transformers/models/auto/configuration_auto.py#L897对几个装饰器有所疑问，学习一下。Python装饰器详解：@staticmethod与@classmethod的区别与用法在Py
    
                    
    • 
                    
  • AlphaFold2的思路总结（十五）
                        xiaofengzihhh
蛋白质结构预测深度学习人工智能神经网络
                        
    2021SC@SDUSC这学期的代码分析工作接近尾声了，我想简单总结一下AlphaFold2的总体思路  具体来看，AlphaFold2主要利用多序列比对（MSA），把蛋白质的结构和生物信息整合到了深度学习算法中。它主要包括两个部分：神经网络EvoFormer和结构模块（Structuremodule）。一、EvoFormer  在EvoFormer中，主要是将图网络（Graphnetworks）
    
                    
    • 
                    
  • python机器学习
                        方安乐
pythonpython机器学习人工智能
                        
    Python机器学习是当前最为热门的机器学习领域之一，其简洁、易用、高效的特点，让越来越多的开发者开始探索其应用。本文将从以下几个方面介绍Python机器学习的基础知识和实践案例，帮助读者更好地理解和应用机器学习技术。前提Python机器学习的应用领域A.图像识别和计算机视觉B.自然语言处理和文本分析C.数据挖掘和推荐系统深度学习A.神经网络的基本原理B.常用的深度学习框架和算法C.深度学习在图像
    
                    
    • 
                    
  • C/C++教程 第十四章 —— MFC控件详解
                        余识-
C/C++实战入门到精通mfcc++c语言
                        
    注意本系列文章已升级、转移至我的自建站点中，本章原文为：MFC控件详解目录注意一、前言二、项目建立三、Comboxbox四、ListBox五、GroupBox六、Picturecontrol七、ScrollBar八、SpinControl九、ProgressControl十、hotkey十一、ListControl十二、TreeControl十三、TabControl一、前言通过前面两章的学习，现
    
                    
    • 
                    
  • 神经网络|(三)线性回归基础知识
                        西猫雷婶
神经网络线性回归机器学习
                        
    【1】引言前序学习进程中，已经对简单神经元的工作模式有所了解，这种二元分类的工作机制，进一步使用sigmoid()函数进行了平滑表达。相关学习链接为：神经网络|(一)加权平均法，感知机和神经元-CSDN博客神经网络|(二)sigmoid神经元函数-CSDN博客实际上，上述表达模型的一个基本原则是：元素和对应的权重，线性相乘后再和阈值开关作对比，元素的综合影响在本质上是一个线性函数，类似于y=wx+
    
                    
    • 
                    
  • 情感分析常见算法与模型及实现步骤
                        计算机软件程序设计
知识科普算法情感分析机器学习
                        
    【1】常见算法与模型情感分析（SentimentAnalysis）是一种自然语言处理（NLP）技术，用于识别和提取文本中的主观信息，如情绪、态度和意见。常见的算法和模型包括以下几种：传统机器学习方法朴素贝叶斯（NaiveBayes）基于贝叶斯定理，假设特征之间相互独立。计算简单，适用于大规模数据集。常用于文本分类任务。支持向量机（SVM）通过寻找最优超平面来划分不同的类别。在高维空间中表现良好，适
    
                    
    • 
                    
  • 基于深度学习的舆论分析与检测系统应用与研究
                        计算机软件程序设计
机器学习深度学习人工智能舆论检测
                        
    【1】系统介绍研究背景随着互联网技术的迅猛发展和社会媒体平台的普及，信息传播的速度和范围达到了前所未有的水平。这一变化不仅极大地丰富了人们的社交生活，也为社会科学研究提供了新的视角和工具。舆论分析作为社会科学研究的一个重要分支，其目的是通过收集和分析网络上的公众意见和情感倾向，来了解人们对特定事件或话题的看法和态度。近年来，基于深度学习的自然语言处理技术取得了显著进步，这为提高舆论分析的准确性和效
    
                    
    • 
                    
  • 自然语言处理（NLP）-总览图学习
                        汤姆和佩琦
NLP自然语言处理学习人工智能
                        
    文章目录自然语言处理（NLP）-总览图学习1.一张总览图的学习1.语音学（Phonology）2.形态学（Morphology）3.句法学（Syntax）4.语义学（Semantics）5.推理（Reasoning）小结自然语言处理（NLP）-总览图学习转自《Python自然语言处理第二版》1.一张总览图的学习这张图片展示了一个自然语言处理的流程模型，涵盖了从语音分析到应用推理和执行的多个阶段，每
    
                    
    • 
                    
  • 深度学习利用数据加载、预处理和增强数据提高模型的性能
                        weixin_30777913
人工智能深度学习
                        
    深度学习数据预处理是一个关键步骤，旨在提高模型的性能和准确性。通过数据加载、预处理和增强，可以显著提高深度学习模型的性能和准确性。在实际应用中，需要根据具体的数据和任务来选择合适的预处理和增强技术。以下将详细论述并举例说明如何加载、预处理和增强数据。一、数据加载在深度学习中，数据加载是第一步。这通常涉及到从各种数据源（如CSV文件、数据库、图像文件夹等）中读取数据。以DeepLearning4J（
    
                    
    • 
                    
  • Python Web应用开发进阶：集成数据库与SQLAlchemy
                        Evaporator Core
Python开发经验python前端数据库
                        
    引言在上一篇《PythonWeb应用开发入门：从零搭建一个简单的Web应用》中，我们学习了如何使用Flask框架搭建一个简单的Web应用。然而，大多数Web应用都需要与数据库进行交互，以存储和检索数据。本文将深入探讨如何在Flask应用中集成数据库，并使用SQLAlchemy进行数据操作。一、数据库选择与安装1.1选择数据库在PythonWeb开发中，常用的数据库有SQLite、MySQL、Pos
    
                    
    • 
                    
  • 大模型GUI系列论文阅读 DAY4：《PREDICT: Multi-Agent-based Debate Simulation for Generalized Hate Speech Detecti》
                        feifeikon
论文阅读
                        
    摘要虽然已经提出了一些公共基准用于训练仇恨言论检测模型，但这些基准之间的标注标准差异为模型的泛化学习带来了挑战，限制了其适用性。先前的研究提出了通过数据整合或扩充来泛化模型的方法，但在克服数据集之间的标注标准差异方面仍然存在局限性。为了解决这些挑战，我们提出了PREDICT，一种基于多代理（multi-agent）概念的仇恨言论检测新框架。PREDICT包括两个阶段：（1）PRE（基于视角的推理）
    
                    
    • 
                    
  • 25.1.6 python基础程序练习
                        MiyamiKK57
python
                        
    23.暂停后输出暂停一段时间后输出importtimetime.sleep(2)#停顿2秒后输出print('helloworld')24.成绩if语句利用条件运算符的嵌套来完成此题；学习成绩>=90分的同学用A表示，60-89分的用B表示，60以下用C表示a=int(input('请输入成绩：'))ifa>=90:print('A')elif60<=a<90:print('B')else:pri
    
                    
    • 
                                
  • Java常用排序算法/程序员必须掌握的8大排序算法
                                    cugfy
java
                                    
    分类： 
 
1）插入排序（直接插入排序、希尔排序） 
2）交换排序（冒泡排序、快速排序） 
3）选择排序（直接选择排序、堆排序） 
4）归并排序 
5）分配排序（基数排序） 
 
所需辅助空间最多：归并排序 
所需辅助空间最少：堆排序 
平均速度最快：快速排序 
 
不稳定：快速排序，希尔排序，堆排序。 
 
先来看看8种排序之间的关系： 
 
  
 
 1.直接插入排序 
 
（1
    
                                
    • 
                                
  • 【Spark102】Spark存储模块BlockManager剖析
                                    bit1129
manager
                                    
    Spark围绕着BlockManager构建了存储模块，包括RDD，Shuffle，Broadcast的存储都使用了BlockManager。而BlockManager在实现上是一个针对每个应用的Master/Executor结构，即Driver上BlockManager充当了Master角色，而各个Slave上(具体到应用范围，就是Executor)的BlockManager充当了Slave角色
    
                                
    • 
                                
  • linux 查看端口被占用情况详解
                                    daizj
linux端口占用netstatlsof
                                    
    经常在启动一个程序会碰到端口被占用，这里讲一下怎么查看端口是否被占用，及哪个程序占用，怎么Kill掉已占用端口的程序 
  
1、lsof -i:port 
port为端口号 
  
[root@slave /data/spark-1.4.0-bin-cdh4]# lsof -i:8080 
COMMAND   PID USER   FD   TY
    
                                
    • 
                                
  • Hosts文件使用
                                    周凡杨
hostslocahost
                                    
         一切都要从localhost说起，经常在tomcat容器起动后，访问页面时输入http://localhost:8088/index.jsp，大家都知道localhost代表本机地址，如果本机IP是10.10.134.21，那就相当于http://10.10.134.21:8088/index.jsp，有时候也会看到http: 127.0.0.1:
    
                                
    • 
                                
  • java excel工具
                                    g21121
Java excel
                                    
    直接上代码，一看就懂，利用的是jxl： 
import java.io.File;
import java.io.IOException;
import jxl.Cell;
import jxl.Sheet;
import jxl.Workbook;
import jxl.read.biff.BiffException;
import jxl.write.Label;
import 
    
                                
    • 
                                
  • web报表工具finereport常用函数的用法总结（数组函数）
                                    老A不折腾
finereportweb报表函数总结
                                    
    ADD2ARRAY 
ADDARRAY(array,insertArray, start):在数组第start个位置插入insertArray中的所有元素，再返回该数组。 
示例： 
ADDARRAY([3,4, 1, 5, 7], [23, 43, 22], 3)返回[3, 4, 23, 43, 22, 1, 5, 7]. 
ADDARRAY([3,4, 1, 5, 7], "测试&q
    
                                
    • 
                                
  • 游戏服务器网络带宽负载计算
                                    墙头上一根草
服务器
                                    
    家庭所安装的4M，8M宽带。其中M是指，Mbits/S 
其中要提前说明的是： 
8bits = 1Byte 
即8位等于1字节。我们硬盘大小50G。意思是50*1024M字节，约为 50000多字节。但是网宽是以“位”为单位的，所以，8Mbits就是1M字节。是容积体积的单位。 
8Mbits/s后面的S是秒。8Mbits/s意思是 每秒8M位，即每秒1M字节。 
我是在计算我们网络流量时想到的
    
                                
    • 
                                
  • 我的spring学习笔记2-IoC（反向控制 依赖注入）
                                    aijuans
Spring 3 系列
                                    
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 
IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 
如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
    
                                
    • 
                                
  • 高性能mysql 之 选择存储引擎(一)
                                    annan211
mysqlInnoDBMySQL引擎存储引擎
                                    
      1 没有特殊情况，应尽可能使用InnoDB存储引擎。   原因：InnoDB 和 MYIsAM 是mysql 最常用、使用最普遍的存储引擎。其中InnoDB是最重要、最广泛的存储引擎。她   被设计用来处理大量的短期事务。短期事务大部分情况下是正常提交的，很少有回滚的情况。InnoDB的性能和自动崩溃   恢复特性使得她在非事务型存储的需求中也非常流行，除非有非常
    
                                
    • 
                                
  • UDP网络编程
                                    百合不是茶
UDP编程局域网组播
                                    
      
UDP是基于无连接的,不可靠的传输   与TCP/IP相反 
  
  
  
UDP实现私聊,发送方式客户端,接受方式服务器 
package netUDP_sc;

import java.net.DatagramPacket;
import java.net.DatagramSocket;
import java.net.Ine
    
                                
    • 
                                
  • JQuery对象的val()方法执行结果分析
                                    bijian1013
JavaScriptjsjquery
                                    
            JavaScript中，如果id对应的标签不存在（同理JAVA中，如果对象不存在），则调用它的方法会报错或抛异常。在实际开发中，发现JQuery在id对应的标签不存在时，调其val()方法不会报错，结果是undefined。 
        
    
                                
    • 
                                
  • http请求测试实例（采用json-lib解析）
                                    bijian1013
jsonhttp
                                    
            由于fastjson只支持JDK1.5版本，因些对于JDK1.4的项目，可以采用json-lib来解析JSON数据。如下是http请求的另外一种写法，仅供参考。 
package com;

import java.util.HashMap;
import java.util.Map;

import 
    
                                
    • 
                                
  • 【RPC框架Hessian四】Hessian与Spring集成
                                    bit1129
hessian
                                    
    在【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中介绍了基于Hessian的RPC服务的实现步骤，在那里使用Hessian提供的API完成基于Hessian的RPC服务开发和客户端调用，本文使用Spring对Hessian的集成来实现Hessian的RPC调用。 
  定义模型、接口和服务器端代码 
|---Model 
   &nb
    
                                
    • 
                                
  • 【Mahout三】基于Mahout CBayes算法的20newsgroup流程分析
                                    bit1129
Mahout
                                    
    1.Mahout环境搭建 
 1.下载Mahout 
http://mirror.bit.edu.cn/apache/mahout/0.10.0/mahout-distribution-0.10.0.tar.gz 
  
 2.解压Mahout 
 3. 配置环境变量 
vim /etc/profile

export HADOOP_HOME=/home
    
                                
    • 
                                
  • nginx负载tomcat遇非80时的转发问题
                                    ronin47

                                    
    　　nginx负载后端容器是tomcat（其它容器如WAS,JBOSS暂没发现这个问题）非８０端口，遇到跳转异常问题。解决的思路是：$host:port 
       详细如下： 
　　  
该问题是最先发现的，由于之前对nginx不是特别的熟悉所以该问题是个入门级别的：    
?       1   2   3   4   5   
    
                                
    • 
                                
  • java-17-在一个字符串中找到第一个只出现一次的字符
                                    bylijinnan
java
                                    
    

public class FirstShowOnlyOnceElement {

	/**Q17.在一个字符串中找到第一个只出现一次的字符。如输入abaccdeff，则输出b
	 * 1.int[] count:count[i]表示i对应字符出现的次数
	 * 2.将26个英文字母映射：a-z <--> 0-25
	 * 3.假设全部字母都是小写
	 */
	pu
    
                                
    • 
                                
  • mongoDB 复制集
                                    开窍的石头
mongodb
                                    
    mongo的复制集就像mysql的主从数据库，当你往其中的主复制集(primary)写数据的时候，副复制集(secondary)会自动同步主复制集(Primary)的数据,当主复制集挂掉以后其中的一个副复制集会自动成为主复制集。提供服务器的可用性。和防止当机问题 
       
 
     mo
    
                                
    • 
                                
  • [宇宙与天文]宇宙时代的经济学
                                    comsci
经济
                                    
     
    宇宙尺度的交通工具一般都体型巨大，造价高昂。。。。。 
 
     在宇宙中进行航行，近程采用反作用力类型的发动机，需要消耗少量矿石燃料，中远程航行要采用量子或者聚变反应堆发动机，进行超空间跳跃，要消耗大量高纯度水晶体能源 
 
     以目前地球上国家的经济发展水平来讲，
    
                                
    • 
                                
  • Git忽略文件
                                    Cwind
git
                                    
         有很多文件不必使用git管理。例如Eclipse或其他IDE生成的项目文件，编译生成的各种目标或临时文件等。使用git status时，会在Untracked files里面看到这些文件列表，在一次需要添加的文件比较多时（使用git add . / git add -u），会把这些所有的未跟踪文件添加进索引。  
   ==== ==== ==== 一些牢骚
    
                                
    • 
                                
  • MySQL连接数据库的必须配置
                                    dashuaifu
mysql连接数据库配置
                                    
    MySQL连接数据库的必须配置 
  
1.driverClass：com.mysql.jdbc.Driver 
  
2.jdbcUrl：jdbc:mysql://localhost:3306/dbname 
  
3.user：username 
  
4.password：password 
  
其中1是驱动名；2是url，这里的‘dbna
    
                                
    • 
                                
  • 一生要养成的60个习惯
                                    dcj3sjt126com
习惯
                                    
    一生要养成的60个习惯 
第1篇 让你更受大家欢迎的习惯 
1 守时，不准时赴约,让别人等,会失去很多机会。 
如何做到： 
①该起床时就起床， 
②养成任何事情都提前15分钟的习惯。 
③带本可以随时阅读的书，如果早了就拿出来读读。 
④有条理，生活没条理最容易耽误时间。 
⑤提前计划：将重要和不重要的事情岔开。 
⑥今天就准备好明天要穿的衣服。 
⑦按时睡觉，这会让按时起床更容易。 
2 注重
    
                                
    • 
                                
  • [介绍]Yii 是什么
                                    dcj3sjt126com
PHPyii2
                                    
    Yii 是一个高性能，基于组件的 PHP 框架，用于快速开发现代 Web 应用程序。名字 Yii （读作 易）在中文里有“极致简单与不断演变”两重含义，也可看作 Yes It Is! 的缩写。  
Yii 最适合做什么？ 
Yii 是一个通用的 Web 编程框架，即可以用于开发各种用 PHP 构建的 Web 应用。因为基于组件的框架结构和设计精巧的缓存支持，它特别适合开发大型应
    
                                
    • 
                                
  • Linux SSH常用总结
                                    eksliang
linux sshSSHD
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2186931 一、连接到远程主机 
  
格式：
ssh name@remoteserver
例如：
ssh [email protected] 
  二、连接到远程主机指定的端口 
  
格式：
ssh name@remoteserver -p 22
例如：
ssh i
    
                                
    • 
                                
  • 快速上传头像到服务端工具类FaceUtil
                                    gundumw100
android
                                    
    快速迭代用 
 
 

import java.io.DataOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOExceptio
    
                                
    • 
                                
  • jQuery入门之怎么使用
                                    ini
JavaScripthtmljqueryWebcss
                                    
    jQuery的强大我何问起（个人主页：hovertree.com）就不用多说了，那么怎么使用jQuery呢？ 
  
首先，下载jquery。下载地址：http://hovertree.com/hvtart/bjae/b8627323101a4994.htm，一个是压缩版本，一个是未压缩版本，如果在开发测试阶段，可以使用未压缩版本，实际应用一般使用压缩版本(min)。然后就在页面上引用。
    
                                
    • 
                                
  • 带filter的hbase查询优化
                                    kane_xie
查询优化hbaseRandomRowFilter
                                    
     
 问题描述 
 
hbase scan数据缓慢，server端出现LeaseException。hbase写入缓慢。     
 
 问题原因 
 
直接原因是：  hbase client端每次和regionserver交互的时候，都会在服务器端生成一个Lease,Lease的有效期由参数hbase.regionserver.lease.period确定。如果hbase scan需
    
                                
    • 
                                
  • java设计模式-单例模式
                                    men4661273
java单例枚举反射IOC
                                    
             单例模式1，饿汉模式 
//饿汉式单例类.在类初始化时，已经自行实例化
public class Singleton1 {
    //私有的默认构造函数
    private Singleton1() {}
    //已经自行实例化
    private static final Singleton1 singl
    
                                
    • 
                                
  • mongodb 查询某一天所有信息的3种方法，根据日期查询
                                    qiaolevip
每天进步一点点学习永无止境mongodb纵观千象
                                    
    // mongodb的查询真让人难以琢磨，就查询单天信息，都需要花费一番功夫才行。

// 第一种方式：
coll.aggregate([
          {$project:{sendDate: {$substr: ['$sendTime', 0, 10]}, sendTime: 1, content:1}},
          {$match:{sendDate: '2015-
    
                                
    • 
                                
  • 二维数组转换成JSON
                                    tangqi609567707
java二维数组json
                                    
    原文出处：http://blog.csdn.net/springsen/article/details/7833596 
public class Demo { 
    public static void main(String[] args) {        String[][] blogL
    
                                
    • 
                                
  • erlang supervisor
                                    wudixiaotie
erlang
                                    
    定义supervisor时，如果是监控celuesimple_one_for_one则删除children的时候就用supervisor:terminate_child (SupModuleName, ChildPid)，如果shutdown策略选择的是brutal_kill，那么supervisor会调用exit(ChildPid, kill)，这样的话如果Child的behavior是gen_
    
                                
    •