【编者按】本文作者为 Xinyu Liu,文章的第一部分重点概述了 Redis 方方面面的特性。在第二部分,将介绍详细的用例。文章系国内 ITOM 管理平台 OneAPM 编译呈现。
把 Redis 当作数据库的用例
现在我们来看看在服务器端 Java 企业版系统中把 Redis 当作数据库的各种用法吧。无论用例的简繁,Redis 都能帮助用户优化性能、处理能力和延迟,让常规 Java 企业版技术栈望而却步。
1. 全局唯一增量计数器
我们先从一个相对简单的用例开始吧:一个增量计数器,可显示某网站受到多少次点击。Spring Data Redis 有两个适用于这一实用程序的类:RedisAtomicInteger
和 RedisAtomicLong
。和 Java 并发包中的 AtomicInteger
和 AtomicLong
不同的是,这些 Spring 类能在多个 JVM 中发挥作用。
列表 3:全局唯一增量计数器
RedisAtomicLong counter =
new RedisAtomicLong("UNIQUE_COUNTER_NAME", redisTemplate.getConnectionFactory());
Long myCounter = counter.incrementAndGet();// return the incremented value
请注意整型溢出并谨记,在这两个类上进行操作需要付出相对较高的代价。
2. 全局悲观锁
时不时的,用户就得应对服务器集群的争用。假设你从一个服务器集群运行一个预定作业。在没有全局锁的情况下,集群中的节点会发起冗余作业实例。假设某个聊天室分区可容纳 50 人。如果聊天室已满,就需要创建新的聊天室实例来容纳另外 50 人。
如果检测到聊天室已满但没有全局锁,集群中的各个节点就会创建自有的聊天室实例,为整个系统带来不可预知的因素。列表 4 介绍了应当如何充分利用 SETNX(SET if N ot eX ists:如果不存在,则设置)这一 Redis 命令来执行全局悲观锁。
列表4:全局悲观锁
public String aquirePessimisticLockWithTimeout(String lockName, int acquireTimeout, int lockTimeout) {
if (StringUtils.isBlank(lockName) || lockTimeout <= 0)
return null;
final String lockKey = lockName;
String identifier = UUID.randomUUID().toString();
Calendar atoCal = Calendar.getInstance();
atoCal.add(Calendar.SECOND, acquireTimeout);
Date atoTime = atoCal.getTime();
while (true) {
// try to acquire the lock
if (redisTemplate.execute(new RedisCallback() { @Override
public Boolean doInRedis(RedisConnection connection) throws DataAccessException {
return connection.setNX(
redisTemplate.getStringSerializer().serialize(lockKey), redisTemplate.getStringSerializer().serialize(identifier));
}
})) { // successfully acquired the lock, set expiration of the lock
redisTemplate.execute(new RedisCallback() { @Override
public Boolean doInRedis(RedisConnection connection) throws DataAccessException {
return connection.expire(redisTemplate
.getStringSerializer().serialize(lockKey),
lockTimeout);
}
});
return identifier;
} else { // fail to acquire the lock
// set expiration of the lock in case ttl is not set yet. if (null == redisTemplate.execute(new RedisCallback() { @Override
public Long
doInRedis(RedisConnection connection)
throws DataAccessException
{
return connection.ttl(redisTemplate
.getStringSerializer().serialize(lockKey));
}
})) { // set expiration of the lock
redisTemplate.execute(new RedisCallback()
{
@Override
public Boolean
doInRedis(RedisConnection connection) throws DataAccessException {
return connection.expire(redisTemplate
.getStringSerializer().serialize(lockKey),
lockTimeout);
}
});
} if (acquireTimeout < 0) // no wait
return null;
else {
try {
Thread.sleep(100l); // wait 100 milliseconds before retry
} catch (InterruptedException ex) {
}
} if (new Date().after(atoTime)) break;
}
} return null;
}
public void
releasePessimisticLockWithTimeout(String lockName, String identifier) { if (StringUtils.isBlank(lockName) || StringUtils.isBlank(identifier)) return;
final String lockKey = lockName;
redisTemplate.execute(new RedisCallback() { @Override
public Void doInRedis(RedisConnection connection) throws DataAccessException {
byte[] ctn = connection.get(redisTemplate
.getStringSerializer().serialize(lockKey)); if(ctn!=null && identifier.equals(redisTemplate.getStringSerializer().deserialize(ctn)))
connection.del(redisTemplate.getStringSerializer().serialize(lockKey)); return null;
}
});
}
如果使用关系数据库,一旦最先生成锁的程序意外退出,锁就可能永远得不到释放。Redis 的 EXPIRE
设置可确保在任何情况下释放锁。
3. 位屏蔽(Bit Mask)
假设 web 客户端需要轮询一台 web 服务器,针对某个数据库中的多个表查询客户指定更新内容。如果盲目地查询所有相应的表以寻找潜在更新,成本较高。为了避免这一做法,可以尝试在 Redis 中给每个客户端保存一个整型作为脏指标,整型的每个数位表示一个表。该表中存在客户所需更新时,设置数位。轮询期间,不会触发对表的查询,除非设置了相应数位。就获取并将这样的位屏蔽设置为 STRING
而言,Redis 非常高效。
4. 排行榜(Leaderboard)
Redis 的 ZSET
数据结构为游戏玩家排行榜提供了简洁的解决方案。ZSET
的工作方式有些类似于 Java 中的 PriorityQueue
,各个对象均为经过排序的数据结构,井井有条。可以按照分数排出游戏玩家在排行榜上的位置。Redis 的 ZSET
定义了一份内容丰富的命令列表,支持灵活有效的查询。例如,ZRANGE(包括 ZREVRANGE)可返回有序集内的指定范围要素。
你可以使用这一命令列出排行榜前 100 名玩家。ZRANGEBYSCORE 返回指定分数范围内的要素(例如列出得分为 1000 至 2000 之间的玩家),ZRNK 则返回有序集内的要素的排名,诸如此类。
5. 布隆(Bloom)过滤器
布隆过滤器 (Bloom filter) 是一种空间利用率较高的概率数据结构,用来测试某元素是否某个集的一员。可能会出现误报匹配,但不会漏报。查询可返回“可能在集内”或“肯定不在集内”。
就在线服务和离线服务包括大数据分析等方面,布隆过滤器数据结构都能派上很多用场。Facebook 利用布隆过滤器进行输入提示搜索,为用户输入的查询提取朋友和朋友的朋友。Apache HBase 则利用布隆过滤器过滤掉不包含特殊行或列的 HFile 块磁盘读取,使读取速度得到明显提升。Bitly 用布隆过滤器来避免将用户重定向到恶意网站,而 Quara 则在订阅后端执行了一个切分的布隆过滤器,用来过滤掉之前查看过的内容。在我自己的项目里,我用布隆过滤器追踪用户对各个主题的投票情况。
借助出色的速度和处理能力,Redis 极好地融合了布隆过滤器。搜索 GitHub,就能发现很多 Redis 布隆过滤器项目,其中一些还支持可调谐精度。
6. 高效的全局通知:发布/订阅渠道
Redis 发布/订阅渠道的工作方式类似于一个扇出消息传递系统,或 JMS 语义中的一个主题。JMS 主题和 Redis 发布/订阅渠道的一个区别是,通过 Redis 发布的消息并不持久。消息被推送给所有相连的客户端后,Redis 上就会删除这一消息。换句话说,订阅者必须一直在线才能接收新消息。Redis 发布/订阅渠道的典型用例包括实时配置分布、简单的聊天服务器等。
在 web 服务器集群中,每个节点都可以是 Redis 发布/订阅渠道的一个订阅者。发布到渠道上的消息也会被即时推送到所有相连节点。这一消息可以是某种配置更改,也可以是针对所有在线用户的全局通知。和恒定轮询相比,这种推送沟通模式显然极为高效。
Redis 性能优化
Redis 非常强大,但也可以从整体上和根据特定编程场景做出进一步优化。可以考虑以下技巧。
存活时间
所有 Redis 数据结构都具备存活时间 (TTL) 属性。当你设置这一属性时,数据结构会在过期后自动删除。充分利用这一功能,可以让 Redis 保持较低的内存损耗。
管道技术
在一条请求中向 Redis 发送多个命令,这种方法叫做管道技术。这一技术节省了网络往返的成本,这一点非常重要,因为网络延迟可能比 Redis 延迟要高上好几个量级。但这里存在一个陷阱:管道中的 Redis 命令列表必须预先确定,并且应当彼此独立。如果一个命令的参数是由先前命令的结果计算得出,管道技术就不起作用。列表 5 给出了 Redis 管道技术的一个示例。
列表 5:管道技术
@Override
public List fetchLeaderboard(String key, String... playerIds) {
final List entries = new ArrayList<>();
redisTemplate.executePipelined(new RedisCallback() { // enable Redis Pipeline
@Override
public Object doInRedis(RedisConnection connection) throws DataAccessException {
for(String playerId : playerIds) {
Long rank = connection.zRevRank(key.getBytes(), playerId.getBytes());
Double score = connection.zScore(key.getBytes(), playerId.getBytes());
LeaderboardEntry entry = new LeaderboardEntry(playerId,
score!=null?score.intValue():-1, rank!=null?rank.intValue():-1);
entries.add(entry);
}
return null;
}
});
return entries;
}
副本集和切分
Redis 支持主从副本配置。和 MongoDB 一样,副本集也是不对称的,因为从节点是只读的,以便共享读取工作量。我在文章开头提到过,也可以执行切分来横向扩展 Redis 的处理能力和存储容量。事实上,Redis 非常强大,据亚马逊公司的内部基准显示,类型 r3.4xlarge 的一个 EC2 实例每秒可轻松处理 100000 次请求。传说还有把每秒 700000 次请求作为基准的。对于中小型应用程序,通常无需考虑 Redis 切分。(请参见这篇非常出色的文章《运行中的 Redis》,进一步了解 Redis 的性能优化和切分。)
Redis 中的事务
Redis 并不像关系数据库管理系统那样能支持全面的 ACID 事务,但其自有的事务也非常有效。从本质上来说,Redis 事务是管道、乐观锁、确定提交和回滚的结合。其思想是执行一个管道中的一个命令列表,然后观察某一关键记录的潜在更新(乐观锁)。根据所观察的记录是否会被另一个进程更新,该命令列表或整体确定提交,或完全回滚。
下面以某个拍卖网站上的卖方库存为例。买方试图从卖方处购买某件商品时,你负责观察 Redis 事务内的卖方库存变化。同时,你要从同一个库存中删除此商品。事务关闭前,如果库存被一个以上进程触及(例如,如果两个买方同时购买了同一件商品),事务将回滚,否则事务会确定提交。回滚后可开始重试。
Spring Data Redis 中的事务陷阱
我在 Spring 的 RedisTemplate
类 redisTemplate.setEnableTransactionSupport(true)
; 中启用 Redis 事务时得到一个惨痛的教训:Redis 会在运行几天后开始返回垃圾数据,导致数据严重损坏。StackOverflow 上也报道了类似情况。
在运行一个 monitor
命令后,我的团队发现,在进行 Redis 操作或 RedisCallback
后,Spring 并没有自动关闭 Redis 连接,而事实上它是应该关闭的。如果再次使用未关闭的连接,可能会从意想不到的 Redis 密钥返回垃圾数据。有意思的是,如果在 RedisTemplate
中把事务支持设为 false,这一问题就不会出现了。
我们发现,我们可以先在 Spring 语境里配置一个 PlatformTransactionManager
(例如 DataSourceTransactionManager
),然后再用 @Transactional
注释来声明 Redis 事务的范围,让 Spring 自动关闭 Redis 连接。
根据这一经验,我们相信,在 Spring 语境里配置两个单独的 RedisTemplate
是很好的做法:其中一个 RedisTemplates 的事务设为 false,用于大多数 Redis 操作,另一个 RedisTemplates 的事务已激活,仅用于 Redis 事务。当然必须要声明 PlatformTransactionManager
和 @Transactional
,以防返回垃圾数值。
另外,我们还发现了 Redis 事务和关系数据库事务(在本例中,即 JDBC)相结合的不利之处。混合型事务的表现和预想的不太一样。
结论
我希望通过这篇文章向其他 Java 企业开发师介绍 Redis 的强大之处,尤其是将 Redis 用作远程数据缓存和用于易挥发数据时。在这里我介绍了 Redis 的六个有效用例,分享了一些性能优化技巧,还说明了我的 Glu Mobile 团队怎样解决了 Spring Data Redis 事务配置不当造成的垃圾数据问题。我希望这篇文章能够激发你对 Redis NoSQL 的好奇心,让你能够受到启发,在自己的 Java 企业版系统里创造出一番天地。
本文系 OneAPM 工程师编译整理。OneAPM 能为您提供端到端的 Java 应用性能解决方案,我们支持所有常见的 Java 框架及应用服务器,助您快速发现系统瓶颈,定位异常根本原因。分钟级部署,即刻体验,Java 监控从来没有如此简单。想阅读更多技术文章,请访问 OneAPM 官方技术博客。
本文转自 OneAPM 官方博客
你可能感兴趣的:(Spring Data Redis 让 NoSQL 快如闪电(2))
密码学在区块链技术中的应用
2401_85754355
密码学 区块链
目录1.问题背景1.1区块链技术的快速发展1.2密码学的重要性1.3面临的安全挑战1.4密码学解决方案的需求2.密码学在区块链中的具体应用2.1哈希函数在区块链中的应用2.2数字签名和公钥基础设施(PKI)在区块链中的作用3.问题分析3.1技术层面的分析3.2应用场景的分析3.3监管与合规的分析3.4未来发展的分析4.解决方案4.1技术方面4.2应用方面4.3监管与合规方面4.4社会方面5.结论6
Spring Boot 实现 DeepSeek API 调用
猫猫姐
大模型 spring boot deepseek
SpringBoot实现DeepSeekAPI调用1.项目依赖在pom.xml中添加以下依赖:org.springframework.bootspring-boot-starter-webfluxorg.projectlomboklombokcom.fasterxml.jackson.corejackson-databind2.项目结构<
3.1、密码学基础
山兔1
信息安全工程师 密码学 网络 服务器
目录密码学概念与法律密码安全分析密码体制分类-私钥密码/对称密码体制密码体制分类-公钥密码/非对称密码体制密码体制分类-混合密码体制密码学概念与法律密码学主要是由密码编码以及密码分析两个部分组成,密码编码就是加密,密码分析就是把我们的密文变化成相应的明文,就是解密跟密码相关的有两个法律,密码法在2020年1月1日起开始实施。2005年,实施了电子签名法密码学相关的一些概念,罗列了一些明文密文,加密
AWS Amazon Aurora MySQL 性能监控与安全治理实战指南
ivwdcwso
运维 aws mysql 安全 rds
引言AmazonAuroraMySQL凭借其云原生架构和高性能特性,已成为企业核心数据库的首选。然而,缺乏体系化的监控与安全治理可能导致资源浪费、性能瓶颈甚至数据泄露。本文结合AWS官方最佳实践与真实运维场景,从监控工具、性能调优、安全加固到自动化治理,构建全链路解决方案。©ivwdcwso(ID:u012172506)一、监控体系搭建:工具选型与指标解读1.原生工具组合:精准捕捉核心指标Clou
DeepSeek API 调用 - Spring Boot 实现
老大白菜
java 人工智能 spring boot 后端 java
DeepSeekAPI调用-SpringBoot实现1.项目依赖在pom.xml中添加以下依赖:org.springframework.bootspring-boot-starter-webfluxorg.projectlomboklombokcom.fasterxml.jackson.corejackson-databind2.项目结构deepseek-project/├──src/main/j
win10 安装WSL ubuntu20、配置git问题及解决记录
YANGM
git ubuntu linux
1WslRegisterDistributionfailedwitherror:0x800701bc问题问题现象如下图:处理方式有两种:1)切换使用WSL1,在windows命令输入wsl命令:wsl--set-default-version12)安装新内核,内核没有升级,前往微软WSL官网下载安装适用于x64计算机的最新WSL2Linux内核更新包即可。下载链接:https://wslstore
linux实战小笔记(十五)Centos7下静默安装Oracle 11g(无图形化界面)
时间与思念
linux 笔记 oracle
7.配置oracle用户环境变量==================在文件/home/oracle/.bash_profile里添加下面内容(具体值根据实际情况修改)umask022exportORACLE_HOSTNAME=oracledbexportORACLE_BASE=/data/app/oracleexportORACLE_HOME=$ORACLE_BASE/product/11.2.0
7-11 sdut-String-5 图书价格汇总(II) (10 分)
灯火穿透了
PTA Java题 java
假设图书馆中图书信息的格式为:Java程序设计:34;Web程序设计:56;JSP程序设计:20按要求输出每本图书的名称及价格,计算所有图书的总价格并输出。输入格式:读入一行图书信息。如:Java程序设计:34;Web程序设计:56;JSP程序设计:20提示:每本书的价格是整数,价格与下一本书的名字之间有一个中文;价格前可能有空格,可能没有。输出格式:分别输出每本图书的名称及价格,一本书占一行,形
7-2 藏头诗 (15分)
灯火穿透了
c语言
7-2藏头诗(15分)本题要求编写一个解密藏头诗的程序。输入格式:输入为一首中文藏头诗,一共四句,每句一行。注意:一个汉字占两个字节。输出格式:取出每句的第一个汉字并连接在一起形成一个字符串并输出。同时在末尾输入一个换行符。输入样例:一叶轻舟向东流帆稍轻握杨柳手风纤碧波微起舞顺水任从雅客流输出样例:一帆风顺#includeintmain(){chara[50];charb[9];inti,j=0,
vue项目中使用scss
筱筱°
# scss vue.js scss
vue项目中使用scss一、安装使用scss1.安装scss2.安装node-sass和sass-loader3.配置webpack.base.conf.js文件4.组件中使用scss二、设置scss变量1.使用sass-resources-loader实现全局变量2.新建一个public.scss文件3.根目录下找到build下的utils.js文件4.运行项目三、常用全局变量1.设置变量2.使
Java生成LRC纵向冗余校验
YunFeiDong
Java java 开发语言 Modbus ASCII
纵向冗余校验(LongitudinalRedundancyCheck,简称:LRC)是通信中常用的一种校验形式,也称LRC校验或纵向校验;它是一种从纵向通道上的特定比特串产生校验比特的错误检测方法;通常Modbus协议ASCII模式采用LRC算法。1.生成LRC校验/***生成LRC校验值:**1)对需要校验的数据(2n个字符)两两组成一个16进制的数值求和;*2)将求和结果与256求模;*3)用
Java基础之JVM对象内存分配机制简介
aoneword
JVM基础 jvm java 开发语言
一对象内存分配1.1运行时数据区域1.2常见java应用启动JVM参数:-Xss:每个线程的栈大小(单位kb)-Xms:堆的初始大小,默认物理内存的1/64,示例:-Xms:4g-Xms:10m-Xmx:堆的最大可用大小,默认物理内存的1/4-Xmn:新生代大小-XX:NewRatio:默认2,表示新生代占老年代的1/2,占整个堆内存的1/3-XX:SurvivorRatio:默认8,表示一个su
python文件修改后不生效_pycharm修改代码后第一次运行不生效解决
weixin_39959126
python文件修改后不生效
SVN搭建简单教程一.引言笔者曾经试图在网上搜索一篇关于SVN源代码服务器搭建方面的中文技术文章,可惜,所找到的,要么是不完整,要么就是对笔者没什么帮助的文章,TortoiseSvn的帮助文档固然强大,但因为是英文,...java零碎知识点1.字符串有整型的相互转换12Stringa=String.valueOf(2);//integertonumericstringinti=Integer.pa
SpringAI赋能Java开发打造智能应用
java技术小馆
java AI编程
一、SpringAI是什么?为什么你需要它?想象一下,你的Java应用能够:理解自然语言自动生成代码智能分析数据提供个性化推荐这就是SpringAI带来的变革!它是Spring官方推出的AI集成框架,让你的Java应用轻松获得AI能力。传统开发vsSpringAI开发对比:能力传统开发SpringAI开发自然语言处理需要集成第三方SDK开箱即用开发效率手动实现复杂逻辑自动生成代码维护成本高低可扩展
Window 10使用WSL2成功编译Android R
shusuanly
车机系统 android framework
一、安装WSL参考Microsoft官方文档安装WSL2,并从MicrosoftStore选择Linux发行版进行安装,此处选择Ubuntu18.04.5LTS安装。首次进入Linux需设置Linux用户名和密码二、迁移WSL
蓝桥杯模拟赛
胃口很大的一条小蛇仔
蓝桥杯 算法
1.最少操作次数有一个整数A=2021,每一次,可以将这个数加1、减1或除以2,其中除以2必须在数是偶数的时候才允许。例如,2021经过一次操作可以变成2020、2022。再如,2022经过一次操作可以变成2021、2023或1011。请问,2021最少经过多少次操作可以变成1。类似最短路径和最少操作次数这样的题都可以用bfs来求解答案:14分析:为什么想到用BFS呢?答:因为bfs就是从一个点出
第十三届蓝桥杯模拟赛(第四期)试题与题解 C++
小球同学.
蓝桥杯模拟赛 蓝桥杯
目录试题A试题B试题C试题D试题E试题F试题G试题H试题I试题J试题A【问题描述】 以下是一个25行25列的字母矩阵,全部由字母A和B组成。AAAAAAABABBAABABABAAAAAAAABBBBBABBAABBBBBABABBBBBAABAAABABBBABAABBBBABAAABAABAAABABBBBBAABAABABAAABAABAAABABBABABBABABABAAABAABBB
超详细的docker以及docker-compose的部署教程
沉默的良
docker docker java
目录一、docker安装1.准备工作2.安装docker3.设置国内镜像2.docker-compose安装1.准备工作2.通过curl命令下载(不建议)3.手动安装(强烈建议)3.docker常用命令一、docker安装1.准备工作(1)一台Linux服务器,如果使用的是CentOS系统,请确保内核要不低于3.10。以下的演示环境皆为CentOS7.6。(2)安装之前,请执行下面的命令卸载旧的d
JVM两种内存分配方式
小白,想脱白
jvm
1、指针碰撞如果jvm内存是规整的,就是一边是已使用的内存,另外一边是未使用的内存,中间是指针,jvm需要给新对象分配内存时,就会将指针往未使用的内存移动一段和新对象一样大小的距离,这样jvm就完成了内存分配。2、空闲列表如果jvm内存不是规整的,已使用的,未使用的内存,都是杂乱无章的,这个时候就不可能使用指针碰撞,Java虚拟机就会维护一个空闲列表,用来记录哪些内存是可用的,然后jvm给新对象分
JAVA多线程详解(超详细)
m0_74823434
面试 学习路线 阿里巴巴资料职业发展 java python 开发语言 后端
目录一、线程简介1、进程、线程2、并发、并行、串行3、进程的三态二、线程实现1、继承Thread类2、实现Runnable接口3、实现Callable接口(不常用)三、线程常用方法1、线程的状态2、线程常用方法四、多线程1、守护(Deamon)线程2、多线程并发与同步3、死锁4、Lock(锁)5、线程协作6、线程池一、线程简介1、进程、线程程序:开发写的代码称之为程序。程序就是一堆代码,一组数据和
Arduino基础篇(八)-- Arduino如何实现多线程(SCoop)
m0_74823434
面试 学习路线 阿里巴巴资料职业发展 驱动开发 后端
1简介1、多线程是什么?为什么要用多线程?进程:是一个正在执行中的程序,每一个进程执行都有一个执行顺序,该顺序是一个执行路径,或者叫一个控制单元。线程:就是进程中的一个独立控制单元,线程在控制着进程的执行。一个进程中至少有一个线程。多线程:一个进程中不只有一个线程。多线程是指从软件或者硬件上实现多个线程并发执行的技术。2、为什么要用多线程?为了更好的利用cpu的资源,如果只有一个线程,则第二个任务
已完成生成项目“xxx.vcxproj”的操作 - 失败。
小羊byte
前端 算法 javascript
原因:对在类外对某个的拷贝构造函数或者赋值运算符函数进行实现,但是在类中没有进行声明。如下:test.h:classData{public:Data(Data*other=nullptr);~Data();private:Data*m_pdate;};test.cpp:#include"test.h"#includeData::Data(Data*other):m_pdate(other){}Da
Reac19 升级指南
Geek技术前线
react.js 前端 前端框架
Reactv19已经发布beta版本,想要快速体验如何升级到v19版本尝鲜的朋友们可以查阅进行了解前言React已于近日发布了v19的beta版本,同时为了帮助后续的v19升级,也同时发布了v18.3.0的正式版,与v18.2版本完全相同,但添加了弃用API的警告和其他为React19所需的更改安装使用新版JSXTransform为了改善打包体积和可以在JSX文件中无需手动引入React,在202
oracle分区方式
狂野弘仁
数据库基础 oracle 数据库
oracle分区表的分区有四种类型:范围分区、散列分区、列表分区和复合分区。1、范围分区就是根据数据库表中某一字段的值的范围来划分分区。数据中有空值,Oracle机制会自动将其规划到maxvalue的分区中。2、散列分区根据字段的hash值进行均匀分布,尽可能地实现各分区所散列的数据相等。散列分区即为哈希分区,Oracle采用哈希码技术分区,具体分区如何由Oracle说的算,也可能我下一次搜索就不
查询速度慢的原因,如何优化查询
狂野弘仁
数据库 java 大数据
页面显示数据一定要及时的呈现,否则会影响用户体现.那么导致页面加载数据慢或者显示滞后的原因又是什么呢?原因分析后台数据库中数据过多,未做数据优化数据请求-解析-展示处理不当网络问题提高数据库查询的速度方案SQL查询速度慢的原因有很多,常见的有以下几种:1、没有索引或者没有用到索引(查询慢最常见的问题,是程序设计的缺陷)2、I/O吞吐量小,形成了瓶颈效应。3、没有创建计算列导致查询不优化。4、内存不
Java学习——day14
blackA_
java 学习 开发语言
文章目录1.项目需求分析2.项目设计3.代码分析4.运行示例5.今日学习总结6.今日生词今日学习计划1.项目需求分析功能要求:(1)存储学生信息:使用HashMap存储学生信息(学号作为键,Student对象作为值)。(2)操作学生数据:添加学生(姓名、学号、成绩)。删除学生(按学号删除)。查询学生(按学号查询)。显示所有学生信息。(3)异常处理:防止重复添加(如果学号已存在,抛出异常)。查询/删
ORA-39002 ORA-39070 ORA-29283 ORA-06512 ORA-29283 错误处理
夜光小兔纸
运维 数据库 Oracle oracle 数据库 运维
一、问题描述在执行EXPDP导出时候报如下错误:[oracle@localhost]$expdprui/ruiDIRECTORY=dmp_dirdumpfile=studyfull_expdp.dmpFULL=ylogfile=studyfullexpdp.logjob_name=expdp_jobExport:Release11.2.0.4.0-ProductiononMonFeb2410:18
Redhat 系统修改主机名 hostname
夜光小兔纸
Linux linux
临时修改主机名方法如下:#hostnamenewname//将newname替换为想要的主机名如:#hostnametest01//将主机名修改为test01永久修改主机名(说明:不同的系统修改主机名称的方式不尽相同,这里以Redhat系统为例。)1.系统安装完成后通过hostname命令查看当前系统默认的主机名称#hostname2.修改文件/etc/sysconfig/networkvi/et
VScode的python虚拟环境
tyrolin
vscode ide 编辑器
1创建虚拟环境(venv)在VSCode中打开项目文件夹,键盘按住快捷键ctrlshiftp,打开命令面板,输入python:创建环境选择venv,输入解释器路径,此时左侧文件夹内会出现一个.venv文件夹2激活虚拟环境终端命令行:激活环境:&.\.venv\Scripts\activate退出环境:deactivate3安装所需的库终端命令行:pipinstall需要的库4虚拟环境复制如果需要复
python中的文件路径
tyrolin
python 前端
1.路径的表示以路径D:\files\data\train.txt为例,有三种方式来表示:(1)在字符串前加个字符r,表示该字符串为原始字符串,会完全忽略所有的转义字符。r"D:\files\data\train.txt"(2)对转义字符进行转义,用两个斜杠。“D:\\files\\data\\train.txt”(3)将分隔符替换为/。“D:/files/data/train.txt”2.绝对路
SAX解析xml文件
小猪猪08
xml
1.创建SAXParserFactory实例
2.通过SAXParserFactory对象获取SAXParser实例
3.创建一个类SAXParserHander继续DefaultHandler,并且实例化这个类
4.SAXParser实例的parse来获取文件
public static void main(String[] args) {
//
为什么mysql里的ibdata1文件不断的增长?
brotherlamp
linux linux运维 linux资料 linux视频 linux运维自学
我们在 Percona 支持栏目经常收到关于 MySQL 的 ibdata1 文件的这个问题。
当监控服务器发送一个关于 MySQL 服务器存储的报警时,恐慌就开始了 —— 就是说磁盘快要满了。
一番调查后你意识到大多数地盘空间被 InnoDB 的共享表空间 ibdata1 使用。而你已经启用了 innodbfileper_table,所以问题是:
ibdata1存了什么?
当你启用了 i
Quartz-quartz.properties配置
eksliang
quartz
其实Quartz JAR文件的org.quartz包下就包含了一个quartz.properties属性配置文件并提供了默认设置。如果需要调整默认配置,可以在类路径下建立一个新的quartz.properties,它将自动被Quartz加载并覆盖默认的设置。
下面是这些默认值的解释
#-----集群的配置
org.quartz.scheduler.instanceName =
informatica session的使用
18289753290
workflow session log Informatica
如果希望workflow存储最近20次的log,在session里的Config Object设置,log options做配置,save session log :sessions run ;savesessio log for these runs:20
session下面的source 里面有个tracing
Scrapy抓取网页时出现CRC check failed 0x471e6e9a != 0x7c07b839L的错误
酷的飞上天空
scrapy
Scrapy版本0.14.4
出现问题现象:
ERROR: Error downloading <GET http://xxxxx CRC check failed
解决方法
1.设置网络请求时的header中的属性'Accept-Encoding': '*;q=0'
明确表示不支持任何形式的压缩格式,避免程序的解压
java Swing小集锦
永夜-极光
java swing
1.关闭窗体弹出确认对话框
1.1 this.setDefaultCloseOperation (JFrame.DO_NOTHING_ON_CLOSE);
1.2
this.addWindowListener (
new WindowAdapter () {
public void windo
强制删除.svn文件夹
随便小屋
java
在windows上,从别处复制的项目中可能带有.svn文件夹,手动删除太麻烦,并且每个文件夹下都有。所以写了个程序进行删除。因为.svn文件夹在windows上是只读的,所以用File中的delete()和deleteOnExist()方法都不能将其删除,所以只能采用windows命令方式进行删除
GET和POST有什么区别?及为什么网上的多数答案都是错的。
aijuans
get post
如果有人问你,GET和POST,有什么区别?你会如何回答? 我的经历
前几天有人问我这个问题。我说GET是用于获取数据的,POST,一般用于将数据发给服务器之用。
这个答案好像并不是他想要的。于是他继续追问有没有别的区别?我说这就是个名字而已,如果服务器支持,他完全可以把G
谈谈新浪微博背后的那些算法
aoyouzi
谈谈新浪微博背后的那些算法
本文对微博中常见的问题的对应算法进行了简单的介绍,在实际应用中的算法比介绍的要复杂的多。当然,本文覆盖的主题并不全,比如好友推荐、热点跟踪等就没有涉及到。但古人云“窥一斑而见全豹”,希望本文的介绍能帮助大家更好的理解微博这样的社交网络应用。
微博是一个很多人都在用的社交应用。天天刷微博的人每天都会进行着这样几个操作:原创、转发、回复、阅读、关注、@等。其中,前四个是针对短博文,最后的关注和@则针
Connection reset 连接被重置的解决方法
百合不是茶
java 字符流 连接被重置
流是java的核心部分,,昨天在做android服务器连接服务器的时候出了问题,就将代码放到java中执行,结果还是一样连接被重置
被重置的代码如下;
客户端代码;
package 通信软件服务器;
import java.io.BufferedWriter;
import java.io.OutputStream;
import java.io.O
web.xml配置详解之filter
bijian1013
java web.xml filter
一.定义
<filter>
<filter-name>encodingfilter</filter-name>
<filter-class>com.my.app.EncodingFilter</filter-class>
<init-param>
<param-name>encoding<
Heritrix
Bill_chen
多线程 xml 算法 制造 配置管理
作为纯Java语言开发的、功能强大的网络爬虫Heritrix,其功能极其强大,且扩展性良好,深受热爱搜索技术的盆友们的喜爱,但它配置较为复杂,且源码不好理解,最近又使劲看了下,结合自己的学习和理解,跟大家分享Heritrix的点点滴滴。
Heritrix的下载(http://sourceforge.net/projects/archive-crawler/)安装、配置,就不罗嗦了,可以自己找找资
【Zookeeper】FAQ
bit1129
zookeeper
1.脱离IDE,运行简单的Java客户端程序
#ZkClient是简单的Zookeeper~$ java -cp "./:zookeeper-3.4.6.jar:./lib/*" ZKClient
1. Zookeeper是的Watcher回调是同步操作,需要添加异步处理的代码
2. 如果Zookeeper集群跨越多个机房,那么Leader/
The user specified as a definer ('aaa'@'localhost') does not exist
白糖_
localhost
今天遇到一个客户BUG,当前的jdbc连接用户是root,然后部分删除操作都会报下面这个错误:The user specified as a definer ('aaa'@'localhost') does not exist
最后找原因发现删除操作做了触发器,而触发器里面有这样一句
/*!50017 DEFINER = ''aaa@'localhost' */
原来最初
javascript中showModelDialog刷新父页面
bozch
JavaScript 刷新父页面 showModalDialog
在页面中使用showModalDialog打开模式子页面窗口的时候,如果想在子页面中操作父页面中的某个节点,可以通过如下的进行:
window.showModalDialog('url',self,‘status...’); // 首先中间参数使用self
在子页面使用w
编程之美-买书折扣
bylijinnan
编程之美
import java.util.Arrays;
public class BookDiscount {
/**编程之美 买书折扣
书上的贪心算法的分析很有意思,我看了半天看不懂,结果作者说,贪心算法在这个问题上是不适用的。。
下面用动态规划实现。
哈利波特这本书一共有五卷,每卷都是8欧元,如果读者一次购买不同的两卷可扣除5%的折扣,三卷10%,四卷20%,五卷
关于struts2.3.4项目跨站执行脚本以及远程执行漏洞修复概要
chenbowen00
struts WEB安全
因为近期负责的几个银行系统软件,需要交付客户,因此客户专门请了安全公司对系统进行了安全评测,结果发现了诸如跨站执行脚本,远程执行漏洞以及弱口令等问题。
下面记录下本次解决的过程以便后续
1、首先从最简单的开始处理,服务器的弱口令问题,首先根据安全工具提供的测试描述中发现应用服务器中存在一个匿名用户,默认是不需要密码的,经过分析发现服务器使用了FTP协议,
而使用ftp协议默认会产生一个匿名用
[电力与暖气]煤炭燃烧与电力加温
comsci
在宇宙中,用贝塔射线观测地球某个部分,看上去,好像一个个马蜂窝,又像珊瑚礁一样,原来是某个国家的采煤区.....
不过,这个采煤区的煤炭看来是要用完了.....那么依赖将起燃烧并取暖的城市,在极度严寒的季节中...该怎么办呢?
&nbs
oracle O7_DICTIONARY_ACCESSIBILITY参数
daizj
oracle
O7_DICTIONARY_ACCESSIBILITY参数控制对数据字典的访问.设置为true,如果用户被授予了如select any table等any table权限,用户即使不是dba或sysdba用户也可以访问数据字典.在9i及以上版本默认为false,8i及以前版本默认为true.如果设置为true就可能会带来安全上的一些问题.这也就为什么O7_DICTIONARY_ACCESSIBIL
比较全面的MySQL优化参考
dengkane
mysql
本文整理了一些MySQL的通用优化方法,做个简单的总结分享,旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作,至于具体的SQL优化,大部分通过加适当的索引即可达到效果,更复杂的就需要具体分析了,可以参考本站的一些优化案例或者联系我,下方有我的联系方式。这是上篇。
1、硬件层相关优化
1.1、CPU相关
在服务器的BIOS设置中,可
C语言homework2,有一个逆序打印数字的小算法
dcj3sjt126com
c
#h1#
0、完成课堂例子
1、将一个四位数逆序打印
1234 ==> 4321
实现方法一:
# include <stdio.h>
int main(void)
{
int i = 1234;
int one = i%10;
int two = i / 10 % 10;
int three = i / 100 % 10;
apacheBench对网站进行压力测试
dcj3sjt126com
apachebench
ab 的全称是 ApacheBench , 是 Apache 附带的一个小工具 , 专门用于 HTTP Server 的 benchmark testing , 可以同时模拟多个并发请求。前段时间看到公司的开发人员也在用它作一些测试,看起来也不错,很简单,也很容易使用,所以今天花一点时间看了一下。
通过下面的一个简单的例子和注释,相信大家可以更容易理解这个工具的使用。
2种办法让HashMap线程安全
flyfoxs
java jdk jni
多线程之--2种办法让HashMap线程安全
多线程之--synchronized 和reentrantlock的优缺点
多线程之--2种JAVA乐观锁的比较( NonfairSync VS. FairSync)
HashMap不是线程安全的,往往在写程序时需要通过一些方法来回避.其实JDK原生的提供了2种方法让HashMap支持线程安全.
Spring Security(04)——认证简介
234390216
Spring Security 认证 过程
认证简介
目录
1.1 认证过程
1.2 Web应用的认证过程
1.2.1 ExceptionTranslationFilter
1.2.2 在request之间共享SecurityContext
1
Java 位运算
Javahuhui
java 位运算
// 左移( << ) 低位补0
// 0000 0000 0000 0000 0000 0000 0000 0110 然后左移2位后,低位补0:
// 0000 0000 0000 0000 0000 0000 0001 1000
System.out.println(6 << 2);// 运行结果是24
// 右移( >> ) 高位补"
mysql免安装版配置
ldzyz007
mysql
1、my-small.ini是为了小型数据库而设计的。不应该把这个模型用于含有一些常用项目的数据库。
2、my-medium.ini是为中等规模的数据库而设计的。如果你正在企业中使用RHEL,可能会比这个操作系统的最小RAM需求(256MB)明显多得多的物理内存。由此可见,如果有那么多RAM内存可以使用,自然可以在同一台机器上运行其它服务。
3、my-large.ini是为专用于一个SQL数据
MFC和ado数据库使用时遇到的问题
你不认识的休道人
sql C++ mfc
===================================================================
第一个
===================================================================
try{
CString sql;
sql.Format("select * from p
表单重复提交Double Submits
rensanning
double
可能发生的场景:
*多次点击提交按钮
*刷新页面
*点击浏览器回退按钮
*直接访问收藏夹中的地址
*重复发送HTTP请求(Ajax)
(1)点击按钮后disable该按钮一会儿,这样能避免急躁的用户频繁点击按钮。
这种方法确实有些粗暴,友好一点的可以把按钮的文字变一下做个提示,比如Bootstrap的做法:
http://getbootstrap.co
Java String 十大常见问题
tomcat_oracle
java 正则表达式
1.字符串比较,使用“==”还是equals()? "=="判断两个引用的是不是同一个内存地址(同一个物理对象)。 equals()判断两个字符串的值是否相等。 除非你想判断两个string引用是否同一个对象,否则应该总是使用equals()方法。 如果你了解字符串的驻留(String Interning)则会更好地理解这个问题。
SpringMVC 登陆拦截器实现登陆控制
xp9802
springMVC
思路,先登陆后,将登陆信息存储在session中,然后通过拦截器,对系统中的页面和资源进行访问拦截,同时对于登陆本身相关的页面和资源不拦截。
实现方法:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23