fetchsize

SpringBoot项目中mybatis执行sql很慢的排查改造过程（Interceptor插件、fetchSize、隐式转换等）

刚入职公司，就发现公司项目跑sql特别慢，差不多一万条数据插入到数据库要5秒以上（没有听错，就是这个速度），查询修改删除也是特别慢。直到22年年底实在是受不了了，我就去排查了一下。用的是Oracle数据库，mybatis、mybatisplus，其中mybatis是引入的平台的依赖。平台封装了一些工具和插件。做个对照试验首先为了做对照试验，自己新建了一个SpringBoot项目T，里面引入了官方的
星月昭铭·2024-08-30 11:33

mysql JDBC的三种查询（普通、流式、游标）

驱动会阻塞的一次性读取全部查询的数据到JVM内存中，或者分页读取流式查询：每次执行rs.next时会判断数据是否需要从mysql服务器获取，如果需要触发读取一批数据（可能n行）加载到JVM内存进行业务处理游标查询：通过fetchSize
赶路人儿·2024-02-07 13:44

【数据库】聊聊数据库中的 fetchsize 参数

聊聊数据库中的fetchsize参数1.介绍2.案例3.MySQL中的fetchsize4.Oracle中的fetchsize1.介绍在使用查询语句的时候，经常需要根据条件来进行查询得到最终的总记录条数
G皮T·2024-01-20 03:01

mybatis的流式查询

Select("select*fromentity_demot${ew.customSqlSegment}")@Options(resultSetType=ResultSetType.FORWARD_ONLY,fetchSize
小徐敲java·2023-12-01 23:31

Mybatis中SQL查询很慢，直接用SQL很快

多种情况会导致这个问题：1.返回结果集比较大时FETCHSIZE设置接近结果集大小一般会影响查询的速度2.将#改成$试试3.对于索引行如果数据类型不对可能导致索引不能用时间变长4.对于Oracle数据库查询条件中有
小手cool·2023-09-22 11:57

【PostgreSql】解决postgresql设置fetchsize也无法流查询的思路及方案

因为按道理导出功能是设置了fetchSize来进行流查询了，按道理是不会内存溢出的。然后排查发现，获取数据是全部获取了，那肯定会内存溢出了。具体什么是流查询，待写完下篇文章后就链接到这里。
zhousenshan·2023-09-14 03:36

09 mysql fetchSize 所影响的服务器和客户端的交互

前言这是一个之前使用spark的时候记一次spark读取大数据表OOMOutOfMemoryError:GCoverheadlimitexceeded因为一个OOM的问题,当时使用了fetchSize的参数应用服务
教练、我想打篮球·2023-09-03 12:43

Mybatis自定义分页插件及PageHelper源码分析

2.分页查询总条数3.修改原有sql4.执行原有方法5.存在问题：二、PageHelper分析1.PageHelper简介2.PageHelper源码分析三：fetchsize游标的使用1.什么是fetchsize2
又 欠·2023-08-31 16:10

Mybatis+MySQL 流式导出CSV，为什么fetchSize必须为：-2147483648？

MySQL数据库游标通常有两种形式：ClientSideCursor（客户端游标）和ServerSideCursor（服务器端游标）。默认情况下，客户端游标会把整个结果集获取到客户端内存中，如果结果集太大，就会引发OutOfMemory错误；而服务器端游标会将结果集缓存在服务器端，客户端从服务器端分批获得结果集。MySQL默认是使用客户端游标的，因为通常情况下，程序处理的结果集不会特别大，对小结果
妙明元心·2023-08-30 18:02

数据库访问性能优化

、返回更少数据（减少网络传输或磁盘访问）(1)数据分页处理(减少行数)客户端分页服务器分页数据库分页(2)只返回需要的字段(减少列数)3、减少交互次数（减少网络传输）batch操作inlist操作设置FetchSize
夜雨风云·2023-08-29 15:40

Mybatis查询上万条数据优化

当查询数据达到上万条的时候相应过慢，然后我们就需要在Mapper文件的查询上加上fetchSize属性字段解决代码如下：fetchSize参数解析：通过JDBC取数据时，默认是10条数据取一次，即fetchSize
RyFit·2023-08-17 05:36

大数据量查询导致 OOM 从 mybatis 源码角度分析以及解决方案

FetchSize参数原理说明用50mb内存查出50w数据方案实现总结前言正所谓前人，栽树后人乘凉。
张子行的博客·2023-07-24 14:38

Mybatis实现百万级数据导出(重点代码摘要)

MyBatis实现逐条获取数据，必须要自定义ResultHandler，然后在mapper.xml文件中，对应的select语句中添加fetchSize=“-2147483648”。
moernagedian·2023-06-18 05:15

mysql的jdbc驱动流式读取数据原理

结合JDBC操作MySQL流式查询原理来看mysql获取数据的核心逻辑就是下面这个截图，PreparedStatement封装了sql及fetchSize和其他信息，他通过execute方法获取ResultSet
韩运畅·2023-06-14 05:36

mysql jdbc中maxRows和fetchSize

maxRows的作用是限制从ResultSet中返回的最大行数，应该根据需求来进行设置fetchSize设置的则是每个网络往返中检索的行数。
我我的龙呢·2023-04-18 22:53

JDBC的fetchsize和maxrows

setMaxRows(intmax)：将此Statement对象生成的所有ResultSet对象可以包含的最大行数限制设置为给定数。setFetchSize(introws)：为JDBC驱动程序提供一个提示，它提示此Statement生成的ResultSet对象需要更多行时应该从数据库获取的行数。setFetchDirection(intdirection)：向驱动程序提供关于方向的提示，在使用此
穿石小水滴·2023-04-17 18:32

DBEAVER导入导出的一些细节

不支持EXCEL格式提速方式FETCHsize：缓存大小。如果过大会异常，过小会太慢设置FETCHsize1000，就是说：我一次SQL缓存1000行。当你读完这1000行的时候再继续执行。
青碧凝霜·2023-04-15 12:37

mybatis_select_标签

andage>20这里既有输入也有输出select的属性id,parameterClass,resultClass,parameterMap,resultMap,cacheModelresultSetType,fetchSize
iteye_9437·2023-04-09 15:41

MySQL JDBC读取大数据量（超1G）时报错探究

Stream流方式处理：这种操作方式通常是在执行SQL前进行的，通过设FetchSize，statement.setFetchSize(Integer.MIN_VALUE)，Integer.MIN_VA
血色彼岸花_703d·2023-03-24 23:55

mybatis大数据查询优化：fetchSize

解决方法：在mapper.xml中的中加入fetchSize参数，设置的大一些
帅气滴糟老头·2023-03-15 21:48

MyBatis中使用流式查询避免数据量过大导致OOM

1、Mapper.xml配置select语句需要增加fetchSize属性，底层是调用jdbc的setFetc
紫陌红尘Oo·2023-02-02 01:30

迭代器模式 实现ES大量数据查询

使用迭代器模式迭代器模式组成代码实现查询实体返回实体实现类代码测试mock的ES返回结果json数据第一次返回结果第二次返回结果第三次返回结果postMan请求,控制台打印结果项目需求数据从Mysql迁移到Es,Es查询数据默认fetchSize
法毅的博客·2023-01-03 13:05

hdfswriter优化之提高写速度

比如创建索引，增加fetchsize增加并行。那么怎么增加hdfs写的速度呢？以orc文件为例。
cclovezbf·2022-09-21 13:33

Mybatis流式查询

存有一个需要遍历处理的需求，因数据量过大不能一次性将结果集装入客户端内存，就可以考虑使用流式查询或者分页查询,本文仅讨论流式查询.话不多说直接上代码方式一:基于mybatis的游标规则类似于oracle的fetchsize
污鸦嘴·2022-08-16 12:51

DataX java.lang.OutOfMemoryError: GC overhead limit exceeded 一次OOM问题排查

调整了reader的fetchSize和writer的batchSize，比较极端降到了1依然报错。datax报错信息开始跟着网上的资料排查问题首先在启动脚本中添加了-XX:-UseGCOv
duzhenxi7·2022-07-22 10:14

spring-data-jpa设置fetchsize

QueryHints@QueryHints(@javax.persistence.QueryHint(name="org.hibernate.fetchSize",value="50"))ListfindAll
go4it·2021-05-09 20:03

JDBC读写数据优化-分批次读写数据库

1.在oracle数据库取数的时候时候给jdbc设置FetchSize参数，分批次从表中取数，然后将数据封装到list中。
剑穹·2020-09-16 21:24

mysql的jdbc中fetchsize支持的问题

1.MySQL的JDBCOutOfMemoryError:Javaheapspace异常MySql数据库通过JDBC对大表进行查询时抛出java.lang.OutOfMemoryError:Javaheapspace异常。这是因为默认情况下，MySQL的JDBC驱动会一下子把所有row都读取下来，这在一般情况下是最优的，因为可以减少Client-Server的通信开销。但是这样也有一个问题，当数据
剑穹·2020-09-16 21:24

浅谈hibernate性能优化

1、针对oracle数据库而言，FetchSize是设定JDBC的Statement读取数据的时候每次从数据库中取出的记录条数，一般设置为30、50、100。
iteye_636·2020-09-14 22:21

千万级数据导出excel的一点心得

这个数据量小的时候还行,数据量一大当场傻眼2.使用流式读取,耗时3分钟,速度还可以再优化,就是占用内存太大,1000W数据占了3G运存,关键字为resultSetType="FORWARD_ONLY"fetchSize
theheroonline·2020-09-12 12:19

MySQL设置了useCursorFetch，FetchSize参数的影响

还好MySQL在连接串上，使用了useCursorFetch=true，就可以达到将部分数据搬到客户端就进行处理，那么这时FetchSize对系统会产生什么影响；以下FetchSize设置成Int
cfy_zybing·2020-09-11 00:40

优化JDBC

一，FetchSize。默认fetchsize是10行，如果查询结果包括100行，应用与数据库之间会有10次网络交互。
Andy__Han·2020-08-24 14:27

-合理的设置fetchsize

p=597在前面的几节中，我们经常会提到一个词“Fetchsize”，并且在《JBOSS连接池调优2-合理的设置PreparedStatementCache》一节中研究了fetchsize对应用内存的影响
bincavin·2020-08-15 22:19

什么是fetchsize？

1.什么是fetchsize？
bincavin·2020-08-15 22:19

关于spark SQL读取传统数据库的效率问题

Map[String,String]("numPartitions"->"3","partitionColumn"->"id","lowerBound"->"3","upperBound"->"8","fetchsize
没有合适的昵称·2020-07-28 21:32

程序里的SQL、mybatis下的查询慢的优化方法（非SQL语句优化）

但后台的查询语句依旧慢的可怜，这个可以检查一下数据库连接池的配置是否可以进行以下优化：关键是优化结果集遍历这一块：rs.setFetchSize(1000);1、基于jdbc的后台查询慢，可以尝试设置fetchSize
kangzhili2009·2020-07-14 14:45

MyBatis中使用流式查询避免数据量过大导致OOM

1、Mapper.xml配置select语句需要增加fetchSize属性，底层是调用jdbc的setFe
波波仔86·2020-07-11 03:23

多线程查询MySQL大数据量单表导致OOM及线程卡死

问题对数据分组后，然后开启对应个数的线程，每个线程处理一个分组数据的任务（每个分组后的数据量从几十万至千万级），最初思路是从原库取出1000条数据后，再进行入库，设置了PreparedStatement的fetchSize
joexk·2020-07-06 13:01

hibernate 批量操作 hibernate.jdbc.batch_size hibernate.jdbc.fetch_size

优化hibernate性能的几点建议1、针对oracle数据库而言，FetchSize是设定JDBC的Statement读取数据的时候每次从数据库中取出的记录条数，一般设置为30、50、100。
yuhua3272004·2020-07-06 11:33

MyBatis中使用流式查询避免数据量过大导致OOM

springboot中整合mybatisorg.mybatis.spring.bootmybatis-spring-boot-starter1.1.1mapper.xml文件配置select语句需要增加fetchSize
虾米记·2020-06-29 07:28

hibernate查询性能优化

1、针对Oracle数据库而言，FetchSize是设定JDBC的Statement读取数据的时候每次从数据库中取出的记录条数，一般设置为30、50、100。
owenzh·2020-06-24 19:03

《Spring源码分析》——JDBC章节

P221JdbcTemplate中可以设置fetchSize、maxS
aolan8050·2019-09-26 01:04

Sqoop解决宽表内存溢出OutOfMemoryError

解决办法之一是增加内存，目前情况来说不显示，于是我采用另一种方法：减小cache到内存的记录条数，即使用–fetch-size选项调整fetchSize。
民国先生·2019-08-20 15:38

jdbc，mybatis中fetchsize使用，批处理方案

jdbc，mybatis中fetchsize使用，批处理方案简介jdbc获取大量数据mybatis获取大量数据mapper文件自定义ResultHandler来分批处理结果集使用批处理方案for循环一条条插入
哥布林杀手.简·2019-08-18 16:40

Statement参数声明，fetchSize使用

一、Statementstmt=conn.createStatement(参数一,参数二)第一个参数可以取值为ResultSet.RTYPE_FORWORD_ONLY：这是缺省值，只可向前滚动；ResultSet.TYPE_SCROLL_INSENSITIVE：双向滚动，但不及时更新，就是如果数据库里的数据修改过，并不在ResultSet中反应出来。ResultSet.TYPE_SCROLL_SE
大胖子~·2019-05-05 15:33

关于一条sql从mysql或postgresql等数据库中查出大量数据而不造成内存溢出的方法

解决关键:jdbc驱动的fetchsize,然后查询使用resultset遍历1.对于mysql，我们只需要在driverurl后面加上:useCursorFet
哈哈哈哈哈哈哈111·2019-03-13 16:48

jdbc连接oracle 设置fetchsize过大，报 违反协议异常

根据JDKJDBC文档，ResultSet::setFetchSize（）函数语义为JDBC驱动程序设置此ResultSet对象需要更多行时应该从数据库获取的行数。如果指定的获取大小为零，则JDBC驱动程序忽略该值，随意对获取大小作出它自己的最佳猜测。默认值由创建结果集的Statement对象设置。获取大小可以在任何时间更改。但在实际使用OracleJDBC驱动时，我们开发的程序发生了莫名的错误，
LegendaryHe·2018-09-11 10:00

聊聊jdbc statement的fetchSize

序本文主要研究一下jdbcstatement的fetchSizefetchSize这里以postgresjdbcdriver为例，主要是因为postgres的jdbcdriver有公开源码，而且命名比较规范。之前看oraclejdbc，由于没有源码，反编译出来一大堆var1，var2等的变量命名，非常晦涩。默认情况下pgjdbcdriver会一次性拉取所有结果集，也就是在executeQuery的
go4it·2018-01-23 23:21

聊聊jdbc statement的fetchSize

序本文主要研究一下jdbcstatement的fetchSizefetchSize这里以postgresjdbcdriver为例，主要是因为postgres的jdbcdriver有公开源码，而且命名比较规范。之前看oraclejdbc，由于没有源码，反编译出来一大堆var1，var2等的变量命名，非常晦涩。默认情况下pgjdbcdriver会一次性拉取所有结果集，也就是在executeQuery的
codecraft·2018-01-23 00:00

fetchsize of JDBC

后来突然想到前几天同事跟我说的fetchsize。就抱着试一下的心里把fetchsize设置成5000。数据不到一秒就可以返回了。速度差别非常大。后
好个秋·2017-06-29 13:11
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他