大数据量

MongoDB之索引

大数据量使用全集合查询，这是非常影响性能的，而索引可以加快查询效率，提高性能，所以这方面的知识也是必不可少的。查询分析explain()可以帮助我们分析查询语句性能。
枫叶梨花·2023-08-30 14:57

给oracle逻辑导出clob大字段、大数据量表提提速

文章目录前言一、大表数据附：查询大表二、解题思路1.导出排除大表的数据2.rowid切片导出大表数据Linux代码如下（示例）：Windows代码如下（示例）：手工执行代码如下（示例）：3.rowid切片导入大表数据导入前准备linux代码如下（示例）：windows代码如下（示例）：三、导出时业务卡顿如何停止前言Oracle在做数据迁移、还原测试库以及其他需要导出、导入数据的需求下，我们常用到数
DBA狗剩儿·2023-08-30 08:49

QCustomPlot 绘制卡顿问题

大数据量导致曲线绘制卡顿问题这里提供一个思路在跟踪源码中发现底层卡顿在vector的resize()此处扩容中所以尽量使用下面的接口/*!
_小白鱼儿_·2023-08-30 03:25

系统数据导出优化

初始导出流程如下原因分析1、业务数据处理异常出现比较少，测试的正常操作难以提前发现，系统运行过程中，产生了特定数据可能就会出现的bug2、数据量大导致内存溢出目前系统最大数据量导出为单表3百万行，60列
呼哇呼哇time·2023-08-29 10:14

NoSQL MongoDB Redis E-R图 UML类图概述

这些类型的数据库专门针对需要大数据量、低延迟和灵活数据模型的应用程序进行了优化，这是通过放宽其他数据库的某些数
一条自私的鱼·2023-08-29 05:13

python测开面试题汇总

压力测试和负载测试的区别1、压力测试压力测试是在强负载（大数据量、大量并发用户等）下的测试，查看应用系统在峰值使用情况下操作行为，从而有效地发现系统的某项功能隐患、系统是否具有良好的容错能力和可恢复能力
软件测试进阶中·2023-08-28 21:43

springboot中使用EasyExcel实现Excel 导入导出

它提供了丰富的API，可以方便地读取、写入和操作Excel文件，支持常见的Excel操作，如读取/写入单元格数据、合并单元格、设置样式、处理大数据量等。
旺仔001·2023-08-28 16:39

大数据量报表导出EXCEL（org.apache.poi）

大数据量报表导出EXCEL（org.apache.poi）最近项目上由于数据量过大导致报表的导出耗时间很长，而且产生大量的垃圾对象。导致不停的进行垃圾回收占用性能，最总服务挂掉。
皮之鲲·2023-08-28 06:44

Spark3.2教程（九）CentOS7下Spark Standalone分布式搭建

local模式适合程序的开发测试Standalone模式适合小规模数据onYarn适合大数据量大，并且可能依赖于其他计算引擎，如MapReduce，这样可以更好的和Hadoop集成因为Spark本质上是一个计算引擎
Java朱老师·2023-08-27 23:09

哈希算法python_哈希算法（Python代码实现）

1.常见的数据查找算法：众所周知，顺序查找是最简单的查找方式，但要将所有数据遍历一遍所以效率相对较低，对大数据量的査找问题显然不行。
weixin_39777464·2023-08-26 02:05

redis

大数据量下高性能。灵活的数据模型。高可用im
努力_fighting·2023-08-26 02:23

使用Docker进行模型部署

常见的模型部署场景实时的、小数据量的预测应用部署方式：采用python-httpserve应用部署（如flask,fastApi,django），缺点是可能需要跨环境，从Java跨到Python环境实时的、大数据量的预测应用部署方式
羊羊猪·2023-08-25 12:54

Mybatis的动态SQL分页及特殊字符的使用

目录一、分页(1)应用场景(2)使用二、特殊字符2.1介绍2.2使用给我们带来的收获一、分页分页技术的出现是为了解决大数据量展示、页面加载速度、页面长度控制和用户体验等问题。
云小君·2023-08-25 09:13

Python web实战之Django性能优化最佳实践详解

今天分享如何优化使用Django应用的性能，使其在高并发、大数据量的情况下能够保持良好的性能。1.数据库查询的优化数据库查询是Web应用中常见的性能瓶颈之一。
Rocky006·2023-08-24 09:37

PHP实时生成并下载超大数据量的EXCEL文件

而常用的PHPexcel包需要把所有数据拿到后才能生成excel，在面对生成超大数据量的excel文件时这显然是会造成内存溢出的，所以考虑使用让PHP边写入输出流边让浏览器下载的形式来完成需求。
爱喝马黛茶的安东尼·2023-08-24 08:53

多线程事务怎么回滚？

文章目录应用过的知识点背景介绍公用的类和方法示例事务不成功操作代码改造：工作内容，不对外开放应用过的知识点事务、均分list为n等份、构建一个合理的线程池、sqlSession、CountDownLatch、AtomicBoolean背景介绍1，最近有一个大数据量插入的操作入库的业务场景
BlackTurn·2023-08-23 22:27

前端开发进阶：前端开发中如何高效渲染大数据量？

渲染大数据量时遇到的问题在离线的数据开发模块，用户可以在SQL编辑器中编写SQL，再通过整段运行/分段运行来执行SQL。在点击整段运行后，从运行成功日志打印后到
袋鼠云数栈·2023-08-23 17:38

13 秒插入 30 万条数据，我惊呆了！

本文主要讲述通过MyBatis、JDBC等做大数据量数据插入的案例和结果。
·2023-08-23 14:33

MYSQL索引失效的场景有哪些

索引有可能会失效，变为全表扫描，这对于大数据量的查询是非常低效的。
·2023-08-23 11:44

MySQL/Oracle优化技巧

选取最适用的字段属性MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。
千叶鸟·2023-08-22 18:28

Hadoop学习一（初识大数据）

大数据技术要解决的问题：海量数据存储和海量数据计算二大数据特征4V特征Volume(大数据量)：90%的数据是过去两年产
超爱慢·2023-08-22 17:56

CPU多级缓存

L3Cache现在都是内置的，而他可以进一步降低内存延迟，同时提高大数据量计算的处理器性能(其作用是进一步降低内存的延迟，同时提升海量数据量计算时的性能)。具
老马老码·2023-08-22 14:53

高性能的Excel生成工具（EasyExcel）

简介导出是后台管理系统的常用功能，当数据量特别大的时候会内存溢出和卡顿页面，曾经自己封装过一个导出，POI百万级大数据量EXCEL导出采用了分批查询数据来避免内存溢出和使用SXSSFWorkbook方式缓存数据到文件上以解决下载大文件
_陆春阳_·2023-08-22 06:55

mysql大数据量下如何分表与查询

问题：当数据量达到一定规模后，我们就需要进行分表操作了。这个时候，简单的查询就变的不再简单。一般我们把分表的字段称为shardingkey。比如订单表使用用户id作为shardingKey，那么问题来了，如果查询的sql中没有用户id怎么办？其他维度的查询怎么办？唯一主键一般我们数据库的主键都是自增的，分表后最直接的问题就是主键冲突。最简单的办法就是以唯一的业务字段作为唯一的主键，比如订单号就是全
王小帅_94·2023-08-21 06:06

06 - Stream如何提高遍历集合效率？

现在很多大数据量系统中都存在分表分库的情况。例如，电商系统中的订单表，常常使用用户ID的Hash值来实现分表分库，这样是为了减少单个表的数据量，优化用户查询订单的速度。但在后台管理员
Q.E.D.·2023-08-20 16:24

2013年数据库技能鉴定试题

一、单选（每题2分）1.下列说法正确的是()A.复合索引中选择率低的应该放在第一位B.如果能够确保数据都在数据缓存中，大数据量全表扫描是可以接受的C.在查询条件的字段有索引情况下，也可能全表扫描。
俊男无期·2023-08-20 06:31

大数据量化分析下，J.k.罗琳的写作风格一看就是英国人

杰出儿童文学作家罗尔德·达尔有一篇鲜为人知的短篇小说《伟大的自动语法器》。故事讲述的是一个名叫阿道夫·奈普的工程师利用自己的专业知识，发明了一台名为“伟大的自动语法器”的机器。这台机器只需要根据一个的简单情节，就能写出完整的故事。如果我们不看小说内容，只看故事设定的话，就会发现《伟大的自动语法器》很有意思，一个理工男发明了一台机器，不仅能利用算法来写小说，还能利用算法来预测什么样的作品会“火”。这
苏一达·2023-08-19 23:20

数据量导致的性能问题

大数据量的情况下，普通8G内存的电脑读取excel文件中的内容，列数不多，如果超过10w条就会内存溢出，而且超过1000条的批量查询会报ORA-01795:列表中的最大表达式数为1000大数据量的查询，
heidyxlw·2023-08-19 19:07

JVM YGC频次高 大数据量的db操作 影响调用时间

在使用mybatis时会默认打开sqlconsole的日志再查看链路时发现ExecuteSqlLogInterceptor占用时间长在applicati.yaml中配置enabledLogSql:falsemybatis:configuration:mapUnderscoreToCamelCase:trueenabledVersionLocker:trueenabledLogSql:falsede
[email protected]·2023-08-19 07:56

项目学院app功能

3）.筛选平台：通过大数据量化筛选，快速筛选到适合自己的投资项目4）.行业资讯：快速了解最新行业资讯，及问题平台预警与曝光。
happy艺汇·2023-08-19 04:55

处理重复请求的心得

但其实这么做对于一个成熟的项目会有很多局限性，例如：1：对数据表的局限比较大，例如表里可能存在多个字段才能保证唯一；2：很多时候用组合唯一索引才能保证行唯一的情况；3：业务随时发生变化，后边还要在组合索引中再加新增列才能保证行唯一；对于大数据量在线
未羽出衫·2023-08-19 01:22

es的使用与原理9 -- shard分布式，es内部乐观锁方案，bulk语法，批处理等等

浅析es分布式架构1Elasticsearch是一套分布式的系统，分布式是为了应对大数据量，隐藏了复杂的分布式机制2如图3es会尽量保证所有shard在es集群中的均衡，如7个shard分配给6个节点时
Teemo_fca4·2023-08-18 11:32

sdk多级缓存兜底设计

缓存rocksdb本地缓存，无网络访问，磁盘容量大，可以做缓存兜底，服务失败兜底以及大数据量缓存使用redis分布式缓存，具有极高的读写性能，具有分布式锁等同步方式使用。
pcgreat·2023-08-18 11:08

软件压力测试对软件产品起到什么作用?

软件压力测试是一种通过模拟正常使用环境中可能出现的大量用户和大数据量的情况，来评估软件系统在压力下的稳定性和性能表现的测试方法。
卓码测评·2023-08-17 02:30

六大排序

这个算法不适用于大数据量的排序，因为它的平均时间复杂度和最差时间复杂度都是O(n^2)。下图是一个没有排序好的数组：img首先，冒泡排序会比较前面两个数字，判断他们哪个会更大些。
蛋挞先生L·2023-08-16 22:29

MySQL — 索引

索引只是提高效率的一个因素，如果你的MySQL有大数据量的表，就需要花时间研究建立最优秀的索引，或优化查询语句。简单类比
_李少侠_·2023-08-16 19:07

easypoi 大数据量导出，限制10万问题

今天导出数据，查询的数据量是共110959条记录。但是excel导出确实10万。一开始怀疑是xls导致的，切换成xlsx发现问题依然存在。03版本默认6W行,07默认100W如果不是excel问题，只能是代码问题，于是打开easypoi源码publicWorkbookexportBigExcel(IExcelExportServerserver,ObjectqueryParams){intpage
Ellen翔·2023-08-16 12:42

Redis 基础知识

2、大数据量高性能（Redis一秒写8万次。读取11万，是一种细粒度的缓存，性能较好）3、数据类型是多样性的！（不需要事先设计数据库！
DyingLive·2023-08-15 21:08

redis

关系型数据库：表格，行列2.特点与对比：解耦1方便扩展（数据之间没有关系，很好扩展）2大数据量高性能（Redis一秒写8万
指尖上的革新·2023-08-15 14:37

Hadoop组件

Mapreduce（分布式计算框架）mapreduce是一种计算模型，用于处理大数据量的计算。其中map对应数据集上的独立元素进行指定的操作，生成键-值对形式中间，reduce则对中间
叱咤少帅（少帅）·2023-08-15 08:20

java数据库层面大数据量处理方式(面试)

今天想写这篇文章的原因是我在没有进现在公司(目前就职的公司)之前一直很想了解的如何处理数据量大的问题,这里说的是实际的业务数据量大的时候如何处理,你们想知道的java对高并发的处理,不是我这里说的,当然我稍微写下自己的高并发的理解大概罗列下锁涉及到技术1:Nginx分发到各个服务器上2:接下来到服务器端,通过dubbo实现查找服务3:使用zokkeeper进行服务注册4:对数据库的操作,使用myc
yan0219n·2023-08-15 07:02

《大数据之路》阅读笔记--数据同步

直连同步直连同步是指直接使用ODBC/JDBC接口的方式直接连接数据库来拉取数据，这种方式对源系统的性能影响较大，不适合大数据量的情况。
杜小瑞·2023-08-15 05:13

HarmonyOS/OpenHarmony应用开发-ArkTS语言渲染控制概述

在声明式描述语句中开发者除了使用系统组件外，还可以使用渲染控制语句来辅助UI的构建，这些渲染控制语句包括控制组件是否显示的条件渲染语句，基于数组数据快速生成组件的循环渲染语句以及针对大数据量场景的数据懒加载语句
李洋-蛟龙腾飞公司·2023-08-15 02:16

Java EasyExcel带格式多线程导出百万数据

JavaEasyExcel带格式多线程导出百万数据1.背景说明2.方案概述（1）大数据量导出问题主要是以下三个地方：（2）将写入导出Excel等功能单独分开成一个微服务：（3）注意：（4）方案设计：标注说明
菜C++鸡java·2023-08-14 23:50

Redis集群(Cluster和Codis)

当我们遇到一个大数据量存储情况时，有两种解决方案：纵向扩容：升级单个redis实例的配置，包括增加内存容量、磁盘容量，以及使用更高的cpu配置。纵向扩容：简单直接。
木木没有夕·2023-08-14 15:06

如何写一手好 SQL ？

MySQL性能最大数据量抛开数据量和并发数，谈性能都是耍流氓。MySQL没有限制单表最大记录数，它取决于操作系统对文件大小的限制。
冯杰宁·2023-08-14 05:42

关于MySQL的一些经验总结

MySQL性能最大数据量抛开数据量和并发数，谈性能都是耍流氓。MySQL没有限制单表最大记录
eddieHoo·2023-08-13 18:48

MySql性能优化

MySQL性能最大数据量最大并发数查询耗时0.5秒实施原则数据表设计数据类型避免空值text类型索引优化索引分类优化原则SQL优化分批处理不做列运算避免Select*操作符batchIdList=queryList
迷失的小小小鸟·2023-08-13 18:18

少侠！如何写一手好 SQL ？

MySQL性能最大数据量抛开数据量和并发数，谈性能都是耍流氓。MySQL没有限制单表最大记录数，它取
唐 城·2023-08-13 18:16

MyBatis大数据量批量插入或者更新(on duplicate key update)的详细说明以及项目碰坑记录

文章目录背景数据库表设计实现逻辑onduplicatekeyupdate说明与replaceinto对比总结碰到的问题相关代码背景项目需要把Excel导入，并且支持更新成果简介字段的值。这种Excel模版一共有9个，对应9大奖项，其中双创奖的导入模版如下：数据库表设计主表为t_awards，主键用的是UUID，主要存储合并单元格部分的数据(一级分类、二级分类、获奖年份、成果名称等)，通过award
我可能在扯淡·2023-08-13 13:52
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他