大数据量第5页

EasyPOI实战入门

EasyPOI实战入门入门案例导出Excel导出基本数据一对一关系导出一对多关系导出导出图片大数据量导出自定义列导出表格导入Excel导入基本数据集成web实现导入导出1.搭建springboot+mybatis

迷失的小鹿·2023-12-16 12:39

Python生成器（Generator）的应用场景和使用（继续更新...)

WelcometoPython.orghttps://www.python.org/https://www.python.org/Python生成器（Generator）生成器在Python中有很多应用场景，以下是一些常见的应用场景：处理大数据量和耗时操作的场景

Stitch .·2023-12-16 04:38

easyexcel根据模板下载文件

POI由于在操作excel时是先将所有数据都读入内存后，再写入文件，比较消耗内存，特别是大数据量时，容易出现OOMEasyExcel能大大减少占用内存的主要原因是在解析Excel时没有将文件数据一次性全部加载到内存中

上官阿坤·2023-12-16 00:36

HarmonyOS（十二）——全面认识HarmonyOS三种渲染控制

在声明式描述语句中开发者除了使用系统组件外，还可以使用渲染控制语句来辅助UI的构建，这些渲染控制语句包括控制组件是否显示的条件渲染语句，基于数组数据快速生成组件的循环渲染语句以及针对大数据量场景的数据懒加载语句

Hirezy·2023-12-15 12:04

Redis（13）--Redis的持久化之AOF方式

大数据量下的IO性能较低。基于fork创建子进程，内存产生额外消耗。宕机带来的数据丢失风险。解决思路不写全数据，仅记录部分数据。降低区分数据是否改变的难度，改记录数据为记录操作过程。

技术闲聊DD·2023-12-15 11:46

267TB全球卫星影像如何管理？

这些企业的卫星每天都在天上拍摄，动辄就产生TB级甚至PB级数据量，不知道他们是如何管理如此大数据量的呢？这里为大家分享一下，我们是如何管理267TB全球海量卫星影像的，仅供大家参考！

水经注GIS·2023-12-15 00:03

hive文件存储格式orc和parquet详解

orc文件结合了行式和列式存储结构的优点，在有大数据量扫描读取时，可以按行进行数据读取。如果要读取某列的数据，可以在读取行组的基础上读取指

！@123·2023-12-06 07:32

mysql大数据量查询瓶颈解决方案-供参考

项目运行了三年了，流水表主表数据已经达到4kw以上所以最近项目开始时不时的出现问题，主要体现在以下方面：1.客户端经常出现查询超时。1.1mybatis分页查询出现问题。对于这个情况，我在这篇博客中做了描述，可以移步查看下。https://mp.csdn.net/mp_blog/creation/editor/1347080581.2项目里面一些统计或者趋势图开始出现问题这种情况看到后基本情况就是

言之有李LAX·2023-12-05 21:23

基于c 实现 FIFO

数据操作和指针操作分开（如先操作数据，再操作指针）适用场景：单向通信模式，一方写、一方读，可用于任务间单向通信（无需锁）如：1、音频各个处理流程间，缓冲数据2、线程间、进程间，cpu间，基于共享内存的大数据量传递

poject·2023-12-05 16:43

单 bit 测频接收机原理仿真

前言数字化后面临的问题是大数据量采集、运算、传输、存储所需要的高能耗、计算资源、传输带宽以及存储空间，如果根据系统需求，能从最开始就降低数据采集量，那么后续一系列的设计都可以简化，这就是单bit接收机的出发点

CyberInversion·2023-12-05 10:26

Excel大数据量处理(poi大数据量+java 线程池机制)

最近项目需求,有最低十万的数据导入最高500万的数据导入需求,poi,是开源对Excel支持非常强大的框架,因此研究了一番,此过程借阅网上多为人士的代码,和见解,我发现网上的代码都是那一套,是一个前辈在github上的一个开源项目,我也借阅了,非常感谢前辈提供.我在借阅的时候发现假如一行中有单元格为空的话,会发生数据前移的情况,从而我们就无法准确的和数据库中数据对应,第三就是其代码风格和我的不像,

zhangpan_soft·2023-12-04 21:43

Mysql根据创建时间表分区实践

背景最近订单表遇到大数据量的问题，并且表中随着时间的积累会变得更大，当数据量较大时，存储的物理文件会变得非常大、使用性能很差。我们用的是GaussDB。

奈斯菟咪踢呦·2023-12-04 18:06

Mongodb与MySQL的异同，使用场景，优缺点。。。

使用场景的不同：MongoDB适合用于大数据量、高并发的场景，特别是在需要灵活的数据模型和快速的读写操作时非常适用。它是一个文档型数据库，支持非结构化数据的存储和查询。MySQL适合用于传统的关系

abckingaa·2023-12-04 12:58

什么是Redis？

一、Redis概述在我们日常的JavaWeb开发中，无不都是使用数据库来进行数据的存储，由于一般的系统任务中通常不会存在高并发的情况，所以这样看起来并没有什么问题，可是一旦涉及大数据量的需求，比如一些商品抢购的情景

X_islu·2023-12-04 09:55

一文看懂卷积神经网络-CNN（基本原理+独特价值+实际应用）

CNN有2大特点：能够有效的将大数据量的图片降维成小数据量能够有效的保留图片特征，符合图片处理的原则目前CNN已经得到了广泛的应用，比如：人脸识别、自动驾驶、美图秀秀、安防等很多领域。

easyAI人工智能知识库·2023-12-03 20:52

msyql迁移到mongodb

关系型数据库迁移到mongodb的理由高并发需求，关系型数据库不容易扩展快速迭代灵活的json模式大数据量需求应用迁移难度：关系型到关系oracle-》mysqloracle-》postgresql关系到文档

inner222·2023-12-03 13:14

1-1 暴力破解-枚举

逐个判断是否是问题的解判断题目是否可以使用枚举：估算算法复杂度1秒计算机大约能处理107的数据量，即O(n)=107，则O(n2)能处理的数据量就是根号107≈3162复杂度对应的数据量是该算法能处理的最大数据量题目数据量

卡__卡·2023-12-03 10:56

mysql mybatis分页查询大数据量非常慢

查阅了很多博客和资料，这篇文章以思路为准，详细代码不细说，都是非常简单的方法，一看就明白。具体实现稍微百度一下就能出来。仅供参考。如题：单表数据已经达到4千万条数据，通过mybatis的分页查询效率非常低下。当然，前提是索引什么的优化已经都存在并且命中的情况下。所以就不分析索引的问题了。原因：mybatis分页查询会执行两次sql第一次：selectcount(1)fromtablewhere??

言之有李LAX·2023-12-01 14:49

采用 Kettle 分页处理大数据量抽取任务

采用Kettle分页处理大数据量抽取任务作者：Grey原文地址：博客园：采用Kettle分页处理大数据量抽取任务CSDN：采用Kettle分页处理大数据量抽取任务需求将Oracle数据库中某张表历史数据导入

GreyZeng·2023-11-30 19:03

POI大数据量写入

大文件写HSSF缺点：只能写65536行，否则会抛出异常优点：过程中写入缓存，不操作磁盘，最后一次性写入，速度较快StringPATH="D:\\code\\springboot\\springboot-resume\\springboot-resume";@TestpublicvoidHssfBigExcel()throwsException{longbegin=System.currentTi

让你变好的过程从来都不会很舒服·2023-11-30 13:30

redis

redis大数据量高性能：读数据每秒达到11w次，写数据每秒达到8w次一、NoSQL入门概述1、NoSQL数据模型简介■NoSQL的数据模型是：聚合模型聚合模型又包含以下几种类型：①、KV键值对②、BSON

u011533553·2023-11-30 11:37

大数据量条件SQL查询内存处理方案以及数据过滤算法优化

MySQL是一个广泛使用的关系型数据库管理系统。通过SQL语言进行数据操作和查询，还支持多用户、多线程和分布式操作等功能。在实际使用中，我们会遇到各种查询条件，如字段名、表名、逻辑运算符、比较运算符、函数等。其中，有些查询条件可能数据量比较大，导致查询速度变慢。下面就来探讨一下如果通过利用内存过滤方式来进行效率优化。相信各位应用研发小伙伴在日常研发过程中，会经常遇到批量入参场景，需要根据入参信息从

Survivor001·2023-11-30 10:54

CMM数据分析系统三坐标

三坐标数据大数据量存储。

m0_66943033·2023-11-30 06:47

大数据量批量插入、更新优化方法

当我们插入、更新大量数据时，可以使用批量插入和批量更新的方法进行优化。具体代码如下：一、构建一个组迭代器：importjava.util.ArrayList;importjava.util.Arrays;importjava.util.Collection;importjava.util.List;publicclassGroupIterator{privateListlist;privatein

明湖起风了·2023-11-29 04:04

Dexie.js - LocalStorage 不够用？试试这个简化 JavaScript 调用浏览器数据库的开源工具库

IndexedDB是浏览器的大数据量本地储存方式，不过很难用，推荐一个封装好的工具库。

那些免费的砖·2023-11-28 19:52

计算机网络中速率、带宽、吞吐量的区别

带宽：计算机网络中的主机在数字信道上，单位时间内从一段传送到另一端的最大数据量，即最大速率。是对链路性能的描述，是指链路所能接收的最大速率。

~程序媛~·2023-11-28 11:49

ResultSet大数据量导致内存溢出

大数据量查询,使用ResultSet出现JVM内存溢出解决方案修改前代码statement=connection.prepareStatement(sql);修改后代码statement=connection.prepareStatement

焦虑的肉松面包·2023-11-27 16:18

excel处理几十万行数据_大数据技术 POI读写大数据量excel如何解决超过几万行而导致内存溢出的问题...

本篇教程探讨了大数据技术POI读写大数据量excel如何解决超过几万行而导致内存溢出的问题，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

weixin_39572794·2023-11-27 16:47

java使用导出百万级别数据

用过POI的人都知道，在POI以前的版本中并不支持大数据量的处理，如果数据量过多还会常报OOM错误，这时候调整JVM的配置参数也不是一个好对策（注：jdk在32位系统中支持的内存不能超过2个G，而在64

LuckyTHP·2023-11-27 15:02

Python与ArcGIS系列（十一）SearchCursor方法

除此之外，可以进一步地对数据进行where筛选，以获取数据集子集；大数据量的情况下这种方式效率可能较低，我们可以通过几何令牌的方式改进检索效率。

Auto工程师·2023-11-27 11:15

java多线程的使用

额，是的吧2.多线程的使用场景我觉得：1.允许并发执行的场景，2.多个线程处理大数据量3.如何解决同步并发问题我觉得：参考vector后可以发现，所谓的同步就是在其map的方法上添加了synchronized

一决威严-雪雪·2023-11-26 11:46

TiDB环境搭建与基础功能验证

在以往项目中，一般都是采用数据库的主从结构、读写分离、集群部署等方式满足对于大数据量的处理需求，但是对于MySQL数据库来

数通畅联·2023-11-26 04:29

Oracle资源管理器在HIS系统中的应用

【摘要】系统管理员是否遇到过执行某个大数据量统计报表查询或者进行全库RMAN备份的时候，导致整个HIS系统的操作变慢甚至影响正常业务使用的情况，其实这是典型的服务器资源争用和等待的案例，如何合理的分配和管理有限的服务器资源

张冲andy·2023-11-26 02:07

计算机网络的性能指标

一、带宽指网络传输的最大数据量（网络在通信线路中传送该数据的能力），通常以每秒传输的比特数（bps）（单位：比特/秒）来衡量。

一个想上岸的人·2023-11-25 15:35

从程序员到架构师：大数据量、缓存、高并发、微服务、多团队协同等核心场景实战书籍

相信大家都对未来的职业发展有着憧憬和规划，要做架构师、要做技术总监、要做CTO。对于如何实现自己的职业规划也都信心满满，努力工作、好好学习、不断提升自己。相信成为一名优秀的架构师是很多程序员的目标，架构师的工作包罗万象，从开发基础框架到设计软件架构，从优化系统性能到修复重要Bug，从新技术选型到做出关键技术决策，从指导工程师开发到沟通、协调各种内外部关系。想要成为一个优秀的软件架构师，需要经过漫长

雪碧有白泡泡·2023-11-25 14:34

redis缓存穿透、击穿、雪崩

在我们日常的开发中，无不都是使用数据库来进行数据的存储，由于一般的系统任务中通常不会存在高并发的情况，所以这样看起来并没有什么问题，可是一旦涉及大数据量的需求，比如一些商品抢购的情景，或者是主页访问量瞬间较大的时候

xmh-sxh-1314·2023-11-25 12:26

Mysql数据库优化和sql优化方法

1、选取最适用的字段属性MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。

年少不知筋力减·2023-11-24 22:38

一致性 Hash 算法 Hash 环发生偏移怎么解决

原文链接：《一文彻底读懂一致性Hash算法》通过阅读本文你可以获得如下内容：背景我们的场景就是大数据量的图片（或者缓存请求）能够在多个服务器之间进行负载均衡，实现在某个服务器发生故障时最小的影响系统，尽量的减少图片无法查看的请求

醉鱼！·2023-11-24 17:49

Elasticsearch知识

目录Elasticsearch逻辑设计和物理设计逻辑设计物理设计Elasticsearch原理倒排索引文档的分析过程保存文档搜索文档写数据的底层原理数据刷新（fresh）事务日志的写入ES在大数据量下的性能优化文件系统缓存优化数据预热文档

hay_lee·2023-11-24 16:44

MySQL基础讲解

所以，现在我们使用关系型数据库管理系统来存储和管理的大数据量，所谓的关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。RDBMS及关系数据库管理系

番薯(Koali)·2023-11-24 11:06

生产环境下GeoServer如何优化--发布大数据量的影像（大于2g的tiff格式影像）

生产环境下GeoServer如何优化--发布大数据量的影像（大于2g的TIFF格式影像）前言Geoserver可以高效的处理数据量小于2GB的TIFF影像，一旦影像的大小超过了2GB，就需要考虑用影像金字塔来替代

weixin_30456039·2023-11-24 10:19

「前端长列表」开源库解析及最佳实践

前言长列表一般也叫虚拟列表，是一种大数据量下只渲染可见节点避免页面卡顿的优化方案长列表也有时间分片的做法，比较少用，感兴趣的可以看高性能渲染十万条数据(时间分片)前端比较有名的有两个项目：react-windowvue-virtual-scroller

james_cil·2023-11-24 07:48

el-select 性能优化

a.简单页面也即正常开发的页面中b.通过表单配置在页面中渲染出来的下拉框1.目的为了解决element-ui中el-select组件在大数据量的情况下出现的性能问题(数据量太大，导致渲染过慢，或造成页面卡顿甚至于卡死

前端小菜机·2023-11-24 07:45

一文教你玩转 Apache Doris 分区分桶新功能

过去的单机数据库在大数据量下往往面临存储和IO的限制，而分布式数据库则通过数据划分的规则，将数据打散分布至不同的机器或节点上，形成分布式存储，因此突破了单机存储空间和IO的瓶颈、使库表数据量可以无限拓展

SelectDB技术团队·2023-11-23 10:07

Doris之分区分桶

文章目录分区（Partition）分桶（Bucket）最佳实践关于分桶列的选择关于Partition和Bucket的数量和数据量的建议分区、分桶标准参考(来自官网)复合分区与单分区常见问题为了能高效处理大数据量的存储和计算

南风知我意丿·2023-11-23 10:06

艾瑞发布《2021年中国企业级无代码白皮书》，聚焦低代码技术为企业级开发带来的新变革

与艾瑞其他的低代码报告不同，本报告将视角集中在“企业级应用”这个细分领域，探讨低代码和无代码在构建高复杂度、大数据量、高价值企业级应用中的表现和价值。我摘录了其

低代码观察员·2023-11-23 09:09

PySpark dataframe入门笔记

https://www.analyticsvidhya.com/blog/2016/10/spark-dataframe-and-operations/背景大数据量的取数、特征处理、数据清洗要占用大量的时间

三楼绝对是二货·2023-11-23 06:09

如何进行企业BI分析,该如何选企业BI系统

为了满足客户大数据量、多样化数据的需求，新时代的BI也以各种形式出现:敏捷BI、移

jiaogo王·2023-11-23 05:07

万字详谈SpringBoot多数据源以及事务处理

背景在高并发的项目中，单数据库已无法承载大数据量的访问，因此需要使用多个数据库进行对数据的读写分离，此外就是在微服化的今天，我们在项目中可能采用各种不同存储，因此也需要连接不同的数据库，居于这样的背景，

小满只想睡觉·2023-11-22 18:07

SpringBoot多数据源以及事务处理