大数据量

大数据量解决方案

Mysql大数据量解决方案由于关系型数据库大多采用B+树类型的索引，在数据量超过阈值的情况下，索引深度的增加也将使得磁盘访问的IO次数增加，进而导致查询性能的下降。
阿飞技术·2023-11-05 03:05

分库分表中间件

mysql中间件研究，整理互联网上的一些中间件文章mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡，读写分离，failover等，但其不支持大数据量的分库分表且性能较差。
qq_39158142·2023-11-04 21:24

集成mybatis

说明使用mybatis作为持久层框架，sql语句暴露在外部，适合做大数据量的优化实现1、引入jar包org.mybatis.spring.bootmybatis-spring-boot-starter1.3.1mysqlmysql-connector-java2
刘二先生说·2023-11-04 16:10

poi excel 大数据量下拉框

/***创建下拉框**@paramworkbook表*@paramfirstRow起始行*@paramlastRow终止行*@paramfirstCol起始列*@paramlastCol终止列*@paramdataArray数据*@paramsheetHidden隐藏*/privatestaticvoidselectList(Workbookworkbook,intfirstRow,intlast
LaiDeJi_·2023-11-04 06:05

MySQL大数据量分页查询方法及其优化

方法1:直接使用数据库提供的SQL语句—语句样式:MySQL中,可用如下方法:SELECT*FROM表名称LIMITM,N；—适应场景:适用于数据量较少的情况(元组百/千级)—原因/缺点:全表扫描,速度会很慢且有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3).Limit限制的是从结果集的M位置处取出N条输出,其余抛弃.方法2:建立主键或唯一索引,利用索引(假设每页10条
pigfu·2023-11-03 16:20

优化大表分页查询性能：大表LIMIT 1000000, 10该怎么优化?

在处理大数据量的MySQL表时，我们经常会遇到一个问题：当我们尝试使用LIMIT语句进行分页查询时，性能会随着偏移量的增加而显著下降。
一叶飘零_sweeeet·2023-11-03 16:43

【CV面试】简述CNN、计算机视觉、人脸识别

1.1.将大数据量的图片降维成小数据量1.2.保留图片特征，符合图片处理的原则2.CNN的思想来源3.基本原理3.1.卷积层：提取特征3.2.池化层：下采样、降维、避免过拟合3.3.全连接层：输出结果4
褚骏逸·2023-11-03 15:35

数据抽取+dataworks的使用+ADB的应用

2，为什么要进行数据抽取1，大数据量中，频繁的大批量查询需要很大的计算资源和时间，会影响数据库的性能，从而影响应用业务逻辑的执行2，业务与数据分离，可以在不影响业务的前提下，更好的实现数据处理、数据分析
无形风·2023-11-03 12:43

2021-05-29

运行空闲进程也是一天，运行大数据量计算的程序也是一天，对于CPU来说同样的一天，价值却是完全不一样的。大脑也是如此。
感恩学习相信小陶·2023-11-03 06:49

生产环境评估机器

10亿请求->24小时过来的，一般情况下，每天晚上12:00到早上8:00这段时间其实是没有多大数据量的，8
yx️·2023-11-03 05:32

05.大模型&大数据量

文章目录大模型顿悟时刻：EmergentAbility（涌动现象）CalibrationInverseScalingPrizeSwitchTransformers大数据量数据预处理去重模型大小与训练数据的选择
oldmao_2000·2023-11-03 02:58

SQL优化经验

在大数据量、去重的密集度不高的情况下：如下SQL，最后一种写法会更快select*from(selectdistinctapp_nameasvalue,app_nameasvalue_enfromxxxorderbyapp_name
小鸟不会费·2023-11-02 14:01

Selenium基础入门

Selenium主要作用（用途）回归测试兼容性测试大数据量测试：十几或几十条想了解更多自己百度或CSDN搜Selenium优点开源免费
YW_3333·2023-11-02 05:21

一篇文章带你搞懂慢SQL以及优化的策略

三、数据库性能1.最大数据量2.最大并发数3.查询耗时0.5秒4.具体实施四、数据库表的设计1.数据类型2.避免空值3.text类型优化五、索引优化1.索引分类2.索引优化六、SQL优化1.分批处理2.
南淮北安·2023-11-01 21:00

Avro 如何生成java Bean

作为一种很犀利的序列化的格式，avro在大数据量传输的时候很有优势。记录下。
hankl1990·2023-11-01 18:11

十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库、数据湖、数仓一体化？

数据库大数据量、高并发、高可用解决方案，十万字图文详解mysql、redis、kafka、elasticsearch（ES）多源异构不同种类数据库集成、数据共享、数据同步、不同中间件技术实现与方案，如何构建数据仓库
代码讲故事·2023-11-01 13:11

easyexcel和poi优缺点对比

性能更好，尤其是大数据量的情况下。可以兼容老版本的poi，无需修改原来的代码。easyexcel的缺点包括：无法直接导出带有颜色
幽幽晚风卿且尝·2023-11-01 02:48

OpenLayers入门，使用webgl图层叠加超过一百万图片到地图，解决叠加超大数据量图片导致浏览器卡住变慢的问题

专栏目录：OpenLayers入门教程汇总目录前言上一章中OpenLayers入门，使用webgl图层叠加大量点要素，解决OpenLayers地图中叠加大量点导致浏览器卡住变慢的问题已经讲了如何地图中如何添加大量点到webgl图层优化大量点浏览器页面卡顿的问题，本章补充一下叠加图片图标到地图的情况下。二、依赖和使用"ol":"^6.15.1"使用npm安装依赖[email protected]
汤姆猫不是猫·2023-11-01 01:04

Redis缓存应该如何应用?

日常的开发中，无不都是使用数据库来进行数据的存储，由于一般的系统任务中通常不会存在高并发的情况，所以这样看起来并没有什么问题，可是一旦涉及大数据量的需求或者数据读写频繁比如一些商品抢购的情景，或者是主页访问量瞬间较大的时候
June.1·2023-11-01 00:52

算法笔记【4】-冒泡排序法改进

导致大数据量时执行效率低下，这里将探讨两种方式改进冒泡排序算法以降低时间复杂度二、改进策略在每一轮的内层
>_·2023-11-01 00:17

linux环境mysql安装配置踩坑

背景：最近公司项目希望改造工作流ACTIVITI5.x的源码框架支持大数据量（历史表单表数据达到10亿），方案暂定为1.使用动态数据源2.将工作流归档历史数据数据保存到一个库中这里定义为读库，3.在办办件的数据单独一个库可读可写
喜羊羊love红太狼·2023-10-31 19:52

excel大数据量转成insert或update语句多条或批量插入或更新数据库（数据量为几十万）

在做系统或者做项目的时候，经常会遇到这样的要求：用户给我们发过来一些数据，要求我们把这些数据导入到数据库中，对于少量的数据来说，用最原始的方法就可以解决，直接在SQL里面用语句来实现，但是如果有成千上万条的数据呢？如果你还继续单独写SQL语句，估计写个几十条你就会有跳楼的冲动，其实有两种简单的方法：1、将Excel的数据整理好，通过SQL的导入功能直接导入到数据库中，但是要保证数据库的字段和Exc
TimerShaft·2023-10-31 17:37

滴滴大数据算法大赛Di-Tech2016参赛总结

https://www.jianshu.com/p/4140be00d4e3题目描述建模方法特征工程我的几次提升方法从其他队伍那里学习到的提升方法总结和感想神经网络方法的一点思考大数据量与分布式计算的一点思考参加比赛和学习知识的对比最后的感受趣事写在前面我是一个之前
weixin_30325071·2023-10-31 06:35

MySQL数据库优化的八种方式

1、选取最适用的字段属性MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。
清茶了了_·2023-10-31 02:42

二进制与位运算基础

虽然在如今的编译器中加减乘除运算已经和位运算没什么性能差距，但很多网上的文章在进行大数据量计算时还是习惯采用位运算的方法~~(其实就是耍帅)~~，而像树状数组用到的lowbit就更是位运算中的重要知识点
ModCx·2023-10-30 22:14

MySQL导入导出优化

1.关闭自动提交事务在进行大数据量导入时，可以关闭MySQL的自动提交事务功能，以减少日志写入和锁的争用。
信息化战略·2023-10-30 14:52

一文教你玩转 Apache Doris 分区分桶新功能｜新版本揭秘

过去的单机数据库在大数据量下往往面临存储和IO的限制，而分布式数据库则通过数据划分的规则，将数据打散分布至不同的机器或节点上，形成分布式存储，因此突破了单机存储空间和IO的瓶颈、使库表数据量可以无限拓展
hf200012·2023-10-30 06:58

消息中间件介绍、典型使用场景、以及使用原则

一般做大数据吞吐的管道我们现在的用途就是负责在各个idc之间通信3、量大对数据不是百分之百保证的，会有数据丢失，不是百分百送达（amq和rmq等有重发机制，而kafka没有）；在吞吐量有提升，在这方面就得有牺牲，所以kafka适合大数据量流转
小雁子学Python·2023-10-30 00:30

ARMv8 Cortex-a 编程向导手册学习_5.AArch64 下的浮点与 NEON

ARMv7与ARMv8都支持NEON指令集，这些指令集可以显著的加速大数据量的重复操作，这对于多媒体编码很重要。AArch64下，NEON使用32个1
TI是路，通向智驾的坑·2023-10-29 23:52

csv文件转码

最近项目使用到大数据量(100M~1G)的csv数据，在导入数据库的时候遇到文件乱码的情况，原因是csv导出格式为GBK，数据库编码格式为utf-8，可在linux/mac下用命令行转换iconv-fgbk-tUTF
尼洛1994·2023-10-29 12:36

2021-05-10 07丨链表（下）：如何轻松写出正确的链表代码？

理解指针或引用的含义把变量复制给指针，实际上是让指针指向变量的内存地址；相当于java的应用；技巧二：警惕指针丢失和内存泄漏删除链表节点，如c语言，需要主动释放内存；技巧三：利用哨兵简化实现难度合理利用哨兵可以减少判断，大数据量下可以提高性能
hhcccchh·2023-10-29 02:51

一个简单高效低内存的.NET操作Excel开源框架 - MiniExcel

前言日常工作中经常与数据打交道的同学肯定会难以避免对Excel的一些数据操作如导入、导出等，但是当对一些大数据量操作Excel时经常会遇到一个常见的问题内存溢出。
时光追逐者·2023-10-28 18:19

工具类——Java导出EXCEL2（设置样式、加载并填充图片、加载指定模板、大数据量设置窗口大小与刷新频率）

文章目录一、POI设置样式二、POI导出图片1.解释XSSFClientAnchor三、加载指定模板导出四、Workbook、XSSFWorkbook与SXSSFWorkbook1.大数据量导出1）根据数据量选择
陈年_H·2023-10-28 11:54

Redis学习笔记

Nosql，泛指非关系型数据库：特点：易拓展：数据之间无关系；大数据量，高性能：
XiaoqiTAT·2023-10-28 10:39

java函数式编程

大数据量下处理集合效率高代码可读性高减少嵌套Lambda表达式04.Lambda表达式入门P5-00:11Lambda是JDK8中的语法糖，它可以对某些匿名内部类的写法进行简化。它是函数式编
Liguangyang01·2023-10-28 06:24

消息中间件介绍、典型使用场景、以及使用原则

一般做大数据吞吐的管道我们现在的用途就是负责在各个idc之间通信3、量大对数据不是百分之百保证的，会有数据丢失，不是百分百送达（amq和rmq等有重发机制，而kafka没有）；在吞吐量有提升，在这方面就得有牺牲，所以kafka适合大数据量流转
Java阿七·2023-10-27 17:18

Mysql索引优化

MySQL在300万条记录左右性能开始逐渐下降，虽然官方文档说500~800w记录，所以大数据量建立索引是非常有必要的。
轨之迹空·2023-10-27 09:48

NoSQL数据库优缺点

大数据量，高性能，快速读写NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。
一个不会写代码的小黑·2023-10-27 05:58

让我头疼一下午的Excel合并单元格

但是，凡事都有例外，截止今天，excel导出我遇到的主要是两大类问题1、大数据量的excel数据，比如几十万条甚至更多的数据导出2、因为excel中内容的问题，导致导出后的excel不能直接打开，报错“
Jackie_Zheng·2023-10-27 05:49

2021-04-14笔试1

请列举你了解的操作系统window、unix，linux，苹果3.请简要说明一下数组和链表的区别1）数组便于查询和修改，但是不方便新增和删除2）链表适合新增和删除，但是不适合查询，根据业务情况使用合适的数据结构和算法是在大数据量和高并发时必须要考虑的问题
嘿_叫我小王·2023-10-27 04:23

【现场问题】批量新建工作流的问题

批量建工作流的优势和劣势关于批量建工作流的优势缺点关于批量建工作流的优势不需要手动，直接一键建立，同时节点的批量建立也成功了缺点1、机器识别，一次性成形，没有办法手动的去干涉这东西2、大数据量的表需要单独处理的
吃素的哈士奇·2023-10-26 23:40

大数据之LibrA数据库常见术语（七）

OLAPOnlineAnalyticalProcessing，联机分析处理，是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理
红烧小肥杨·2023-10-26 19:52

mianshiyan资料汇总(整理后)

的堆栈内存分配js垃圾回收机制，v8的垃圾回收机制，v8引擎为啥快前端路由hash和history的区别前端攻击反爬虫加密跨域cookiesessionjwt相关Js闭包实际的用途原型链防抖与节流的区别大数据量的解决方案
飘然离去·2023-10-26 16:31

ElasticSearch数据实时性原理分析与持久化

问题复现现在有这么一种业务场景，需要将海量的数据通过Hive进行数据清洗并统计，最后落库到ES中，因为需要支持大数据量的分词，模糊搜索，所以考虑用ES而不直接放到Mysql中，前端需要直接对数据进行交互
国服冰·2023-10-26 12:17

Java POI多选下拉框

给自己打个广告，最近弄了个Excel的工具，支持下拉框，级联下拉框，隐藏Sheet，多线程大数据量导出，生产者消费者模式读取，代码大部分都有注释，有兴趣的朋友可以看看，觉得不错可以帮我弄个star什么的解决方案自定义
Anntly·2023-10-26 04:13

还不懂什么是Redis？一文详解Redis，入门学习看这一篇就够了，看完你就会了

在我们日常的开发中，无不都是使用数据库来进行数据的存储，由于一般的系统任务中通常不会存在高并发的情况，所以这样看起来并没有什么问题，可是一旦涉及大数据量的需求，比如一些商品抢购的情景，或者是主页访问量瞬间较大的时候
Java糖糖·2023-10-25 21:10

交换机基础知识部分

背板带宽是交换机处理器或接口卡和数据总线所能吞吐的最大数据量背板带宽标志了交换机总的数据交换能力当交换机所有端口容量乘以端口数量之和的2倍小于背板带宽时，能实现全双工无阻赛交换，证明交换机具有发挥最大数据交换性能的条件
千鸟月读·2023-10-25 18:28

云数据库及RDS数据库介绍

3.阿里云RDS数据库云数据库RDSMySQL版基于阿里巴巴的MySQL源码分支，经过双十一高并发、大数据量的考验，拥有优
huaqianzkh·2023-10-25 09:00

Hadoop核心机制详细解析

在现实的实例中，通过Hadoop，可以轻易的将多台普通的或低性能的服务器组合成分布式的运算-存储集群，提供大数据量的存储和处理能力。
Amao_come_on·2023-10-25 09:18

【Element-ui】el-table大数据量渲染卡顿问题

1、场景描述在项目开发中，遇到在表格中一次性加载完的需求，且加载数量不少，有几百几千条，并且每条都可能有自己的下拉框，输入框来做编辑功能，此时普通的el-table肯定会导致浏览器卡死，那么怎么办呢？2、解决方案当然很多童鞋肯定会想到利用插件，其实我本人是不咋喜欢插件的，能自己写就自己写，毕竟插件可能也有bug或者啥的，万一出现了，作者不去改咋办，所以我总结了下面几个解决方法提示：本篇博客基本都用
林大大哟·2023-10-25 02:37
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他