亿级数据量技术探索

mybatis进阶2——关联查询

关联查询代码参考mybatis-demo测试代码AssociationQueryTest.java0.关联查询的应用场景适用于传统软件，对于高并发、数据量巨大的互联网应用，要慎用！
王侦·2024-01-03 16:32

MySQL 索引相关问题，建议搭建好环境，真实操作一下索引应用到的各种场景

创建一个三百万数据量的表格，方便测试索引什么是B-tree和B+tree？MySQL索引是一种用于加快数据库查询速度的数据结构。
喵不拉几·2024-01-03 15:54

MySQL 针对千万或亿级别数据量的表格维护，可以考虑使用表格分区进行优化

项目中，经常会遇到数据量比较大的表格（百万、千万、亿），这个时候就要根据业务，考虑表格分区的设计思维了。通过将表格的行分成多个逻辑分区，可以更快地执行涉及这些分区的查询，并降低对大量数据的访问需求。
喵不拉几·2024-01-03 15:24

单机Nginx性能优化

静态文件的缓存优化了网页加载，超时机制会让Client与Server的响应不会长时间阻塞，GZIP压缩提升IO效率、减少我们发送的数据量，限流来预防DOS攻击，TCP参数调优提升传输效率。
JacksonY·2024-01-03 15:52

如何用FPGA输出正弦波、三角波等

三角波等一、开发工具二、步骤1、设置ROMIP核2、程序编写一、开发工具1、软件平台：Quartusll2、芯片：不重要二、步骤1、设置ROMIP核设置ROMIP核，根据使用的DA芯片选择对应的位数和数据量
第六个葫芦娃·2024-01-03 14:26

SQL优化：索引创建

辅助表创建这里我们来创建一张大数据量的表，CREATETABLEdemo_table(idINTPRIMARYKEY,nameVARCHAR(255),ageINT);插入数据--存储过程
_长银_·2024-01-03 13:10

项目接口性能优化方案

数据分页：对于返回大量数据的接口，可以进行数据分页，只返回分页的数据量，减少网络传输的负载。批量操作：对于需要对多个资源进行操作的接口，可以提供批量操作的接口，减少
m0_黎明·2024-01-03 12:38

大数据普及之路：数据可视化的崛起

随着大数据时代的到来，庞大的数据量成为企业和个人面临的共同挑战。在这个信息爆炸的时代，数据可视化作为一种强大的工具，正迅速走进千家万户，为普通人带来了更清晰、更直观的数据体验。
希艾席蒂恩·2024-01-03 11:45

00-开篇导读：学习分库分表开源框架的正确方法

各种智能终端设备（比如摄像头或车载设备等）以每天千万级的数据量上报业务数据，电商、社交等互联网行业更不必说。
JavaEdge.·2024-01-03 11:44

面试冲刺——Redis 专题

save6010-------->60s内,有10个key发生变化,触发RDB操作.优点:1).恢复速度快;----->2).占用磁盘空间小缺点:1).容易丢失数据;------>丢失数据风险高2).如果内存中的数据量过大
树叶要走风怎么挽留·2024-01-03 09:32

Redis 专题

dump.rdb配置:save6010-------->60s内,有10个key发生变化,触发RDB操作.优点:1).恢复速度快;----->缺点:1).容易丢失数据;------>丢失数据风险高2).如果内存中的数据量过大
逸轩要冲鸭·2024-01-03 09:00

2022寒假题集总结

//由于题目的数据量比较小，所以算法的复杂度为O(n*n)//可以将入度为0的点搞
Shanhj·2024-01-03 09:26

【大数据实战】聊聊clickhouse的性能问题-高性能分析

聊聊ck的性能问题在OLAP的查询场景中，同样的数据量，ClickHouse表现出了比同类可比较产品更优的性能。
小吴同学GOGOGO·2024-01-03 09:26

MapReduce架构和算法(2)

reducer的数据量。combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能假设不用combiner，那么，全部的结果都是reduce完毕。效率会相对低下。
weixin_34194551·2024-01-03 08:37

Django 分页（表单）

目录一、手动分页二、分页器分页一、手动分页1、概念页码：很容易理解，就是一本书的页码每页数量：就是一本书中某一页中的内容（数据量，比如第二页有15行内容），这15就是该页的数据量每一页的数据量我们可以自定义
云计算-Security·2024-01-03 07:35

用Redis实现实现全局唯一ID

全局唯一ID如果使用数据库自增ID就存在一些问题：id的规律性太明显受表数据量的限制全局ID生成器，是一种在分布式系统下用来生成全局唯一ID的工具，一般要满足下列特性：唯一性高可用递增性安全性高性能为了增加
小云很优秀·2024-01-03 05:26

提高shuffle操作中的reduce并行度

当方案一和方案二对于数据倾斜的处理没有很好的效果时，可以考虑提高shuffle过程中的reduce端并行度，reduce端并行度的提高就增加了reduce端task的数量，那么每个task分配到的数据量就会相应减少
尚硅谷铁粉·2024-01-03 02:01

做个待办事项列表，更好地管理时间

由于数据量大，思路不够清晰，所以计划三天写完该总结。因此缺少了具体的每日工作量，今天写了一部分，但是不
849745bedbe5·2024-01-03 02:26

免费电子书！18个文学小说下载阅读资源网站，这些宝藏网站请收藏！

互联网发展到现在这个程度，信息越来越公开了，但是随着数据量越来越大，如何找到符合自己要求的电子书，而且还是免费的，还是很不容易的，就需要掌握一些小技巧。
胡猛夫的个人博客·2024-01-02 22:38

我国低代码平台汇总对比，强烈建议收藏！！！

近期整理了部分低代码平台的功能和价格汇总如下：主要针对私有化部署版本进行对比：微搭异行星爱速搭简道云明道云宜搭价格15w+9.8K15W+18W+15W+10W+企业内部用户数200不限人数不限人数不限人数100300单表数据量不限制不限制不限制
Abelon·2024-01-02 21:30

面试又被问到一致性 Hash 算法？这样回答秒杀面试官！

当数据量少，访问压力不大的时候，通常一台Redis就能搞定，为了高可用，弄个主从也就足够了；当数据量变大，并发量也增加的时候，把全部的缓存数据放在一台机器上就有些吃力了，毕竟一台机器的资源是有限的，通常我们会搭建集群环境
会点代码的大叔·2024-01-02 20:34

CentOS7.9新添加磁盘分区2T

查看本机磁盘环境二、添加新的磁盘分区2.1使用fdisk工具2.2创建、删除物理卷、卷组、逻辑卷2.3格式化为xfs文件系统2.4配置文件/etc/fstab三、查看挂载情况前言随着时间的推移，生产环境因数据量的增加而导致磁盘空间不足以满足生产环境的需要
路飞onepiece·2024-01-02 20:52

CentOS7.9磁盘扩容操作

CentOS7.9磁盘扩容操作前言一、查看本机磁盘环境二、扩容操作2.1使用fdisk工具2.2创建物理卷并查看2.3将物理卷加入到卷组2.4同步到文件系统三、查看挂载情况前言随着时间的推移，生产环境因数据量的增加而导致磁盘空间不足以满足生产环境的需要
路飞onepiece·2024-01-02 20:21

同道决策｜莫祖泉：上级没提的要求，我没必要去满足，为什么这样

我发现一种很有意思的现象，一般人对于数据量化工作的理解：上级要什么数据，我就提供什么数据；上级没提到的数据要求，我没必要去满足。为什么会这样？1、一是没有数据系统的概念。
同道决策莫祖泉·2024-01-02 18:20

Redis完整笔记--狂神

随着用户增多，网站出现以下问题数据量增加到一定程度，单机数据库就放不下了数据的索引（B+Tree）,一个机器内存也存放不下访问量变大后（读写混合），一台服务器承受不住。
keep one's resolveY·2024-01-02 18:42

狂神Redis笔记

随着用户增多，网站出现以下问题数据量增加到一定程度，单机数据库就放不下了数据的索引（B+Tree）,一个机器内存也存放不下访问量变大后（读写混合），一台服务器承受不住。
小小小小小韩呀!·2024-01-02 18:42

Redis学习

NoSQL特点方便扩展（数据之间没有关系，很好扩展）大数据量、高性能（Redis一秒可以写8万次，读取11万，NoSQL的缓存记录级的，是一
木木广大·2024-01-02 18:11

HTTP request的几种类型

最常用的是GET和POST：方法长度限制安全性幂等其他GETGET可提交的数据量受到URL长度的限制，HTTP协议规范
钢牙仔·2024-01-02 17:16

MySQL索引

索引只是提高效率的一个因素，如果你的MySQL有大数据量的表，就需要花时间研究建立最优秀的索引，或优化查询语句。
Lonely丶墨轩·2024-01-02 15:20

2024，启动(回顾我的2023)

零.前言打开博客想写个年度总结，发现已经半年没有更新文章了，排名从几千掉到了几万，不过数据量还是不错的。
卖寂寞的小男孩·2024-01-02 15:45

Spark快速入门系列（三）深入理解RDD

的内在逻辑,以及RDD的内部属性(RDD由什么组成)案例需求给定一个网站的访问记录,俗称Accesslog计算其中出现的独立IP,以及其访问的次数创建个数据文件access_log_sample.txt（数据量太大
Alienware^·2024-01-02 13:23

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

什么是大数据基本概念在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生
悦悦学Python·2024-01-02 08:59

SQL 错误代码及含义

有关详细信息,请参阅设备上PocketMicrosoftAccess帮助-2146824434(0x800A0F0E)字段是太小无法接受您试图添加数据量。尝试插入或pasting少数据。
墙头上乘凉·2024-01-02 08:09

云计算复习提纲

第一章大数据的概念：海量数据的规模巨大到无法通过目前主流的计算机系统在合理时间内获取、存储、管理、处理并提炼以帮助使用者决策大数据的特点：①数据量大，存储的数据量巨大，PB级别是常态；②多样，数据的来源及格式多样
他是书安·2024-01-02 06:44

二分查找

算法思想算法：当数据量很大适宜采用该方法。采用二分法查找时，数据需是排好序的。
夜醉梦紅尘·2024-01-02 02:18

《推荐系统实践》第二章学习笔记

而隐式反馈无法明确用户的兴趣，一般只有正反馈，但是优势在于数据量大。
妖皇裂天·2024-01-02 02:54

关于数据库归档

数据库归档的主要目的是：提高性能：通过减少数据库中的数据量，可以提高查询速度和数据库性能。节省存储空间：归档的数据
翔云123456·2024-01-02 02:20

云宏大讲坛 | Ceph分布式存储高性能设计

随着数据量的不断增长，如何以高效的方式存储数据量成为IT界的一个挑战。许多传统存储解决方案不能满足日益增长的需求，业界迫切需要一种新的方法来管理现今的数据，为用户控制访问时间，缩减管理成本。
chennbwin·2024-01-02 01:48

MySQL数据库索引优化

对于没有索引的表，MySQL必须进行全部扫描来找到所需的行，如果表中数据量很大，那么通常很慢。通过适当的索引，可以快速定位到表中的数据，显著提高查询速度。
程序猿2023·2024-01-02 01:26

VUE,ElementUI列表大数据操作卡顿问题？（已解决）

行后操作就会卡很久，比如复选框基于elementUI的table，在不修改源码的情况下支持大数据了渲染的场景两种解决方案一、Vue自定义指令（通过自定义指令隐藏数据）二、使用pltable(轻松解决1w+数据量
上海老宅男·2024-01-02 00:43

十四：爬虫-Redis基础

1、背景随着互联网+大数据时代的来临，传统的关系型数据库已经不能满足中大型网站日益增长的访问量和数据量。这个时候就需要一种能够快速存取数据的组件来缓解数据库服务I/O的压力，来解决系统性能上的瓶颈。
温轻舟·2024-01-01 23:31

【工具】execl生成工具SXSSFWorkbook

处理xls的excel用的workbook是HSSFWorkbook，处理xlsx的excel用的是XSSFWorkbook,导出excel的时候数据会驻留在内存中，所以当数据量大的时候容易造成内存溢出
悔建阿里杰克马·2024-01-01 22:56

oracle 循环修改数据库,oracle数据库update循环执行语句

--由于数据量比较大每次执行一个小时时报回滚段已满--这里有两种方法来分批处理1、declaremaxrowsnumberdefault5000;p_id_tabledbms_sql.Varchar2_
秦岭一白·2024-01-01 22:44

Redis

方便扩展(数据之间没有关系)大数据量高性能(Redis一秒写8万次，读取11万次，NoSQL的缓存记录级，是一种细粒度的缓存，性能会比较高)数据类型是多样的(不需要事先设计数据库)发展历程单机MySQL
Wirdeo·2024-01-01 16:43

《销售中的心理学》之设定并完成销售目标

如何制定年目标销售目标是可以用数据量化的，销售成败，一切用数据说话。年目标制定可以参照上一年的业绩，上浮20%-50%即可。定太高，容易半途而废，定太低，没有挑战性，让自己没有成就感。
吴驰·2024-01-01 16:07

百万数据查询优化

2本身数据量比较大，需要优化sql语句分页优化方法:1覆盖索引（5.5及之前的版本也会回表查询，不起作用）这次我们之间查询最后一页的数据（利用覆盖索引，只包含id列），如下：selectidfromproductlimit866613,202
xiaopzi123123·2024-01-01 14:57

大数据的缘起、发展和未来构思

目前，针对大数据的特点综述，比较公认的是大数据的4V特性Volume：数据量巨大，2020年全球共拥有35ZB的数据量。
IT转型指北·2024-01-01 14:54

poi 大数据量 写入写出

poi文件读写方案image引入jarorg.apache.poipoi4.1.2org.apache.poipoi-ooxml4.1.2读取大批量数据，使用CVS模式解决内存溢出的问题importorg.apache.poi.hssf.usermodel.HSSFDateUtil;importorg.apache.poi.openxml4j.exceptions.OpenXML4JExcepti
扮鬼之梦·2024-01-01 13:55

Flink的特点以及优势

Flink的优势、数据量&吞吐量&延迟性Flink的流处理引擎只需要很少配置就能实现高吞吐率和低延迟。2、支持EventTime和乱序事件Flink支持了流处理和EventTime语义的窗口机制。
DemonHunter211·2024-01-01 13:32

【分库分表篇】分区和分表的区别

分区和分表的区别✔️解析✔️拓展知识仓✔️分区的方式✔️MySQL数据库支持的分区类型为水平分区✔️解析数据库中数据量过多，表太大的时候，不仅可以做分库分表，还可以做表分区，分区和分表类似，都是按照一定的规则将一张大表进行分解
昕宝爸爸爱编程·2024-01-01 11:39
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他