亿级数据量技术探索

数据库索引类型介绍及其优缺点、区别、适用场景

而索引其实就是在无序的数据中建立索引，每次查询可以根据索引迅速查到我们想要的数据（就像字典的目录a-z一样）优点提高数据查找速度提高groupby、orderby分组与排序的时间缺点每增加数据都需要更新索引，随者数据量增大
我思知我在·2024-01-04 18:17

Nosql数据库的分类及应用场景

它最大的特点在于要求的数据量大，对事物的要求低。NoSQL它打破了长久以来关系型数据库与ACID理论大一统的局面。NoSQL
zjqbobo·2024-01-04 18:47

数据库表数据量大读写缓慢如何优化（4）【分库分表】

在第二篇文章中说到，查询分离中存在三大不足，其中一个不足就是：当主数据量越来越大，写操作缓慢，遇到这个问题我们该如何解决呢？为此，这篇文章我们主要围绕这个问题来讨论，拆分存储如何进行技术选型？
我爱娃哈哈76·2024-01-04 17:08

分布式ID生成规则

拿MySQL数据库举个栗子：在我们业务数据量不大的时候，单库单表完全可以支撑现有业务，数据再大一点搞个MySQL主从同步读写分离也能对付。
_micang·2024-01-04 16:50

JAVA批量新增、批量修改

JAVA批量新增、批量修改若数据量非常大，可以把List拆成多份，每份1000条数据。
独莫子凡·2024-01-04 15:21

python思路学习

本人是后端java开发，因为想做些数据分析，想看看python怎么爬数据，了解后大概分为几点第一首先要确定爬哪些网站，并且去看该网站的页面数据结构，可以根据规律，循环获取，数据量大的话也是可以根据条数获取第二通过数据结构进行解析
qq_35483372·2024-01-04 15:54

调参

+你要验证自己的训练脚本的流程对不对.这一步小数据量,生成速度快,但是所有的脚本都是和未来大规模训练一
三点水_787a·2024-01-04 13:41

CESS 构建存储新范式：智能空间管理

如集中式的数据中心所存储的数据量更大，使得数据更易受到攻击和泄露，同时数据被存储提供商或平台所中心化控制，通过将数据贩卖至第三方机构获利、未经授权泄漏隐私数据等问题也日益突出。
CESS_Cloud·2024-01-04 11:35

Element｜InfiniteScroll 无限滚动组件的具体使用方法

无限滚动基本用法详细说明v-infinite-scroll指令infinite-scroll-disabled属性infinite-scroll-distance属性总结需求背景：项目统计管理列表页面，数据量过多时在
雨季mo浅忆·2024-01-04 09:45

报告解读：中国新一代终端安全市场洞察，2023

IDC：伴随着全球数字化转型的快速发展，企业IT系统发生了翻天覆地的变化，特别是在边缘创造和处理的数据量正在呈指数级增长。
亚信安全官方账号·2024-01-04 08:42

大数据StarRocks(二) StarRocks集群部署

一、生产机器资源评估1.梳理数据量，包括每天增量数据接入和全量数据接入2.数据存储时间长度（1个月/3个月/半年/1年/三年等）3.报表的SQL查询数量，SQL查询占用资源的统计，需要提前做好压测4.压测可以采用官网提供的压测工具先进行测试
运维仙人·2024-01-04 07:55

python测试框架--＞pytest结合数据驱动-yaml（五）

数据量小的测试用例可以使用代码的参数化来实现数据驱动，数据量大的情况下建议大家使用一种结构化的文件（例如yaml，json、excel、csv等）来对数据进行存储，然后在测试用例中读取这些数据。
橙子软件测试菇凉·2024-01-04 07:01

SeaTunnel同步SQLserver数据至ClickHouse

ClickHouse是一种OLAP类型的列式数据库管理系统，ClickHouse完美的实现了OLAP和列式数据库的优势，因此在大数据量的分析处理应用中ClickHouse表现很优秀。
万山数据@yqj1987·2024-01-04 06:28

QT上位机开发（数据库sqlite编程）

但是一旦数据量大了之后，建议还是用数据库来进行管理比较好。数据库在增、删、改、查这方面还是比较好用的。目前，有一种小型的开源数据库sqlite，特别适合大家来使用。它是嵌入在软件程序里面的。
嵌入式-老费·2024-01-04 06:12

Python 迭代器和 iter() 、next() 方法

在Python列表推导式Listcomprehensions_一分耕耘一分收获中说过了Python的列表推导式的用法，也提到了在处理的数据量很大的时候，性能会有所下降。
江南野栀子·2024-01-04 05:02

DataLoader 和 Dataset

接下来，我们就要弄明白怎么对数据进行预处理，然后加载数据，我们以前手动加载数据的方式，在数据量小的时候，并没有太大问题，但是到了大数据量，我们需要使用shuffle,分割成mini-batch等操作的时候
深度学习的奋斗者·2024-01-04 04:04

BLE协议—广播和扫描

在BLE中，扫描和广播是通信的基础，用户可以直接用扫描和广播进行数据的传输（数据量不大，功耗要求较高的情况下），也可以在广播和扫描的基础上进行连接后点对点通信。
小黑子来咯·2024-01-04 03:35

DDIA读书笔记第一章——可靠性、可扩展性、可维护性

现今大多数系统是数据密集型系统，而非计算密集型，所以CPU一般很少成为这类系统的瓶颈，数据量、数据复杂性、数据的变更速度往往是这类系统更关心的问题。
fayadexinqing·2024-01-04 03:56

第一章 可靠性、可扩展性、可维护性

数据系统首先讲述了大多数应用都是数据密集型而非计算密集型，更多的问题来自于数据量、数据变更速度，列举一些通用组件数据库系统：存储数据；缓存系统：提升读取速度；搜索索引：按照关键字搜索，以及过滤；批处理：
法号大威天龙·2024-01-04 03:55

ddia-读书笔记 第一章

第一章可靠、可扩展与可维护的应用系统数据系统(datasystem)的核心设计目标可靠性(Reliability).当出现意外情况，系统可以继续正常运转可扩展性(Scalability).随着规模的增长，例如数据量
J贝·2024-01-04 03:24

RFID智能档案柜实现智能档案管理设计应用方案

一、项目概况1.1现阶段档案保管现况近年来，国内档案资料工作取得了长足的发展，档案资料事业的规模扩大了，总量也逐渐增多，档案的类型日益多样化，数据量迅速膨胀。
广东航连科技·2024-01-04 03:50

php大数据导出

概述：最近公司项目要求把数据除了页面输出也希望有导出功能，虽然之前也做过几个导出功能，但这次数据量相对比较大，差不多一天数据就20W条，要求导7天或者30天，那么数据量就轻松破百万了甚至破千万，因此开发的过程中发现了一些大数据导出的坑
IthinkIcanfly·2024-01-04 01:14

【django项目开发】用户登录后缓存权限到redis中（十）

对于那些数据量大，并且需要频繁的读写，一定需要做缓存的在默认的app中定义utils包
敲代码敲到头发茂密·2024-01-04 00:22

简述Redis备份策略以及对应的实现机制

这种策略适用于数据量不大且允许一定时间的数据丢失场景。定期备份的优点在于其简
沛沛老爹·2024-01-04 00:13

【高级功能】使用Web存储

Web存储和cookie很相似，但它有着更好的实现方式，能保存的数据量也很大。这两种类型共享相同的机制，但是被保存数据的可见性和寿命存在区别。
weixin_30700099·2024-01-03 21:35

CMS—作品点赞、粉丝关注设计

进入自己个人中心显示自己点赞作品（可取消）4.进入他人个人中心显示他人点赞作品5.可查看作品下的点赞用户列表（分页、倒排）1.2、特性分析1.总数与明细都要记录2.查频率高、写并发高3.回显实时性要求高4.传输数据量小
JunSouth·2024-01-03 21:26

云服务器评估迁移时间与测试传输速度

迁移周期时长与待迁移服务器的数量和实际数据量成正比，建议您根据实际迁移测试演练进行评估。本文主要介绍迁移过程中这一阶段所需时间的评估方式和传输速度的测试方法。
九河云·2024-01-03 21:33

工业采集网关：连接工业设备与信息系统的桥梁

在现代工业自动化领域，随着设备种类和数据量的不断增加，如何有效地采集、传输和处理设备数据成为了一个重要的问题。工业采集网关作为连接工业设备和信息系统的桥梁，发挥着越来越重要的作用。
合沃物联-让设备数字化更简单·2024-01-03 20:38

Doris 数仓使用规范（经验版）

举例：假设表内单分区数据量在100G，按天分区,bucket数量100个。【强烈建议】不要使用Au
hf200012·2024-01-03 19:30

尝试使用深度学习识别百度旋转验证码

2.2图像矫正接下来对采集的数据进行人工校正2.3数据清洗（1）对数据进行进行旋转，达到增加数据量的目的。（2）对数据进行灰度化处理，将三维图片降为二维。（
Dxy1239310216·2024-01-03 17:40

你是否还在用for循环给实体类中的某个属性逐个赋值？尽量避免for循环赋值，应当使用sql关联表的方法去赋值来提升接口请求速度！

在我们的开发中，查询列表，想拿到另外一张表的name，但是列表中存着的是另一个表中的id，这时候使用了for循环去遍历然后通过MybatisPlus提供的方法去getOne获取这一条数据的name，这种方法数据量少还能支撑得住
番茄Salad·2024-01-03 17:36

数据结构（六）：冒泡排序、选择排序、插入排序、快速排序

我们判断一个算法的效率，不能只凭着算法运行的速度，因为随着数据量的变化，算法的速度会发生变化，所以我们应该：根据算法的速度随着数据量的变化会如何变化，这样的方式来表示算法的效率，大O表示法就是方式之一。
DantinZhang·2024-01-03 16:53

JavaScript算法——快速排序

注意：快速排序不一定是最快的排序方法，这取决于需要排序的数据结构、数据量。不过，大多数情况下，面试官和工作场所用它的概率也是相对较高的，所以我们应该花时间把它学透彻。二、工作原理首先设定一个分界值，
诸葛韩信·2024-01-03 16:52

JS 排序算法详解（冒泡排序，选择排序，插入排序，希尔排序，快速排序）

我们使用大O表示法来表示算法的时间复杂度，是用来表示算法的速度随着数据量的变化而如何变化的。
echomsy·2024-01-03 16:19

大数据系列之：读取parquet文件统计数据量

大数据系列之：读取parquet文件统计数据量一、Spark读取parquet文件统计数据量二、parquet-tools统计parquet文件数据量三、实际应用案例一、Spark读取parquet文件统计数据量首先
最笨的羊羊·2024-01-03 16:49

【大数据】Doris 数仓使用规范原则

举例：假设表内单分区数据量在100G，按天分区,bucket数量100个。【强烈建议】不要使用Au
奔向理想的星辰大海·2024-01-03 16:48

js 大数据量下快速排序

前言：我们常用的排序方式就是数组自带的sort方法，再进阶就是手写二分法排序，今天分享一篇模拟堆栈的方式实现快速排序，耗时比二分法排序提升一半的速度（具体提速度的的毫秒数我没做记录，我验证的是至少提升一半的速度；有兴趣的可以再验证下）一、sort排序letarr=[1,2,3,4,5.......]//此处简单举例letquickSort=function(arr){returnarr.sort(
carpe diem xt·2024-01-03 16:18

数据去重方案（汇总）

BitMapRoaringBitMap\Roaring64NavigableMap4）借助外部存储主键\去重键2、近似去重1）BloomFilter2）HyperLogLog1、Java数据结构1）HashSet去重应用场景：当数据量较小
猫猫爱吃小鱼粮·2024-01-03 16:48

数据预处理方法

数据预处理包括：数据清理，数据集成，数据转换，数据归约（最大限度精简数据量）。比如：缺失数据处理是去掉，还是填充默认值或最近的值。
XueminXu·2024-01-03 16:25

mybatis进阶2——关联查询

关联查询代码参考mybatis-demo测试代码AssociationQueryTest.java0.关联查询的应用场景适用于传统软件，对于高并发、数据量巨大的互联网应用，要慎用！
王侦·2024-01-03 16:32

MySQL 索引相关问题，建议搭建好环境，真实操作一下索引应用到的各种场景

创建一个三百万数据量的表格，方便测试索引什么是B-tree和B+tree？MySQL索引是一种用于加快数据库查询速度的数据结构。
喵不拉几·2024-01-03 15:54

MySQL 针对千万或亿级别数据量的表格维护，可以考虑使用表格分区进行优化

项目中，经常会遇到数据量比较大的表格（百万、千万、亿），这个时候就要根据业务，考虑表格分区的设计思维了。通过将表格的行分成多个逻辑分区，可以更快地执行涉及这些分区的查询，并降低对大量数据的访问需求。
喵不拉几·2024-01-03 15:24

单机Nginx性能优化

静态文件的缓存优化了网页加载，超时机制会让Client与Server的响应不会长时间阻塞，GZIP压缩提升IO效率、减少我们发送的数据量，限流来预防DOS攻击，TCP参数调优提升传输效率。
JacksonY·2024-01-03 15:52

如何用FPGA输出正弦波、三角波等

三角波等一、开发工具二、步骤1、设置ROMIP核2、程序编写一、开发工具1、软件平台：Quartusll2、芯片：不重要二、步骤1、设置ROMIP核设置ROMIP核，根据使用的DA芯片选择对应的位数和数据量
第六个葫芦娃·2024-01-03 14:26

SQL优化：索引创建

辅助表创建这里我们来创建一张大数据量的表，CREATETABLEdemo_table(idINTPRIMARYKEY,nameVARCHAR(255),ageINT);插入数据--存储过程
_长银_·2024-01-03 13:10

项目接口性能优化方案

数据分页：对于返回大量数据的接口，可以进行数据分页，只返回分页的数据量，减少网络传输的负载。批量操作：对于需要对多个资源进行操作的接口，可以提供批量操作的接口，减少
m0_黎明·2024-01-03 12:38

大数据普及之路：数据可视化的崛起

随着大数据时代的到来，庞大的数据量成为企业和个人面临的共同挑战。在这个信息爆炸的时代，数据可视化作为一种强大的工具，正迅速走进千家万户，为普通人带来了更清晰、更直观的数据体验。
希艾席蒂恩·2024-01-03 11:45

00-开篇导读：学习分库分表开源框架的正确方法

各种智能终端设备（比如摄像头或车载设备等）以每天千万级的数据量上报业务数据，电商、社交等互联网行业更不必说。
JavaEdge.·2024-01-03 11:44

面试冲刺——Redis 专题

save6010-------->60s内,有10个key发生变化,触发RDB操作.优点:1).恢复速度快;----->2).占用磁盘空间小缺点:1).容易丢失数据;------>丢失数据风险高2).如果内存中的数据量过大
树叶要走风怎么挽留·2024-01-03 09:32

Redis 专题

dump.rdb配置:save6010-------->60s内,有10个key发生变化,触发RDB操作.优点:1).恢复速度快;----->缺点:1).容易丢失数据;------>丢失数据风险高2).如果内存中的数据量过大
逸轩要冲鸭·2024-01-03 09:00
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他