亿级数据量技术探索第20页

【PostgreSQL】PostgreSQL两层hash分区表（适用于大数据量表）

【PostgreSQL】PostgreSQL两层hash分区表（适用于大数据量表）适用场景一、创建主表二、创建一级分区表三、创建二级分区四、测试数据，造数五、查询数据具体在哪个分区表六、建立索引（参考）

Tzq@2018·2024-01-17 17:29

FTP文件传输协议、多种方式安装yum仓库

（可以使用空间，管理也是你来管理）网络附加存储：Network-AttachedStorage，简称NAS（存储和管理空间都在远程）2.三种存储架构的应用场景DAS虽然比较古老了，但是还是很适用于那些数据量不大

每日一卷哈·2024-01-17 17:20

GaussDB(DWS)查询优化技术大揭秘

GaussDB(DWS)查询优化技术大揭秘大数据时代，数据量呈爆发式增长，经常面临百亿、千亿数据查询场景，当数据仓库数据量较大、SQL语句执行效率低时，数据仓库性能会受到影响。

炒香菇的书呆子·2024-01-17 15:52

遇到 Out of Memory 怎么办？DolphinDB OOM 应对指南请查收！

造成OOM的原因有很多，其中包括数据量庞大、频繁的数据写入和查询操作，以及可能存在的内存泄漏问题。了解这些原因，能够帮助我们更好地规划、优化和维护系统，从而提高其稳定性和性能。

DolphinDB智臾科技·2024-01-17 15:49

机器学习-KNN近邻算法分类模型、交叉验证

个已有类型近邻点特征数据的距离，根据这个距离对未知类型的数据进行分类KNN模型超参数K值：K值不同会导致分类结果的不同距离：采用欧几里得公式求得距离适用范围：KNN适用于样本量级不够大得项目，因为它得运算成本比较高，数据量级越大

AAI机器之心·2024-01-17 15:04

Oracle-查询用户下所有表的数据量

一般我们通过count()语句就可以查询单张标的数据量，但是遇到很多情况，查询多张表，数据量特别大的时候，就比较慢，耽搁时间，毕竟开发的时间还是很宝贵的；也有通过下面的SQL去查询数据量，但不知道为什么

北风浊酒·2024-01-17 13:23

面试题总结-MQ总结

消息分发：促销活动，需要将商品短链发送各个平台，需要时效不高，但数据量大，可以交给消息队列处理。数据同步：redis、es与mysql同步异步处理：用于异步场景，比如注册用户，发送优惠券，发送优惠券和

酷寒的小蛮蛮·2024-01-17 13:22

基于redis做缓存分页

在实际业务中我们会将一些热数据缓存到redis里面，这时候数据量比较大的话，我们就要对这些热数据进行分页，分页的方式有2种：第一：从redis拿出所有数据后，再做内存分页（不推荐），热点数据小的时候可以这样做

java_飞·2024-01-17 11:56

教你在Linux备份文件名加上当前时间

现在随着企业使用linux系统作为服务器愈发的常见，随着数据量越来越大，此时就需要备份，当备份文件比较多时就不容易区分什么时间备份的，接下来我来介绍一种添加时间格式的备份方式，文内含长段代码可复制可往左滑

purple.taro·2024-01-17 10:09

共创模型

一个显而易见的事实是，进入互联网时代以来，数据量每年都在呈现指数级增长。

沈志强·2024-01-17 10:15

更改高德地图自定义数据范围

在项目中遇到用高德地图中绘制海量图标，但是如果数据量太多的话，一次性绘制大量的图标marker，导致页面加载速度很慢。

桃花树下种桃花·2024-01-17 10:01

大数据开发之Hadoop（HDFS）

第1章：HDFS概述1.1HDFS产出背景及定义1、HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件

Key-Key·2024-01-17 10:22

Java优先队列

一、优先队列优先队列应用场景：在一堆杂乱无序的数据里，尤其是当数据量特别大时，要选出最大（最小）的几个元素，那么就不必将所有数据都排序后再选择。这时需要一种合适的数据结构，能够删除最小元素和插入元素。

楠风道长·2024-01-17 09:45

P2P

因为所有数据都通过服务器进行转发，当有大量客户端进行连接的时候，服务器接收发送的数据量很大，会导致数据交互延时，所以Client_1与Client_2进行大量数据交互的时候，速度会受到Server性能的限制

甫庄·2024-01-17 08:20

【STM32】STM32学习笔记-软件I2C读写MPU6050(33)

多用于主控制器和从器件间的主从通信，在小数据量场合使用

Print World·2024-01-17 07:12

Python数据分析案例33——新闻文本主题多分类(Transformer, 组合模型) 模型保存

每个主题取了1w条，总共7w条数据，也还符合深度学习的数据量。正好我也构建了很多神经网络的序列模型，来验证一下哪些模型在这个数据集上表现较好。数

阡之尘埃·2024-01-17 06:48

【LLM】Prompt微调

Prompt优化一般大模型蕴含的训练数据量往往是百亿级别甚至万亿级别。大模型通常无法在小数据上微调。因此，基于Prompt的微调技术便成为了首要选择。Prompt优

m旧裤子·2024-01-17 06:26

互联网公司的争夺和大数据应用

随着数据量的积累，点击模型对搜索结果排名的预测越来越准确，它的重要性也越来越大。今天，它在搜索排序中至少占70%~80%的权重，也就是说搜索算法中其他所有的因素加起来都不如它重要。

一阳归来·2024-01-17 05:49

商品管理系统设计（二）：属性库搭建

当公司的业务不断扩张，商品的数量和种类数据量规模逐步增多，达到一定量级的时候，类目数就会变的越来越庞大，对于运营来说管理起来极其困难，对用户来说想要快速查找心仪的商品，也是非常不方便的。

SurpassPM·2024-01-17 04:13

数据库介绍

所以，现在我们使用关系型数据库管理系（RDBMS）来存储和管理大数据量。所谓的关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。RDBM

暗雪之格·2024-01-17 02:32

【数据库】MySQL性能分析和优化

导语当数据量非常庞大时，使用MySQL进行select操作可能会出现耗时特别多的情况。

Jacky_Feng·2024-01-17 02:54

栈和堆及索引思维

栈和堆及索引思维:每个内存单元中分为两个部分，栈和堆栈在内存的最底部，类似于一个标记，名字，分类；稳定，不可更改堆数据，表示一组数据，可变更，数据量大，和栈一一对应多个栈可以对应一个堆，反之不行变量的声明

成长储存罐·2024-01-17 01:31

电商API接口的大数据分析与挖掘技巧

随着电商行业的快速发展，电商平台上的交易数据量也越来越大。如何对这些数据进行分析和挖掘，从中获取有价值的信息，已经成为电商企业和开发者关注的重点。本文将介绍电商API接口的大数据分析与挖掘技巧。

爱吃猫的菜菜·2024-01-17 01:59

layering-cache扩展——多级缓存有效时间增加随机浮动时间，防止缓存雪崩

缓存雪崩是指缓存中数据大批量到过期时间，而查询数据量

三分魔系·2024-01-17 00:32

MySQL——锁

1全局锁上锁后，整个数据库处于只读状态flushtableswithreadlock释放：unlocktables应用：用于全库逻辑备份缺点：如果数据量很大，备份会花很多时间，只能读数据，造成业务停滞如果引擎支持可重复读的隔离级别

ミ míＳs °·2024-01-17 00:44

使用Python自带的SQLite3保存爬取到的数据

但是如果数据量比较大，而且想要在访问数据时更加快速，那么可以选择使用数据库来保存数据。数据库也有很多种选择，SQLite3的好处是Python自带，无需安装任何

Hardy_·2024-01-16 23:01

为什么mongodb使用b树

数据库索引是存储在磁盘上的，当数据量大时，就不能把整个索引全部加载到内存了，只能逐一加载每一个磁盘页（对应索引树的节点）。

4f03f33f33be·2024-01-16 23:44

浅谈缓存最终一致性的解决方案

引言对于互联网业务来说，传统的直接访问数据库方式，主要通过数据分片、一主多从等方式来扛住读写流量，但随着数据量的积累和流量的激增，仅依赖数据库来承接所有流量，不仅成本高、效率低、而且还

励志成为大牛的小牛·2024-01-16 23:27

Clickhouse表引擎之CollapsingMergeTree引擎的原理与使用

这个对于引擎对于数据量较大的场景是个不错的选择。注意，选择clickhouse的一般原因都是为了高效率查询，提高用户体验感，说白了就是以空间换时间，clickhouse的一个关键设计就是数据的合并。

做一枚快乐的程序员·2024-01-16 22:37

生存分析序章4——生存分析之Python篇：自定义方法与进阶技术探索

目录写在开头1.定制生存曲线1.1利用Python自定义生存曲线1.1.1构建生存函数1.1.2自定义曲线样式1.2特殊需求下的曲线绘制2.高级Cox模型2.1引入时间依赖性的Cox模型2.1.1时间依赖性的概念2.1.2模型调整2.1.3场景举例2.2处理复杂数据的Cox模型应用2.2.1类别型特征处理2.2.2非线性关系建模2.2.3处理缺失数据2.2.4时间相关协变量3.处理截尾与左删失数据

theskylife·2024-01-16 20:09

10days-神奇酷炫的下拉菜单

简单回顾一下今天储君老师教的内容：下拉菜单用讲了7种用法：1.基本用法：包括1.手工录入2.引用3.名称框手工录入当数据量比较少的时候可以用，但是当数据量多，就不太适用了。所以，重点讲一下引用。

奔跑吧太盼·2024-01-16 20:12

举个栗子！Tableau 技巧（154）：多表同步滚动，横向查看拼表数据

在Tableau中创建的图表，如果数据量较大，图表的右侧会出现一个滑条，方便分析用户上下滑动查看数据。

阿达_优阅达·2024-01-16 19:44

Linux中ll -h和du -h 查看的文件大小，同一个文件du -h的结果大很多

对于小文件或者数据量不大的文件，ll-h的结果可能与du-h的结果相似或者相同。du-h的结果：du-h会递归地计算

温柔的行子·2024-01-16 19:54

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

什么是大数据基本概念在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生

悦悦学Python·2024-01-16 18:10

【企查查】高级查询下突破导出5000条/10次限制思路tips，完整全量导出

并且有导出次数限制突破思路1、将一个查询条件下的数据进行时间拆分，例如拆分为5天时间段，每次的数据量会下降到5000以内2、用selenium对查询进行时间拆分点击，写算法对数据量判断自动拆分时间，保证时间段内的数据大于

DM。·2024-01-16 16:00

基于vue+Spring Boot技术的幼儿园管理系统设计与实现4un3j

系统开发的意义主要在于两个方面，一方面，系统上线后，能够为家长与教师带来很大便利，幼儿园管理涉及的数据量较大，要求精度高，采用计算机系统能够很好满足此需求，并且随着目前电脑的普及，方便用户使用。

计算机专业码农一枚·2024-01-16 14:09

大数据工程师干不过35岁？大数据职业发展前景如何？你怎么看？

IT领域君·2024-01-16 14:15

thinkphp 批量修改数据

使用自带的运行时间查看publicfunctionup(){$TemplateModel=newTemplateModel();Debug::remark('begin');//查询要修改的数据可以加limit控制数据量

321f6058edbf·2024-01-16 13:52

支撑数字经济、赋能实体经济我国区块链企业已超过1400家

全球首个国际工业区块链大会昨天在线上召开，聚焦区块链技术探索与应用热点话题，与会嘉宾共话区块链技术新发展、探索未来应用新业态、把握全球合作共赢新方向。

小米蟲·2024-01-16 13:10

SuperMap iDesktopX 11i(2023) 新特性之按过滤条件删除对象

作者：bsy文章目录前言功能入口：参数说明：结果展示：前言当对一个大数据量的数据集删除多个数据时，旧版本的iDesktopX可以从地图中选择要素删除，也可以从属性表中选中一行进行删除，但是操作都会随着删除数量的增加而变得复杂

supermapsupport·2024-01-16 12:59

Android Studio 3.5.2 中如何搭建protobuf环境？

AndroidStudio安装过程记录（2021）前言创建项目加入protobuf插件编写.proto文件同步一下项目后语前言最近玩Android蓝牙通讯，为了提高传输速率、降低数据量以达到优化用户体验的效果

聊者说·2024-01-16 12:07

MySQL插入数据很慢优化思路

MySQL插入数据很慢优化思路解决方法与思路解决方法与思路插入数据量非常大的场景加大mysql配置中的bulk_insert_buffer_size，这个参数默认为8Mbulk_insert_buffer_size

月犹依依·2024-01-16 12:06

Dynamic DataSource 多数据源配置【 Springboot + DataSource + MyBatis Plus + Druid】

在一些大型应用中，由于数据量的增长或者业务模块的增多，可能需要访问多个数据库。这时，就需要配置多个数据源。

IT小郭.·2024-01-16 12:52

企业在数据中台上该怎么选择

例如，企业需要考虑自身数据量的大小、数据处

qingyunliushuiyu·2024-01-16 10:56

书生·浦语大模型实战2

大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深

__如果·2024-01-16 09:54

【STM32】STM32学习笔记-I2C通信协议(31)

多用于主控制器和从器件间的主从通信，在小数据量场合使用，传输距离短，任意时刻只能有一个主机等特

Print World·2024-01-16 08:28

ffmpeg 基础知识

码率/比特率（bitrate）：衡量流的数据量的标准。高码率的视频、音频携带了比低码率更多的数据，在压制时（允许的）损失较小，因此它们的质量一般更高。例如，128kbps的MP3音频的听

野生的正经人·2024-01-16 07:30

数据分析平台哪个好

随着数据量的爆炸式增长，企业需要强大的数据分析平台来帮助他们从海量数据中找到有价值的信息。然而，在众多数据分析平台中，要选择最适合自己的工具可不是一件容易的事。

qingyunliushuiyu·2024-01-16 06:16

天天叨叨云原生，你知道云原生是啥么？

对于互联网产品来说，用户量少，并发量低，数据量也很小，只需要单个服务器即可满足需求，数据库和文件服务器什么的可用部署在另外的服务器上，这就是早期的单体架构。

米开朗基杨·2024-01-16 06:29

推荐频道

亿级数据量技术探索

最新Redis7集群（全网最详细）