亿级数据量技术探索第10页

基于Redis6.0 tracking客户端缓存实现本地缓存

自己搭建了个小博客，本文与这篇文章同步：基于Redis6.0tracking客户端缓存实现本地缓存1.需求背景有一种业务场景：数据变更频率低、数据量不大，实时性要求低，但是查询频率很高。

水瓶座的鬼才·2024-02-04 16:27

4 种分布式 Session 的解决方案

35620501/article/details/95047642cookie和session的区别和联系cookie是本地客户端用来存储少量数据信息的，保存在客户端，用户能够很容易的获取，安全性不高，存储的数据量小

码农小光·2024-02-04 14:42

#阿里P8整理出SQL笔记：收获不止SOL优化抓住SQL的本质

当系统数据量、并发访问量上去后，不良SQL就会拖垮整个系统，我们

吃井不忘挖水人呢·2024-02-04 13:46

vue中一次性加载万条数据优化方案

item}}------{{key}}exportdefault{data(){return{//处理后的数据list:[],//请求的数据data:[],//数据总条数total:10000,//每次加载数据量

Zeng　·2024-02-04 13:08

基于Flink的实时数仓建设

实时计算初期二.实时数仓建设三.Lambda架构的实时数仓四.Kappa架构的实时数仓五.流批结合的实时数仓一、实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，但是数据量比较少

园陌·2024-02-04 12:48

Elasticsearch的使用场景深入详解

Elasticsearch的使用场景深入详解在当今数据驱动的时代，随着数据量的爆炸式增长，对于快速、高效的数据检索和分析的需求越来越迫切。

Dxy1239310216·2024-02-04 12:35

2019-04-12课堂笔记

b.能处理高并发访问3.集群特点a.数据量大、用户多b.7*24小时持续服务c.高并发d.用户分布广泛，网络情况复杂二、基础优化1.最小化原则：（1）安装软件包最小化（2）权限最小化（3）目录文件权限最小化

1340010b7af0·2024-02-04 09:44

磁盘的结构

每个扇区的数据量相同（如1KB）。由上图可以看出，靠最内侧的磁道上的扇区面积最小，由于每个扇区的数据量相同，因此其数据密度最大。

HRADPX·2024-02-04 09:33

2018-07-18

回忆几个月前的业内专业预测，全国范围内最终通过备案的P2P平台数据量不会超过800家——当

kenan806·2024-02-04 07:21

【大数据面试题】001 Flink 的 Checkpoint 原理

Checkpoint机制触发Checkpoint通过设置时间或数据量阈值来触发Checkpoint生成Barrier屏障，写入快照Flink触发Checkpoint后，会从数据源Source算子开始分发

Jiweilai1·2024-02-04 07:13

在sql优化的过程中，有没有面试说出后比较新颖的案例，而不是老一套的八股文？

列左右，某个事件有order_id属性，现在有个需求，要取行为事件同一个order_id最新的那条数据平常的做法:开窗，按order_idpartitionby,按时间orderby排序取序号为1如果数据量大的时候

大数据左右手·2024-02-04 07:42

Prompt Tuning 和 Delta Tuning 针对预训练语言模型进行微调

PromptTuning和DeltaTuning是两种针对预训练语言模型进行微调的方法，它们旨在提高微调的效率和减少所需的训练数据量。下面分别介绍这两种方法以及它们之间的区别。

人生万事须自为，跬步江山即寥廓。·2024-02-04 06:30

雪花算法及Java实现

一、全局唯一ID介绍1、背景现如今越来越多的公司都在用分布式、微服务，那么对应的就会针对不同的服务进行数据库拆分，然后当数据量上来的时候也会进行分表，那么随之而来的就是分表以后id的问题。

雪顶猫的鳄·2024-02-04 06:37

2018-9-10晨间日记

3.去图书馆还了书还借了几本书改进：统计好还有哪些数据量不够还有完成阅读计划习惯养成：1.就把骑车当成锻炼吧。2.英语也完成啦！不完成就要被扣钱啦周目标·完成进度进度条还没有

张小路24·2024-02-04 06:28

巧用RoaringBitMap处理海量数据内存diff问题

背景目前，在商品圈选投场景，每个标签id都会根据规则/指标绑定一定数据量的商品集，在圈选规则条件变动或者定时任务触发时会进行商品集的刷新，新增符合规则的商品，删除不符合规则的商品。

得物技术·2024-02-04 04:05

用BitMap结构实现快速取差集

在数据量较小时直接进行集合运算取差集即可，但是但基线数据和来源数据量达百万甚至千万时则计算缓慢，出现延时，因此需要找到其它方式方法。基线数据的定义：基线数据是一组带时分的时序数据，时

super.aladdin·2024-02-04 04:05

后端产品经理笔记-数据传输和写入

前言在后端数据量大起来之后，大部分的工作都是在‘玩数据’。就像一捧沙子，左手换到右手，右手指缝间分流而出，再由另一双手接住。

产品参赵·2024-02-04 02:55

TiDB架构设计和实践：高性能分布式数据库解决方案

正文：###1.引言随着互联网规模的不断扩大和数据量的快速增长，传统的关系型数据库在面对大规模数据处理和高并发请求时面临着挑战。为了解决这些问题，新一代的分布式数据库应运而生。

007php007·2024-02-04 00:57

从MySQL到TiDB：兼容性全解析

MySQL在高并发和大数据量场景下，单个实例的扩展性有限。

超越不平凡·2024-02-04 00:25

微信小程序 -分页加载-onReachBottom上拉触底加载

data:{limit:11,//显示数据量list:'',page:1,//当前页load:true,loading:false,//加载动画的显示},onReachBottom:function()

端木安玉·2024-02-03 23:28

Echarts 问题解决 —— 图表数据过多导致浏览器卡顿

图表数据过多导致浏览器卡顿场景再现：使用Vue+Echarts实现数据可视化点击数据量大的组件时，Echarts渲染比较快但切换其他组件统计图时，会非常卡原因分析：切换其他组件时，Echarts在当前页面被销毁

小前端·2024-02-03 23:29

BOSS 直聘：日增10亿数据的历史库，如何通过OceanBase节省70%存储成本？

本文谈到的BOSS直聘的业务场景主要是通过数据库对招聘过程中的聊天记录信息进行存储，数据量极大，且每天都有5亿到10亿的增量数据。

OceanBase数据库官方博客·2024-02-03 23:17

Ubuntu-Docker下的MySQL服务搭建与外联（持续更新）

部署背景：手边频繁变换的linux操作环境导致需要不停的配置基本的MySQL等开发/技术探索环境，docker自身强大的可移植性很好的解决了这个问题！

lifejump·2024-02-03 22:01

mybatis&Mysql分页查询，以及SQL_CALC_FOUND_ROWS与count(*) 性能对比

物理分页只返回部分数据占用内存小，能够获取数据库最新的状态，实施性比较强，一般适用于数据量比较大，数据更新比较频繁的场景。逻辑分页：一次性把全部的数据取出来，通过程序进行筛选数据。

zzhongcy·2024-02-03 19:41

C++面试-数据库

如果要提供提交、回滚、崩溃恢复能力的事务安全（ACID兼容）能力，并要求实现并发控制，InnoDB是一个好的选择如果数据表主要用来插入和查询记录，则MyISAM引擎能提供较高的处理效率如果只是临时存放数据，数据量不大

zad287·2024-02-03 19:37

tensorRt加速tensorflow模型推理（inception V3为例）

随着各公司在各自领域数据量的积累，以及深度学习的强拟合特点，各个公司都会训练出属于自己的模型，那么问题就来了，你有模型，我也有模型，那还比什么？对，就是速度，谁的速度快，谁就厉害。

鱼香土豆丝·2024-02-03 18:56

软件系统架构黄金法则17：图形数据存储架构法则

1.背景介绍随着互联网的快速发展，数据量呈现出爆炸式增长，尤其是图形数据。图形数据在社交网络、推荐系统、生物信息学等领域具有广泛的应用。为了更好地存储和处理这些数据，图形数据存储架构应运而生。

禅与计算机程序设计艺术·2024-02-03 15:47

深度解读NVMe计算存储协议-1

但是，随着数据量的不断增长

古猫先生·2024-02-03 15:49

Sharding-JDBC之RangeShardingAlgorithm（范围分片算法）

配置4.2、yml配置五、范围分片算法六、实现6.1、实体层6.2、持久层6.3、服务层6.4、测试类6.4.1、保存订单数据6.4.2、根据时间范围查询订单一、简介在我之前的文章里，实际工作中，数据量都不是很好去预估

嘉禾嘉宁papa·2024-02-03 14:47

SqlSever查询某个表的列名称、说明、备注、注释，类型等信息

背景：在工程项目中，有时需要对数据查询进行展示，常规的表格展示虽然能解决大部分问题；但在数据量比较大的情况就如果一次完整的展示信息，势必会造成数据加载中增加耗时，影响数据的展示效果；常规的解决方案都是在数据加载中采取分页的模式

A_nanda·2024-02-03 14:35

2019最火爆的项目平台----项目学院

4）数据透明：通过大数据量化筛选，一键筛选到适合自己的投资项目5)推广项目：自己正在从事项目包括未开盘项目，可以选择上传项目，把自已的项目连同自己的联系

happy艺汇·2024-02-03 13:59

hadoop使用公平调度器

数据量不大，做离线一个晚上就能轻松调度完，那时候使用的hadoop自带的调度器，容量调度器。但默认配置没有改，就会发生什么！root主leaf下面只有default。

向他一样rap·2024-02-03 13:22

Redis持久化方式

RDB持久化适合用于数据不太频繁且数据量不大的场景。AOF持久化：将每个写命令追加到文件末尾，以记录每个写操作对应的参数和结果。当Redis重启时，会通过重新执行A

MartinYangHJ·2024-02-03 13:17

POI读写大数据量excel，解决超过几万行而导致内存溢出的问题

1.Excel2003与Excel2007两个版本的最大行数和列数不同，2003版最大行数是65536行，最大列数是256列，2007版及以后的版本最大行数是1048576行，最大列数是16384列。excel2003是以二进制的方式存储，这种格式不易被其他软件读取使用；而excel2007采用了基于XML的ooxml开放文档标准，ooxml使用XML和ZIP技术结合进行文件存储，XML是一个基于

Swordfall·2024-02-03 12:35

【openpyxl】openpyxl获取合并单元格的值和其他操作

前言：因为涉及业务数据量比较大，想到了自动化处理，所以自己写了一些表格的操作方法批量处理数据。

抬眼已是半生·2024-02-03 12:35

mongodb数据库索引介绍与优化选择

到了2000年随着互联网的发展，数据量呈现爆发式增长。海量数据的诞生，传统的关系型数据库在应对大规模，

c+猿辅导·2024-02-03 08:23

数据毒化：保护数据安全的预防策略

近年来，生成并输入AI系统的数据量迅速增加。攻击者正趁着数据量的大幅增加，利用这一趋势污染训练数据集的输入，导致模型输出不正确或带有恶意结果。

运维有小邓@·2024-02-03 08:06

Jetpack:ViewModel

有的时候一个Activity里面嵌套了多个fragment,但是这些fragment里面用的是同一个数据,为了同步这些数据,我们需要用接口来传参,很麻烦(2)屏幕旋转,会销毁重建,如果数据类型比较简单,同时数据量也不大

勇敢地追·2024-02-03 07:00

VUE项目导出excel

excel接口->后端返回excel文件流->浏览器会识别并自动下载场景：大部分场景都有后端来做2.前端主导实现流程：前端获取要导出的数据->把常规数据处理成一个excel文件->浏览器识别下载场景：少数据量的导出本文章主要讲述以插件辅助前端导出的流程

煸橙干儿~~·2024-02-03 03:33

oracle数据回滚导致业务性能问题排查

由于每秒有大量insert，业务实时敏感性较高，而且每天凌晨会对前一天的数据进行归档也就是insert进历史表格，原表数据会进行delete清理（数据量每天300W左右）。平时这一步都能顺利完成。

烟雨归来·2024-02-03 03:17

查询、导入导出、统计性能优化的一些总结

用户页面影响速度有要求，下面针对查询数据表速度慢、调别人接口速度慢、导入速度慢、导出速度慢、统计功能速度慢的优化进行介绍2、优化实现2.1查询数据表速度慢有个业务，当时开发的时候，预估数据量是20W左右

爱晒太阳的小老鼠·2024-02-03 03:31

MySQL亿级数据的查询优化-历史表该如何建

其实这里的区别很大：先讲一下优化思路：如果数据量太大（远远超过内存），对于批量查询来说单纯的添加索引作用不大，需要将数据按照查询重新组织降低查询需要的IO次数。首先拿一组

IT张豆豆·2024-02-03 01:45

容量测试

容量测试•模拟真实数据量下的验证。功能测试往往构造几条测试数据，可以完成功能验证即可。但是系统在真正使用时，往往数据量是比较大的，另外会存在各种情况的数据，数据量大的时候可能会出现一些缺陷。

Rannio·2024-02-03 01:58

一文带你深入了解大数据服务

随着互联网以及物联网等信息技术的飞速进步，其所产生的数据量也进行了海量增长，将目光看向整个移动互联网领域，大数据已经是紧接云计算、物联网之后的又一大技术性变革，大数据革命早已开始。

HardcoreGeek·2024-02-03 01:48

STL-vector函数的使用

开始进入正式环节：头文件自然是#include定义vectorv;当然有需求二维甚至更高也可以定义vector>myv；接下来就是一些列的常用函数：判断是否为空：v.empty();查看vector内数据量的大小

JM_life·2024-02-03 00:34

09. BI - 数据可视化，如何进行基本图形绘制

此外在工作中我们也希望自己对数据更有感觉，因为数据量有的时候会非常大，对于几十万上百万的数据的不可能一行一行看，所以可视化就是一个

茶桁·2024-02-03 00:19

oracle数据库慢查询SQL

环境：oracle数据库，工作表历史表act_hi_proinst单表数据量一百多万慢SQL查询一：select*from(selectv.sql_id,v.sql_text,v.sql_f

喜羊羊love红太狼·2024-02-02 23:06

数据湖系列之一 | 你一定爱读的极简数据平台史，从数据仓库、数据湖到湖仓一体

1.写在前面我们身处一个大数据时代，企业的数据量爆炸式增长。如何应对海量数据存储和处理的挑战，建设好数据平台，对一个企业来说是很关键的问题。

百度智能云技术站·2024-02-02 23:04

一个按检索条件从NCBI下载序列的Perl脚本

NCBI我想大家是再熟悉不过的了，有时候我们需要按照自己的想法来下载一些序列在比对一下，网上也有很多点来点去的教程，但是面对数据量大一点的序列他们往往不太灵。

周运来就是我·2024-02-02 22:59

计算存储设备（Computational Storage Drive, CSD）