亿级数据量技术探索

两表核对很崩溃删除重复值费时间？最费时间几种情况解决方案汇总

最费时间几种情况解决方案汇总现象：两个来源不同的表，需要核对相同和不同，如果数据量非常大，核对起来很让人崩溃的。解决方法：使用COUNTIF函数核对如果有两个表都有姓名列。怎
卫校一七药二·2024-02-20 06:41

关于Future的使用

关于Future的使用1说明2使用在日常处理业务中,在某些定时任务处理数据时,因待处理数据量较大,如上千上万数据处理.虽然可以使用线程池异步处理,但是线程池处理速度和队列存放能力有限,为保护线程池稳定,
韩_师兄·2024-02-20 06:13

ADO.NET大数据查询内存分页处理

然而，如果你确实需要将所有数据加载到客户端应用程序中进行处理，并且数据量太大，不适合一
管理大亨·2024-02-20 06:47

怎么用ETL工具实现MQ消息同步

怎么用ETL工具实现MQ消息同步随着企业业务的不断扩张和数据量的不断增加，消息队列（MQ）已经成为了很多企业进行异步消息传递和数据同步的首选方案。
RestCloud·2024-02-20 06:30

DDC技术：AIGC网络的革命性解决方案

GPU负载共享的三种方法前述AIGC大型模型的卓越能力不仅来自于其庞大的数据量，也源于算法的不断演进和进步。在训练
audrey-luo·2024-02-20 05:16

Python访问数据库

数据库数据库编程的基本操作过程sqlite3模块API数据库连接对象Connection游标对象Cursor数据库的CRUD操作示例示例中的数据表无条件查询有条件查询插入数据更新数据删除数据防止SQL注入攻击如果数据量较少
互联网的猫·2024-02-20 05:42

父子树形结构（Stream+Lambda）

一般来说完成这样的需求大多数人会想到递归，但递归的方式弊端过于明显：方法多次自调用效率很低、数据量大容易导致堆栈溢出、随着树深度的增加其时间复杂度会呈指数级增加等。
A尘埃·2024-02-20 03:03

《数据密集型应用系统设计》读书笔记——第一部分 数据系统基础

对于这些类型应用，CPU的处理能力往往不是第一限制性因素，关键在于数据量、数据的复杂度以及数据的快速和多变性。
Ronnie@2019·2024-02-20 03:31

深度学习的进展

随着算法和模型的改进、计算能力的提升以及数据量的增长，深度学习的应用范围不断扩大，对各行各业产生了深远的影响。方向一：深度学习的
五行缺你94·2024-02-20 02:58

思维日志1：思维质量标准之清晰性

图片发自App情境描述：周一早上，到办公室后，接收到单点的工作思路，交办陈述为“根据A数据分析下可否用于B业务低质量判定”，但所要分析的数据量级月均十万、自带信息非常少且对B业务质量高低尚无标准；然后过不久
虾哥李·2024-02-19 23:55

机器学习

到广泛的学科（该学科产生了基本的学习过程的统计-计算理论）已经设计了许多学习算法，这些算法通常应用在商业系统中，例如语音识别，计算机视觉，和其他各种各样的任务，并已剥离了数据挖掘中的工业来发掘网上不断增长的数据量中隐藏的规律
会敲键盘的猩猩·2024-02-19 23:23

关于预训练模型的一点感悟

最近，YannLeCun在WGS上说：目前的LLM不可能走到AGI，原因很简单，现在训练这些LLM所使用的数据量为10万亿个令牌，也就是130亿个词，如果你计算人类阅读这些数据需要多长时间，一个人每天阅读
铅笔楼·2024-02-19 23:18

RK3568笔记十四：yolov8pose部署

一、环境1、平台：rk35682、开发板:ATK-RK3568正点原子板子3、环境：buildroot特别说明：本示例中模型的训练使用的数据是coco8-pose数据集，数据量很少，模型效果无法保证，只是用来测试部署用的
殷忆枫·2024-02-19 23:04

注册消防师技术实务框架分析

之所以难，是因为这门考试知识点特别多、数据量大，而且数据有些一样、有些相近、有些不一样。另外，不仅要记准知识点，还要会运用，且还要前后几个知识点串联起来运用，如果有一处知识不知道，那么题还是做不出来。
呼呼海爸·2024-02-19 23:03

MySQL篇之分库分表

一、为什么要分库分表1.目的1.分担了访问压力2.解决存储压力2.分库分表的时机1.前提，项目业务数据逐渐增多，或业务发展迅速，单表的数据量达1000W或20G以后。
学java的冲鸭·2024-02-19 22:06

hadoot离线与实时的电影推荐系统-计算机毕业设计源码10338

大量的电影数据的管理运营随着数据量的增长也变得越来越复杂，因此，如何综合各种算法的优势给用
FYKJ_2010·2024-02-19 22:55

作业帮 x TiDB丨多元化海量数据业务的支撑

随着公司产品和业务场景越来越丰富，数据量越来越大，业务方对数据库的使用需求也越来越多元化。本文介绍了作业帮对TiDB的探索历程，以及逐渐落地多个业务场景的使用实践。
·2024-02-19 21:31

SpringBoot中使用redis事务

事务的相关介绍可以参考：0、起因在一次线上事故中，我们定位到redis的使用存在大value，超过了dubbo的最大数据量限制，于是紧急将这个大的对象value拆分成单个的stringvalue。
wrr-cat·2024-02-19 20:16

Redis 集群(Cluster)

如果数据量很大，接近超出了master/slave所在机器的物理内存，就可能出现严重问题了。
ikun66666·2024-02-19 20:19

001：自动驾驶概述

技术探索阶段（2005年-2015年）：随着计算机技术和机器学习技术的快速发展，自动驾驶技术开始
qq_31762031·2024-02-19 19:33

故障分析| Redis 故障诊断及常用运维命令—内存篇

排查思路是否数据量太大？是否客户端输入缓冲区有问题？是否复制积压缓冲区有问题？是否客户端输出缓冲区有问题？实用命令模拟Redis压力相关命令常⽤Re
爱可生开源社区·2024-02-19 17:57

作物模型狂奔：Apsim、Wofost、Dssat

大数据量必须要脚本去跑，目前Apsim和Wofost出了点成果，跟大家分享一下。欢迎各位道友留言、私聊、交流病情最好到B站上去留言啦，CSDN平很少登录需要指导的话，那就得让我挣点零花咯，嘿嘿。
F_Dregs·2024-02-19 15:47

小白如何学鸿蒙开发？

随着鸿蒙生态的不断完善、壮大，学习鸿蒙开发技术不仅对IT专业人士来说是一个前沿技术探索，对于一些零基础的学习者而言，更是一次职业转向和技能提升的绝佳机会。为什么学习鸿蒙？鸿蒙开发“钱”景如何？
OpenHarmony_小贾·2024-02-19 15:41

MySQL篇之索引创建与失效

一、索引创建的原则1).针对于数据量较大，且查询比较频繁的表建立索引。2).针对于常作为查询条件（where）、排序（orderby）、分组（groupby）操作的字段建立索引。
学java的冲鸭·2024-02-19 14:51

日常节省 30%计算资源：阿里云实时计算 Flink 自动调优实践

从而可以根据数据量的大小，选择合适的资源处理数据。但流作业是一种long-running的
Apache Flink·2024-02-19 14:46

【大数据面试题】007 谈一谈 Flink 背压

出现背压的原因上游数据突然增大比如数据源突然数据量增大多倍，下游处理速度跟不上。就像平时的小饭店能处理的很轻松，突然到了过年人多了很多，就会需要客人排队。网络，机器异常等这个也好理解
Jiweilai1·2024-02-19 13:35

指纹识别-流程

如果说得笼统一点，可以认为指纹的数据量小易处理。所以，在IPhone5s之后，指纹识别用在手机等终端设
xp562870732·2024-02-19 13:29

STM32 使用SPI读写FLASH（W25Q64型号）

文章目录手册中的指令读取FlashID函数读取DeviceID扇区擦除对Flash写操作整页写不固定数据量读数据手册中的指令第一列代表指令名（写使能，读状态，写状态，擦除）第二列代表指令码，程序中使用此进行操作第三列至
为了维护世界和平_·2024-02-19 11:55

RapidMiner缺失数据处理——去掉数据大量缺失的变量

最近做数据挖掘，发现RapidMiner是一款数据清洗、处理和转换的好工具，尤其在数据量不大的情况下。和R语言相比，RapidMiner在数据处理方面要简单直观得多。
carlwu·2024-02-19 11:59

补题报告————组合数的末十位

思路：我们之前学过，类似C(n,r)这种算式我们有三种做法：杨辉三角；直接用公式；但是我试了杨辉三角后发现根本不行，因为杨辉三角所需的是一个二维数组，但是数据量不允许开那么大，杨辉三角如下：11112113311464115101051
coduck_lys·2024-02-19 10:25

怎么用ETL工具实现MQ消息同步

怎么用ETL工具实现MQ消息同步随着企业业务的不断扩张和数据量的不断增加，消息队列（MQ）已经成为了很多企业进行异步消息传递和数据同步的首选方案。
·2024-02-19 10:43

深度学习的进展

随着算法和模型的改进、计算能力的提升以及数据量的增长，深度学习的应用范围不断扩大，对各行各业产生了深远的影响。深度
JayGboy·2024-02-19 10:00

只修改一个关键参数，就会毁了整个百亿参数大模型？ | 新程序员

本文将分享大语言模型训练过程中产生的多种独特现象，推导在二阶段预训练时如何巧妙平衡数据量与背景知识的注入，从理论与实践的角度揭示其内在运作机制，深入剖析语言核心区与维度依赖理论的作用及其带来的深刻影响。
《新程序员》编辑部·2024-02-19 10:54

Hive调优——count distinct替换

离线数仓开发过程中经常会对数据去重后聚合统计，而对于大数据量来说，count(distinct)操作消耗资源且查询性能很慢，以下是调优的方式。
爱吃辣条byte·2024-02-15 10:58

基于neo4j的汽车领域知识图谱问答系统

介绍：请使用前务必读一下README.md，系统主要是汽车领域相关知识图谱问答系统，包括了汽车的价格、品牌等十几个关系实体，十几个关系，数据量实体7000+，关系9000+整个系统使用django构建，
程序员～小强·2024-02-15 10:57

Hive的相关概念——分区表、分桶表

多重分区表二、Hive分桶表2.1分桶表的概念2.2分桶表的创建2.3分桶表的数据加载2.4分桶表的作用一、Hive分区表1.1分区表的概念Partition分区表是hive的一种优化手段表，当Hive表数据量大
爱吃辣条byte·2024-02-15 10:57

多表查询

目录统计出一张数据表中的数据量查询dept表中的数据量查询emp表中的数据量实现emp与dept的多表查询笛卡尔积消除笛卡尔积把数据表emp的别名定为e，数据表dept的别名定为d，然后在查询中分别使用
橙子味冰可乐·2024-02-15 10:51

[缓存] - 3.金融交易系统缓存架构设计

1.交易数据特点1.1数据量极大交易系统的数据量特大，主要来自以下几种类型的数据。1.1.1行情行情是交易系统最为重要的数据，交易就是在不断变化的行情中寻找时机来实现盈利的。
don't_know·2024-02-15 09:52

[BIZ] - 1.金融交易系统数据特点

1.1数据量极大交易系统的数据量特大，主要来自以下几种类型的数据。1.1.1行情行情是交易系统最为重要的数据，交易就是在不断变化的行情中寻找时机来实现盈利的。
don't_know·2024-02-15 09:52

浅谈缓存最终一致性的解决方案

1引言对于互联网业务来说，传统的直接访问数据库方式，主要通过数据分片、一主多从等方式来扛住读写流量，但随着数据量的积累和流量的激增，仅依赖数据库来承接所有流量，不仅成本高、效率低、而且还伴随着稳定性降低的风险
简说Linux·2024-02-15 09:09

浅谈本地缓存的应用

以前集中式架构，尤其是企业IT系统，用物理机或虚拟机部署，需要缓存的数据量很大，为了合理利用机器资源
梦之救赎·2024-02-15 08:38

Redis由浅到深层次讲解和springboot实战（服务器层面的搭建部署）

随着用户增多，网站出现以下问题数据量增加到一定程度，单机数据库就放不下了数据的索引（B+Tree）,一个机器内存也存放不下访问量变大后（读写混合），一台服务器承受不住。
三横同学·2024-02-15 08:06

TiDB 在医疗保障信息平台的应用实践

在某地市医疗保障信息平台的实践中，TiDB分布式数据库有效实现了在线交易和实时分析服务，日均QPS达22,000，总数据量接近30TB，降低了系统开发和维护成本，推动医疗保障信息平台的数字化和智能化发展
TiDB_PingCAP·2024-02-15 08:53

Oracle数据库

以下是Oracle分区表的一些优点：提高查询性能：通过对数据进行分区，可以只针对特定分区执行查询操作，从而减少需要扫描的数据量，提高查询效率。
编织幻境的妖·2024-02-15 08:41

C语言万年历设计制作

农历算法采用数据数组方法，200年日历数据量不大。程序启动时读入即可。数据结构18位，如daList[2000]=“110010010110000205”;前12位表
老花眼猫·2024-02-15 07:29

揪出MySQL磁盘消耗迅猛的真凶

Part1:写在最前当一张单表10亿数据量的表放在你面前，你将面临着什么？
weixin_34242819·2024-02-15 05:03

【MySQL进阶之路】亿级数据量表SQL调优实战

亿级数据量表SQL调优实战先说一下案例背景：在电商平台中，有一个商品表，数据量级别上亿，有一天晚上突然出现大量的慢查询告警，导致每一个数据库连接执行慢查询耗费几十秒的时间，以至于数据
11来了·2024-02-15 05:32

【MySQL进阶之路】十亿量级评论表SQL调优实战

十亿量级评论表SQL调优实战先说一下案例背景：在电商系统的评论表中，数据量非常大，达到了十亿量级，因此对评论的数据库进行分库分表处理，在分库分表之后，基本上单表的评论数据在百万级别左
11来了·2024-02-15 05:32

深度学习相关知识--池化

池化作用：1.减少运算量，这个还好理解，因为数据量变少了，后期计算量肯定也少了2.防止过拟合，因为池化可以把一张大图变成一张小图，但是保留了重要特征，这样使得模型学习时能
已经大四了，继续努力·2024-02-15 04:12

了解什么是文档型数据库？

，非关系型数据库（NoSQL）逐渐成为未来数据管理的重要一环，其中，文档型数据库尤为突出，一方面，其无模式的特点能够适应各种数据变化，满足数据环境复杂化的趋势；另一方面，其高度的扩展性满足了日益增长的数据量管理需求
DocDB小仙女·2024-02-15 04:41
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他