离线处理

本地搭建和运行Whisper语音识别模型小记

搭建本地的Whisper语音识别模型可以是一个非常有用的项目，尤其是在需要离线处理语音数据的情况下。Whisper是OpenAI开发的一个开源语音识别模型，支持多语言和高效的转录能力。
LQS2020·2024-09-05 17:27

MapReduce

MapReduce的优缺点优点：易于编程良好的扩展性高容错性适合tb/pb级以上海量数据的离线处理缺点：不擅长实时计算不擅长流式计算不擅长DAG
诺冰1314·2024-02-19 10:46

Flink从入门到实践（一）：Flink入门、Flink部署

文章目录系列文章索引一、快速上手1、导包2、求词频demo（1）要读取的数据（2）demo1：批处理（离线处理）（3）demo2-lambda优化：批处理（离线处理）（4）demo3：流处理（实时处理）
秃了也弱了。·2024-02-09 12:52

CDQ分治处理多维偏序基础

分治处理多维偏序基础多维偏序问题逆序对的两种解法逆序对的分治解法逆序对的树状数组解法二维偏序的解法二维偏序的分治解法二维偏序的树状数组解法三维偏序的解法三维偏序的分治套分治解法三维偏序的CDQ套树状数组的解法CDQ处理查询操作相关问题CDQ分治解决树状数组CDQ分治解决动态逆序对2019年河北省赛I题CDQ分治解法稍微深入四维偏序递归归并的顺序CDQ分治是一种离线处理多维偏序问题的算法框架
罗博士·2024-02-02 16:35

Spark-core

什么是SparkSpark是基于内存的快速，通用，可扩展的大数据分析引擎Spark的内置模块SparkCore是Spark可以离线处理的部分，实现了spark的基本功能，包含任务调度，错误恢复，与存储系统交互等模块
luckboy0000·2024-01-27 23:12

CAN FD数据脱机记录仪的在汽车应用上的优势

离线处理：CANFD数据脱机记录仪可以在网络连接的情况下工作，这使得它可以在各种环境下使用，例如在偏远地区或需要长时间运行的应用中。
来可小闵儿·2024-01-19 07:07

###好好好######Spark GraphX处理图数据

它可以是批处理数据，也可以是实时数据流；对前者需要离线处理，需要较多的时间来处理大量的数据行，产生结果和有洞察力的见解，而对后者需要实时处理并几乎同时生成对数据的见解。
mishidemudong·2023-12-21 11:03

华为大数据开发者教程知识点提纲

一、线下处理1.离线处理方案数据支持：HDFS调度：YARN收入：Flume，sqoop，loader处理：Mapreduce，SparkSql，spark，hive（，Flink）2.HadoopNamenode
qq_1418269732·2023-12-16 06:08

Flume+Kafka+Storm+Redis构建大数据实时处理系统

数据处理方法分为离线处理和在线处理，今天写到的就是基于Storm的在线处理。
Summer_1981·2023-12-15 06:16

5. MapReduce 和 Yarn 技术原理【华为HCIA-BigData】

5.1导读本章主要讲述大数据领域中最著名的批处理与离线处理计算框架MapReduce，包括MapReduce的原理、流程、使用场景，以及Hadoop集群中负责统一的资源管理与调度的组件Yarn，包括Yarn
Mengo_x·2023-11-29 08:45

Hadoop之MapReduce

优缺点：优点：1.易于编程—底层实现了接口2.良好的扩展性—可增加节点3.高容错性—保证任务的完成4.适合PB级别以上的海量数据的离线处理—可实现服务器内节点
僖僖cc·2023-11-25 04:41

离线处理 树状数组 G. Unusual Entertainment

可以离线处理出[p1,pr]和[1,p(l-1)]内的值在以x为根的子树内的个数，通过判断这两个区间的值是否相等进而可以得到是否
golemon.·2023-11-18 23:26

2022 ccpc广州站 E. Elevator

思路：离线处理+树状数组用array或者PII存入ai和i值，按照ai从小到大排序。
golemon.·2023-11-07 16:49

大数据：数据的日志采集与用途

文章目录1、系统架构流程图2、离线处理3、实时在线4、职业定位5、数据采集用途5.1数据分析5.2机器学习6、数据采集日志6.1数据模型6.2数据的产生6.3数据源的划分6.4数据采集的质量检测6.5日志传输推荐系统是基于对历史的数据进行推测
唐樽·2023-11-05 23:47

大数据分析的下一代架构--IOTA架构设计实践[下] 转

IOTA架构提出背景大数据3.0时代以前，Lambda数据架构成为大数据公司必备的架构，它解决了大数据离线处理和实时数据处理的需求。
生活的探路者·2023-11-05 02:48

每日一题 P3128 [USACO15DEC]Max Flow P LCA倍增 lazy离线处理做法

每日一题P3128[USACO15DEC]MaxFlowPLCA倍增lazy离线处理做法又是一道树上倍增的绿题，思路依旧很简单。
GreyKa·2023-11-04 17:40

MapReduce

优缺点优点易于编程，接口简单；良好的扩展性，可以通过简单的增加机器扩展计算性能；高容错性，当一个节点挂了，它可以将上面的计算任务转移到另外一个节点上运行而不需要人工参与；适合PB级以上海量数据的离线处理
Manfestain·2023-11-04 03:07

离线处理 + dfs序 + 区间修改 + 单点查询

cfdiv2#907场的F是牛客原题，过的很多，作为数据结构手竟然没有做过&据说很典，实在是太差劲了，于是第二天就来做这道题。牛客：华华和月月种树(nowcoder.com)cf：Problem-F-Codeforces牛客题意描述（cf的差不多）：有n个操作：1i：表示节点i长出了一个新的儿子节点，权值为0，编号为当前最大编号+12ia：使以i为根的子树中节点加上a3i：询问i节点的权值这一题由
golemon.·2023-10-31 22:56

大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。
向往的生活Life·2023-10-26 15:06

[HEOI2012]采花（思维 + 离线 + 树状数组）

题目链接分析我只能说太妙了…离线+树状数组参考题解：这个题要和《HH的项链》做对比；关键就是为什么要离线处理，以及怎么对区间进行排序和维护；[SDOI2009]HH的项链：这个题求的是区间中不同数的个数
qq_53398102·2023-10-23 09:19

大数据计算引擎MapReduce框架详解

MapReduce优缺点优点：易于编程、有良好的扩展性、具有高容错性、适合PB级以上海量数据的离线处理。缺点：不擅长实时计算、不擅长流式计算、不
码农高飞·2023-10-20 18:32

树上启发式合并笔记

1用于离线处理不带修改的子树问题，维护子树信息2启发式合并，将小的集合往大的集合合并，判断树上的大小集合，可以分为轻重节点，像重链剖分一样3有两次dfs，第一次dfs获取重节点4第二次dfs获取答案，需要遵循以下操作
佯设·2023-10-19 06:23

深度图飞行像素去除

里面也介绍了一些恢复飞行像素正确深度的方法，但作者提出的方法用到平面检测的思想，对一般曲面物体可能效果不好，而且该方法是离线处理的。本文记录的去除飞
FOFI·2023-10-12 07:00

【翻译】Prometheus最佳实践 监控

三种类型的服务仅仅从监控的视角来看，服务可以大致分成三种类型：在线服务、离线处理、批量任务。它们之间是有一些重叠，不过每个服务都能基本归类于其中。在线服务在线服务是，用户或者其他系统在期
ShootHzj·2023-10-07 15:14

spark笔记

1.mr、hive批处理、离线处理存在一些局限性：1.mrapi开发复杂2.只能做离线计算不能做实时计算3.性能不高2.什么是spark？
qq_47721411·2023-09-29 06:59

MapReduce-海量数据离线处理

MapReduce的数据划分不是物理拆放,是逻辑划分，划分的是区域数据库以keyvalue的形式存在map中。key叫偏移量。从头到尾文字的长度叫偏移量处理的是value这个key是分类汇总落地这个key是字符串，values是数组合并计算
ssttIsme·2023-09-26 07:11

流计算通用概念和Flink中的概念介绍

[toc]通用的流式处理概念流式处理和离线处理USER_SCORES存在一个USER_SCORES表，在批处理和流式处理中分别执行SELECT语句，区别如下：批处理一次返回最终结果流处理会随着数据进入引擎
Alex90·2023-09-20 12:34

Hadoop的YARN高可用

Hadoop，由分布式存储系统HDFS、并行计算框架MapReduce和分布式资源管理系统YARN三个系统组成，其中YARN是一个资源管理系统，负责集群资源管理和调度，MapReduce则是运行在YARN上的离线处理框架
万里长江横渡·2023-09-19 20:23

离线建AC自动机维护子串+线段树维护AC自动机：HDU4117

pid=4117离线处理AC自动机每次插入都要重构，但其实可以先离线建好，再进行操作AC自动机理解——维护子串每个子串都可以表示成一个前缀的一个后缀。
Qres821·2023-09-12 01:57

大数据课程L4——网站流量项目的Hive离线批处理

：[email protected]地址：广东惠州▲本章节目的⚪掌握网站流量项目的Hive的占位符与文件的调用；⚪掌握网站流量项目的Hive离线批处理过程；⚪掌握网站流量项目的定时任务改造Hive离线处理过程
伟雄·2023-09-11 02:31

yum/pip 离线处理

下载rpm文件#yuminstall--downloadonly--downloaddir=/tmp/vsftpd#yumreinstall--downloadonly--downloaddir=/tmp/vsftpd安装本地package#localinstallyumlocalinstall/path/to/localdir/*.rpm#或者创建本地源方式createrepo/path/to/
liurizhou·2023-09-11 01:54

PySpark 相关基础知识

SparkBase1.spark的基本介绍1.1spark的基本介绍MapReduce:分布式计算引擎MR分布式计算引擎,可以用来处理大规模数据,主要是用于批处理,用于离线处理MR存在弊端:1-执行效率比较低
青春程序不迷路·2023-08-28 15:30

腾讯大佬三年大制作，大数据Hadoop和Spark的大集合

Hadoop和Spark这两个主流技术进行讲解，主要内容包括Hadoop环境配置、分布式文件系统HDFS、分布式计算框架MapReduce、资源调度框架YARN与Hadoop新特性、大数据数据仓库Hive、离线处理辅助系统
金光闪闪耶·2023-08-23 15:47

大数据架构师之路

1、同时拥有实时和离线处理的架构，既保证低延迟，又保障正确性。
laogooooog·2023-08-23 11:04

ThingsKit物联网平台可视化之制作组态

组态是工业控制领域，利用组态软件将相关的工业控制数据进行离线处理，以达到工业控制的目的和要求，这个工作过程叫做组态！
·2023-08-22 10:17

ThingsKit物联网平台可视化之制作组态

组态是工业控制领域，利用组态软件将相关的工业控制数据进行离线处理，以达到工业控制的目的和要求，这个工作过程叫做组态！
·2023-08-22 10:14

大数据常用的架构

随着多年的大数据的技术发展和积累，越来越多的人发现各个公司所使用的大数据技术大致可以分为两大类，分别是离线处理技术和实时处理技术，要么个别公司只有离线处理技术，要么个别公司只有实时处理技术，但是绝大部分公司基本上都是两种技术架构都带着一起在做
数据与后端架构提升之路·2023-08-20 02:47

Problem - 1000F - Codeforces

线段树离线处理Problem-1000F-Codeforces问题描述：一个序列，q次询问。求区间[l,r]中只出现一次的数（任意一个即可）。思路：离线处理，用线段树。
golitter.·2023-08-19 05:42

如何在 iOS 上安装并使用 ONLYOFFICE 文档

您可与其他门户网站用户协作编辑文档，也可离线处理个人文件。什么是ONLYOFFICE文档iOS版ONLYOFFICE文档iOS版是一款全面的办公工具，提供了文本文档、电子表格和演示文稿查看和编辑功能。
ONLYOFFICE·2023-08-16 09:47

大数据常见应用场景及架构改进

大数据常见应用场景及架构改进大数据典型的离线处理场景1.大数据数据仓库及它的架构改进2.海量数据规模下的搜索与检索3.新兴的图计算领域4.海量数据挖掘潜在价值大数据实时处理场景大数据典型的离线处理场景1
桥路丶·2023-08-07 02:29

2023大数据技术应用的五个主要场景总结

大数据技术应用的几个主要场景：离线处理、实时流处理、交互查询、实时检索和融合数据仓库离线数据处理和分析：一、离线处理场景：通常是指对海量数据进行分析和处理，形成结果数据，供下一步数据应用使用。
胖胖的洋葱·2023-08-07 02:58

实时美颜在直播应用中的技术突破：探索直播实时美颜SDK的实现

传统的美颜处理通常依赖于离线处理，但在直播场景中，要求即时性和实时性。因此，研发一个高效实时的美颜解决方案变得至关重要。二、核心技术1、人脸检测与特征点定位这些特征点可以涵
美狐美颜sdk·2023-08-06 02:32

【数据结构】离散化&动态开点线段树

离散化与动态开点线段树是处理普通线段树处理区间范围过大时空间不够的问题更好的阅读体验：我的博客普通线段树要求4倍空间，当区间范围过大时空间不够离散化对于所有的修改操作，离线处理，将涉及的区间映射到小范围的连续的数
default111·2023-08-05 23:33

大型企业级云产品-亿级数据统计分析系统（离线处理-流处理-批处理）

大型企业级云产品-亿级数据统计分析系统（离线处理-流处理-批处理）课程详情：http://www.xuetuwuyou.com/course/249课程出自学途无忧网：http://www.xuetuwuyou.com
菜花小噗噗·2023-07-25 17:07

XDOJ1323珂朵莉、威廉与第五兽

不要解释了，快上车线段树+离散化离线处理，把所有的数字记录起来，因为能力大小范围是[1,1e9]，所以直接用线段树是不行的，但我们注意到输入的能力值最多就1e6个，所以就把所有数字记录起来，离散化，然后用线段树维护起来
Yuzzzzzz·2023-07-21 03:32

大数据之Kafka（三）：Kafka 与 Flume的整合及架构之道

下图显示的是flume采集完毕数据之后，进行的离线处理和实时处理两条业务线，本文将介绍flume和kafka的整合处理。
Oak-Komorebi·2023-06-20 00:23

大数据项目2

通过此项目，回顾并串联前面讲述的离线数据处理相关技术，如：FIune、Sqoop、Hive、Spark等，了解和掌握PB级数据离线处理的一般过程和架构。
彼得潘多·2023-06-16 19:59

数据仓库-hive&hbase

应用场景Hive主要用户构建基于Hadoop平台的数据仓库，处理大数据量的离线处理工作；HBase适合用来大数据的实时查询、海量数据的存储、离散型数据的存储；
MFLW·2023-06-11 08:30

这11款协同软件大大提升你的工作效率

用户还可以直接下载桌面应用程序，离线处理预先打开的文件，文件内容始终保持同步更新。在原型、交互、设计、在线合作等功能方面
设计是门艺术·2023-06-10 11:40

基于Canal与Flink实现数据实时增量同步(二)

本文主要从Binlog实时采集和离线处理Binlog还原业务数据两个方面，来介绍如何实现DB数据准确、高效地进入Hive数仓。
大数据技术与数仓·2023-06-07 13:34
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他