离线处理

Introduction to Apache Flink - CH1 -First Look at Apache Flink

你以前需要选择使用实时处理还是离线处理来选择框架，但是Fklink使用同一套技术让你能够处理你想要的类型。这样一个Apache顶级项目时如
耳边的火·2020-07-29 03:31

hadoop的mapReduce和Spark的shuffle过程的详解与对比及优化

大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性，下面主要介绍mapReducehe
人唯优·2020-07-28 20:23

Hadoop-深入实践（一）

=海量数据+复杂类型的数据2.核心特征数据量大类型繁多价值密度低速度快时效高3.大数据处理平台离线处理平台交互式处理平台流处理平台4.大数据技术路线图5.Hadoop定义Apache开源软件基金会开发的运行于大规模服务器上的大数据存储
wychen_sunshine·2020-07-28 14:23

问题-为什么需要搭建数据平台

比如数据采集的flume、sqoop，离线处理的hive，分布式计算引擎spark2.数据资产。公司业务产生的；公司运作产生的；从外界购买、爬虫得来的。3.数据管理。
zdkdchao·2020-07-28 06:39

视觉VIO--4.边缘化和滑动窗口算法

PS:如果只是一个SFM问题的话就不需要关心滑动窗口，或者离线处理也不需要滑动窗口法。只需要把所有数据放到一个优化问题里面求解。
南山二毛·2020-07-28 05:03

hdu-4777Rabbit Kingdom 树状数组

pid=4777题意：给一段序列，多个查询，查询某段区间内和其他数都互质的数的个数接触过类似的题目，但训练时竟没有想到树状数组，搜了发题解，看到树状数组四个字，立马就把题解关掉了，想了想，好像不难做必然是离线处理
jerans·2020-07-28 00:39

浅谈Spark的特点：与hadoop，storm，flink的区别

而区别在于，1.MapReduce只能做离线处理，也就是批处理，而spark即可以做离线处理也可以做实时处理，但值得一提的是，spark的实时处理实际上是一个
江湖小小虾·2020-07-16 02:47

牛客多校第一场J题（树状数组+离线处理）

牛客多校第一场J题中问的是从1到i和j到n虽然是取了两边但也是区间处理问题莫队可以做。。不过时间是个玄学正解做法是树状数组，先倍增区间然后将所有的询问存下来按照右区间递增排序用map记录第一次出现和最后一次出现#includeusingnamespacestd;#definemem(a,b)memset(a,b,sizeof(a))typedeflonglongll;constintN=3e5+1
yyyan_·2020-07-15 18:23

力扣周赛165

思路：一开始写麻烦了，其实这题很简单，因为这个一个33的矩阵，只需要O(n)遍历一个给你的数组，然后离线处理，分别判断5个点的坐标即只需要判断这5个坐标是否对应的方向是否有3个相同的数字就行了，具体看一下代码
深入人心·2020-07-15 08:18

有离线处理和实时计算对比

在大数据的数据处理中：有离线处理和实时计算对比分别在以下四个方面有所区别1.存储，即数据来源离线一般存储在HDFS,而且数据量大实时计算的话，一般是消息队列，如kalka,需要实时增加/修改记录过来的某一时间内的某一批次的数据
qq_24990561·2020-07-14 17:36

离线大数据开发实战（读书笔记）

第一章概述数据分为以下几类：1.结构化数据：数据库中的数据2.半结构化数据：日志文件、XML/JSON3.非结构化数据：图像、声音数据储存处理1.离线处理：按天进行数据处理，每天凌晨等数据采集和同步的数据到位后
GONEW33·2020-07-14 00:30

基于Redis的BloomFilter实战

离线处理的时候，我们可以通过count(groupby)或者count(distinct)等方式比较容易的计算出UV，而且不用太担心性能，大不了就是多一点map或者执行时间久一点。
飞飞好奇·2020-07-12 16:33

bzoj2594水管局长数据加强版题解

然而LinkCutTree维护最小生成树时并不支持删边操作，所以要离线处理，先删掉该删掉的边，再求最小生成树，把所有操作倒过来用LCT维护。如何用LCT维护动态
t14t41t·2020-07-12 00:26

Spark(五) --一文带你了解Streaming核心原理

第一章SparkStreaming引入1.1.新的场景需求思考一下下面这样的场景需求,仅仅通过传统的批处理/离线处理/离线计算/处理历史数据可以完成吗?
众里寻她千百回·2020-07-10 22:43

bzoj2594: [Wc2006]水管局长数据加强版

离线处理后不难发现就是一个LCT询问两点间最大值最小值之类的，然后就上模板#include#include#include#include#includeusingnamespacestd;intgetint
IED98·2020-07-10 21:03

大数据离线批处理化解决方案--离线批处理

大数据离线批处理化解决方案安平领域•离线处理平台主要用来进行数据处理和加工，将原始数据加工成明细数据。以及进行离线分析和碰撞分析产生分析结果数据，供上层应用调用。
TKE_kolento.·2020-07-10 11:56

SparkML（二） 设计机器学习系统

大数据处理系统必备的特性必须能与其他系统组件整合，数据收集系统、数据存储系统、前段web服务等等必须易于扩展且与其它组建独立，理想情况下要兼具水平和垂直可扩展性支持高校完成所需类型的计算，包含机器学习和迭代式分析应用最好能同时支持批处理(离线处理
一日两点水·2020-07-09 12:53

Kafka介绍之概念

它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理活跃的流式数据作用kafka的作用类似于缓存，即活跃的数据和离线处理系统之间的缓存架构如图所示
Bloo_m·2020-07-09 04:08

页面日志的服务器端的清洗和预处理

对于实时要求要宽松的应用场景下，一般的都是进行离线处理，而日志需要清洗和预处理的原因：识别流量攻击，网络爬虫和流量作弊（虚假流量）。
wyn1175397098zt·2020-07-09 01:12

POJ 1990 MooFest(树状数组+离线处理)

POJ1990MooFest(树状数组+离线处理)http://poj.org/problem?
focus_best·2020-07-08 10:19

hdu 3333 树状数组+离线处理

http://acm.hdu.edu.cn/showproblem.php?pid=3333不错的题，想了很久不知道怎么处理，而且答案没看懂，然后找个例子模拟下别人的代码马上懂了---以后看不懂的话就拿个例子模拟下别人的代码举个例子：133535查询a,24b,25最初是这么想的：对于a查询，倘若把第二个数第三个数变成1个3，那么到b查询，又出现了两个3，再做处理似乎还是O（n），而且如果先出现2
Z-Pilgrim·2020-07-08 08:45

hadoop之离线处理电商项目架构和实现

处理流程1.涉及的基本技术组件Hadoop：HDFSMapReduce(清洗)YARN、需要部署Hadoop集群Hive：外部表、SQL、解决数据倾斜、sql优化、基于元数据管理、SQL到MR过程Flume：将数据抽取到hdfs调度：crontab、shell、AzkabanHUE：可视化的notebook，CM自带，排查数据2.处理流程大数据开发：关注的是2、3、4步骤。1,2,3都是属于ETL
shell33168·2020-07-08 05:49

分布式计算引擎 - Flink

流与批的世界观1.3分层api1.4支持有状态计算1.5支持exactly-once语义1.6支持事件时间（EventTime）2Flink操作环境上手2.1搭建Flink的工作环境2.2有界数据流处理(数据离线处理
极度丶浚爱·2020-07-08 02:19

HDU 4638 Group (树状数组+离线处理+思维)*

题目大意：http://acm.hdu.edu.cn/showproblem.php?pid=4638#includeusingnamespacestd;#definedebugputs("YES");#definerep(x,y,z)for(int(x)=(y);(x)>qy[maxn];///查询结构///树状数组结构inttree[maxn];intlowbit(intx){returnx&
等我学会后缀自动机·2020-07-07 23:33

HDU 5057 Argestes and Sequence 离线处理+树状数组

HDU5057题意:给出n个数的序列a,m个操作.n,musingnamespacestd;constintN=2e5+20;structnode{intflag,x,y,l,r,d,p,ans;}q[N];inta[N],c[N][10],pos[N];intT,n,m;intlowbit(intx){returnx&-x;}voidupdate(intx,intnum,intvalue){fo
orz11111111·2020-07-07 18:18

统一资源管理与调度平台（系统）介绍

1.背景随着互联网的高速发展，基于数据密集型应用的计算框架不断出现，从支持离线处理的MapReduce，到支持在线处理的Storm，从迭代式计算框架Spark到流式处理框架S4，…，各种框架诞生于不同的公司或者实验室
meeasyhappy·2020-07-07 17:04

hdu 5057（树状数组+离线处理）

题目链接：http://acm.hdu.edu.cn/showproblem.php?pid=5057ArgestesandSequenceTimeLimit:5000/2500MS(Java/Others)MemoryLimit:32768/32768K(Java/Others)TotalSubmission(s):569AcceptedSubmission(s):144ProblemDescr
柠檬与茉莉·2020-07-07 14:10

大数据(四) - MapReduce

MapReduce适合PB级以上海量数据的离线处理MapReduce不擅长什么实时计算像MySQL一样，在毫秒级或者秒级内返回结果流式计算MapReduce的输入数据集是静态的，不能动态变化MapReduce
爱学习的小肥猪·2020-07-07 09:18

MooFest(树状数组+离线处理)

/*题意：给你n头牛的位置x，和他们的音调v。让我们求的是什么呢，求的是两头牛之间的（位置之差）*(两头牛中的最大的音调)。我们按照v的大小从小到大排个序，从1-n依次扫一遍，当扫到第i头牛的时候，i的音调就最大，所以如果求出位置差的和的话，问题就解决了、简单的总结一下：主要分两个数组的思路很是巧妙啊。在将一个数插进去的时候，牛的位置不一定在哪，所有看看左边的有几头牛，右边有几头牛，然后分别求出左
joined·2020-07-06 22:08

树状数组练习--Necklace(树状数组+离线处理)

原题：ProblemDescriptionMeryhasabeautifulnecklace.ThenecklaceismadeupofNmagicballs.Eachballhasabeautifulvalue.Theballswiththesamebeautifulvaluelookthesame,soiftwoormoreballshavethesamebeautifulvalue,weju
sdau164185·2020-07-06 18:51

学习笔记——Storm

这次学习主要是流式处理框架——Strom之前所学习的都是离线处理，把数据存放好了一起计算，strom与他们不同就是能边数据存储边进行计算一、Strom的介绍ApacheStorm是一个免费的开源分布式实时计算系统
Y_BigFFFFFF·2020-07-06 15:17

APIO2018 新家

做法首先可以离线处理，根据时间进行排序，那么没家商店就都可以看作是在某个时间加入，再从某个时间删除，并询问某个点到所有类型点的最小距离的最大值。
yzyyylx·2020-07-06 11:12

[SDOI2009]HH的项链

仍然考虑离线处理将询问按左端点排序预处理出每一种颜色第一次出现的位置，以及每个位置的下一个同色位置用一个指针扫描每一个位置，表示当前的左端点每扫描一个位置，就在该位置的下一个同色位置加111这样答案就是
又又大柚纸·2020-07-06 04:39

hadoop2.0 和1.0的区别

中的资源管理方案Hadoop1.0指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架
weixin_33851429·2020-07-05 23:26

微博消息队列架构分析

最近一两年，大部分系统的数据流由基于日志的离线处理方式转变成实时的流式处理方式，并逐渐形成几种通用的使用方式，以下介绍微博的消息队列体系。
wang_quan_li·2020-07-05 19:54

Boredom ( 离线处理+树状数组）

题目链接题意：n*n的矩阵，有n个不同行列的格子染色，染色的格子两两之间组成的矩阵定义为beautiful。q组询问，每次给出一个矩阵，询问与它相交的beautiful的矩阵的数目n,q#definelowbit(x)(x&-x)#definepiipair#definefifirst#definesesecond#defineLLlonglongconstintN=2e5+10;usingnam
High_EnergyElectron·2020-07-05 04:46

bzoj 3339 mex [线段树] [巧妙的方法] [离线处理]

首先离线处理之后，mex()就表示从i开始以后的mex值，然后由于固定r的mex()具有单调递减的性质，那么就可以从[l,r]转移到[l+1,r]，同时由于从l+1到next[l]-1都需要更新，那么就用线段树维护
JacquesdeH·2020-07-05 01:43

大数据开发必须掌握哪些技术？

大数据开发的工具与语言：编程语言（Java，python，R语言等）1、大数据离线处理架构Hadoop（基于JAVA）开源免费，懂JavaSE；2、大数据实时计算的架构storm（基于JAVA）开源免费
✾ ͡冷೨夏ʚɞ͜✿·2020-07-04 01:21

Hadoop1.0和Hadoop2.0的区别

Hadoop1.0即第一代Hadoop，指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中MapReduce是一个离线处理框架
chenghui1454·2020-07-01 20:59

[Codeforces Round #221 (Div. 1)][D. Tree and Queries]

375D-TreeandQueries题目大意：给你一个有n个点的树，每个点都有其对应的颜色，给出m次询问(v,k)，问v的子树中有多少种颜色至少出现k次题解：先对所有的询问进行分类，即对所有相同的v合并到一起，这样就能转为离线处理
baobu2005·2020-07-01 18:50

Flume+kafka+flink+es 构建大数据实时处理

大数据目前的处理方法有两种：一种是离线处理，一种是实时处理。如何构建我们自己的实时数据处理系统我们选用flume+kafka+flink+es来作为我们实时数据处理工具。
Nryana0·2020-07-01 12:08

Parquet的那些事（二）Spark中的Schema兼容问题

作为内存型并行计算引擎，Spark被广泛应用在流处理、离线处理等场景，其从1.0.0便开始支持Parquet，方便我们操作数据。在Spark中操作Parquet文件有两种方式，一种是直接加载文件，另一
Mr-Bruce·2020-06-30 19:39

Apache Druid源码导读--Google guice DI框架

覆盖已有绑定关系默认绑定ApacheDruid中Guice模块guice-lifecycleguice-jsonconfigguice-jersey-jetty缘起在大数据应用组件中，有两款OLAP引擎应用广泛，一款是偏离线处理的
yueguanghaidao·2020-06-30 10:38

Hadoop1.0和2.0的主要区别

Hadoop1.0指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，组件主要由HDFS和MapReduce两个系统组成，HDFS是一个分布式文件存储系统，MapReduce是一个离线处理框架
yoohhwz·2020-06-30 08:45

Flume+Kafka+Storm+Redis构建大数据实时处理系统

数据处理方法分为离线处理和在线处理，今天写到的就是基于Storm的在线处理。
此id已存在·2020-06-30 05:29

Hadoop 开源调度系统zeus(一)

对海量数据进行处理时，目前大部分公司都采用Hadoop来对数据进行离线处理，但是由于业务场景，经常一个MR或者Hive或者其他形式的任务无法直接完成业务需要，需要任务之间按照特定关系来执行（任务流），例如任务
yangfeiblog·2020-06-30 05:35

基于Spark 的电影推荐系统

基于大数据的电影推荐系统主要分为两部分：基于历史数据的离线处理和基于实时流的实时处理。
xiaohuanglv·2020-06-30 00:10

分布式处理框架MapReduce

MapReduce概述MapReduce源自于谷歌的论文，是谷歌MapReduce的克隆版优点：海量数据离线处理；易开发（容错性、扩展性）；易运行缺点：实时流式计算MapReduce编程模型wordcount
Aimerwhy·2020-06-29 17:43

盘点Hadoop生态圈：13个让大象飞起来的开源工具

资源统一管理/调度系统在公司和机构中，服务器往往会因为业务逻辑被拆分为多个集群，基于数据密集型的处理框架也是不断涌现，比如支持离线处理的MapReduce、支持在线处理的Storm及Impala、支持迭代计算的
Albert陈凯·2020-06-29 14:38

浅谈Spark的特点：与hadoop，storm，flink的区别

而区别在于，1.MapReduce只能做离线处理，也就是批处理，而spark即可以做离线处理也可以做实时处理，但值得一提的是，spark的实时处理实际上是一个
Bruce_1205·2020-06-29 13:15
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他