离线处理

大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

[TOC]1大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说
xpleaf·2018-04-08 22:04

分布式计算框架MapReduce

MapReduce优点在于可以将海量的数据进行离线处理，并且MapReduce也易于开发，因为MapReduce框架帮我们封装好了分布式计算的开发。而且对硬件设施要求不高，可以运行在廉价的机器上。
ZeroOne01·2018-03-31 22:58

分布式计算框架Mapreduce

概念：Mapreduce是一种编程模型，编程方法，采用“分而自治”思想优点：海量数据离线处理，易开发，易运行。
慧有未来·2018-03-31 15:49

日课012|离线处理

在自有产品的精准营销，包括用户画像上，我们更多的还是使用离线处理的方法。由于实时性要求不高，所以离线处理倒也跟得上节奏。
青蛙杨·2018-03-28 23:33

bzoj3626: [LNOI2014]LCA（离线处理+树链剖分）

那么离线处理。把每个操作都分成两个区间。然后分别按照右端点排序。把每个点到路径的点都加1。然
Hanks_o·2018-03-20 16:38

腾讯hermes平台

TDW（腾讯数据仓库，TencentDataWarehouse）很好的解决了海量数据的离线处理分析。
惹不起的程咬金·2018-03-07 14:32

大数据分析学习之路——Hive

多，杂的数据当今数据处理模式：离线处理（先收集数据，再处理）----Hadoop；流式处理（实时处理）---sparkHadoop1，TheApacheHadoopprojectdevelopsopen-sourcesoftwareforrelia
Ashley_JIANG·2017-11-26 10:02

Hadoop学习笔记（五）MapReduce

MapReduce概述源自于Google的MapReduce论文，发表于2004年12月HadoopMapReduce是GoogleMapReduce的克隆版MapReduce优点：海量数据的离线处理、
陌上疏影凉·2017-10-20 07:54

2017年10月8日训练总结

首先是对于树状数组的离线处理有了一定的了解，并在求区间不重复数字个数和出现2次数字个数能够快速正确的写出AC代码。
LSD20164388·2017-10-07 19:31

bzoj 1935（树状数组）

传送门题解：由于是静态问题所以可以离线处理，所有点（询问拆成4个）按x排序，二维可以转成一维，相当于每次query到的就是当前已插入的点，而只有这些点能对query的返回值造成贡献。
KGV093·2017-10-02 20:12

2017年10月1日训练总结

这三天还是在研究树状数组几道比较难的题目，学会了一些离线处理树状数组的思想，本来打算回到家就把树状数组专题中的求最大公约数那一道做了，不料杭电挂了，转战vj，做国庆节专题的题目。
LSD20164388·2017-10-01 21:13

记2017暑假这一段生活

如果说学到了什么东西，当然有很多，比如最基础的数据结构包括单调栈单调队列树状数组线段树等等，还有难一点的主席树啊，数链剖分啊以及了解离线处理可持久化…当然这些都是很实质上的东西，同时还有一些其他感悟。
Vmorish·2017-09-12 15:43

多校第九场总结,树剖

http://bestcoder.hdu.edu.cn/blog/02官方题解由于没有修改操作，一个显然的想法是离线处理所有问题将询问拆成1-x，1-y，1-LCA(x,y)，则处理的问题转化为从根到节点的链上的问题
伟大的蚊子·2017-08-23 03:46

hdu3333(线段树离散化离线处理)

#include#include#includeusingnamespacestd;typedeflonglongll;constintmaxn=30005;intn,m;llnum[maxn],tmp[maxn];intvis[maxn],pre[maxn];lltree[maxnmid)update(pos,c,mid+1,r,root=r)returntree[root];intmid=(l
constbh·2017-08-16 18:03

HDU 5441 Travel （并查集 离线处理）

题意：给你n个点，m条带权边，现在q次询问，每次询问给你一个val，让你求有多少对点能相连且路径上最大权不能超过val。（ab和ba算两对）（n#include#include#includeusingnamespacestd;typedeflonglongll;constintmaxn=1e5+5;intpre[maxn],n,m,q;llcnt,num[maxn],ans[maxn];stru
cillyb·2017-07-23 23:57

SPOJ DQUERY（树状数组离线处理 or 主席树 区间不同数个数）

题意：n个数，m个询问，问区间[l,r]中有多少个不同的数。思路：树状数组：先将所有查询按区间右端点从小到大排序，如果一个数已经出现过就先把以前位置上的删掉然后在新的位置上插入，这样[l,r]中重复的就只计算了一次。主席树：因为主席树同时维护好多树，所以可以在线上解决，思路与树状数组基本一模一样，如果这个数出现过，就在上次出现的地方删去，在这重新添加。树状数组代码：#include#include
cillyb·2017-07-23 19:22

美团CodeM复赛 02,03

02城市网络比赛时候写的是单调栈，真的是让人见笑了，基本思路就是dfs时候动态处理单调栈(带回溯)，然后离线处理答案。
basasuya·2017-07-09 17:00

简单莫对算法 --- 离线处理所有询问

思想：先把所有的询问全部记下来.然后通过一定的技巧使得暴力的复杂度不高,从而达到目的,一次性全部输出答案.以这两道模板题来说明一下它如何暴力的更漂亮.复杂度为On^3/2;(2e5是可以跑的)小Z的袜子ACCode#include#definelllonglongusingnamespacestd;constintmaxn=5e4+5;inta[maxn];llfz[maxn],fm[maxn];
Anxdada·2017-06-23 09:41

keras用vgg16预训练的参数训练自己数据集

2.通过vgg16来提取特征，不用输出层通过vgg获取数据集特征，提取离线处理之后后面直接用，数据集和上次一样的车辆数据集一样，前面博文有说importkerasfromkeras.applications.vgg16importVGG16f
SelForcemiles·2017-05-17 15:15

bzoj 3339 线段树离线处理

题意：给定一个n个数的序列，多次询问，每次询问区间[l,r]的mex直接暴力显然不可区间[l,r]和区间[l',r']mex的情况：（1）[l,r]和[l',r']的mex值不同：[l,r]的mex值在[l',r']中出现或原本在[l,r]中存在而不在[l',r']中存在从而成为[l',r']的mex值（反之同理）（2）[l,r]和[l',r']的mex值相同：区间内出现的元素相同或只有比mex值
Eirlys_North·2017-05-04 10:28

bzoj 3339 线段树离线处理

题意：给定一个n个数的序列，多次询问，每次询问区间[l,r]的mex直接暴力显然不可区间[l,r]和区间[l',r']mex的情况：（1）[l,r]和[l',r']的mex值不同：[l,r]的mex值在[l',r']中出现或原本在[l,r]中存在而不在[l',r']中存在从而成为[l',r']的mex值（反之同理）（2）[l,r]和[l',r']的mex值相同：区间内出现的元素相同或只有比mex值
Eirlys_North·2017-05-04 10:28

bzoj 1935 && bzoj 4322 离线+树状数组

题意：给定n个点，多次询问某个矩阵中包含多少点如果暴力二维树状数组的话O（nlogn*logn+mlogn*logn）复杂度原地爆炸那么我们就把二维树状数组通过一些方法变成一维，就能降下去一个log离线处理把所有的询问按照二维树状数组的套路拆成四个
Eirlys_North·2017-04-16 14:23

统一资源管理与调度平台入门

背景基于数据密集型应用的计算框架不断出现，从不支持离线处理的MapReduce，到支持在线处理的Storm，从迭代式计算框架Spark到流式处理框架S4，...而在大部分公司中，这几种框架可能都会采用，
chs007chs·2017-04-01 15:34

Hadoop1.0和Hadoop2.0的区别

Hadoop1.0即第一代Hadoop，指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中MapReduce是一个离线处理框架
开发者圆桌一个关于开发者的微信公众号·2017-03-30 17:48

《日子》mesos集群安装

一、出现背景随着互联网的发展，各种大数据计算框架不断出现，支持离线处理的MapReduce、在线处理的Storm，迭代计算框架Spark、及流式处理框架S4……各种分布式计算框架应运而生，各自解决某一类应用
14de179c3a39·2017-03-20 22:43

MaxCompute2.0性能评测：更强大、更高效之上的更快速

本次评测侧重于已发布的MaxCompute2.0与离线处理同类竞品及
云栖技术·2017-03-15 09:02

BZOJ 2038 小Z的袜子 莫队算法(模板题)

点击打开链接莫队算法是离线处理一类区间不修改查询类问题的算法。就是如果你知道了[L,R]的答案。你可以在O(1)的时间下得到[L,R-1]和[L,R+1]和[L-1,R]和[L+1,R]的答案的话。
Masamiiiii·2017-03-13 16:20

bzoj 3626 树链剖分+离线处理

题意：给出一个n个节点的有根树（编号为0到n-1，根节点为0）。一个点的深度定义为这个节点到根的距离+1。q个询问，每个询问给出区间[l,r]和z，求在[l,r]区间内的每个节点i与z的最近公共祖先的深度之和好题...orz并不会写题解...constmo=201314;typerec=recordl,r:longint;sum,lazy:int64;end;typerec2=recordp,nu
Eirlys_North·2017-02-27 09:05

bzoj 3626 树链剖分+离线处理

题意：给出一个n个节点的有根树（编号为0到n-1，根节点为0）。一个点的深度定义为这个节点到根的距离+1。q个询问，每个询问给出区间[l,r]和z，求在[l,r]区间内的每个节点i与z的最近公共祖先的深度之和好题...orz并不会写题解...constmo=201314;typerec=recordl,r:longint;sum,lazy:int64;end;typerec2=recordp,nu
Eirlys_North·2017-02-27 09:05

bzoj 2743 树状数组+离线处理

题意：n朵花，c种颜色，排成一排。共有m组询问，每个询问给出一个区间[l,r]，输出[l,r]中满足个数大于等于2的颜色数蛮经典的思想...首先，我们用膝盖想出了可能用来维护区间的数据结构：树状数组、线段树我们很容易想到一道智障题：输出[l,r]的花朵数，很显然，答案就是(r-l+1),也就是把每朵花赋值为1，维护一个傻乎乎的前缀和当然，我们需要借鉴这种智障的思想回归正题我们先去掉那个讨厌的限制条
Eirlys_North·2017-02-14 10:18

Kafka基本概念及环境搭建

支持高吞吐量的数据实时存储，结合合适的消费者模式（实时计算/离线计算），同时支持消息的实时/离线处理。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常
cjf_wei·2017-02-10 22:47

ASM源码学习之ClassReader、ClassVisitor与ClassWriter详解

ASM被设计用于在运行时对Java类进行生成和转换，当然也包括离线处理。ASM短小精悍、且速度很快，从而避免在运行时动态生成字节码或转换时对程序速度的影响，又因为它体积小巧，可以在很多内存受限的环境中
雪地脚印_·2017-01-20 16:43

HDU 4288 线段树 + 离线处理

传送门：HDU4288题解先上代码，候补ACcode:#include#include#include#include#includeusingnamespacestd;#definemid((l+r)>>1)#definelsrt>n){vectoropv;//存操作memset(node,0,sizeof(node));intnn=0;while(n--){cin>>op;if(op[0]==
数论只会GCD·2016-12-30 15:39

==统一资源管理与调度平台（系统）介绍--YARN/Mesos

统一资源管理与调度平台（系统）介绍http://dongxicheng.org/mapreduce-nextgen/mesos_vs_yarn/背景随着互联网的高速发展，基于数据密集型应用的计算框架不断出现，从支持离线处理的
葡萄喃喃呓语·2016-12-07 11:15

HDU 3333 树状数组（线段树） + 离散化 + 离线处理

线段树之前出现位置结点为0当前点原值，没出现的话直接原值，但是发现这样只能查询右端为当前位置左端为1的结点，所以要先对查询做处理查询预处理是对查询做r递增排序，同时要有个idx对应查询下标所以为了实现全部查询，应该用离线处理
数论只会GCD·2016-11-22 13:19

前端的离线处理

这里的离线处理指线下把一些事件提前做好，不在应用运行时再去做其实前端的离线处理在一些工具中可以看到，比如说css中的背景图，某些css工具在打包处理的时候，如果图片的文件大小比较小，工具会读取文件内容转成
行列·2016-11-18 00:00

【Hadoop入门学习系列之四】MapReduce 2.0应用场景和原理、基本架构和编程模型

一.MapReduce的应用场景1.MapReduce特点易于编程良好的扩展性高容错性适合PB级以上海量数据的离线处理备注：*MR的最后一个特性就注定了它的应用场景的特定性，专门为处理离线批量大数据
shengmingqijiquan·2016-10-24 15:00

Kafka

broker的作用类似于缓存，即活跃的数据和离线处理系统之间的缓存。客
ttxsgoto·2016-09-22 20:27

大数据认知（一）之为什么使用Hadoop生态系统处理大数据而不是高性能关系型数据库

在设计使用分布式Hadoop生态系统，如使用HDFS进行冗余、高容错地存储大数据、使用MapReduce分布式并行离线处理大数据等。而没有使用高效性能的关系型数据库，尽管
张加浪·2016-09-11 21:44

[HEOI2012] 采花题解报告

采花题解By李宇航树状数组首先我们要有离线处理的思想，即把左右端点记录下来，并且记录下来每个问题的pos。然后我们要对右端点升序排序。当然，还有更加重要的预处理操作。
CydiaBigboss·2016-08-20 08:43

一种区间查询问题的离线处理方法

由于是序列是固定的，故可以对所有查询进行离线处理，对查询按照区间右端点从小到大排序；按此顺序处理查询，在处理查询之前维护好序列中各个值在本次查询的右端点之前最后出现的位置，我们只在最后出现的这个值的位置保留这个值
瓜炒茄·2016-08-14 00:13

spark 优化套路

spark离线处理优化目的减少无效操作，iocpu的有效利用，直接查优化技巧，不如先搞明白spark处理过程。明白以下再对应代码可以解决很多问题。
nojava·2016-08-07 00:00

HDU 5412 CRB and Queries (Kth number 整体二分 动态转静态)

题意：给出长度为n的数列，m次操作操作分为1xy将x位置的数改成y2xyk查询【x，y】区间内的第k小数分析：有了POJ2104那题的静态整体二分的基础后就非常好做了还是离线处理的方法，将所有数据读入然后再整体二分对于修改操作
Forever_wjs·2016-07-04 10:00

HDU 4630 线段树+离线处理

点击打开链接题意：给一串数字序列，然后问你L到R中的两个数的最大公约数最大，若相等的两个数则是0思路：又是一道需要离线处理的题目，昨天写的HDU3333也是一道这样的题目，建议先写3333在写这个会有帮助
Dan__ge·2016-06-13 14:07

HDU 4630 线段树+离线处理

点击打开链接题意：给一串数字序列，然后问你L到R中的两个数的最大公约数最大，若相等的两个数则是0思路：又是一道需要离线处理的题目，昨天写的HDU3333也是一道这样的题目，建议先写3333在写这个会有帮助
Dan__ge·2016-06-13 14:00

HDU 3333 线段树+离线处理

点击打开链接题意：问你给定区间内的不重复的数字的和，如11134，区间1到2就是1，区间1到5就是8思路：这种线段树只能离线来写，离线的方法是按照查询区间的右端点来排序，然后这道题目的数据范围较大需要离散化简单处理一下，然后对于输入的每个点来说，顺序走下去，然后如果当前点之前出现过，便将之前的删除然后把现在的添加线段树中，为什么这么可以，看了网上神犇一句话，那就是对于要查询的区间，它的右端点固定后
Dan__ge·2016-06-12 21:43

HDU 3333 线段树+离线处理

点击打开链接题意：问你给定区间内的不重复的数字的和，如11134，区间1到2就是1，区间1到5就是8思路：这种线段树只能离线来写，离线的方法是按照查询区间的右端点来排序，然后这道题目的数据范围较大需要离散化简单处理一下，然后对于输入的每个点来说，顺序走下去，然后如果当前点之前出现过，便将之前的删除然后把现在的添加线段树中，为什么这么可以，看了网上神犇一句话，那就是对于要查询的区间，它的右端点固定后
Dan__ge·2016-06-12 21:00

参考美团的"机器学习中的数据清洗与特征处理综述"

灰色框中蓝色箭头对应的是离线处理部分。主要工作是从原始数据，如文本、图像或者应用数据中清洗出特征数据和标注数据。
shenxiaoming77·2016-05-31 10:00

Spark Sreaming与MLlib机器学习

我们知道Spark在离线处理数据上的性能很好，那么它在实时数据上的表现怎么样呢？在实际生产中，我们经常需要即使处理收到的数据，比如实时机器
HackerVirus·2016-05-30 22:00

【原】Learning Spark (Python版) 学习笔记(四)----Spark Sreaming与MLlib机器学习

我们知道Spark在离线处理数据上的性能很好，那么它在实时数据上的表现怎么样呢？在实际生产中，我们经常需要即使处理收到的数据，比如实时机器学习模型的应用，自动异常的检测，实时追踪页面访
Charlotte77·2016-05-30 12:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他