离线处理

分布式处理框架MapReduce

MapReduce概述MapReduce源自于谷歌的论文，是谷歌MapReduce的克隆版优点：海量数据离线处理；易开发（容错性、扩展性）；易运行缺点：实时流式计算MapReduce编程模型wordcount
Aimerwhy·2020-06-29 17:43

盘点Hadoop生态圈：13个让大象飞起来的开源工具

资源统一管理/调度系统在公司和机构中，服务器往往会因为业务逻辑被拆分为多个集群，基于数据密集型的处理框架也是不断涌现，比如支持离线处理的MapReduce、支持在线处理的Storm及Impala、支持迭代计算的
Albert陈凯·2020-06-29 14:38

浅谈Spark的特点：与hadoop，storm，flink的区别

而区别在于，1.MapReduce只能做离线处理，也就是批处理，而spark即可以做离线处理也可以做实时处理，但值得一提的是，spark的实时处理实际上是一个
Bruce_1205·2020-06-29 13:15

大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

[TOC]1大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说
weixin_34235105·2020-06-28 14:07

Reactive(3)5分钟理解 SpringBoot 响应式的核心-Reactor

异常处理五、线程调度小结参考阅读一、前言关于响应式Reactive，前面的两篇文章谈了不少概念，基本都离不开下面两点：响应式编程是面向流的、异步化的开发方式响应式是非常通用的概念，无论在前端领域、还是实时流、离线处理场景中都是适用的
weixin_30387339·2020-06-27 19:59

PX4学习笔记5：数据录制及离线处理

本文内容主要包括，rosbag的录制以及消息的离线处理。1.rosbag录制录制双目相机发布的图片话题如下命令。
wbzhang233·2020-06-27 14:27

新浪微博：大规模离线视频处理系统的架构设计

本次演将以微博视频大规模视频离线处理系统的架构设计为主题为大家带来大规模分布式系统的架构设计，性能优化和高可用保障等一线实战经验。
LiveVideoStack_·2020-06-27 11:20

Mesos---分布式资源管理框架

一、出现背景随着互联网的发展，各种大数据计算框架不断出现，支持离线处理的MapReduce、在线处理的Storm，迭代计算框架Spark、及流式处理框架S4……各种分布式计算框架应运而生，各自解决某一类应用
行者小朱·2020-06-27 02:21

mapreduce原理与学习道路

hive和pig让mapreduce更加简单）良好的扩展性（简单的添加机器就可以实现）高容错性（job中任务部分失败，可以重新执行）适合PB级以上海量数据的离线处理MapReduce不擅长实时计算
SG_扬·2020-06-26 23:11

大数据在线和离线采集常用架构剖析

1大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志
Kaka架构·2020-06-26 23:38

流式计算strom,Strom解决的问题,实现实时计算系统要解决那些问题,离线计算是什么,流式计算什么,离线和实时计算区别,strom应用场景,Strorm架构图和编程模型（来自学习资料）

一般来讲，根据业务需求，数据的处理可以分为离线处理和实时处理，在离线处理方面Hadoop提供了很好的解决方案，但是
to.to·2020-06-26 20:05

语音识别数据预处理（添加噪音）和特征提取

数据预处理可分为离线处理和在线处理：离线处理：训练之前先对语音数据进行加噪音、调低\高音量、1.5倍速播放等（有人用工具audiomentations）,然后再提取MFCC特征到特征文件里（特征文件格式
落地生根1314·2020-06-25 02:19

大数据三种处理方式

大数据在线分析处理大数据离线处理OLAP和OLTP处理1.实时流式处理（1）问题的特点--》数据源源不断的到来；--》数据需要尽快的得到处理，不能产生积压；--》处理之后的数据量依然巨大，仍然后TB级甚至
lmem·2020-06-24 21:19

【计算广告学习笔记】——广告系统

离线分布式计算平台：如图所示有四个小组件，其中点击率建模即CTR预估，是离线处理当中对提升eCPM非常
洞之蝉·2020-06-24 16:02

大数据主流技术框架及概述

大数据技术框架1.简介大数据技术体系主要涉及方面：数据采集，数据处理，数据存储以及分布式协调服务；数据采集：etl，kettle，flume数据处理：离线处理hadoop，实时处理spark、storm
forcj·2020-06-23 08:01

HDU 4358 - Boring counting

方法：离散化+树状数组+离线处理电科牛出的风骚题目，膜拜膜拜。。。理解了N久。。。树状数组用到了区间更新，单点询问。。。问区间内，有多少个出现了K次的数，这个用树状数组去做。。。
diannaok·2020-06-23 04:43

第五章：基于Hive实现海量数据离线处理

Hive离线分析回顾业务流程准备搭建环境1.启动Hadoopstart-all.sh2.修改flume配置文件flume.propertiesa1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = avroa1.sources.r1.bind = 0.0.0.0a1.sources.r1.port = 22222a1.sou
给dongcc换成百威·2020-06-23 03:29

【算法】树上启发式合并算法

显然要将查询离线处理，即对子树u的查询都“挂”到结点u上。我们用cnt[c]表示颜色c出现的次数，那么一种容易想到的暴力做法如下：0.cnt[]数
zjunzhao·2020-06-22 09:32

Hadoop精华问答 | hadoop能干什么？

Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色，今天，就让我们看看关于Storm的精华问答吧。
CSDN云计算·2020-06-21 20:53

swagger 文档离线处理

导出为htmlhttps://cloud.tencent.com/developer/article/1332445导出为wordhttps://www.cnblogs.com/jmcui/p/8298823.htmlhttps://github.com/JMCuixy/SwaggerToWord导出为pdfhttps://blog.csdn.net/qq_29534483/article/det
张玉坤·2020-06-16 17:00

ONLYOFFICE owncloud：适用于ownCloud的在线办公室

ONLYOFFICE是一个自托管的办公套件，可用于离线处理通行格式的文本文档、电子表格和演示文稿。100%兼容MSOffice文件全面兼容适用于所有主要的文档格式：包括do
哲想软件·2020-05-13 00:00

Lambda架构已死，去ETL化的IOTA才是未来

▌Lambda架构在过去Lambda数据架构成为每一个公司大数据平台必备的架构，它解决了一个公司大数据批量离线处理和实时数据处理的需求。
Analysys易观·2020-04-10 20:49

新浪微博：大规模离线视频处理系统的架构设计

本次演将以微博视频大规模视频离线处理系统的架构设计为主题为大家带来大规模分布式系统的架构设计，性能优化和高可用保障等一线实战经验。
LiveVideoStack·2020-04-08 11:18

Hadoop权威指南读书笔记（二）—— MapReduce初理解

一、本章概览MapReduce可以看作是Hadoop中的分布式计算框架，是用于批量数据离线处理的编程模型。基于MapReduce的并行数据处理是Hadoop能够支撑大数据计算的核心。
StevenPeng的学习之路·2020-04-06 22:38

『DT_Spark』学习 Spark Streaming 的重要性

离线处理是技术发展阶段的无赖，理想的处理应该是实时的。大数据计算技术在不断深化。没有经过实时处理的信息，将会是没有价值的信息。Spark来了，Spar
葡萄喃喃呓语·2020-03-30 02:26

大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。
Alukar·2020-03-21 15:27

大数据离线批处理场景化解决方案----离线处理技术框架介绍

大数据离线批处理化解决方案HDFS概述•HDFS(HadoopDistributedFileSystem)基于Google发布的GFS论文设计开发。•其除具备其它分布式文件系统相同特性外，HDFS还有自己特有的特性：•高容错性：认为硬件总是不可靠的。•高吞吐量：为大量数据访问的应用提供高吞吐量支持。•大文件存储：支持存储TB-PB级别的数据。•不适用场景：•低时间延迟数据访问的应用，例如几十毫秒范
TKE_kolento.·2020-03-06 01:00

Hadoop学习笔记（五）MapReduce

MapReduce概述源自于Google的MapReduce论文，发表于2004年12月HadoopMapReduce是GoogleMapReduce的克隆版MapReduce优点：海量数据的离线处理、
陌上疏影凉·2020-03-03 22:17

##汇总Hadoop YARN上的开源系统

，这些项目涉及分布式领域各个方面的系统，包括离线处理、在线计算、图
葡萄喃喃呓语·2020-03-01 13:42

大规模知识图谱的存储

由于我们图谱每天数据都会有变化，使用hadoop这种适合批量离线处理的系统做为离线更新系统，为
whspecial·2020-02-28 12:48

(Swift)iOS Apps with REST APIs(十六) -- 离线处理

这是iOSAppswithRESTAPIs系列的最后一篇。在整个翻译过程使用swift逐渐开发出了自家APP，还是小有成就的，这个系列的教程也起到很大作用，希望也能够帮到大家。重要说明:这是一个系列教程，非本人原创，而是翻译国外的一个教程。本人也在学习Swift，看到这个教程对开发一个实际的APP非常有帮助，所以翻译共享给大家。原教程非常长，我会陆续翻译并发布，欢迎交流与分享。一个很简单的方法可以
CD826·2020-02-21 12:55

Hadoop-MapReduce

MapReduce是一个分布式运算程序的编程框架，核心是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并运行在一个Hadoop集群上，高容错，适合PB级以上的海量数据的离线处理。
Darling&GLL·2020-02-17 17:00

Hive元数据库迁移过程记录

迁移起因：基于Hadoop的离线处理平台上线一段时间，发现hiveserver2非常不稳定，平时分析人员都是使用hue通过beeswax的方式连接到hiveserver2，可是一旦session到期，未做操作
胡小糊涂·2020-02-12 17:33

[老实李]MapReduce学习笔记

MapReduce的优缺点：优点：易于编程、良好的扩展性、高容错性、离线处理缺点：无法实时计算、无法流式计算、不适合DAG（有向图）计算二、MapReduce的编程模型1.MapReduce的执行流程假如有一批文
老实李·2020-02-08 03:24

字符串+置换+莫队离线处理——cf1290B

/*题意可以转化为通过s[l..r]构造出新的串t[l..r]和s不能约t[l..r]的每个前缀，每个后缀的字符数量都必须和s[l..r]对应的前后缀字符数量不同构造策略：如果s[l]!=s[r]直接交换即可否则找到s[i]!=s[j]，swap(s[i],s[r]),swap(s[j],s[l]),即此时只要s[l..r]有三种不同的字符即可所以统计每个区间内出现的字符种数即可*/#includ
zsben·2020-02-06 19:00

【2020/2/2】寒假自学——学习进度报告9

数据的价值随着时间的流逝而减少这也正是MapReduce的使用范围所产生的的极大弊端，没法应对大流量的实时数据，MR这类离线处理并不能很好地解决问题。
limitCM·2020-02-02 21:00

统一资源管理与调度平台（系统）介绍

1.背景随着互联网的高速发展，基于数据密集型应用的计算框架不断出现，从支持离线处理的MapReduce，到支持在线处理的Storm，从迭代式计算框架Spark到流式处理框架S4，…，各种框架诞生于不同的公司或者实验室
咖灰·2020-01-07 23:50

利用大数据技术分析新浪财经美股行情

这次想写一篇比较完整的博客，记录一个完整的项目从头到尾生产的过程，也是对自己学习的一个总结废话不多说，直入正题这次的项目涉及了两条流程一条是离线处理。
teaGod·2020-01-04 16:11

MapReduce

MapReduce特点易于编程良好的扩展性高容错性：某一结点挂了，会自动转移到其它结点计算海量数据的离线处理MapReduce不擅长的场景实时计算流式处理DAG计算(A作业执行完执行B作业，B作业执行完执行
6默默Welsh·2020-01-04 05:08

MapReduce概述&编程思想&WordCount案例

优点：（1）MapReduce易于编程（2）良好的扩展性（3）高容错性（4）适合PB级以上海量数据的离线处理缺点：（1
Iridescent_cy·2019-12-24 20:48

大数据入门(五) - 分布式计算框架 MapReduce

MapReduce源自Google的MapReduce论文，论文发表于2004年12月HadoopMapReduce可以说是GoogleMapReduce的一个开源实现MapReduce优点在于可以将海量的数据进行离线处理
JavaEdge·2019-12-24 05:21

大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。
大时代_f479·2019-12-22 18:16

Lambda架构，Kappa架构和去ETL化的IOTA架构

▌Lambda架构在过去Lambda数据架构成为每一个公司大数据平台必备的架构，它解决了一个公司大数据批量离线处理和实时数据处理的需求。
君临天下夜未央·2019-12-17 02:50

HDFS入门

中的资源管理方案Hadoop1.0指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架
依天立业·2019-12-15 04:28

大数据分析的下一代架构--IOTA架构设计实践[下]

IOTA架构设计实践[下]原创置顶代立冬发布于2018-12-3120:59:53阅读数2151收藏展开IOTA架构提出背景大数据3.0时代以前，Lambda数据架构成为大数据公司必备的架构，它解决了大数据离线处理和实时数据处理的需求
欧阳丁·2019-12-13 01:00

hadoop的分布式计算框架MapReduce

MapReduce优点：海量数据离线处理&易开发&易运行。MapReduce缺点：实时流式计算。
机灵鬼鬼·2019-12-07 04:45

关于流计算基本认识

这样看起来虽然非常合理，但是结果却非常的紧凑和，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决问题。
云计算小百科·2019-11-08 11:32

大数据平台基础架构和常用处理工具

主要包括如下部分内容：大数据在线分析处理和常用工具大数据离线处理和常用工具数据流数据的收集-->数据的传输-->数据的处理--->数据的处理大数据在线分析处理大数据在线分析处理的特点数据源源不断的到来数据需要尽快的得到处理
jackLee·2019-11-07 00:02

Hive基础知识-2

Hive使用场景：离线数据处理大数据延迟高数据的离线处理；比如：日志分析，海量结构化数据离线分析…Hive的执行延迟比较高，因此hive常用于数据分析的，对实时性要求不高的场合；Hive优势在于处理大数据
发觉原来我只是250·2019-11-03 02:06

关于流计算基本认识

这样看起来虽然非常合理，但是结果却非常的紧凑和，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决问题。
云计算小百科·2019-11-01 20:48
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他