hadoopmapreduce

HBASE安装

    31.首先修改hadood配置文件中hdfs-site.xml的配置    32.重启hadoop，    33.解压与安装HDBSA    4二.进入脚本命令编辑    7三.使用hadoop支持hadoopMApReduce
zzlzzh·2015-04-14 17:00

关于Yarn

HadoopMapreduce的局限性：JobTracker单点瓶颈；TaskTracker端；作业延迟高；编程框架不够灵活。
vmezr·2015-04-03 10:00

[ Hadoop | Spark | Scala ] 搭建 Scoobi 开发环境

Scoobi:Anopensource Scala libraryfor HadoopMapReduce.Itcombinesthesimplicityoffunctionalprogrammingwiththe
gjwang1983·2015-04-01 11:00

hadoopMapReduce小例子

阅读更多今天做了一个简单的mapreduce小程序，目的是熟悉一下怎么在真实的集群上跑自己的mr程序，之前写的都是在单机模拟运行的。功能很简单就是求一个key对应值里面最大的。开发环境：hadoop2.5jdk1.6eclipse3.71、创建一个java工程，加入如下jar包：hadoop-common-2.5.2.jarhadoop-mapreduce-client-common-2.5.2.
qihuiyong6·2015-03-28 21:00

hadoopMapReduce小例子

今天做了一个简单的mapreduce小程序，目的是熟悉一下怎么在真实的集群上跑自己的mr程序，之前写的都是在单机模拟运行的。功能很简单就是求一个key对应值里面最大的。 开发环境： hadoop2.5 jdk1.6 eclipse3.7 1、创建一个java工程，加入如下jar包： hadoop-common-2.5.2.jar hadoop-mapr
qihuiyong6·2015-03-28 21:00

Tachyon：一个高性能、高容错、基于内存的开源分布式存储系统

从Tachyon的官网得知，Tachyon是一个高性能、高容错、基于内存的开源分布式存储系统，并具有类Java的文件API、插件式的底层文件系统、兼容HadoopMapReduce和ApacheSpark
李小兵·2015-03-26 00:00

Tachyon：一个高性能、高容错、基于内存的开源分布式存储系统

从Tachyon的官网得知，Tachyon是一个高性能、高容错、基于内存的开源分布式存储系统，并具有类Java的文件API、插件式的底层文件系统、兼容HadoopMapReduce和ApacheSpark
李小兵·2015-03-26 00:00

spark内核简介

2014年11月，Spark在DaytonaGraySort100TBBenchmark竞赛中打破了由HadoopMapReduce保持的排序记录。Spark利用1/10的节点数，把
aaa1117a8w5s6d·2015-03-18 15:00

hadoop mapreduce包含阶段介绍

1hadoopmapreduce阶段介绍  1）mapper：mapsinputkey/valuepairstoasetofintermediatekey/valuepairs2reducer：reducesasetofintermediatevalueswhileshareakeytoasmallersetofvalues
jinshuaiwang·2015-03-18 11:00

Hadoop新MapReduce框架Yarn详解

读者通过本文中新旧HadoopMapReduce框架的对比，更深刻理解新的yarn框架技术与那里和设计思想，文中的Demo代码经过微小修改既可用于用户
lzm1340458776·2015-03-17 09:29

跟我一起数据挖掘（22）——spark入门

Spark简介Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是
skyme·2015-03-14 23:00

Storm实时计算：流操作入门编程实践

简单介绍编程实践过程中需要理解的Storm中的几个概念：TopologyStorm中Topology的概念类似于Hadoop中的MapReduceJob，是一个用来编排、容纳一组计算逻辑组件（Spout、Bolt）的对象（HadoopMapReduce
抓哇小王子·2015-03-13 09:06

【Hive二】Hive架构

1.什么是Hive，Hive是用来做什么的Hive是Facebook开源的以SQL查询的方式对日志等结构化数据进行多维度进行分析构建于Hadoop之上的，把HQL查询转换为HadoopMapReduce
bit1129·2015-03-09 20:00

【Hive二】Hive架构

1.什么是Hive，Hive是用来做什么的Hive是Facebook开源的以SQL查询的方式对日志等结构化数据进行多维度进行分析构建于Hadoop之上的，把HQL查询转换为HadoopMapReduce
bit1129·2015-03-09 20:00

【Hive二】Hive架构

1.什么是Hive，Hive是用来做什么的Hive是Facebook开源的以SQL查询的方式对日志等结构化数据进行多维度进行分析构建于Hadoop之上的，把HQL查询转换为HadoopMapReduce
bit1129·2015-03-09 20:00

Spark入门到精通视频学习资料--第二章：Spark生态系统介绍，Spark整体概述与Spark编程模型（2讲）

概述什么是Spark◆Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce
dongzhumao86·2015-02-26 13:00

大数据计算平台Spark内核全面解读(1)

2014年11月，Spark在DaytonaGraySort100TBBenchmark竞赛中打破了由HadoopMapReduce保持的排序记录。Spark利用1/10的节点数，
wandejun1012·2015-02-10 16:00

大数据计算平台Spark内核全面解读(1)

2014年11月，Spark在DaytonaGraySort100TBBenchmark竞赛中打破了由HadoopMapReduce保持的排序记录。Spark利用1/10的节点数，
wandejun1012·2015-02-10 16:00

运行hadoop MapReduce程序常见错误及解决方法整理

一、Permissiondenied1、Win系统下用Eclipse中运行远程hadoopMapReduce程序出现报错org.apache.hadoop.security.AccessControlException
s060403072·2015-02-09 16:00

【Spark四十七】Hadoop Map Shuffle Reduce的过程

深入SparkShuffle之前，首先总结下HadoopMapReduce的Shuffle过程，了解了HadoopMR的shuffle过程，有助于对Spark的Shuffle过程的理解 HadooMapReduce
bit1129·2015-02-07 00:00

【Spark四十七】Hadoop Map Shuffle Reduce的过程

深入SparkShuffle之前，首先总结下HadoopMapReduce的Shuffle过程，了解了HadoopMR的shuffle过程，有助于对Spark的Shuffle过程的理解 HadooMapReduce
bit1129·2015-02-07 00:00

【Spark四十七】Hadoop Map Shuffle Reduce的过程

深入SparkShuffle之前，首先总结下HadoopMapReduce的Shuffle过程，了解了HadoopMR的shuffle过程，有助于对Spark的Shuffle过程的理解 HadooMapReduce
bit1129·2015-02-07 00:00

大数据计算平台Spark内核全面解读

2014年11月，Spark在DaytonaGraySort100TBBenchmark竞赛中打破了由HadoopMapReduce保持的排序记录。Spark利用1/10的节点
aaa1117a8w5s6d·2015-02-03 11:00

Hadoop日志存放位置

然而，对于Hadoop而言，当遇到错误时，第一时间应该是查看日志，日志里通常会有详细的错误原因提示，本文将总结HadoopMapReduce日志存放位置，帮助初学者定位自己遇到的错误。
lzm1340458776·2015-01-22 14:00

hadoop&spark mapreduce对比 & 框架设计和理解

HadoopMapReduce:MapReduce在每次执行的时候都要从磁盘读数据，计算完毕后都要把数据放到磁盘sparkmapreduce:  RDDiseverythingfordev:BasicConcepts
Stark_Summer·2015-01-16 15:00

hadoop&spark mapreduce对比 & 框架设计和理解

HadoopMapReduce:MapReduce在每次执行的时候都要从磁盘读数据，计算完毕后都要把数据放到磁盘sparkmapreduce:RDDiseverythingfordev:BasicConcepts
stark_summer·2015-01-16 15:00

hadoop&spark mapreduce对比 & 框架设计和理解

HadoopMapReduce:MapReduce在每次执行的时候都要从磁盘读数据，计算完毕后都要把数据放到磁盘sparkmapreduce:  RDDiseverythingfordev:BasicConcepts
Stark_Summer·2015-01-16 15:00

hadoop&spark mapreduce对比 & 框架设计和理解

HadoopMapReduce:MapReduce在每次执行的时候都要从磁盘读数据，计算完毕后都要把数据放到磁盘sparkmapreduce:RDDiseverythingfordev:BasicConcepts
stark_summer·2015-01-16 15:00

Hive SQL运行状态监控（HiveSQLMonitor）

引言目前数据平台使用Hadoop构建，为了方便数据分析师的工作，使用Hive对HadoopMapReduce任务进行封装，我们面对的不再是一个个的MR任务，而是一条条的SQL语句。
demigelemiao·2015-01-14 15:00

事

用spark替代hadoopmapreduce和hive使用sparkR对数据做深入分析，发现隐藏的规律使用机器学习算法改进项目。抛弃折线图，柱状图，直接告诉用户做好的决策是什么。
dingbo8128·2015-01-13 08:01

Spark：一个高效的分布式计算系统

概述什么是SparkSpark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce
congcong68·2015-01-09 22:00

hadoop面试题整理(五)

8.hadoopmapreduce创建类DataWritable的作用是什么？9.为什么创建类DataWritable？二.思考题1.假设公司要建一个数据中心，你
zdp072·2015-01-09 16:00

【Spark】Spark七： Spark概述

Spark的几个特点Spark是基于内存的计算，比基于磁盘的HadoopMapReduce快了百倍的数量级SparkMapReduce操作更丰富更灵活Spark通过一个技术栈，提供完整的针对大数据计算的生态系统
bit1129·2015-01-03 10:00

【Spark】Spark七： Spark概述

Spark的几个特点Spark是基于内存的计算，比基于磁盘的HadoopMapReduce快了百倍的数量级SparkMapReduce操作更丰富更灵活Spark通过一个技术栈，提供完整的针对大数据计算的生态系统
bit1129·2015-01-03 10:00

[Spark浅析][1]概念及简单集群搭建

一、HadoopMapReduce和Spark简介、二者的区别与联系HadoopMapReduce是一个分布式计算框架，稳定性好，普适性高，最初
michaelalan·2014-12-30 10:00

Spark 1.X 大数据视频教程

http://pan.baidu.com/s/1kTggcb9密码:9mfn网盘失效的话，请加QQ：3113533060课程内容：第一周Spark生态系统概述与编程模型  Spark生态系统概述  回顾HadoopMapReduce
Django1·2014-12-23 10:21

HBase MapReduce实例分析

很好理解本文前提是你对HadoopMapReduce有一定的了解，如果你是初次接触HadoopMapReduce编程，可以参考 "第一个MapReduce应用" 这篇文章来建立基本概念。
yunpiao·2014-12-19 23:00

分布式存储与分布式计算

Spark：Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapRed
recommender_system·2014-12-19 21:00

Hadoop 新 MapReduce 框架 Yarn 详解

http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/      HadoopMapReduceV2(Yarn)框架简介原HadoopMapReduce
xiao_jun_0820·2014-12-10 09:00

Spark：一个高效的分布式计算系统

p=2116概述什么是SparkSpark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce
haydenwang8287·2014-12-02 15:00

Storm实时计算：流操作入门编程实践

简单介绍编程实践过程中需要理解的Storm中的几个概念：TopologyStorm中Topology的概念类似于Hadoop中的MapReduceJob，是一个用来编排、容纳一组计算逻辑组件（Spout、Bolt）的对象（HadoopMapReduce
Yanjun·2014-11-28 05:00

Hadoop 新 MapReduce 框架 Yarn 详解

HadoopMapReduceV2(Yarn)框架简介原HadoopMapReduce框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop
haydenwang8287·2014-11-24 15:00

spark详解

概述：什么是sparkSpark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce
student_lp·2014-11-24 10:00

Hadoop之Spark框架研究相关知识汇总

Spark基于mapreduce算法模式实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于HadoopMapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要
zhongwen7710·2014-11-13 23:00

为Hadoop存储层增加对OpenStack Swift的支持

原文链接：为Hadoop的存储层增加对OpenStackSwift的支持编者按：为Hadoop的存储层增加对OpenStackSwift的支持后，即可直接使用HadoopMapReduce及其相关工具直接分析存储在
hanfei2511·2014-11-09 15:19

hbase 协处理器

HBase协处理器受到GoogleBigTable协处理器的启发，并在设计上支持高效的并行计算——超越HadoopMapReduce可以提供的性能。
map_lixiupeng·2014-11-06 16:00

mapreduce 多文件输出新API续

  对于上一篇hadoopmapreduce多文件输出，有一些地方介绍的不准确，这里做个续简单更正一下，同时正好解决了上一篇的不能多文件夹输出的问题  1、针对于上一篇代码中的 MultipleOutputs.addNamedOutput
坏坏一笑·2014-10-31 17:00

hadoop2.2.0安装详解

关于Hadoop2.2.0版本的改善①新的HadoopMapReduce框架YARN②HDFS高可用性③HDFSFederation（HDFS联盟）：使得HDFS支持多个命名空间，并且允许在HDFS中同时存在多个
wenyusuran·2014-10-23 10:00

Spark集群模式&Spark程序提交

ApacheMesos—通用的集群管理，可以在其上运行HadoopMapReduce和一些服务应用。       HadoopYARN—Hadoop2中的资源管理器。    
lsshlsw·2014-10-19 22:00

Hadoop 各种日志文件总结

参考资料：hadoop日志存放位置1、HadoopMapReduce日志分类1）、服务日志2）、作业日志2、Hadoop1.x版本中MapReduce的服务日志包括？
hiqj·2014-10-16 21:00
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他