Hadoop2.0

Hadoop Yarn 框架原理及运作机制

1.1 YARN基本架构YARN是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的
J7A4V5A2W2E8B9e4e6·2015-09-07 10:00

Hadoop概括——学习笔记<一>

基本上是3/4屏幕放视频，1/4开着马克飞象首先是概括图（以hadoop2.0为例） 不在博
尾巴AR·2015-08-28 20:00

Hadoop概括——学习笔记<一>

基本上是3/4屏幕放视频，1/4开着马克飞象首先是概括图（以hadoop2.0为例）不在博客园
weixin_30846599·2015-08-28 20:00

Storm On YARN

（2）YARN：YARN是Hadoop2.0中新引入的资源管理系统，可看做Hadoop操作系统中的资源管理组件，所有应用程序和框架，比如MapRedu
m635674608·2015-07-31 11:00

让mahout0.7在hadoop2.0环境下运行

由于官方打的jar包是用1.0环境下的，所以要想在2.0下运行，必须重新打包，重新打包前修改几个pom文件就可以，现已经测试通过：1、根pom文件修改如下：2.5.0 org.apache.hadoop hadoop-core ${hadoop.version} net.sf.kosmosfs kfs org.mortbay.jetty jetty org.mortbay.jet
zyj8170·2015-07-27 15:00

HDFS Federation

在Hadoop2.0之前，也有若干技术试图解决单点故障的问题:SecondaryNameNode。它不是HA，它只是阶段性的合并edits和fsimage，以缩短集群启动的时间。
散关清渭·2015-07-23 14:00

Hadoop2.0 HA的checkpoint过程

hdfs将文件系统的元数据信息存放在fsimage和一系列的edits文件中。在启动HDFS集群时，系统会先加载fsimage，然后逐个执行所有Edits文件中的每一条操作，来获取完整的文件系统元数据。Edits&fsimage文件HDFS的存储元数据是由fsimage和edits文件组成。fsimage存放上次checkpoint生成的文件系统元数据，Edits存放文件系统操作日志。checkp
amber_amber·2015-07-22 15:38

hadoop-2.6.0集群实例（接上一篇）

这是hadoop2.6.0集群环境下的单词统计程序，如果是hadoop2.0以下的，有些命令不适合，请查看其它资料！！！！
gesanghuazgy·2015-07-21 20:00

hadoop2.0报错“There appears to be a gap in the edit log”

今天升级集群的时候遇到了这个问题。解决问题的过程中，借机也巩固了下对namenode启动过程的理解。这个问题网上几乎没查到好的解决办法，Google出来的办法说让Recovery，对已经有很大数据量的线上集群来说，风险太大，不可取。所以只能自己读着源码一步一步分析，终于还是找到了解决方法.问题描述：因为要升级集群，所以先停服务-->做升级-->重启服务。但是在重启服务的时候，standbyname
amber_amber·2015-07-15 17:29

Apache Spark探秘：多进程模型还是多线程模型？

ApacheSpark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop2.0（包括YARN和MapReduce）是一致的。
m635674608·2015-06-28 11:00

hadoop yarn 内存相关配置

在Hadoop2.0中,YARN负责管理MapReduce中的资源(内存,CPU等)并且将其打包成Container.这样可以精简MapReduce,使之专注于其擅长的数据处理任务,将无需考虑资源调度.
zhangxiong0301·2015-06-11 09:00

Hadoop2.0 QJM方式的HA的配置

日期：2014-05-03              来源：Linux社区本文在《Hadoop2.0的安装和基本配置》（见 http://www.linuxidc.com/Linux/2014-05/101173
01wang·2015-06-04 18:36

Hadoop2.0 QJM方式的HA的配置

日期：2014-05-03              来源：Linux社区本文在《Hadoop2.0的安装和基本配置》（见 http://www.linuxidc.com/Linux/2014-05/101173
01wang·2015-06-04 18:36

YARN集群工作机制

    描述：YARN是Hadoop2.0加入一个资源调度框架，它同样是主从节点架构：ResouceManager（资源管理）和NodeManager。    
datapro·2015-06-04 16:00

CDH集群中YARN的参数配置

CDH集群中YARN的参数配置前言：Hadoop2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来
超人学院66·2015-05-29 17:12

CDH集群中YARN的参数配置

CDH集群中YARN的参数配置前言：Hadoop2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来
超人学院66·2015-05-29 17:12

CDH集群中YARN的参数配置

CDH集群中YARN的参数配置前言：Hadoop2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来
超人学院·2015-05-29 17:00

《hadoop技术内幕：深入解析YARN架构设计》

仍然由资深Hadoop技术专家董西成执笔，根据最新的Hadoop2.0版本撰写，权威社区ChinaHadoop鼎力推荐
李航421·2015-05-25 13:00

Hadoop生态系统介绍

Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。
hiqj·2015-05-14 11:00

Hadoop 2.0 NameNode HA和Federation实践

为什么需要HA和Federation1.单点故障在Hadoop2.0之前，也有若干技术试图解决单点故障的问题，我们在这里做个简短的总结SecondaryNameNode。
李超100·2015-05-13 08:00

【Hadoop十四】Hadoop提供的脚本的功能

hadoop-daemon.sh start datanode  通过这种逐步启动的方式，比start-all.sh方式少了一个SecondaryNameNode进程，这不影响Hadoop的使用，其实在 Hadoop2.0
bit1129·2015-05-09 15:00

【Hadoop十四】Hadoop提供的脚本的功能

hadoop-daemon.sh start datanode  通过这种逐步启动的方式，比start-all.sh方式少了一个SecondaryNameNode进程，这不影响Hadoop的使用，其实在 Hadoop2.0
bit1129·2015-05-09 15:00

【Hadoop十四】Hadoop提供的脚本的功能

hadoop-daemon.sh start datanode  通过这种逐步启动的方式，比start-all.sh方式少了一个SecondaryNameNode进程，这不影响Hadoop的使用，其实在 Hadoop2.0
bit1129·2015-05-09 15:00

hadoop2.2.0目录结构

一.hadoop2.0的目录结构如下图所示 二.bin目录Hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以用这些脚本管理和使用hadoop 三.etc
eksliang·2015-05-07 16:00

hadoop2.2.0目录结构

一.hadoop2.0的目录结构如下图所示 二.bin目录Hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以用这些脚本管理和使用hadoop 三.etc
eksliang·2015-05-07 16:00

Hadoop生态系统介绍

Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。
美丽的小岛·2015-04-16 12:00

链式MapReduce：ChainMapper和ChainReducer

一：背景Hadoop2.0开始MapReduce作业支持链式处理，类似于富士康生产苹果手机的流水线，每一个阶段都有特定的任务要处理，比如提供原配件——>组装——打印出厂日期，等等。
lzm1340458776·2015-04-10 10:00

HDFS HA和Federation安装部署方法

HDFSHA和Federation安装部署方法相比于Hadoop1.0，Hadoop2.0中的HDFS增加了两个重大特性，HA和Federaion。
nysyxxg·2015-04-02 16:00

Hadoop、Hbase完全分布式搭建

一、Hadoop1.0到2.0的架构变化1、Hadoop2.0由HDFS、MapReduce和YARN三个分支构成2、HDFSNNFederation、HA3、MapReduce运行在YARN上的MR4
ljl_19880709·2015-03-21 16:03

Hadoop、Hbase完全分布式搭建

一、Hadoop1.0到2.0的架构变化1、Hadoop2.0由HDFS、MapReduce和YARN三个分支构成2、HDFSNNFederation、HA3、MapReduce运行在YARN上的MR4
ljl_19880709·2015-03-21 16:03

Hadoop、Hbase完全分布式搭建

一、Hadoop1.0到2.0的架构变化1、Hadoop2.0由HDFS、MapReduce和YARN三个分支构成2、HDFSNNFederation、HA3、MapReduce运行在YARN上的MR4
ljl_19880709·2015-03-21 16:03

hadoop2.2.0集群安装和配置

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA、YARN等。
qq1010885678·2015-03-20 15:00

Hadoop、MapReduce、YARN和Spark的区别与联系

（2）Hadoop2.0第二代Hadoop，为克服Hadoop1.0中HDFS和
ldcaws·2015-03-17 16:54

深入浅出Hive企业级架构优化视频教程

)课程讲师：Cloudy课程分类：Hadoop适合人群：初级课时数量：10课时用到技术：Hive涉及项目：Hive企业级优化咨询qq：1840215592一、课程环境：ClouderaHadoop4（Hadoop2.0
玫瑰情书·2015-03-13 11:11

深入浅出Hive企业级架构优化视频教程

)课程讲师：Cloudy课程分类：Hadoop适合人群：初级课时数量：10课时用到技术：Hive涉及项目：Hive企业级优化咨询qq：1840215592一、课程环境：ClouderaHadoop4（Hadoop2.0
ningmengzhi·2015-03-13 11:00

Hadoop2.0、YARN技术大数据视频教程

基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\YARN\MapReduce\数据挖掘\项目实战)课程分类：Hadoop适合人群：高级课时数量：81课时用到技术：基于协同过滤的推荐系统
ningmengzhi·2015-03-11 15:00

Hadoop2.0、YARN技术大数据视频教程

基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\YARN\MapReduce\数据挖掘\项目实战)课程分类：Hadoop适合人群：高级课时数量：81课时用到技术：基于协同过滤的推荐系统
beifeng0218·2015-03-11 15:22

Hadoop2.0、YARN技术大数据视频教程

基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\YARN\MapReduce\数据挖掘\项目实战)课程分类：Hadoop适合人群：高级课时数量：81课时用到技术：基于协同过滤的推荐系统
xiarilove·2015-03-10 15:00

Hadoop2.0、YARN技术大数据视频教程

基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\YARN\MapReduce\数据挖掘\项目实战)课程分类：Hadoop适合人群：高级课时数量：81课时用到技术：基于协同过滤的推荐系统
玫瑰情书·2015-03-10 14:41

hadoop1.0和hadoop2.0的区别

1. Hadoop 1.0中的资源管理方案 Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask和ReduceTask）
zhangxiong0301·2015-03-10 14:00

Hadoop2.0新特性

一、大数据处理系统    大量节点服务器组成集群，用户根据需要输入不同处理请求，经过复杂计算过程，输出对应结果，整个计算过程对用户来说透明。对于这个大量节点组成的数据处理系统，需要考虑的问题有很多，比如数据存储、数据处理、资源管理、容错性、扩展性、较好的吞吐量......等问题。在目前来说，Hadoop框架可以有效解决以上大部分问题，而且由于Hadoop对于集群上的节点硬件要求不高，因此目前很多公
Pun_C·2015-03-07 17:00

hadoop-HA hadoop2.0 HDFS搭建和HA切换

http://blog.csdn.net/kirayuan/article/details/17379743说到了hadoop2.0的新特性。这里详解一下搭建步骤以及原理。    
czw698·2015-03-06 13:00

hadoop2.0 wordcount代码讲解

hadoop2.0 wordcount代码讲解本代码从hadoop-2.6.0里面拷贝出来的。
baolibin528·2015-02-02 21:00

Hadoop Yarn 框架原理及运作机制

1.1YARN基本架构YARN是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的
睡眼惺忪_·2015-01-30 10:23

Hadoop Yarn 框架原理及运作机制

1.1 YARN基本架构YARN是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的
liuwenbo0920·2015-01-30 10:00

Hadoop2.0入门学习(一)--Hadoop2.2.0伪分布式安装配置详解

一、测试环境准备    由于个人硬件环境的限制，在测试过程中我是以VMware开虚拟机来替代真实的机器，宿主机和虚拟机配置如下：    宿主机：       CPU： Inteli5-3470CPU3.20GHz        内存： 8.00GB      操作系统： Windows7旗舰版 (64位/ServicePack1)    虚拟机：         操作系统：Ubuntu14.04.
MinMGui·2015-01-25 13:00

Hadoop2.2_FairshareScheduler

如果是第一次接触hadoop2.0版本的Fairsharescheduler，最好先看一下他的官方文档：http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/
Admirals·2015-01-22 14:00

Cloudera Hadoop 4 实战视频教程

ClouderaHadoop4实战课程(Hadoop2.0、集群界面化管理、电商在线查询+日志离线分析)适合人群：中级课时数量：42课时用到技术：CDH4，ClouderaManager，Hive，HBase
xiarilove·2015-01-14 11:00

基于Hadoop2.0、YARN技术的大数据高阶应用实战、

Hadoop的前景随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及Android程序员。Hadoop入门薪资已经达到了8K以上，工作1年可达到1.2W以上，具有2-3年工作经验的h
双层牛堡·2015-01-14 11:22

基于Hadoop2.0、YARN技术的大数据高阶应用实战、

Hadoop的前景随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及Android程序员。Hadoop入门薪资已经达到了8K以上，工作1年可达到1.2W以上，具有2-3年工作经验的h
双层牛堡·2015-01-14 11:22
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他