hadoop2.0

基于Hadoop2.0、YARN技术的大数据高阶应用实战、

Hadoop的前景随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及Android程序员。Hadoop入门薪资已经达到了8K以上，工作1年可达到1.2W以上，具有2-3年工作经验的h
双层牛堡·2015-01-14 11:22

HADOOP2.0,Exception java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/v2/app/MRAppMaster

一、问题运行yarn的MR程序，发现出现问题，报错：[java] viewplaincopyException in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/v2/app/MRAppMaster  Caused by: java.lang.ClassNotFoundException: or
zongquanliu·2015-01-13 15:35

HADOOP2.0,Exception java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/v2/app/MRAppMaster

一、问题运行yarn的MR程序，发现出现问题，报错：[java]viewplaincopyExceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/mapreduce/v2/app/MRAppMasterCausedby:java.lang.ClassNotFoundException:org.apache.ha
zongquanliu·2015-01-13 15:35

Cloudera Hadoop 4 实战视频教程

ClouderaHadoop4实战课程(Hadoop2.0、集群界面化管理、电商在线查询+日志离线分析)适合人群：中级课时数量：42课时用到技术：CDH4，ClouderaManager，Hive，HBase
玫瑰情书·2015-01-13 14:53

Hadoop2.0源码包简介

Hadoop2.0源码包简介1、解压源码包： 2、目录结构：hadoop-common-project：Hadoop基础库所在目录，如RPC、Metrics、Counter等。
baolibin528·2015-01-08 16:00

Hadoop2.0源代码阅读

 Hadoop2.0源代码阅读 1、拷贝软件，我用的软件如下图所示：2、安装jdk。创建java文件夹，并把jdk安装包拷进去。对jdk进行解压。解压完成之后以及jdk安装的目录情况。 
baolibin528·2015-01-08 14:00

浅谈hadoop1.0与hadoop2.0的不同

浅谈hadoop1.0与hadoop2.0的不同这几天刚到公司报道，开始了我的实习历程。首先我的目标是对公司的hadoop平台进行学习，希望在短时间自己能够独立搭建，并且能明目个组件内部的交互原理。
yinkaipeng·2015-01-08 11:00

Hadoop-2.0 目录简介

Hadoop-2.0目录简介一、目录结构将下载的压缩包解压：解压后文件夹如下： 二、各文件夹目录结构1、bin：Hadoop2.0的最基本管理脚本和使用脚本所在目录。
baolibin528·2015-01-07 16:00

[置顶] hadoop2.0的mapreduce作业classpath研究

    hdfsraid从facebook移植过来很久了，包括hadoop0.20.203和hadoop2.4.0版本，但是最近才准备上线hadoop2.4.0版本的hdfsraid，上线前准备在好好测试测试，确保上线顺利，hdfsraid代码分成两部分，一部分是hdfs下面的代码，这部分代码上一次和其他patch一起已经上线，另外一部分是raid自己比较独立的代码，按照之前的计划，后一部分代码准
hit_hlj_sgy·2014-12-28 14:00

Hadoop2.0/YARN视频教程

Hadoop视频教程_Hadoop2.0/YARN深入浅出(Hadoop2.0、Spark、Storm和Tez)适合人群：初级课时数量：21课时用到技术：Hadoop2.0、Spark、Storm和Tez
xingfuing·2014-12-24 14:00

Hadoop视频教程_Hadoop2.0/YARN深入浅出

Hadoop视频教程_Hadoop2.0/YARN深入浅出(Hadoop2.0、Spark、Storm和Tez)适合人群：初级课时数量：21课时用到技术：Hadoop2.0、Spark、Storm和Tez
玫瑰情书·2014-12-24 14:18

Hadoop视频教程_Hadoop2.0/YARN深入浅出

Hadoop视频教程_Hadoop2.0/YARN深入浅出(Hadoop2.0、Spark、Storm和Tez)适合人群：初级课时数量：21课时用到技术：Hadoop2.0、Spark、Storm和Tez
xiarilove·2014-12-24 13:00

hadoop 2.0版本后mapre-site的配置

 hadoop2.0有了yarn所以原来的mapred配置都转向yarn-site.xml文件中了，这里也就指定yarn。 yarn-site.xml，为方便，未进行配置。   
zhangt85·2014-12-22 12:00

蜗龙徒行-Spark学习笔记【一】初识Spark形成、演进、发展

基本构架的设计上存在作业主控节点(JobTracker)单点瓶颈、作业执行延迟过长、编程框架不灵活等较多的缺陷和不足,2011年10月,Hadoop推出了基于新一代构架的Hadoop0.23.0测试版,该版本系列最终演化为Hadoop2.0
cafuc46wingw·2014-12-15 20:00

CDH4.1.2集群安装配置详细过程

CDH4.1.2使用的是apache的hadoop2.0版本，与之前的稳定的hadoop-1.x相比，ApacheHadoop
油饼头小笨笨·2014-11-27 14:53

Hadoop2.0学习（二）

分布式存储机制（HDFS）分布式存储机制（HDFS）（1）任何节点操作，都能操作整个系统的数据（2）横向扩展（3）自动数据冗余，初始化参数因子（4）不需要配置磁盘阵列在操作HDFS的时，编译代码用到ant，下面说一下ant的使用：（1）下载ant，配置ant（2）测试ant是否成功BuildFile:build.xmldoesnotexist!Buildfailed（3）（4）
MichaelYuHongxue·2014-11-24 16:01

Hadoop2.0学习（二）

分布式存储机制（HDFS）分布式存储机制（HDFS）（1）任何节点操作，都能操作整个系统的数据（2）横向扩展（3）自动数据冗余，初始化参数因子（4）不需要配置磁盘阵列 在操作HDFS的时，编译代码用到ant，下面说一下ant的使用：（1）下载ant，配置ant（2）测试ant是否成功         BuildFile:build.xml  doesnotexist!         Buildf
YHX1014·2014-11-24 16:00

baidu vs google 不在一个等级上的

看到一篇文章说baidu要发布一个hadoop2.0的东西。 
哭你吃完·2014-11-14 09:00

MapReduce 代码经验集合

一个有趣的例子是hadoop2.0的hadoop-mapreduce-examples中的grep，通过InverseMapper将键值对转换成。
哭你吃完·2014-11-14 09:00

linux下eclipse hadoop插件配置

hadoop2.0之后的eclipse-hadoop插件有两种获得方式：       1.自己编译，具体编译方法可以参考网上大家到博客；       2.由githu
renzeGIS·2014-11-11 19:00

hadoop 2.4 namenode ha 源码分析(HealthMonitor）

本文章将详细分析hadoop2.0的namenode HA的原理，以及部分源码分析。
东方神剑·2014-11-04 18:00

hadoop 2.4 namenode ha 源码分析(HealthMonitor)

本文章将详细分析hadoop2.0的namenode HA的原理，以及部分源码分析。
_hadooper·2014-10-28 22:00

hadoop2.0 namenode ha配置

从2010年开始接触hadoop，到2012年的这段时间内一直从事hadoop相关项目的研发，2012年后，由于一些原因，在技术上的积累慢慢淡忘。今天再次拿起hadoop，看了一下2.4源码，提供的API更多了，ha也有相应的解决方案。yarn后期应该也会发展的更加完美。废话不多说，先测试一些hadoophdfs的ha。hdfs的ha，主要的问题是active和standby的元数据信息同步问题，
_hadooper·2014-10-23 23:00

mapreduce采用多进程与spark采用多线程比较

原文链接：https://my.oschina.net/mkh/blog/336043ApacheSpark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop2.0
chuanjiaoye5017·2014-10-22 09:00

mapreduce采用多进程与spark采用多线程比较

    ApacheSpark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop2.0（包括YARN和MapReduce）是一致的。
闵开慧·2014-10-22 09:00

[置顶] hadoop2.0的datanode多目录数据副本存放策略

在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式：第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java
hit_hlj_sgy·2014-10-11 12:00

hadoop2.0 rpc分析-1.0

 1.使用的实例：package com.rpc; import org.apache.hadoop.ipc.VersionedProtocol; public interface  MyProtocol extends VersionedProtocol{ public static final long versionID=1L; String getlength(String str); i
昏鸦·2014-10-08 16:00

hive-0.12安装详解

Hive安装部署（安装会有版本问题hadoop1.0版本以上的请安装hive-0.90测试 hadoop2.0以上请安装hive-0.12.0或者最新版测试）hive-0.9.0下载地址：http://
white__cat·2014-10-06 14:00

Hadoop2.0 客户端提交作业流程

YARN作业提交的客户端仍然使用RunJar类，和MR1一样，可参考 http://blog.csdn.net/lihm0_1/article/details/13629375在1.x中是向JobTracker提交，而在2.x中换成了ResourceManager，客户端的代理对象也有所变动，换成了YarnRunner，但大致流程和1类似，主要的流程集中在JobSubmitter.submitJo
haorengoodman·2014-09-30 17:00

Hadoop 2.0 Federation

在hadoop2.0架构中，n
柴火·2014-09-22 13:50

阿里搜索离线技术团队负责人谈Hadoop：阿里离线平台、YARN和iStream

Hadoop从互联网诞生，但近些年在整个大数据领域呈现爆发式发展和进化，尤其是在2013年Hadoop2.0正式Release后，Hadoop有了正式的OperationSystem—YARN，从此Hadoop
张天雷·2014-09-21 11:00

基于Hadoop2.0、YARN技术的大数据高阶应用实战

基于Hadoop2.0、YARN技术的大数据高阶应用实战(Hadoop2.0\YARN\MapReduce\数据挖掘\项目实战)适合人群：高级课时数量：81课时用到技术：基于协同过滤的推荐系统、基于HBase
mianhuatang·2014-09-17 13:00

hadoop-2.3.0-cdh5.1.0完全分布式搭建（基于centos）

http://blog.csdn.net/jameshadoop/article/details/39055493注：本例使用root用户搭建一、环境操作系统：CentOS 6.5 64位操作系统 注：Hadoop2.0
fz2543122681·2014-09-08 22:00

hadoop-2.3.0-cdh5.1.0伪分布安装（基于centos）

一、环境操作系统：CentOS 6.5 64位操作系统 注：Hadoop2.0以上采用的是jdk环境是1.7,Linux自带的jdk卸载掉，重新安装下载地址：http://www.oracle.com/
fz2543122681·2014-09-04 17:00

一个电话 改变大数据命运的故事

谁也不会想到，这个小bug，数年后却促成了官方Hadoop2.0的诞生，改变了Hadoop的命运。  虽然是别人写的，但Murthy的工作就是修复它。谁也不会想到，这个小bug，
灵玖lingjoin·2014-09-04 14:00

hadoop2.0新特性剖析及应用 学习笔记

Hadoop1.0Ambari 安装部署工具，专门统一安装和部署Hadoop所有组件 Oozie是个作业流任务调度系统，用来调度hive,pig,mahout任务的执行 Pig是个工作流引擎Hadoop2.0
jim19770812·2014-08-20 00:00

Hadoop2.0学习（一）

Hadoop版本衍化   第一代Hadoop：Hadoop1.0 包含三大版本：0.20.x   0.21.x  0.22.x  CDH3 0.20.x最后演化成1.0.x，变成稳定版 0.21.x和0.22.x增加了NameNode HA等新的重大特性   第二代Hadoop：Had
YHX1014·2014-08-18 14:00

Hadoop 2.0源码阅读环境配置--win7+Eclipse+Hadoop2.2.0

hadoop2.0发布时间不长，目前也还没有普及使用，所以关于Hadoop2.0相关的材料在网上能查到的不多，只能自己一点一点积累和学习。顺便把自己学习过程中的知识总结下，方便以后查看和使用。
amber_amber·2014-08-18 14:27

HDFS 2.0 federation配置全过程

我是在已经搭建好的Hadoop2.0和HA的基础上，增加federation的功能。所以相关的步骤只涉及到federation的部分。要看HA的配置步骤，请查看前一篇文章。
amber_amber·2014-08-08 11:10

Hadoop2.0-HA介绍

一、概述在hadoop2.0之前，namenode只有一个，存在单点问题（虽然hadoop1.0有secondarynamenode，checkpointnode，buckcupnode这些，但是单点问题依然存在
szjian·2014-08-06 14:00

Hadoop2.0-HA介绍

一、概述 在hadoop2.0之前，namenode只有一个，存在单点问题（虽然hadoop1.0有secondarynamenode，checkpointnode，buckcupnode这些，但是单点问题依然存在
szjian·2014-08-06 14:00

HDFS2.0 HA完整配置过程

最近了解了Hadoop后，又开始涉及Hadoop2.0相关的知识，所以后续我会陆陆续续把2.0相关的一些知识和学习总结整理上来。这里是QJM方式的HA配置，众所周知，HDF
amber_amber·2014-08-05 15:22

Hadoop 2.0中单点故障解决方案总结

令人欣慰的是，这些问题在Hadoop2.0中得到了非常完整的解决。Hadoop2.0内核由三个分支组成，分别是HDF
kavy·2014-08-04 09:00

hadoop生态系统介绍

Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。下图为hadoop的生态系统： 2、HDFS（Hadoop分布式文
tjukk·2014-07-28 21:00

hadoop系基础概念扫盲

Hadoop2.0则包含一个支持NameNode横向扩展的HDFS，一个资源管理系统YARN和一个运行在YARN上的离线
上帝De助手·2014-07-11 14:00

hadoop视频教程下载 Hadoop2.0视频教程完整版

   分享一套Hadoop大数据视频教程，本套教程应该是目前最为完整的一套Hadoop教程，零基础起步，结合实战案例，全面、系统、实战性强，绝对是当前难得的好教程。 《Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点、十大目标)》 课程讲师：迪伦 课程分类：大数据 适合人群：初级 课时数量：230课时 用到技术：部署Hadoop集群 涉及项目：京东
godiea·2014-07-08 10:00

hive-0.12安装详解

Hive安装部署（安装会有版本问题hadoop1.0版本以上的请安装hive-0.90测试 hadoop2.0以上请安装hive-0.12.0或者最新版测试）hive-0.9.0下载地址：http://
开拓者-2015·2014-07-05 13:00

hive-0.12安装详解

Hive安装部署（安装会有版本问题hadoop1.0版本以上的请安装hive-0.90测试 hadoop2.0以上请安装hive-0.12.0或者最新版测试）hive-0.9.0下载地址：http://
开拓者-2015·2014-07-05 13:00

hdfs-ha热备原理

阅读更多下面的总结来自于：http://dongxicheng.org/hadoop-hdfs/hdfs-ha-federation-deploy/Hadoop2.0中的HDFS增加了两个重大特性，HA
dengqsintyt·2014-06-21 22:00

hdfs-ha热备原理

阅读更多下面的总结来自于：http://dongxicheng.org/hadoop-hdfs/hdfs-ha-federation-deploy/Hadoop2.0中的HDFS增加了两个重大特性，HA
dengqsintyt·2014-06-21 22:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他