hadoop2.X

hadoop的mapreduce任务的执行流程

hadoop2.x的三大核心：mapreduce、hdfs以及yarn，其中核心之一mapreduce，利用了分而治之的思想，Map（映射）和Reduce（归约），分布式多处理然后进行汇总的思想，比如：
lijie_cq·2017-03-23 20:19

Hadoop2.X中Mapreduce，YARN等配置，启动和常见错误解决办法

本篇文章主要介绍一下hadoop2.X的启动的相关配置和启动过程常见错误的解决办法，废话不多少，下面开始按照官网的描述步骤开始介绍。
ShiLuoHeroKing·2017-03-21 09:36

在hadoop2.X集群中安装压缩工具snappy（主要用于hbase）

在hadoop2.X中最好使用源码编译生成snappy的so文件，如果使用其它已编译好的so文件，可能会报出notsupport错误，以下便是hadoop2.X编译生成snappy的so文件的步骤：在此
PenPenApple·2017-02-25 00:01

小白 笔记---------------------------hadoop出现hadoop2.X部署警告： Unable to load native-hadoop library 总结

很多同学在安装部署的时候，遇到了问题Unabletoloadnative-hadooplibrary总结。原因1：64位使用了32本地库案例1：[[email protected]]#hadoopfs-ls/14/12/0919:43:06WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatfo
Aaron92·2017-02-13 10:17

hadoop（一）-hadoop2.x centos安装

简介hadoop入门之搭建hadoop集群环境，想要学习hadoop的朋友可以先从搭建hadoop集群开始慢慢理解和使用hadoop。一.环境机器192.168.1.21(namenode,sesondarynode)192.168.1.22(data)192.168.1.23(data)软件hadoop-2.6.4-tar.gzjdk1.7.tar.gz(建议使用tar.gz包，使用rpm安装，
敲码的汉子·2017-02-09 09:29

【mapreduce】hadoop2.x—mapreduce实战和总结

转自：http://blog.csdn.net/u012749168/article/details/52809278在eclipse上编写程序，运行在hadoop上。网上很多的例子都是1.x的mr代码，而1.x的代码和2.x的代码是有些区别的。在hadoop官网上可以下载到hadoop的源码包，源码包里面有很多的源代码，hadoop安装包里面的都是些jar文件，jar可以执行，但是无法看里面的源
Lionel_Medoo·2017-02-06 18:05

Hue 基础知识 详解

//github.com/cloudera/hue下载地址:http://archive.cloudera.com/cdh5/cdh/5/1>大数据协作框架“大数据协作框架”其实是一个统称，实际上就是Hadoop2
SmallPuddingHappy·2017-01-31 08:42

Hadoop2.x 体系结构和源码编译

体系结构Hadoop1的核心组成包括HDFS和MapReduce。HDFS和MapReduce的共同点就是他们都是分布式的。HDFS是包括主节点NameNode,只有一个，还有很多从节点DataNode,还有很多个。NameNode含有我们用户存储的元数据的信息，把这些数据存储在硬盘上，但是在运行时是加载在内存中的。Hadoop1HDFS缺点：1)当我们的NameNode无法在内存中加载全部的元数
FlinkMe·2017-01-15 11:00

Hadoop 2.x

Hadoop2.x生态系统及技术架构图一、负责收集数据的工具：Sqoop（关系型数据导入Hadoop）Flume（日志数据导入Hadoop，支持数据源广泛）Kafka（支持数据源有限，但吞吐大）二、负责存储数据的工具
HackerVirus·2017-01-06 07:00

Hadoop自测题及参考答案

2、[java基础]以下不属于线程安全的数据结构是A.HashMapB.HashTableC.CopyOnWriteArrayListD.ConcurrentHashMap3、hadoop2.x采用什么技术构建
凌冰_·2017-01-04 16:36

hadoop之HA架构----->NameNode的高可靠性缘由

注意：只有hadoop2.x以后才有HA机制一、概念性1.ZKFC（DFSZKFailoverController）------>故障转移，当ActiveNameNode挂掉了，会自动切换StandbyNameNode
小虹尘·2016-12-27 10:51

Hadoop2.X配置管理1-HDFS安装配置单机版

HDFS：分布式文件系统（HadoopDistributedFileSystem）的缩写，是大数据分析中对文件的分布式存储的基础支持。这里主机价绍单机部署HDFS系统的安装与配置步骤，用以指导初学者了解。1.系统环境及要求硬件：以一台双核2G虚拟机系统：CentOS6.364bitJDK:JDK7(hadoop2.7.3最低要求1.7，不支持1.6)2.文件下载：HDFS是HADOOP平台的一个子
Lusoel·2016-12-26 16:00

Hbase集群搭建

【集群设计】在原有的hadoop2.x集群上搭建Hbase集群，因为hbase集群要以来hdfshostnameip软件进程角色hadoop2001192.168.1.221HbaseHMASTER主hadoop2002192.168.1.222HbaseHMASTER
先生_吕·2016-12-23 11:28

hadoop2.x 的Combiners和Partitioner编程

【前言】Combiners和Partitioner都是mapperReduce编程中mapper和reduce的中间步骤，他们的出现给MR计算的效率以及业务功能有很大的提高Combiners编程的作用：首先，Combiners编程其实本质上就是一个Reduce，只不过它特殊在其实map阶段的reduce。它主要活动在mapper之后和reduce之前，主要将mapper产生的大量输出提前先做一次合
先生_吕·2016-12-15 11:30

给Hadoop初学者的一些建议

hadoop核心知识学习:hadoop分为hadoop1.X和hadoop2.X，并且还有hadoop生态系统。这里只能慢慢介绍了。一口也吃不成胖子。
杨航JAVA·2016-11-14 17:48

mapreduce的理解

这个地方总归有一个模块来分发任务，也就意味这它就是老大，它来维护任务或者资源mapreduce在hadoop1.x版本上是jobtracker,hadoop2.x版本是通过yarn来管理的,它是ResourceManager
qingliangdexiar·2016-11-14 16:11

Hadoop 2.x 源码阅读的准备

简介之前有阅读和分析过部分hadoop2.x的源码，但是没有进行整理，现在计划把源码进行重新学习和分析，分析顺序是MapReduce、HDFS、YARN。希望自己可以坚持下来。
Lic_LiveTime·2016-11-03 20:09

hadoop1.x 与hadoop2.x 架构变化分析

Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：（1）HDFS的NameNode可以以集群的方式布署，增强了NameNodes的水平扩展能力和高可用性，分别是:HDFSFederation与HA；（2）MapReduce将JobTracker中的资源管理及任务生命周期管理（包括定
reylee911·2016-11-01 10:11

大数据云计算学习路线

大数据、云计算系统顶级架构师课程学习路线图大数据之Linux+大数据开发篇Java Linux基础 Shell编程 Hadoop2.x HDFS YARN MapReduce ETL数据清洗Hive Sqoop
basycia·2016-10-25 21:00

Hadoop2.x基本原理与架构

Hadoop2.x基本原理与架构ApacheHadoop是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。
Mote Malone·2016-10-24 01:47

hadoop2.x—mapreduce实战和总结

在eclipse上编写程序，运行在hadoop上。网上很多的例子都是1.x的mr代码，而1.x的代码和2.x的代码是有些区别的。在hadoop官网上可以下载到hadoop的源码包，源码包里面有很多的源代码，hadoop安装包里面的都是些jar文件，jar可以执行，但是无法看里面的源码。接下来详细分析两个案例的代码，并附带个人的hadoop学习总结与大家分享，希望大家给点意见。一个是hadoop源码
u012749168·2016-10-13 19:00

Hadoop2.x深入详解

HDFS分布式文件系统详解NameNode：是一个中心服务器，单一节点，负责管理文件系统的命名空间以及客户端对文件的访问；NameNode负责文件元数据的操作，DataNode负责处理文件内容的读写请求，跟文件内容相关的数据流不经过NameNode，只会询问他与哪一个DataNode联系，否则NameNode会成为系统的瓶颈；副本存放在哪些DataNode上有NameNode来控制，根据全局情况做
小江_xiaojiang·2016-10-10 20:52

在Ubuntu下对hadoop2.x进行64位编译出错原因

阅读更多由于hadoop2.x后，在lib/native/目录下面的libhadoop.so.1.0.0文件是32位的，所以如果在64位的linux上安装官方提供的hadoop2.x，肯定不能运行，就需要对其进行编译
xjnine·2016-09-16 16:00

Hadoop之日志存放路径

本文基于Hadoop2.x版本进行说明的，其中有些地方在Hadoop1.x中是没有的，请周知。一、Hadoop系统服务输
wangwei4078·2016-08-17 18:01

Hadoop之 2.x版本edits文件和fsimage的合并实现

在Hadoop2.x中解决了NameNode的单点故障问题；同时SecondaryName已经不用了，而之前的Hadoop1.x中是通过SecondaryName来合并fsp_w_picpath和edits
wangwei4078·2016-08-17 17:30

Hadoop之NameNode元数据相关文件目录解析

下面所有的内容是针对Hadoop2.x版本进行说明的，Hadoop1.x和这里有点不一样。
wangwei4078·2016-08-17 17:47

Windows下安装Hadoop

Windows10下安装Hadoop，Windows10下编译64位Hadoop2.x。详细记录了Windows10版本下对Hadoop的编译、安装步骤，以及相关包或者软件下载安装过程。
dream_an·2016-07-08 17:00

一、Hadoop 2.x 分布式安装部署

一、Hadoop2.x分布式安装部署1.分布式部署hadoop2.x1.1克隆虚拟机并完成相关配置1.1.1克隆虚拟机点击原有虚拟机–>管理–>克隆–>下一步–>创建完成克隆–>写入名称hadoop-senior02
王小小小草·2016-06-28 20:14

Hadoop2.x实战：Eclipse本地开发环境搭建与本地运行wordcount实例

林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka摘要：本文主要讲了如何在windows上通过eclipse来远程运行hadoop应用程序hadoop版本：2.7.2hadoop安装系统：ubuntu14.04eclipse版本:lunaeclipse安装系统:window64一、开发环境配置1、windows下载源码到http://hadoo
Evankaka·2016-06-28 08:15

Hadoop2.x实战：Eclipse本地开发环境搭建与本地运行wordcount实例

     林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka    摘要：本文主要讲了如何在windows上通过eclipse来远程运行hadoop应用程序hadoop版本：2.7.2hadoop安装系统：ubuntu14.04eclipse版本:lunaeclipse安装系统:window64一、开发环境配置1、windows下载源码到htt
Evankaka·2016-06-28 08:00

Hadoop2.x实战：WordCount实例运行

   摘要：本文主要讲了hadoop2.7.2自带的WordCount实例运行   操作系统:Ubuntu14.04   hadoop版本：2.7.2实例测试wordCount1、启动hadoop/usr/hadoop/hadoop-2.7.2/sbin ./start-dfs.sh ./start-yarn.sh输入Jps如下，说明启动成功2、新建一个目录cd/usr/hadoop/hadoop
Evankaka·2016-06-28 08:00

Hadoop2.x实战：Hadoop安装与配置

林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka摘要：本文主要讲了Hadoop2.7.2在Ubuntu14.04上的安装与配置过程一、JDK1、安装JDK比较简单，不懂可以看这里：http://blog.csdn.net/evankaka/article/details/504637822、设置环境变量gedit环境变量分为用户变量和系统变量
Evankaka·2016-06-27 11:19

Hadoop2.x实战：Hadoop安装与配置

      林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka     摘要：本文主要讲了Hadoop2.7.2在Ubuntu14.04上的安装与配置过程一、JDK1、安装JDK比较简单，不懂可以看这里：http://blog.csdn.net/evankaka/article/details/504637822、设置环境变量gedit 环境变
Evankaka·2016-06-27 11:00

hadoop2.x通过Zookeeper来实现namenode的HA方案以及ResourceManager单点故障的解决方案

针对这两个问题，hadoop2.x都对它进行改进和解决。其中，问题1中对namenode内存瓶颈的问题采用扩展namenode的方式来解决。
hallelujahCTX·2016-06-03 14:15

HADOOP1.X与HADOOP2.X的区别

Hadoop1.x与Hadoop2的区别1、变更介绍Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：l HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；l MapReduce将JobTracker中的资源管理及任务生命周期管理（包
nengyu·2016-06-03 12:00

Hadoop2.2.0伪分布式之MapReduce简介

注：在hadoop2.x中MapReduce运行在yarn上，yarn支持多种运算模型。
u012802702·2016-05-26 15:00

Hadoop HA

hadoop2.x版本中可以有多个namenode结点，一个是活跃（active）状态，一个是准备（standby）状态。HDFSHA背景HDFS集群中NameNode存在单点故障（SPOF）。
Simple_Zz·2016-05-13 18:33

Hadoop 2.x伪分布式环境搭建测试

Hadoop2.x伪分布式环境搭建测试标签（空格分隔）：hadoophadoop,spark,kafka交流群：4598988011，搭建hadoop所需环境卸载openJDKrpm-qa|grepjavarpm-e–nodeps
u011308691·2016-05-10 21:00

hadoop 2.7.2 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.2.jar

之前介绍了我在Ubuntu下组合虚拟机Centos6.4搭建hadoop2.7.2集群,为了做mapreduce开发,要使用eclipse,并且需要对应的hadoop插件hadoop-eclipse-plugin-2.7.2.jar,首先说明一下,在hadoop1.x之前官方hadoop安装包中都自带有eclipse的插件,而如今随着程序员的开发工具eclipse版本的增多和差异,hadoop插件
gao634209276·2016-05-10 12:05

hadoop 2.7.2 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.2.jar

之前介绍了我在Ubuntu下组合虚拟机Centos6.4搭建hadoop2.7.2集群,为了做mapreduce开发,要使用eclipse,并且需要对应的hadoop插件hadoop-eclipse-plugin-2.7.2.jar,首先说明一下,在hadoop1.x之前官方hadoop安装包中都自带有eclipse的插件,而如今随着程序员的开发工具eclipse版本的增多和差异,hadoop插件
gao634209276·2016-05-10 12:00

关于hadoop2.x(2.7.1 2.7.2)集群配置和测试运行中Ubuntu虚拟机VM设置nat方式导致节点传输问题

集群配置都大同小异,在这里我简单说下我的配置:主节点系统是Ubuntu14.04LTSx64其他两个节点在VM中系统为Centos6.4x64JVM为jdk1.7_80hadoop版本2.7.1和2.7.2都尝试了出现的问题是:启动hdfs系统正常,都启动起来了,jps查看如下主节点SecondaryNameNode和NameNode从节点:DataNode但使用hfds命令dfsadmin-re
gao634209276·2016-05-09 18:00

Hadoop 2.x伪分布式环境搭建详细步骤

本文以图文结合的方式详细介绍了Hadoop2.x伪分布式环境搭建的全过程，供大家参考，具体内容如下1、修改hadoop-env.sh、yarn-env.sh、mapred-env.sh方法：使用notepad
dafei10086·2016-05-08 23:59

hadoop日志存放路径（日志讲解好文章）&hadoop历史服务器

本文基于Hadoop2.x版本进行说明的，其中有些地方在Hadoop1.x中是没有的，请周知。一、Hadoop系统服务输
qq_27231343·2016-05-03 16:00

Java笔记---Hadoop 2.7.1下WordCount程序详解

一、前言在之前我们已经在CenOS6.5下搭建好了Hadoop2.x的开发环境。既然环境已经搭建好了，那么现在我们就应该来干点正事嘛！
bascker·2016-05-02 22:01

hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS,YARN,HBase,Hive,ZooKeeper:组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addre
u013821825·2016-04-30 14:00

Hadoop 2.6.0版本安装与配置

在大概一年前左右，自己发过一篇关于Hadoop安装的博客，但是那时候的版本是1.2.1版本，技术更新的快，最近公司使用的是hadoop2.x版本，那么这里我以2.6.0版本为例介绍一下Hadoop的安装与配置
u012965373·2016-04-29 21:00

Hadoop之——Could not resolve hostname XX错误解决办法

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51278681安装hadoop2.x，启动报错，格式化namenode是成功的，但是在执行
冰 河·2016-04-29 00:26

Hadoop之——Could not resolve hostname XX错误解决办法

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51278681安装hadoop2.x，启动报错，格式化namenode是成功的，但是在执行
l1028386804·2016-04-29 00:00

hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比

问题导读：1.DataNode的http服务的端口、ipc服务的端口分别是哪个？2.NameNode的http服务的端口、ipc服务的端口分别是哪个？3.journalnode的http服务的端口、ipc服务的端口分别是哪个？4.ResourceManager的http服务端口是哪个？5.NodeManager的http服务端口是哪个？6.Master的http服务的端口、ipc服务的端口分别是哪
kingmax54212008·2016-04-26 14:00

Hadoop2.x的解析和Yarn模块解析

南阳理工学院目录1绪论11.1介绍hadoop11.2本章小结12Hadoop的简介22.1Hadoop的介绍22.2本章小结.23Hadoop2.x33.1Hadoop2.x的四大模块33.1.1HadoopCommon33.1.2HDFS33.1.3HadoopYarn43.1.4HadoopMapReduce43.2用Eclipse连接Hadoop，并进行WordCount实例解析63.3H
cloud_510·2016-04-23 09:56
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他