Hadoop2.x

hadoop2.x常用端口及定义方法

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper: 组件 节点 默认端口 配置 用途说明 HDFS Da
善良的java·2015-03-29 12:00

Hadoop2.x下安装HBase

环境：CentOS6.5 Hadoop2.5.2 HBase1.0.01.安装好hadoop集群，并启动[grid@hadoop4~]$shhadoop-2.5.2/sbin/start-dfs.sh[grid@hadoop4~]$shhadoop-2.5.2/sbin/start-yarn.sh查看hadoop版本：[grid@hadoop4~]$hadoop-2.5.2/bin/hadoopv
张超·2015-03-19 01:00

Hadoop 2.x中fsimage和edits合并实现

在《Hadoop1.x中fsimage和edits合并实现》文章中，我们谈到了Hadoop 1.x上的fsimage和edits合并实现，里面也提到了Hadoop2.x版本的fsimage和edits合并实现和
baolibin528·2015-03-15 21:00

hadoop2.x jobhistoryserver 配置

hadoop2.xjobhistoryserver配置hadoophadoop1.x之前的版本中可以开启50030端口,查看历史作业的运行日志,包括mr日志和自定义日志,但是hadoop2.x是用MRv2
duguyiren3476·2015-02-11 10:06

hadoop2.x jobhistoryserver 配置

hadoop2.xjobhistoryserver配置 hadoophadoop1.x之前的版本中可以开启50030端口,查看历史作业的运行日志,包括mr日志和自定义日志,但是hadoop2.x是用MRv2
duguyiren3476·2015-02-11 10:00

第四章 Hadoop2.x应用开发step by step——Hadoop2.x集群环境

Hadoop2.x集群的安装主要包括两个核心NameNode（一个主节点），DataNode（多个从节点），NameNode有三个作用：（1）管理HDFS文件系统的无数据信息，如文件的名称、文件大小、建立时间
老象学院·2015-01-26 22:18

如何远程读取CDH的hadoop上的HDFS数据？

今天，散仙就以hadoop2.x的版本记录下，如何在eclipse中远程连接并读取数据，在网上搜的代码
qindongliang1922·2015-01-26 21:00

如何远程读取CDH的hadoop上的HDFS数据？

今天，散仙就以hadoop2.x的版本记录下，如何在eclipse中远程连接并读取数据，在网上搜的代码
qindongliang1922·2015-01-26 21:00

如何远程读取CDH的hadoop上的HDFS数据？

今天，散仙就以hadoop2.x的版本记录下，如何在eclipse中远程连接并读取数据，在网上搜的代码
qindongliang1922·2015-01-26 21:00

如何远程读取CDH的hadoop上的HDFS数据？

今天，散仙就以hadoop2.x的版本记录下，如何在eclipse中远程连接并读取数据，在网上搜的代码
qindongliang1922·2015-01-26 21:00

如何远程读取CDH的hadoop上的HDFS数据？

今天，散仙就以hadoop2.x的版本记录下，如何在eclipse中远程连接并读取数据，在网上搜的代码
qindongliang1922·2015-01-26 21:00

如何远程读取CDH的hadoop上的HDFS数据？

今天，散仙就以hadoop2.x的版本记录下，如何在eclipse中远程连接并读取数据，在网上搜的代码
qindongliang1922·2015-01-26 21:00

企业应用hadoop视频教程多套合集--百度网盘下载

1、Hadoop2.X大数据平台V3视频教程（14周全）http://pan.baidu.com/s/1qW4rPSg密码:7ohd2、Hadoop&Spark企业应用实战链接:http://pan.baidu.com
waysoflife·2015-01-24 23:00

hadoop2.x分布式集群安装配置 ~第三步：ssh免密钥配置

###免密钥是为了解决hadoop集群各个节点通信的问题，即通信不在需要填写密码，ssh连接的安全性由密钥验证机制来完成一、配置注意的东西来了你配置的机器可能有多个用户，但你需要选一个来做hadoop的管理用户，而你接下来的操作将在hadoop的用户的根目录下即（当前用户是hadoop用户）：~/目录下，其他的则在/home/hadoop用户名/目录下 （将来ssh免密钥连接的是你hadoop用户
破苍小龙·2015-01-22 10:00

hadoop2.x分布式集群安装配置 ~第二步修改ip

#######这一步主要是针对那些自己在自己机器上做hadoop系统的人来说的，一般来说公司的服务器的ip都是提前设置好的，不变，也不会随意让你改的这一步的目的是让节点机器的ip固定下来，让你的hadoop能找到机器。在linux下你需要做的是将ip自动获取改为手动获取，填上静态的网络信息即可。####如果我有这部分新的体会，我会在添上来现在来说一下可能出现的错误吧：1.在你hadoop第一次启动
破苍小龙·2015-01-22 09:00

hadoop2.x分布式集群安装配置 ~第一步：防火墙的配置

  ####在配防火墙时，能关就关，不能关就开端口一、介绍（1）如果是伪分布式模式，可以考虑将防火墙直接关掉（一般不用于生产，按照分布式的来也可以，2将介绍分布式的）       查看防火墙状态，命令：serviceiptablesstatus       改变防火墙命令：         1)永久性生效，重启后不会复原       开启：chkconfigiptableson关闭：chkconf
破苍小龙·2015-01-22 09:00

hadoop2.x分布式集群安装配置 ~hadoop3种模式的介绍

现在网上流行的各种hadoop安装文档，对模式不清晰，造成自己都不知自己配的是什么模式。     单机模式：这是在一台机器上，不存在与其他节点通信的hadoop模式。这个可以是你的虚拟机上，也可以是你本机上，注意这里必须满足：机器一台，节点一个。     伪分布式模式：这是指在一台机器上，模拟多个节点的hadoop模式。现在的用法是一台主机上开启多台虚拟机进行配置，注意要求：机器一台，节点多个。这
破苍小龙·2015-01-22 09:00

hadoop2.x运行问题

报错：！！！！！015-01-2123:17:50,182WARNorg.apache.hadoop.hdfs.server.common.Util:Path/mnt/hadoop/name/2shouldbespecifiedasaURIinconfigurationfiles.Pleaseupdatehdfsconfiguration.2015-01-2123:17:50,182WARNorg
破苍小龙·2015-01-21 23:00

hadoop2.x 运行问题

启动时报错：！！！！FATALorg.apache.hadoop.hdfs.server.datanode.DataNode:InitializationfailedforBlockpool(DatanodeUuidunassigned)servicetohw165/172.18.11.165:9000.Exiting.！！！说是加载块池失败，看了许久没明白啥意思，后来查看得知datanode的文
破苍小龙·2015-01-21 09:00

hadoop1.0.4升级到hadoop2.2 详细流程步骤

首先声明：hadoop1.x不能直接升级到HA模式下，namenode是不能升级成功的，这里也借助hadoop2.x兼容hadoop1.x的配置文件来升级。
超人学院·2015-01-09 14:00

hadoop2.X视频教程全集下载

1、Hadoop2.X大数据平台V3视频教程（14周全） http://pan.baidu.com/s/1qW4rPSg 密码: 7ohd 2、Hadoop&Spark企业应用实战 链接
一二先生·2015-01-04 12:00

hadoop2.X视频教程下载【共4套】

1、Hadoop2.X大数据平台V3视频教程（14周全）http://pan.baidu.com/s/1qW4rPSg密码:7ohd2、吴超hadoop全套课程链接:http://pan.baidu.com
hadoop大哥大·2015-01-04 11:38

企业级Hadoop 2.x入门系列之十一MapReduce Uber 模式

Uber模式是Hadoop2.X中实现的一种针对MR小作业的优化机制。即如果作业足够小，则所有task在一个jvm（mrappmaster）中完成要比为每个task启动一个container更划算。
云帆大数据·2015-01-03 12:38

windows编译hadoop 2.x Hadoop-eclipse-plugin插件

一．简介Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse上调试代码，我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行，所以这种不方便我们调试代码
zhengcongyi·2014-12-23 08:35

windows编译hadoop 2.x Hadoop-eclipse-plugin插件

一．简介  Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse上调试代码，我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行，所以这种不方便我们调试代码
congcong68·2014-12-23 08:00

hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比

问题导读：1.DataNode的http服务的端口、ipc服务的端口分别是哪个？2.NameNode的http服务的端口、ipc服务的端口分别是哪个？3.journalnode的http服务的端口、ipc服务的端口分别是哪个？4.ResourceManager的http服务端口是哪个？5.NodeManager的http服务端口是哪个？6.Master的http服务的端口、ipc服务的端口分别是哪
a_lele123·2014-12-16 13:55

hadoop2.4.1源码编译步骤 hive0.13.1编译

、编译环境    CentOS6.5 64位    jdk1.7.0_71    maven-3.2.3    hadoop2.4.12、安装JDK,maven    略3、安装protoc    在hadoop2
tjbklx33·2014-12-10 10:32

hadoop2.4.1源码编译步骤 hive0.13.1编译

-----------hadoop编译1、编译环境CentOS6.564位jdk1.7.0_71maven-3.2.3hadoop2.4.12、安装JDK,maven略3、安装protoc在hadoop2
tjbklx33·2014-12-10 10:32

Hadoop小兵笔记【一】Hadoop安装过程中core-site.xml,hdfs-site.xml,mapred-site.xml配置文件详解

      在搭建hadoop开发环境的时候，需要对hadoop进行配置，其中Hadoop1.x的配置文件放在{hadoop_home}/conf目录下，Hadoop2.x的配置文件放在{hadoop_home
cafuc46wingw·2014-12-09 20:00

hadoop2.x常用端口及定义方法

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS,YARN,HBase,Hive,ZooKeeper:组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addre
mecisery·2014-12-09 11:00

大数据平台搭建笔记

关闭防火墙、selinux、umask、packageKit3、辅助软件安装3、1JDK安装3、2MYSQL安装3、3Ganglia安装3、4NTP安装3、5snappy安装4、zookeeper安装5、hadoop2
AShang_BigData·2014-12-06 17:00

hadoop 2.2 hbase "Unable to load native-hadoop library for your platform" 问题解决

在基于hadoop2.x的hbase上执行命令，经常会看到如下提示：WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform
Mrknowledge·2014-12-03 15:00

hadoop eclipse plugin 编译安装，问题总结

插件名称：hadoop2x-eclipse-plugin插件地址：https://github.com/winghc/hadoop2x-eclipse-plugin1.下载并解压hadoop2.x，下载地址
AUB·2014-12-01 14:42

hadoop eclipse plugin 编译安装，问题总结

插件名称：hadoop2x-eclipse-plugin插件地址：https://github.com/winghc/hadoop2x-eclipse-plugin   1.下载并解压hadoop2
aubdiy·2014-12-01 14:00

hadoop eclipse plugin 编译安装，问题总结

插件名称：hadoop2x-eclipse-plugin插件地址：https://github.com/winghc/hadoop2x-eclipse-plugin   1.下载并解压hadoop2
aubdiy·2014-12-01 14:00

Hadoop2.X大数据平台V3视频教程|Hadoop2视频教程

课程大纲：第1周Hadoop生态系统概述以及版本演化概要介绍Hadoop生态系统及其版本演化历史，并给出hadoop版本选择建议。第2周HDFS2.0原理、特性与基本架构介绍HDFS2.0原理与架构，并与HDFS1.0进行对比。介绍HDFS2.0新特性，包括快照、缓存、异构存储架构等第3周YARN应用场景、基本架构与资源调度介绍YARN是什么、基本原理与架构，并剖析其调度策略。第4周MapRedu
张三和李四·2014-11-29 19:00

Hadoop2.X大数据平台V3视频教程|Hadoop2视频教程

课程大纲：第1周Hadoop生态系统概述以及版本演化概要介绍Hadoop生态系统及其版本演化历史，并给出hadoop版本选择建议。第2周HDFS2.0原理、特性与基本架构介绍HDFS2.0原理与架构，并与HDFS1.0进行对比。介绍HDFS2.0新特性，包括快照、缓存、异构存储架构等第3周YARN应用场景、基本架构与资源调度介绍YARN是什么、基本原理与架构，并剖析其调度策略。第4周MapRedu
张三和李四·2014-11-29 19:00

用Hadoop Streaming技术集成newLISP脚本

本文example6环境和之前的Hadoop1.x不同，是在Hadoop2.x环境下测试。功能和前面的日志处理程序一样。
超人学院·2014-11-24 14:00

hadoop2.x HA下DFSClient初始化流程

Hadoop2.XNameNode加入了autofiledover机制，对于采用了HA的namenode，在HDFSClient访问的时候，是如何自动识别active的NN，又是在activeNN宕机的时候，自动切换到新的NN呢。本文将从源码角度分析以下两个问题：1.DFSClient的初始化过程。2.在ActiveNN宕机的时候，如何做到自动切换。1.DFSClient的初始化：主要涉及的类有以
_hadooper·2014-11-21 16:00

如何在Hadoop2上远程调试MapReduce

1.单机安装Hadoop2.x。
colorknight·2014-11-18 23:59

如何在Hadoop2上远程调试MapReduce

1.单机安装Hadoop2.x。
colorknight·2014-11-18 23:00

hadoop2.X如何将namenode与SecondaryNameNode分开配置

本帖最后由pig2于2014-6-1719:54编辑问题导读1.如何将namenode与SecondaryNameNode分开？2.SecondaryNameNode单独配置，需要修改那些配置文件？3.masters文件的作用是什么？我们这里假设你已经安装配置了hadoop2.2，至于如何配置可以参考，hadoop2.2完全分布式最新高可靠安装文档。在这个基础上，我们对配置文件做一些修改：1.增加
a925907195·2014-11-14 22:35

hadoop2.x MapReduce过程

首先要编写一个mapreduce程序：自定义一个Mapper类继承hadoop的Mapper、一个Reducer类继承hadoop的hadoop的Reducer类，然后使用Job对象把它们组装起来；可以通过Configuration的set方法对这个任务进行个性化设置（设置全局的话修改core-site.xml和mapred-site.xml），然后通过job.waitForCompletatio
那个程序员·2014-11-12 17:55

hadoop不同版本的集群数据迁移：distcp

公司以前的hadoop集群是1.X，新到的机器全部安装了CDH5版本的hadoop2.X集群，这就需要把1.X的数据迁移到2.X上。
aaa1117a8w5s6d·2014-11-10 20:00

hadoop2.x namenode ha 架构原理分析

在2.x版本的ha（高可用性）的架构图中看以看到为了完成对两个NN（NameNode）的无缝切换，DN（DataNoe）需要同时将Block信息发给两个NN，而两个NN之间需要做的是元数据信息的同步。这里就涉及到同步的问题，共享存储。在可靠性方面，在每一个NN上启动了DFSZKFailoverController来监听本地NN的运行状态，以便做出相应的判断处理。而zookeeper就算为了实现一个
东方神剑·2014-11-04 18:00

Hadoop2.x介绍与源码编译

1、Hadoop 项目的四大模块Hadoop Common: The common utilities that support the other Hadoop modules.Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to appl
shijiebei2009·2014-11-02 21:00

hadoop2.x namenode ha 架构原理分析

在2.x版本的ha的架构图中看以看到为了完成对两个NN的无缝切换，DN需要同时在Block信息发给两个NN，而NN之间需要做的是元数据信息的同步。这里就涉及到同步的问题，共享存储。在可靠性方面，在每一个NN上启动了DFSZKFailoverController来监听本地NN的运行状态，以便做出相应的判断处理。而zookeeper就算为了实现一个分布式lock，防止同时出现两个activeNN，以及
_hadooper·2014-10-26 10:00

Hadoop1.x和2.X的HDFS fsimage和edits文件运行机制对比

但是，其中没有详细描述HADOOP2.x通过QJM部署HA完毕之后，ActiveNamenode和StandbyNamenode之间的元数据运行机制,实际上由于2.
zengzhaozheng·2014-10-09 11:28

Hadoop1.x和2.X的HDFS fsimage和edits文件运行机制对比

但是，其中没有详细描述HADOOP2.x通过QJM部署HA完毕之后，ActiveNamenode和StandbyNamenode之间的元数据运行机制,实际上由于2.x的HA策
zengzhaozheng·2014-10-09 11:28

win7 eclipse连接hadoop2.x开发环境搭建

环境：hadoop-2.3.0-cdh5.1.0centos6.5x64win7eclipse4.30.前提条件,jdk,maven要安装好。1、下载hadoop，用winRAR解压。（路径不能有空格）D:\JavaDev\hadoop-2.3.0-cdh5.1.02.配置win7环境变量配置hadoop的环境变量HADOOP_HOME=”HADOOP的安装目录”在环境变量的PATH中加入HADO
fz2543122681·2014-09-30 18:00
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他