hadoop2.6

hadoop伪分布式下 无法启动datanode的原因及解决办法

1.环境描述：虚拟机12.0，Ubuntu14.04，伪分布式安装Hadoop2.6。2.问题描述：多次格式化文件系统时，会出现datanode无法启动。
love666666shen·2017-07-04 18:02

Hadoop单机/伪分布式配置(Centos7/hadoop2.6)

1Hadoop简介ApacheHadoop是一款支持数据密集型分布式应用并以Apache2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google文件系统的论文自行实现而成。2Hadoop源码下载由于hadoop是开源平台代码和源程序可以自由下载，官网提供两种源码，一种是源代码主要是未编译的源代码，可以
fancyler·2017-04-10 16:45

HaDoop2.6下安装并配置Spark1.6.3

Spark是HadoopMapReduce的通用并行框架，不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法；1.下载安装Scala1.1到Scala官网下载想要的版本：1.2下载后上传到安装目录下使用：tar-zxvfscala-2.12.0.tgz解压后的文件为：scala
一叶_障目·2017-03-09 21:45

hadoop2.6 HA部署

因为需要部署spark环境，特意重新安装了一个测试的hadoop集群，现将相关步骤记录如下：硬件环境：四台虚拟机，hadoop1~hadoop4，3G内存，60G硬盘，2核CPU软件环境：CentOS6.5，hadoop-2.6.0-cdh5.8.2，JDK1.7部署规划：hadoop1（192.168.0.3）：namenode（active）、resourcemanagerhadoop2（19
alexanda2000·2016-12-25 14:49

Eclipse调用Spark on yarn问题及解决

软件版本：Spark1.4.1，Hadoop2.6，Scala2.10.5,Eclipse4.5.1，intelliJIDEA14，JDK1.7集群环境：windows7（包含JDK1.7，Eclipse4.5.1
fansy1990·2016-08-04 15:13

Hadoop2.6分布式集群安装配置

一、Hadoop概述1.简介hadoop是一个开源分布式计算平台框架基于apache协议发布由java语言开发。http://hadoop.apache.org/2.hadoop组件介绍HDFS分布式文件系统为分布式计算提供了数据存储Mapreduce应用程序被分区成许多小部分而每个部分都能在集群中的任意节点上运行一句话就是任务的分解和结果的汇总Common为其他组件提供常用工具支持YARN作业调
糖在兜兜里·2016-07-15 18:12

使用Eclipse连接hbase1.1 hadoop2.6

配置项目环境：1.当第三方应用访问HBase时，需要首先访问ZooKeeper（由$HBASE_HOME/conf/hbase-site.xml设置），因此需要通过classpath来指定HBase配置文件的位置（即$HBASE_HOME/conf的位置） 其它文章介绍将hbase-site.xml拷贝过来就可以了，我是将hadoop下的两个文件也拷贝过来了。2.将hbase目录lib下的jar包
nengyu·2016-06-28 22:00

Hadoop HDFS本地存储目录结构解析

本文基于Hadoop2.6版本介绍HDFSNamenode本地目录的存储结构和Datanode数据块存储目录结构，也就是hdfs-site.xml中配置的dfs.namenode.name.dir和dfs.namenode.data.dir
opensure·2016-05-19 11:21

Windows 使用Eclipse配置连接hadoop，编译运行MapReduce --本地调试WordCount

windows-x64.exe)官网下载地址http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-windows-x64.exehadoop版本：hadoop2.6
zz0548·2016-05-04 10:00

centos下hadoop2.6伪分布式环境搭建

1.、准备工作：hadoop-2.6.0-x64.tar.gzjdk-7u76-linux-x64.tar.gz操作系统：centos6.0，IP:192.168.56.20，用户root,hadoop以下操作使用root用户登录-------------------------------------------------------------------：2、修改主机名和IP地址映射vi/
k3xiong2015·2016-04-30 20:05

Hadoop2.6（新版本）----MapReduce工作原理

最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce的工作原理下面我画了一张图,便于理解MapReduce得整个工作原理下面对上面出现的一些名词进行介绍ResourceManager：是YARN资源控制框架的中心模块，负责集群中所有的资源的统一管理和分
tanggao1314·2016-04-28 17:00

windows 远程连接Hadoop debug MapReduce

环境：windows7 Hadoop2.6 idea在idea中创建maven项目，然后配置maven， org.apache.hadoop hadoop-common 2.6.2
libinchinabj·2016-04-22 17:00

CentOS 6 安装Hadoop 2.6 （四）运行简单例子

CentOS6安装Hadoop2.6（一）准备工作CentOS6安装Hadoop2.6（二）配置HadoopCentOS6安装Hadoop2.6（三）问题收集CentOS6安装Hadoop2.6（四）运行简单例子
Lnho2015·2016-04-11 15:00

CentOS 6 安装Hadoop 2.6 （四）运行简单例子

CentOS6安装Hadoop2.6（一）准备工作CentOS6安装Hadoop2.6（二）配置HadoopCentOS6安装Hadoop2.6（三）问题收集CentOS6安装Hadoop2.6（四）运行简单例子
Lnho2015·2016-04-11 15:00

CentOS 6 安装Hadoop 2.6 （三）问题收集

CentOS6安装Hadoop2.6（一）准备工作CentOS6安装Hadoop2.6（二）配置HadoopCentOS6安装Hadoop2.6（三）问题收集CentOS6安装Hadoop2.6（四）运行简单例子排查错误的重要途径就是检查日志文件
Lnho2015·2016-04-11 12:00

CentOS 6 安装Hadoop 2.6 （三）问题收集

CentOS6安装Hadoop2.6（一）准备工作CentOS6安装Hadoop2.6（二）配置HadoopCentOS6安装Hadoop2.6（三）问题收集CentOS6安装Hadoop2.6（四）运行简单例子排查错误的重要途径就是检查日志文件
Lnho2015·2016-04-11 12:00

CentOS 6 安装Hadoop 2.6 （二）配置Hadoop

CentOS6安装Hadoop2.6（一）准备工作CentOS6安装Hadoop2.6（二）配置HadoopCentOS6安装Hadoop2.6（三）问题收集CentOS6安装Hadoop2.6（四）运行简单例子下文服务器描述
Lnho·2016-04-11 12:15

CentOS 6 安装Hadoop 2.6 （二）配置Hadoop

CentOS6安装Hadoop2.6（一）准备工作CentOS6安装Hadoop2.6（二）配置HadoopCentOS6安装Hadoop2.6（三）问题收集CentOS6安装Hadoop2.6（四）运行简单例子下文服务器描述
Lnho2015·2016-04-11 12:00

hadoop伪分布环境配置以及hbase 配置

简书作者heamon7 文章地址：http://www.jianshu.com/users/1e2553eec992/latest_articles本文是第一篇，记录了如何在Ubuntu14.04搭建Hadoop2.6
hetianguang·2016-04-08 11:00

编译hadoop2.6

系统:CentOs6.5_64在root用户下,必须能联网,1.操作系统编译环境yuminstallcmakelzo-develzlib-develgccgcc-c++autoconfautomakelibtoolncurses-developenssl-devellibXtst参考yuminstallglibc-headersyuminstallgccyuminstallgcc-c++yumin
q383700092·2016-04-07 08:00

Hadoop 2.5.2 安装

安装环境准备：1、JDK版本支持Hadoop2.7以后的版本需要Java7支持 Hadoop2.6以前支持Java6 JDK测试结果JDK安装（rpm方式）：rpm-ivhjdk-7u79-linux-x64
yezhenquan123·2016-04-07 01:00

hadoop2.6伪分布式配置

软件的安装目录：/opt/modules/安装: 0）说明SSH本机免登陆密码ssh-keygen-tdsa-P''-f~/.ssh/id_dsacat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys1、系统：CentOS6.464位2、关闭防火墙和SELinuxserviceiptablesstatusserviceiptablesstopchkconfigip
q383700092·2016-03-31 09:00

Hadoop2.6 全分布式安装,配置了联邦

Hadoop全分布式安装2.6 共4台机器hadoop01 namenode      zookeeper         zkfc(zookeeperfailovercontroller)hadoop02 namenode datanode zookeeper journalnode  zkfchadoop03      datanode zookeeper journalnodehadoop0
q383700092·2016-03-29 17:00

夜行侠老师Hadoop架构设计与源码分析视频教程

http://www.xuetuwuyou.com/course/88课程出自学途无忧网：http://www.xuetuwuyou.com一、课程大纲：第1课、Hadoop介绍以及虚拟机的配置第2课、Hadoop2.6
相思苦闷·2016-03-25 10:00

配置spark开发环境1——资源准备

所需要的软件资源：          1）vmaware11          2）centos（3台虚拟环境，其中两台做slave，一台做master）          3）hadoop2.6（下载地址
jim_cainiaoxiaolang·2016-03-24 21:00

Hadoop2.6集群动态添加和删除数据节点

   开始之前，应该把所有新增数据节点上的Hadoop环境都配置好（如果要直接复制已经存在节点的hadoop文件夹，应该删掉里面已经产生的集群数据，比如tmp和data目录，不然会出问题）Step1：关闭新加入数据节点的防火墙。Step2：在各个节点上把hosts信息补充完整Step3：在两个NameNode上，打通向新增数据节点无密钥SSH登录的通道。Step4：在两个NameNode上的dfs
aibati2008·2016-03-09 17:00

hadoop2x-eclipse-plugin在hadoop 2.7下编译

我下载源码包后发现其release包中只有hadoop2.6的，我本机的环境是hadoop2.7.1所以需要自己编译环境准备其官方的编译指导文件描述
StormrageWang·2016-03-09 12:00

hadoop2.6伪分布式安装

1.安装JDK配置JDK环境变量2.在环境变量中配置hadoopbin和sbin目录,同JDK3.配置文件core-site.xml  fs.defaultFShdfs://localhost/  hdfs-site.xmldfs.replication1mapred-site.xmlmapreduce.framework.nameyarn yarn-site.xmlyarn.resourcema
自强不息c·2016-03-06 14:00

CentOS6.5 64位安装单机版hadoop2.6教程

Hadoop2.6单机安装安装环境硬件：虚拟机操作系统：Centos6.564位主机名：hadoop0安装用户：root主机名很重要，可以任意自定义，但是一定要记住。
u010946556·2016-03-05 17:00

Hadoop2.6运行wordcount

Hadoop2.6运行wordcount1、启动hadoop[[email protected]]$.
1350368559·2016-02-28 16:59

Hadoop2.6运行wordcount

Hadoop2.6运行wordcount1、启动hadoop[[email protected]]$.
1350368559·2016-02-28 16:59

Hadoop2.6DataNode服务未启动

Hadoop2.6DataNode服务未启动1、Hadoop2.6安装完成之后，在DataNode上jps发现没有NataNode服务，很奇怪查看日志，之后发现原因是hadoop安装好之后，格式化多次，
1350368559·2016-02-28 15:27

搭建hadoop2.6集群

1．下载解压hadoop2.6tar-zxvfhadoop-2.6.0.tar.gz2．修改hadoop-env.shexportJAVA_HOME=/usr/local/jdk1.7.0_80exportHADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/hbase-0.98.15/lib/*3．修改yarn-env.sh、exportJAVA_HOME=
luyaoguimeng·2016-02-20 22:07

hadoop2.6配置文件

hdfs-site.xml dfs.nameservices mycluster dfs.ha.namenodes.mycluster nn1,nn2 dfs.namenode.rpc-address.mycluster.nn1 machine1.example.com:8020 dfs.namenode.rpc-address.mycluster.nn2 machine2.example.com
郭真真·2016-02-18 14:00

hadoop2.6安装

创建hadoop用户：[root@localhost ~]#groupaddhadoop[root@localhost ~]#useraddhadoop-ghadoop设置密码：[root@localhost ~]#passwdhadoop修改主机名称：vi/etc/sysconfig/networkhostname检查主机名称ssh无密码登陆：AB两机要实现ssh无密码登陆要使用公钥私钥，在A机
郭真真·2016-02-12 03:00

hadoop - hadoop2.6 分布式 - 集群环境搭建 - Hadoop 2.6 分布式安装配置与启动

1.开始个人配置：笔记本（deepinlinux）+vritualBox(ubuntu)x3说明：一定要看！！！在上篇hadoop-hadoop2.6分布式-集群环境搭建-JDK安装配置和SSH安装配置与免密码登陆（集群中）中，配置SSH免密码登陆，是在各个系统用户下进行配置的，然而，可以进行正常的连接使用，但并不能就行配置Hadoop,因为没有办法，让其的目录一致！！！比如note1节点，用户为
LABLENET·2016-01-26 20:31

hadoop - hadoop2.6 分布式 - 集群环境搭建 - 系统搭建和网络配置

1.配置我的搭建环境是个人笔记本（deepinlinux）+VirtualBox（3个ubuntulinux);宿主计算机（个人笔记本）配置如下（很低）：虚拟机中的配置一样：内存512M,磁盘30G;2.虚拟机中ubuntu安装与配置一台配置成功，3台仿照这就可以配置了！2.1新建虚拟机2.2设置内存2.3设置磁盘2.4虚拟磁盘类型VDI2.5动态分配（用多少占多少）2.6设置大小和位置（最好放在
LABLENET·2016-01-24 14:11

hadoop - hadoop2.6 伪分布式 示例 wordcount 分词 和 hdfs常用操作命令

1.背景上篇已经学习了hadoop伪分布式安装，这篇演示一个例子；更好的理解hdfs文件系统！2.hdfs命令操作说明：我这里hadoop进行了path变量配置，所以可以使用hadoop命令，如果你没有配置的话，看下篇文章进行配置或者进入hadoop根目录，使用bin目录下的hadoop执行hdfs操作；2.1fs-ls/查看目录下的内容yuan@LABELNET:~$hadoopfs-ls/us
LABLENET·2016-01-21 20:33

编译基于Hadoop2.6的Spark1.6源码

...... [INFO]Includingorg.spark-project.spark:unused:jar:1.0.0intheshadedjar. [WARNING]hadoop-yarn-common-2.6.0.jar,hadoop-yarn-api-2.6.0.jardefine3overlappingclasses: [WARNING]-org.apache.hadoop.y
侯上校·2016-01-12 14:00

Hadoop2.6 datanode配置在线更新

datanode的配置可以在线更新了，http://blog.cloudera.com/blog/2015/05/new-in-cdh-5-4-how-swapping-of-hdfs-datanode-drives/在大的hadoop生产集群中，每一台机器都会配置多块硬盘，而硬盘的损坏也是常态，如何让硬盘的损坏不影响正常的生产呢？如果在hdfs-site.xml中把dfs.datanode.fa
tneduts·2016-01-09 11:00

Hadoop2.6 HDFS EDIT LOG分析

以hadoopfs-chowndata_sum:data_sum/test/input为例，讲解决EditLog的执行过程。当客户端执行以上命令时，通过RPC调用，服务器端执行NameNodeRpcServer.setOwner方法,代码如下：@Override//ClientProtocol publicvoidsetOwner(Stringsrc,Stringusername,Stringgr
houzhizhen·2016-01-08 14:00

CentOS7搭建Hadoop2.6完全分布式集群环境

3台主机192.168.30.207Master192.168.30.251Node1192.168.30.252Node2直接用root装,省事.有特殊需求自行adduser装.以下步骤除非特殊说明,否则每台都必须配置.1.rpm-ivhXX.rpm装JDK我这装的/usr/java/jdk1.8.0_65tar-zxvfhadoop-2.6.3.tar.gz你懂的vi/etc/profile环
a237428367·2016-01-05 19:33

CentOS 6.5 搭建Hadoop2.6完全分布式集群

Environment：OS：CentOS6.5x64HadoopVersion：2.6.0Host：IPHostName172.22.35.167Master172.22.35.159Slave1172.22.35.158Slave2172.22.35.147Slave3172.22.35.160Second搭建过程如下：Step1：在所有主机上新建hadoop用户#useraddhadoop#
philadelphiazt·2016-01-04 11:35

Hadoop2.6+zookeeper3.4.6+hbase1.1.0.1完全分布式配置方案

—整合资源，共同学习[参考博客（工学1号管）：http://wuyudong.com/115.html]Apache ALL开源软件：http://archive.apache.org/dist/一、hadoop2.6
mengzhengyu1025·2016-01-03 22:00

Linux下hadoop2.6和Spark环境搭建

环境准备集群有三台机器：master：W118PC01VM01/192.168.0.112slave1：W118PC02VM01/192.168.0.113slave2：W118PC03VM01/192.168.0.114首先配置/etc/hosts中ip和主机名的映射关系：*192.168.0.112W118PC01VM01*192.168.0.113W118PC02VM01*192.168.0
hu_yi123·2015-12-29 17:06

hadoop2.6上部署spark

注：本文中的操作都是在虚拟机中进行的Hadoop2.6的安装可以看之前的文章，这里就不再赘述http://blog.csdn.net/yuzhuzhong/article/details/50000307
yuzhuzhong·2015-12-08 08:00

centos单机安装Hadoop2.6

感谢分享！http://blog.csdn.net/woshisunxiangfu/article/details/44026207集群安装：http://blog.csdn.net/linghe301/article/details/9184453Hadoop2.6单机安装一，安装环境 硬件：虚拟机 操作系统：Centos6.464位 IP：10.51.121.10 主机名：datanode-4
An342647823·2015-11-26 17:00

hive-1.1.0-cdh5.4.0 安装

安装jdk:source~/.bash_profile   [推荐在当前用户的环境变量配置]安装hadoop依据hadoop2.6的配置文件。
BingClouds·2015-11-14 22:00

windows7+eclipse-jee-luna+hadoop2.6运行环境及eclipse plugin插件编译

一、hadoop集群环境配置  参见：《Hadoop2.6集群环境搭建（HDFS HA+YARN）原来4G内存也能任性一次.》
·2015-11-11 16:02

基于Hbase数据的Mapreduce程序环境开发

简单描述集群环境：Hadoop2.6, Hbase0.98 。 　　1、因Mapreduce程序中
·2015-11-11 11:04
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他