hadoop1

hadoop1 & hadoop2 fair-schduler 配置和使用

hadoop1配置mapred-site.xml,增加如下内容 mapred.jobtracker.taskScheduler org.apache.hadoop.mapred.FairScheduler
stark_summer·2015-08-28 11:00

将hadoop安装文件放置到了非hadoop用户授权的目录下的系列坑之一

环境描述：搭建了一个4台机器的hadoop集群环境，分别创建了用户hadoop1。1）首先解决了的问问题是实现master与其余三个slave的ssh无密码通信问题。
xuguokun1986·2015-08-21 17:00

Hadoop入门进阶步步高（三）-配置Hadoop

三、配置Hadoop1、设置$HADOOP_HOME/conf/hadoop-env.sh这个文件中设置的是Hadoop运行时需要的环境变量，在1.2.1版中共有19个环境变量，如下： 变量名称默认值说明
帅锅锅·2015-08-18 14:00

VirtualBox+Centos6.4搭建Hadoop1.1.2分布式环境

  伪分布式环境搭建http://mvplee.iteye.com/blog/2212629 复制之前在VirutalBox搭建的伪分布式环境，修改主机名，分别为hadoop1、hadoop2、hadoop3
mvplee·2015-08-10 11:00

hadoop1存在的问题及hadoop2的优势对比

对hadoop1和hadoop  2  做了一个解释图片不错拿来看看 Hadoop1.0 从上图中可以清楚的看出原MapReduce程序的流程及设计思路：首先用户程序(JobClient)提交了一个job
i_bobby·2015-08-03 18:00

zookeeper 3.4.5 分布式安装

解压文件夹，改文件夹名，增加环境变量在conf目录下创建一个配置文件zoo.cfg，（hadoop1,hadoop2,hadoop3各节点  为主机名）tickTime=2000dataDir=/usr
liliang_68·2015-07-31 09:00

Hive命令行常用操作（数据库操作，表操作）

describedatabasedefault;OKdb_namecommentlocationowner_nameowner_typeparametersdefaultDefaultHivedatabasehdfs://hadoop1
李国冬·2015-07-14 22:01

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。如下图
eksliang·2015-07-13 17:00

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。如下图
eksliang·2015-07-13 17:00

linux单向免密码登录

首先关闭防火墙：http://wenwang.iteye.com/admin/blogs/2229975 测试机：  hadoop    192.168.0.125  hadoop1  192.168.0.124
wenwang·2015-07-10 15:00

Hadoop Spark 集群简便安装总结

一、Hadoop1、操作系统一如既往：①setup关掉防火墙、②vi/etc/sysconfig/selinux，改SELINUX=disabled。(3)安装时自定义不要JAVA。
fengyun14·2015-07-05 02:48

Hadoop配置项整理(core-site.xml)

;fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口  fs.checkpoint.dir /opt/data/hadoop1
lixuguang·2015-06-18 10:00

lvm相关命令学习

etc/debian_version 7.8 2、安装包lvm2 apt-get install lvm2 -y 一、将sdb sdc sdd三块分区加到卷组(hadoop),并创建5G的逻辑卷(hadoop1
吃遍·2015-06-13 17:45

lvm相关命令学习

etc/debian_version 7.8 2、安装包lvm2 apt-get install lvm2 -y 一、将sdb sdc sdd三块分区加到卷组(hadoop),并创建5G的逻辑卷(hadoop1
吃遍·2015-06-13 17:45

lvm相关命令学习

当前版本cat /etc/debian_version7.82、安装包lvm2apt-get install lvm2 -y一、将sdb sdc sdd三块分区加到卷组(hadoop),并创建5G的逻辑卷(hadoop1
xdoujiang·2015-06-13 17:45

Eclispe远程调试sqoop

利用eclipse远程调试功能，实现sqoop本地环境集成：利用cygwin部署0、将sqoop-1.4.2放在/home/Administrator/hadoop1、sqoop中设置HOME_HOME
超人学院66·2015-06-03 11:22

Eclispe远程调试sqoop

利用eclipse远程调试功能，实现sqoop本地环境集成：利用cygwin部署0、将sqoop-1.4.2放在/home/Administrator/hadoop1、sqoop中设置HOME_HOME
超人学院66·2015-06-03 11:22

Eclispe远程调试sqoop

利用eclipse远程调试功能，实现sqoop本地环境集成：利用cygwin部署0、将sqoop-1.4.2放在/home/Administrator/hadoop1、sqoop中设置HOME_HOME
超人学院·2015-06-03 11:00

搭建 hadoop2 自动切换HA 集群

hadoop2比hadoop1的一些新的功能：其中HA解决了hadoop1的单点故障问题1)各节点：namenode：master slave3datanode：slave1 slave2  slave3journalnode
01wang·2015-05-31 18:32

搭建 hadoop2 自动切换HA 集群

hadoop2比hadoop1的一些新的功能：其中HA解决了hadoop1的单点故障问题1)各节点：namenode：masterslave3datanode：slave1slave2slave3journalnode
01wang·2015-05-31 18:32

搭建 hadoop2 自动切换HA 集群

hadoop2比hadoop1的一些新的功能：其中HA解决了hadoop1的单点故障问题1)各节点：namenode：master slave3datanode：slave1 slave2  slave3journalnode
01wang·2015-05-31 18:32

hadoop2.6.0三台服务器分布式集群环境的搭建

首先使用虚拟机开启三个服务器hadoop1:192.168.184.128hadoop2:192.168.184.129hadoop3:192.168.184.130使用hadoop1登录安装jdk查看
qq_22929803·2015-05-19 17:00

hbase0.9.6 分布式安装

hbase 完全分布式安装，目前是3台机子，分别为： 192.168.80.101 hadoop1 (作为hbase的master节点) 192.168.80.102 hadoop2  
liliang_68·2015-05-08 09:00

No FileSystem for scheme: hdfs

         最近几个项目模块要从hadoop1升级到hadoop2，不过在修改的过程中出现了一些问题，其中一个问题就是在使用FileSystemfs=FileSystem.get(conf);调用
yhao2014·2015-05-08 09:00

hadoop集群

systemctl stop firewalld systemctl disable firewalld1.master和slave机都修改/etc/hostname添加192.168.1.129  hadoop1
os_vc·2015-04-29 19:00

MapReduce中为什么需要Input Splits?【翻译】

（在Hadoop1中，JobTracker监控每个Mapr
忙碌的键盘·2015-04-20 01:00

机群搭建简版

1.使用centos6.5三台虚拟机：主节点：hadoop1从节点:hadoop2hadoop32.虚拟机创建：分布式的搭建1.关闭防火墙：永久关闭：chkconfigiptablesoff验证：chkconfig–list
zzlzzh·2015-04-14 17:00

core-site.xml配置参数详解

;fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口  fs.checkpoint.dir /opt/data/hadoop1
chengjianxiaoxue·2015-04-10 09:00

Spark实例演示之SparkPi

objectSparkPi{defmain(args:Array[String]){valconf=newSparkConf().setAppName("SparkPi").setMaster("spark://hadoop1
kaiseu·2015-04-04 08:24

大数据学习路线

一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述
也无风雨也无情·2015-04-01 16:21

大数据学习路线

一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述
感受微风·2015-04-01 16:00

(3-2)快速SSH配置

有三台主机：hadoop0、hadoop1、hadoop2第一步：在三台 机器上分别 免密码登陆本机 ssh-keygen-trsa         cat/root/.ssh/id_rsa.pub>>
baolibin528·2015-03-29 18:00

Hadoop2.2.0集群的HA高可靠的最简单配置

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。
天下杰论·2015-03-26 15:00

Hadoop的kerberos的实践部署

在Hadoop1中创建以下两个文件,并同步/etc/krb5.conf到所有机器。/var/kerberos/krb5kdc/kdc.conf:包括KDC的配置信息。
超人学院·2015-03-16 14:00

hadoop2.2.0对应HBase安装说明

注：安装配套hadoop2.2.0版本的HBase,需要hbase-0.96.2-hadoop2-bin.tar.gz1、安装HBase（在hadoop1上）将hbase-0.96.2-hadoop2-
u010022051·2015-03-14 18:00

程序开过多线程，导致hadoop作业无法运行成功——Call to hadoop1:9000 failed on lo cal exception: java.io.IOException: Coul

hadoop集群中某一个节点有时候起不来，查看log日志，有如下错误：2015-03-0910:40:30,253ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:java.io.IOException:Calltohadoop1:9000failedonlocalexception:java.io.IOException:Couldn'ts
u010022051·2015-03-09 11:00

Hadoop集群动态增加一个节点

 Hadoop集群动态增加一个节点 现在已经有一个hadoopcluster，并且两个slave节点为hadoop1、hadoop2，现在要动态增加一个新slave节点hadoop3。 
baolibin528·2015-02-21 21:00

轻松搭建hadoop-1.2.1集群--快速配置SSH免密码登陆

启动三个准备好的Linux虚拟机系统： 2、在Windows的cmd里面ping通VMWare网卡IP： 在Windows的cmd里面ping通hadoop0： 在Windows的cmd里面ping通hadoop1
baolibin528·2015-02-21 00:00

hadoop集群配置

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。
hao707822882·2015-02-13 14:00

hadoop2集群搭建过程

    在这里我们选用4台机器进行示范，各台机器的职责如下表格所示   hadoop0 hadoop1 hadoop2 hadoop3
ssydxa219·2015-02-12 20:00

hadoop2体系结构

http://www.cnblogs.com/meiyuanbao/p/3545929.html 要想理解本节内容，首先需要了解hadoop1的体系结构。
nysyxxg·2015-02-10 12:00

最详细的hadoop2.2.0集群的HA高可靠的最简单配置(转)

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。
javastart·2015-02-05 16:00

SparkSql 使用

炼数成金课程SparkSql无需安装，直接初始化SQLContext即可//启动spark-shellbin/spark-shell--masterspark://hadoop1:7077--executor-memory3g
escaflone·2015-01-29 16:00

hadoop学习路线

一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述
547513778·2015-01-19 13:20

hadoop学习路线

一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述
547513778·2015-01-19 13:20

hadoop2 wordcount 执行输出解释

  0 每一行执行一次map函数   每个组调用一次reduce函数   1 代码：  这里主要看main函数写法 注意和hadoop1写法不同处的对比
chengjianxiaoxue·2015-01-13 11:00

hadoop面试题整理(十二)

一.问答题1.请说说hadoop1的HA如何实现？2.列举出hadoop中定义的最常用的InputFormats。那个是默认的？
zdp072·2015-01-10 20:00

hadoop面试题整理(八)

3、hadoop1和hadoop2的区别？4、列举几个配置文件优化？
zdp072·2015-01-09 17:00

hadoop2简介

  1简介：           1)为何产生hadoop2,yarn平台内部成员关系介绍回答：a)在hadoop1中，jobtracker的职责主要是资源(slot)管理、应用管理。 
chengjianxiaoxue·2015-01-07 15:00

远程调试hadoop1源码(以调试namenode举例)

 1.调试环境1.1远程linux运行的hadoop1.2本地windows的eclipse中导入hadoop源代码1.3本地windows的eclipse中有hadoop的自己写的代码 2.步骤2.1修改远程linux运行的hadoop程序的hadoop-env.sh， 把第21行注释掉，增加一行代码 exportHADOOP_NAMENODE_OPTS= "-Xdebug-Xrunjdwp:t
chengjianxiaoxue·2015-01-06 14:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他