Hadoop1

编译 Hadoop Eclipse Plugin

一前期准备二编译Hadoop1编译hadoop-2202编译hadoop-251和hadoop-2603编译hadoop-250-cdh532三大神的资料1如何编译2包含的相关版本3需要的条件4如何调试
u011414200·2016-01-25 15:00

Hadoop_1: wordcount

）+reduce（）map=输入+输出redeuce=输入+输出wordcountinput:str1=HelloWorld;str2=HelloHadoopoutput:Hello2;World1;Hadoop1
mijian1207mijian·2016-01-23 21:00

大数据框架

一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述
xxssyyyyssxx·2016-01-13 10:00

设定InputSplitSize确定Map Task数

中并没有提供像直接指定Reduce任务数那样来直接指定Map任务数的方法，先来理下逻辑：首先，文件在上传到Hdfs文件系统的时候，被切分成不同的Block块（默认大小为128MB，这里是hadoop2,hadoop1
sungyang·2016-01-08 09:00

设定InputSplitSize确定Map Task数

中并没有提供像直接指定Reduce任务数那样来直接指定Map任务数的方法，先来理下逻辑：首先，文件在上传到Hdfs文件系统的时候，被切分成不同的Block块（默认大小为128MB，这里是hadoop2,hadoop1
sungyang·2016-01-08 09:00

设定InputSplitSize确定Map Task数

中并没有提供像直接指定Reduce任务数那样来直接指定Map任务数的方法，先来理下逻辑：首先，文件在上传到Hdfs文件系统的时候，被切分成不同的Block块（默认大小为128MB，这里是hadoop2,hadoop1
sungyang·2016-01-08 09:00

Centos 下Storm集群的搭建及Java客户端环境

Centos下Storm集群的搭建zookeeper集群搭建在hadoop0，hadoop1，hadoop2机子上。
liuxiangke0210·2015-12-31 09:03

大数据学习路线

一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述
lurao·2015-12-30 23:00

linux下安装hadoop以及myeclipse连接的配置

1.首先在linux上安装ssh服务，请查看我的安装ssh文章2.接着安装hadoop1>从网上下载hadooptar包下载地址2>用命令tar-zxvf/下载路径/tar包3>配置conf文件夹下的配置文件
温润如风·2015-12-19 20:57

linux下安装hadoop以及myeclipse连接的配置

1.首先在linux上安装ssh服务，请查看我的安装ssh文章2.接着安装hadoop1>从网上下载hadooptar包 下载地址2>用命令tar-zxvf/下载路径/tar包3>配置conf文件夹下的配置文件
hsl_1990_08_15·2015-12-19 20:00

搭建hadoop伪分布

hadoop下载地址wgethttp://hadoop.f.dajiangtai.com/hadoop2.2/hadoop-2.2.0-x64.tar.gz0、创建用户 useradd�Cm hadoop1
1121827·2015-12-14 22:01

大数据测试之初识Hadoop1

大数据测试之初识Hadoop    POPTEST老李认为测试开发工程师是面向测试的开发，也就是说，写代码就是为完成测试任务服务的，写自动化测试（性能自动化，功能自动化，安全自动化，接口自动化等等）的case或者开发测试工具完成不同类型的测试。其实自动化测试涉及面非常之广，目前来讲，case基本都可以写成自动化，而性能测试的脚本开发要围绕业务和协议特点来完成开发，并测试完成后依靠软件分析工具对被测
北京茑萝00·2015-12-10 17:15

大数据测试之初识Hadoop1

大数据测试之初识Hadoop    POPTEST老李认为测试开发工程师是面向测试的开发，也就是说，写代码就是为完成测试任务服务的，写自动化测试（性能自动化，功能自动化，安全自动化，接口自动化等等）的case或者开发测试工具完成不同类型的测试。其实自动化测试涉及面非常之广，目前来讲，case基本都可以写成自动化，而性能测试的脚本开发要围绕业务和协议特点来完成开发，并测试完成后依靠软件分析工具对被测
北京茑萝00·2015-12-10 17:15

Zookeeper操作

zookeeper环境变量 3.修改配置文件————zoo.cfg 修改dataDir=/usr/local/zk/data 新增server.0=hadoop0:2888:3888 server.1=hadoop1
ciade·2015-12-02 15:00

hadoop的完全分布式安装

配置hadoop1上传hadoop包2解压hadoop包tar-zxvfhadoop-*.tar.gz-C/usr/local/3配置hadoop伪分布式（要修改4个文件）第一个：hadoop-env.shvimhadoop-env.shexportJAVA_HOME
王重阳V99·2015-11-27 10:01

hadoop的伪分布式安装

查看官网：http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html配置hadoop1
王重阳V99·2015-11-27 10:33

hadoop的伪分布式安装

查看官网：http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html配置hadoop1
王猩人·2015-11-27 10:33

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了
·2015-11-19 15:00

ma-hadoop1 集群内存设置

阅读更多如下介绍是hadoop1的非yarn下内存分配设置：1.内存hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker
chengjianxiaoxue·2015-11-18 11:00

hadoop-1.1.2 在Windows环境下的部署

Cygwin   参考http://blog.csdn.net/wind520/article/details/9223003 2：下载   3：解压在C:\cygwin\hadoop1
·2015-11-13 16:56

Hadoop的分布模式安装

  1.确定集群的结构 IP(主机名) 角色 192.168.1.220(hadoop0) NameNode、JobTracker 192.168.1.221(hadoop1
·2015-11-12 09:45

单词计数WordCountApp.class

private static final String INPUT_PATH = "hdfs://hadoop1:9000/abd";// 输入路径 private static
·2015-11-11 11:50

Why Hadoop2

自从Hadoop2出现之后，其迅速代替了Hadoop1的地位，并丰富了Hadoop的应用场景。假设如今有公司使用Hadoop的话，往往直接採用Hadoop2了。
·2015-11-11 09:11

Hadoop2的简单安装

前面花了很多时间来介绍hadoop1的安装，随着hadoop的发展，hadoop2的应用也越来越普及，hadoop2解决了hadoop1中的很多问题，比如单点故障，namenode容量小的问题。
·2015-11-11 08:24

hadoop的simple认证

1.2.1，我们的实验就在hadoop-1.2.1上进行 Hadoop 版本:1.2.1 OS 版本: Centos6.4 环境配置 机器名 Ip地址 功能 用户 Hadoop1
·2015-11-11 08:22

Hadoop2

hadoop2概述 　　hadoop1和hadoop2的结构比较: 　　　　 　　　　hadoop1中有HDFS和MapReduce.HDFS负责存储,MapReduce负责计算,但是有几个问题需要解决
·2015-11-11 06:43

hadoop2的automatic HA+Federation+Yarn配置的教程

对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。
·2015-11-11 06:29

Hbase0.98的环境搭建

版本: http://mirror.bit.edu.cn/apache/hbase/hbase-0.98.12/ 我这里使用的BIT大学的镜像, 下载与之对应的hbase包,bin代表已经编译过的,hadoop1
·2015-11-11 02:48

Hadoop1的安装

目前hadoop1的稳定版本是1.2.1，我们以版本1.2.1为例详细的介绍hadoop1的安装，此过程包括OS安装与配置，JDK的安装，用户和组的配置，这些过程在hadoop2也有可能用到。
·2015-11-11 02:20

Hadoop2的HA安装(high availability)：nfs+zookeeper

zookeeper Hadoop 版本:2.2.0 OS 版本: Centos6.4 Jdk 版本: jdk1.6.0_32 环境配置 机器名 Ip地址 功能 Hadoop1
·2015-11-11 02:18

ssh 免密码登录

有机器hadoop1(192.168.1.191)，hadoop2(192.168.1.192)。现想A通过ssh免密码登录到B。
weigang.gao·2015-11-06 20:00

国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程

对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。
·2015-11-03 21:17

国内最全最详细的hadoop2.2.0集群的MapReduce的最简单配置

  简介   hadoop2的中的MapReduce不再是hadoop1中的结构已经没有了JobTracker，而是分解成ResourceManager和ApplicationMaster
·2015-10-31 13:04

hadoop 常用配置项

;fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口  fs.checkpoint.dir /opt/data/hadoop1
·2015-10-31 12:46

Win环境下本地运行hadoop1版本出现访问权限问题 Failed to set permissions of path

Win环境下本地运行hadoop1版本出现访问权限问题，会遇到如下报错： Exceptioninthread"main"java.io.IOException:Failedtosetpermissionsofpath
yaoxiaochuang·2015-10-30 23:00

zookeeper3.4.6的安装

再讲具体的步骤之前，需要说明的是，我安装zookeeper的集群是用到了五个节点：分别是hadoop1，hadoop2，hadoop3，hadoop4，hadoop5。也就是说要
·2015-10-27 13:06

搭建Hive平台

假设我们有3台机器：hadoop1,hadoop2,hadoop3。并且都安装好了Hadoop-0.19.2（hive支持的Hadoop版本很多
·2015-10-21 12:44

kafka 集群安装

修改每台服务器的config/server.propertiesbroker.id： 唯一，填数字，本文中分别为101,102,103host.name:填服务器IPzookeeper.connect=hadoop1
liliang_68·2015-10-20 18:00

sbt打包WordCount的过程

1.在安装有spark的客户端上安装sbt（请参考上一篇博客）2.在一台slave终端机的/home/hadoop1/xuguokun/下创建WordCount文件夹。
xuguokun1986·2015-10-20 11:00

Spark 同步提交应用/多文件输出

/spark-submit--classSparkSQLTest--masterspark:hadoop1:7077--executor-memory2g--num-executors3/home/kai
u011414200·2015-10-14 07:00

帮助记忆yarn框架的那张图

hadoop1：    JobTracker负责：①作业调度和任务进度监视 ②追踪任务、重启失败或过慢的任务和进行任务登记。
z_fun·2015-10-01 15:00

学习日志---本地javaApi连接集群hdfs

Exception {         Configuration conf = new Configuration();         conf.set("fs.defaultFS", "hdfs://hadoop1
wukong0716·2015-09-30 08:13

学习日志---本地javaApi连接集群hdfs

Exception {        Configuration conf = new Configuration();        conf.set("fs.defaultFS", "hdfs://hadoop1
wukong0716·2015-09-30 08:13

hadoop2

hadoop1中的hdfs的缺点：(1)当我们的NameNode无法在内存中加载全部元
liaozhongping·2015-09-23 02:00

Hadoop-1.0.4分布模式安装

中添加所有节点的ip与主机名映射5、设置ssh登陆方式，并验证ssh自身是否能成功6、hadoop0节点上执行命令   ssh-copy-id-i~/.ssh/id_rsa.pubhadoop1   在hadoop1
dabokele·2015-09-22 10:00

Spark History Server配置使用

注意：1.目录hdfs://hadoop1:9000/spark/logs是需要自己先创建的，否则会提示无法找到目录。2.只有执行完了的任务才会在这里显示，正在执行的不会在这显示。
cjun1990·2015-09-18 17:00

hadoop2.x对hadoop1在HDFS和Mapre方面的改进（hadoop1和hadoop2的区别）

一、HDFS的改进1.1Hadoop1.x时代的HDFS架构在Hadoop1.x中的NameNode只可能有一个，虽然可以通过SecondaryNameNode与NameNode进行数据同步备份，但是总会存在一定的延时，如果NameNode挂掉，但是如果有部份数据还没有同步到SecondaryNameNode上，还是可能会存在着数据丢失的问题。该架构如图1所示：图1Hadoop1.x时代的HDFS
suibianshen2012·2015-09-07 16:00

ubuntu 安装hadoop_cdh5.4.1步骤

在安装系统时创建用户hadoop1、修改主机名(四台主机)sudovi/etc/hostnamemasterdatanode1datanode2datanode32、主机名解析sudovi/etc/hosts192.168.182.132master192.168.182.135datanode1192.168.182.134datanode2192.168.182.133datanode3scp
安伦_Alan·2015-09-06 17:53

hadoop2.x 如何解决NameNode单节点故障问题？

   hadoop1中只有一个NameNode节点，所以存在单节点故障问题。
suibianshen2012·2015-09-06 17:00

eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务

例如hadoop1包括以前的版
Zero零_度·2015-09-06 14:00
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他