hadoop2.2

Mapper输入InputSplit分片数透析

maptask的数量由输入文件总大小和分片大小确定的；hadoop2.2版本hdfs的数据块默认是128M。若一个文件大于128M，通过将大文件分解得到若干个数据块；若一个文件小于
雪山飞狐·2014-09-26 00:00

Hadoop 2.2在linux上伪分布安装

Runtime Environment (build 1.7.0_51-b13)Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode)Hadoop2.2
371690509·2014-09-24 17:14

使用maven在linux上对hadoop 2.2进行编译

使用maven在linux上对hadoop2.2进行编译0、环境介绍：Hadoop信息：Version：2.2下载地址：http://mirrors.cnnic.cn/apache/hadoop/common
371690509·2014-09-24 14:25

hadoop2.2生态系统快速安装脚本

对于使用hadoop进行开发的朋友们，可能要自己搭建一套hadoop的运行环境，如果不是经常变动的还好，如果，经常搭建而且还是多台机器，那么我们一个个的安装，就显得有点捉襟见肘了，这也是这个脚本诞生的目的，主要帮助我们在快速搭建hadoop集群，以及安装底层的配置依赖环境如JDK，Maven，Ant等，在安装hadoop前，还有一些关于linux基础的工作需要做，包括SSH无密码登陆和批量用户创建
qindongliang1922·2014-09-23 15:00

hadoop2.2生态系统快速安装脚本

对于使用hadoop进行开发的朋友们，可能要自己搭建一套hadoop的运行环境，如果不是经常变动的还好，如果，经常搭建而且还是多台机器，那么我们一个个的安装，就显得有点捉襟见肘了，这也是这个脚本诞生的目的，主要帮助我们在快速搭建hadoop集群，以及安装底层的配置依赖环境如JDK，Maven，Ant等，在安装hadoop前，还有一些关于linux基础的工作需要做，包括SSH无密码登陆和批量用户创建
qindongliang1922·2014-09-23 15:00

hadoop2.2生态系统快速安装脚本

阅读更多对于使用hadoop进行开发的朋友们，可能要自己搭建一套hadoop的运行环境，如果不是经常变动的还好，如果，经常搭建而且还是多台机器，那么我们一个个的安装，就显得有点捉襟见肘了，这也是这个脚本诞生的目的，主要帮助我们在快速搭建hadoop集群，以及安装底层的配置依赖环境如JDK，Maven，Ant等，在安装hadoop前，还有一些关于linux基础的工作需要做，包括SSH无密码登陆和批量
qindongliang1922·2014-09-23 15:00

hadoop2.2生态系统快速安装脚本

对于使用hadoop进行开发的朋友们，可能要自己搭建一套hadoop的运行环境，如果不是经常变动的还好，如果，经常搭建而且还是多台机器，那么我们一个个的安装，就显得有点捉襟见肘了，这也是这个脚本诞生的目的，主要帮助我们在快速搭建hadoop集群，以及安装底层的配置依赖环境如JDK，Maven，Ant等，在安装hadoop前，还有一些关于linux基础的工作需要做，包括SSH无密码登陆和批量用户创建
qindongliang1922·2014-09-23 15:00

hadoop2.2生态系统快速安装脚本

对于使用hadoop进行开发的朋友们，可能要自己搭建一套hadoop的运行环境，如果不是经常变动的还好，如果，经常搭建而且还是多台机器，那么我们一个个的安装，就显得有点捉襟见肘了，这也是这个脚本诞生的目的，主要帮助我们在快速搭建hadoop集群，以及安装底层的配置依赖环境如JDK，Maven，Ant等，在安装hadoop前，还有一些关于linux基础的工作需要做，包括SSH无密码登陆和批量用户创建
qindongliang1922·2014-09-23 15:00

hadoop2.2生态系统快速安装脚本

对于使用hadoop进行开发的朋友们，可能要自己搭建一套hadoop的运行环境，如果不是经常变动的还好，如果，经常搭建而且还是多台机器，那么我们一个个的安装，就显得有点捉襟见肘了，这也是这个脚本诞生的目的，主要帮助我们在快速搭建hadoop集群，以及安装底层的配置依赖环境如JDK，Maven，Ant等，在安装hadoop前，还有一些关于linux基础的工作需要做，包括SSH无密码登陆和批量用户创建
qindongliang1922·2014-09-23 15:00

hadoop2.2生态系统快速安装脚本

对于使用hadoop进行开发的朋友们，可能要自己搭建一套hadoop的运行环境，如果不是经常变动的还好，如果，经常搭建而且还是多台机器，那么我们一个个的安装，就显得有点捉襟见肘了，这也是这个脚本诞生的目的，主要帮助我们在快速搭建hadoop集群，以及安装底层的配置依赖环境如JDK，Maven，Ant等，在安装hadoop前，还有一些关于linux基础的工作需要做，包括SSH无密码登陆和批量用户创建
qindongliang1922·2014-09-23 15:00

入门hadoop安装方法3--hadoop集群

安装-Hadoop2.2集群搭建完全版(基于最终版修改）目录 [隐藏]一、Centos安装之后基本配置1、给hadoop用户增加sudo权限2、同步时间3、永久关闭防火墙(非常重要，一定要确认)4、关闭
罗文浩·2014-09-18 11:00

hadoop1.0.4升级到hadoop2.2 详细流程步骤

hadoop1.x升级到hadoop2.2本文参考了博客：http://blog.csdn.net/ajax_jquery/article/details/27311671，对一些地方做了修改，并详细做了说明
zhouleilei·2014-09-17 20:00

完整分布式Hadoop集群搭建过程

历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）PS
dihaifeng·2014-09-09 14:14

hadoop2.x安装

注意版本）2.安装jdk3.编辑hosts的文件4.关闭防火墙5.部署免密码登录6.下载hadoop2.x并解压7.修改配置文件8.并分发hadoop到各个节点9.启动集群修改配置文件，涉及到的配置文件有：hadoop2.2
雨一直下·2014-09-08 23:00

hadoop2.x安装

hosts的文件 4.关闭防火墙 5.部署免密码登录 6.下载hadoop2.x并解压 7.修改配置文件 8.并分发hadoop到各个节点 9.启动集群 修改配置文件，涉及到的配置文件有： hadoop2.2
雨一直下·2014-09-08 23:00

【甘道夫】Mahout0.9 打patch使其支持 Hadoop2.2.0

欢迎转载，请注明出处：http://blog.csdn.net/u010967382/article/details/39088035造好的车轮让Mahout在Hadoop2.2
u010967382·2014-09-05 23:00

解决Exception from container-launch: ExitCodeException exitCode=1的另类错误

转载请标明出处：http://blackwing.iteye.com/blog/2107107 环境为hadoop2.2，在linux下运行自己的job，报如下错误： Exception
BlackWing·2014-08-21 18:00

hbase0.96与hive0.12整合文档

本文所用环境为3台hadoop2.2，hbase已经安装完毕，具体安装可参照前两篇文章。hive适用的元数据库为mysql，所以master上要安装mysql，用系统自带的即可，这里不在详述。
yushaoqing·2014-08-16 02:51

hbase0.96与hive0.12整合文档

本文所用环境为3台hadoop2.2，hbase已经安装完毕，具体安装可参照前两篇文章。hive适用的元数据库为mysql，所以master上要安装mysql，用系统自带的即可，这里不在详述。
yushaoqing·2014-08-16 02:51

hbase 0.96整合到hadoop2.2三个节点全分布式安装文档

（1）HBase集群安装前准备安装jdkhadoop2.x集群准备(参考上一篇博文hadoop2.2集群安装)ssh集群的时间要保持基本一致（2）HBase集群安装解压HBase# tar zvxf hbase
yushaoqing·2014-08-15 15:26

hbase 0.96整合到hadoop2.2三个节点全分布式安装文档

（1）HBase集群安装前准备安装jdkhadoop2.x集群准备(参考上一篇博文hadoop2.2集群安装)ssh集群的时间要保持基本一致（2）HBase集群安装解压HBase# tar zvxf hbase
yushaoqing·2014-08-15 15:26

hadoop2.2完全分布式高可靠安装文档

集群环境3台机器，一主两从：192.168.41.100 master192.168.41.101 slave1192.168.41.102 slave2系统为CentOS6.42.安装步骤：①安装前准备（1）3台机器全部修改hosts文件和hostname后重启vim /etc/hosts（2）配置节点之间SSH免密码登陆(可参考博文hadoop1集群安装，这里不在详述)（3）安装jdk(可参考
yushaoqing·2014-08-14 23:08

hadoop2.2完全分布式高可靠安装文档

集群环境3台机器，一主两从：192.168.41.100master192.168.41.101slave1192.168.41.102slave2系统为CentOS6.42.安装步骤：①安装前准备（1）3台机器全部修改hosts文件和hostname后重启vim /etc/hosts（2）配置节点之间SSH免密码登陆(可参考博文hadoop1集群安装，这里不在详述)（3）安装jdk(可参考博文h
yushaoqing·2014-08-14 23:08

hadoop环境搭建

历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）PS
jinshuaiwang·2014-08-07 21:00

hadoop 学习日记mark hadoop编译失败

hadoop2.2.0，以前编译未通过，环境也是centOS6.5但是安装了adoop2.3.0，因为HADOOPECLIPSEPLUGIN2.2无法访问虚拟机HDFS文件系统,所以新装了一个CentOS虚拟机，重新编译hadoop2.2
顶戴枯花样百出·2014-07-27 16:00

在windows版本下的eclipse中连接hadoop2.2跑job

首先要重写在YARNRUNNDER.java这个类将350行改成ContainerLaunchContextamContainer=ContainerLaunchContext.newInstance(localResources,replaceEnvironment(environment),vargsFinal,null,securityTokens,acls);privateMaprepla
LANWENBING·2014-07-22 16:00

Spark on Yarn安装

1、安装hadoop-2.2.0下载hadoop2.2版本。
xixicat·2014-07-19 09:00

在hadoop2.2上安装hive

折腾了大半天终于把hive安装在hadoop2.2上了，为了今后有可查阅的资料，这里记录下整个过程，如有不对的地方，敬请拍砖！
281824088·2014-07-15 09:56

CentOS6.5-64bit Hadoop2.4.1分布式集群部署

因参考文档大多是hadoop2.2版本，所以在这里重新整理一份hadoop2.4.1版本的与大家分享。文档中如有错误的地方，欢迎大家留言指出，我看到后会第一时间确认修改。
一脸坏笑·2014-07-14 13:00

hadoop2.2安装前64位编译常见错误

CentOS上安装软件错误提示：configure:error:noacceptableCcompilerfoundin$PATH       因为是centoslinux，默认可以采用yum方式安装，则采用如下命令安装gcc编译器即可：yum-yinstallgcc在某些软件的时候，运行./configure会报错，错误提示为：configure:error:C++preprocessor“/l
雨一直下·2014-07-13 22:00

hadoop2.2安装前64位编译常见错误

CentOS上安装软件错误提示： configure: error: no acceptable C compiler found in $PATH         因为是centos linux，默认可以采用yum方式安装，则采用如下命令安装gcc编译器即可： yum -y install gcc 在某些
雨一直下·2014-07-13 22:00

在hadoop2.2上安装hbase 集成zookeeper

如果想详细了解hbase的安装：http://abloz.com/hbase/book.html和官网http://hbase.apache.org/1. 快速单击安装在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。1.1下载解压最新版本选择一个 Apache下载镜像：http://www.apache.or
281824088·2014-07-13 11:14

hadoop2.2分布式部署

弄了大半天终于把hadoop2.2的集群搭建好了，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，这个操作步骤我验证过了，我用的centos
281824088·2014-07-12 22:47

让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2

转自：http://www.aboutyun.com/thread-7949-1-1.html问题导读：1.什么是flume？2.如何安装flume？3.flume的配置文件与其它软件有什么不同？一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作情报人员（1）搜集信息（2）获取
lskyne·2014-07-07 19:00

hadoop调研

CentOS6.4下搭建hadoop2.2（64bit）注意事项3. 
zongquanliu·2014-07-03 01:02

hadoop2.2 java API 操作 HDFS(1)

导入hadoop需要的jar包，本文采用Maven方式管理项目           junit       junit       4.7       test             org.apache.hadoop   hadoop-minicluster   2.2.0             org.apache.hadoop   hadoop-client   2.2.0       
残风vs逝梦·2014-07-02 17:00

Win7上eclipse无插件提交Hadoop2.2分布式作业

一直以来，都以为，想在Win上提交hadoop集群的作业，必须得在eclipse上安装hadoop-eclipse-plugin插件才可以提交，但最近与同事交流，发现其实，不一定必须安装hadoop的eclipse插件，才能提交。今天试了一把，发现果然可以不用安装插件也可以正确提交作业到集群上，故在此总结一下。既然，无须安装hadoop的eclipse插件，就能提交hadoop作业，那为毛，还出现
qindongliang1922·2014-06-25 20:00

Win7上eclipse无插件提交Hadoop2.2分布式作业

一直以来，都以为，想在Win上提交hadoop集群的作业，必须得在eclipse上安装hadoop-eclipse-plugin插件才可以提交，但最近与同事交流，发现其实，不一定必须安装hadoop的eclipse插件，才能提交。今天试了一把，发现果然可以不用安装插件也可以正确提交作业到集群上，故在此总结一下。既然，无须安装hadoop的eclipse插件，就能提交hadoop作业，那为毛，还出现
qindongliang1922·2014-06-25 20:00

Win7上eclipse无插件提交Hadoop2.2分布式作业

一直以来，都以为，想在Win上提交hadoop集群的作业，必须得在eclipse上安装hadoop-eclipse-plugin插件才可以提交，但最近与同事交流，发现其实，不一定必须安装hadoop的eclipse插件，才能提交。今天试了一把，发现果然可以不用安装插件也可以正确提交作业到集群上，故在此总结一下。既然，无须安装hadoop的eclipse插件，就能提交hadoop作业，那为毛，还出现
qindongliang1922·2014-06-25 20:00

Win7上eclipse无插件提交Hadoop2.2分布式作业

一直以来，都以为，想在Win上提交hadoop集群的作业，必须得在eclipse上安装hadoop-eclipse-plugin插件才可以提交，但最近与同事交流，发现其实，不一定必须安装hadoop的eclipse插件，才能提交。今天试了一把，发现果然可以不用安装插件也可以正确提交作业到集群上，故在此总结一下。既然，无须安装hadoop的eclipse插件，就能提交hadoop作业，那为毛，还出现
qindongliang1922·2014-06-25 20:00

Win7上eclipse无插件提交Hadoop2.2分布式作业

一直以来，都以为，想在Win上提交hadoop集群的作业，必须得在eclipse上安装hadoop-eclipse-plugin插件才可以提交，但最近与同事交流，发现其实，不一定必须安装hadoop的eclipse插件，才能提交。今天试了一把，发现果然可以不用安装插件也可以正确提交作业到集群上，故在此总结一下。既然，无须安装hadoop的eclipse插件，就能提交hadoop作业，那为毛，还出现
qindongliang1922·2014-06-25 20:00

Win7上eclipse无插件提交Hadoop2.2分布式作业

一直以来，都以为，想在Win上提交hadoop集群的作业，必须得在eclipse上安装hadoop-eclipse-plugin插件才可以提交，但最近与同事交流，发现其实，不一定必须安装hadoop的eclipse插件，才能提交。今天试了一把，发现果然可以不用安装插件也可以正确提交作业到集群上，故在此总结一下。既然，无须安装hadoop的eclipse插件，就能提交hadoop作业，那为毛，还出现
qindongliang1922·2014-06-25 20:00

Eclipse调用hadoop2运行MR程序

hadoop：hadoop2.2，windowsmyeclipse环境；Eclipse调用hadoop运行MR程序其实就是普通的java程序可以提交MR任务到集群执行而已。
wbj0110·2014-06-25 15:00

Eclipse调用hadoop2运行MR程序

hadoop：hadoop2.2，windowsmyeclipse环境；Eclipse调用hadoop运行MR程序其实就是普通的java程序可以提交MR任务到集群执行而已。
wbj0110·2014-06-25 15:00

Eclipse调用hadoop2运行MR程序

hadoop：hadoop2.2，windowsmyeclipse环境；Eclipse调用hadoop运行MR程序其实就是普通的java程序可以提交MR任务到集群执行而已。
wbj0110·2014-06-25 15:00

Hadoop2.2异常No FileSystem for scheme: hdfs

把eclipse中的hadoop项目，换了一个工作空间，再次启动任务时，发现报如下异常：java.io.IOException:NoFileSystemforscheme:hdfs atorg.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421) atorg.apache.hadoop.fs.FileSyste
qindongliang1922·2014-06-25 13:00

Hadoop2.2异常No FileSystem for scheme: hdfs

把eclipse中的hadoop项目，换了一个工作空间，再次启动任务时，发现报如下异常：java.io.IOException:NoFileSystemforscheme:hdfs atorg.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421) atorg.apache.hadoop.fs.FileSyste
qindongliang1922·2014-06-25 13:00

Hadoop2.2异常No FileSystem for scheme: hdfs

把eclipse中的hadoop项目，换了一个工作空间，再次启动任务时，发现报如下异常：java.io.IOException:NoFileSystemforscheme:hdfs atorg.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421) atorg.apache.hadoop.fs.FileSyste
qindongliang1922·2014-06-25 13:00

Hadoop2.2异常No FileSystem for scheme: hdfs

把eclipse中的hadoop项目，换了一个工作空间，再次启动任务时，发现报如下异常：java.io.IOException:NoFileSystemforscheme:hdfs atorg.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421) atorg.apache.hadoop.fs.FileSyste
qindongliang1922·2014-06-25 13:00

Hadoop2.2异常No FileSystem for scheme: hdfs

把eclipse中的hadoop项目，换了一个工作空间，再次启动任务时，发现报如下异常：java.io.IOException:NoFileSystemforscheme:hdfs atorg.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421) atorg.apache.hadoop.fs.FileSyste
qindongliang1922·2014-06-25 13:00
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他