Hadoop2.4.1

centOS7上搭建hadoop2.4.1的步骤

1.给虚拟机配置静态IP执行命令：vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0 IPV6INIT=yes #BOOTPROTO=dhcp#修改前 BOOTPROTO="static"#修改后 UUID=38fddc7f-1e93-4186-90e0-5b4edc91f398 ONBOOT=yes TYPE=Ethern
qianjiangbing·2016-06-24 17:00

Hadoop2.4.1 简单的wordCount的MapReduce程序

我也是初学Hadoop，这一系列的博客只是记录我学习的过程。今天写了个自己的wordCount程序。1.环境：Centos6.5 32位，在linux环境中开发。2.核心代码如下： 2.1Mapper类。packagecom.npf.hadoop; importjava.io.IOException; importorg.apache.hadoop.io.LongWritable; impor
pfnie·2016-06-12 15:00

hadoop2.4.1提交到Yarn： Mapreduce执行过程分析2

问题导读：1.hadoop哪些数据类型，是如何与Java数据类型对应的？2.ApplicationMaster什么时候启动？3.YarnChild进程什么时候产生？4.如果在recuece的情况下，map任务完成暂总任务的多少百分比？5.run的执行步骤是什么？6.哪个方法来执行具体的map任务？7.获取配置信息为哪个类？8.TaskAttemptContextImpl还增加了什么信息？4.3Ma
pfnie·2016-06-12 15:00

hadoop2.4.1提交到Yarn： Mapreduce执行过程分析1

1.为什么会产生Yarn？2.Configuration类的作用是什么？3.GenericOptionsParser类的作用是什么？4.如何将命令行中的参数配置到变量conf中？5.哪个方法会获得传入的参数？6.如何在命令行指定reduce的个数？7.默认情况map、reduce为几？8.setJarByClass的作用是什么？9.如果想在控制台打印job（maoreduce）当前的进度,需要设置
pfnie·2016-06-12 10:00

Hadoop2.4.1 RPC实现的底层原理(一)

RPC是远程过程调用(RemoteProcedureCall)，即远程调用其他虚拟机中运行的javaobject。RPC是一种客户端/服务器模式，那么在使用时包括服务端代码和客户端代码，还有我们调用的远程过程对象。简单的理解可以看下图：Hadoop的RPC主要是通过Java的动态代理与反射实现，代理类是由java.lang.reflect.Proxy类在运行期时根据接口，采用Java反射功能动态生
pfnie·2016-05-08 16:00

Hadoop2.4.1 HDFS的Java客户端开发

我是在linux的环境下的Eclipse中开发这个程序的，如果你是在windows环境下写这个程序，请自行调整。第一步：首先我们确定自己的hadoop的hdfs的环境是好的，我们在linux中启动hdfs,然后在web页面上通过URL测试：http://uatciti:50070第二步：在Linux下打开Eclipse,写我们的客户端代码。说明：我们在Linux系统的/usr/local/devt
pfnie·2016-05-08 11:00

Hadoop简单入门之伪分布式搭建

我的机器:阿里云服务器，64位，Java64，Hadoop2.4.1（64）所有软件下载百度云密码：uup8讲在开头：对于笔者的完全分布式环境请见该文：Hadoop完全分布式安装写文章不易，欢迎大家采我的文章
peace1213·2016-05-08 10:00

Hadoop2.4.1伪分布式搭建

1.准备hadoop的安装文件   通过FTP服务器将hadoop-2.4.1.tar.gz上传到linux上的/usr/local/devtool/hadoop目录下。2.使用命令进入到该目录下，并查看当前目录下的文件信息cd/usr/local/devtool/hadoop/使用tar命令将hadoop的安装包解压tar-zxvfhadoop-2.4.1.tar.gz将/usr/local/d
pfnie·2016-05-05 21:00

Hadoop之——Hadoop2.4.1伪分布搭建

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/511953941.准备Linux环境 1.0配置VMware点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段：192.168.1.0子网掩码：255.255.255.0->apply->o
l1028386804·2016-04-20 00:00

hadoop2.4.1伪分布配置

core-site.xmlfs.defaultFShdfs://master:9000hadoop.tmp.dir/home/hadoop/app/hadoop-2.4.1/tmpio.file.buffer.size    131072    hadoop.tmp.dir    file:/home/hadoop/app/tmp    dfs.namenode.name.dir    file:
china_demon·2016-04-11 01:00

ssh免密码登陆简单原理

注1：黑色为配置过程，红色为验证登录过程注2：在配置hadoop分布式集群时，要使用SSH免密码登陆，具体代码实现见hadoop2.4.1完全分布式搭建 最后部分
u013527419·2016-03-26 08:00

hadoop2.4.1完全分布式搭建

1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段：192.168.1.0子网掩码：255.255.255.0->apply->ok回到windows-->打开网络和共享中心->更改适配器设置->右键VMnet1->属性->双击IPv4->设置windows的IP：192.16
u013527419·2016-03-26 08:00

hadoop伪分布式环境搭建

基于centos7和jdk1.7,hadoop2.4.1的环境搭建(建议64位机子用我提供的2.3.0搭建，我用2.4.1遇到了些问题和警告)。
陶宇_CD·2016-03-21 16:00

hadoop伪分布式环境搭建

基于centos7和jdk1.7,hadoop2.4.1的环境搭建(建议64位机子用我提供的2.3.0搭建，我用2.4.1遇到了些问题和警告)。
陶宇_CD·2016-03-21 16:00

linux下编译hadoop2.4.1源码

提示：最好在64位操作系统下编译。虚拟机内存不低于2G，硬盘空间不低于10G首先安装google的protobufyuminstallglibc-headersyuminstallgccyuminstallgcc-c++yuminstallmakeyuminstallcmakeyuminstallopenssl-develyuminstallncurses-develtarzxvfprotobuf
项长老·2016-02-05 12:00

Hadoop伪分布式搭建-（3）

安装hadoop2.4.1（或其他更高版本）注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop伪分布式需要修改5个配置文件3.0上传hadoop并解压到指定目录同jdk一样
戴暉戴暉·2016-01-19 17:15

hadoop单机版搭建过程

l 上传hadoop2.4.1编译后的包并解压到/hadoop目录下mkdir /hadoop解压tar  -zxvf  hadoop.2.7.0.tar.gz -C /hadoop   l 配置hadoop
sqh201030412·2016-01-11 23:00

Hadoop2.6.0集群安装

环境本教程使用 Ubuntu14.0464位 作为系统环境，基于原生Hadoop2，在 Hadoop2.6.0(stable) 版本下验证通过，可适合任何Hadoop2.x.y版本，例如Hadoop2.7.1，Hadoop2.4.1
benladeng5225·2016-01-08 11:00

Spark修炼之道（进阶篇）——Spark入门到精通：第一节 Spark 1.5.0集群搭建

作者：周志湖网名：摇摆少年梦微信号：zhouzhihubeyond本节主要内容操作系统环境准备Hadoop2.4.1集群搭建Spark1.5.0集群部署注：在利用CentOS6.5操作系统安装spark1.5
zhouzhihubeyond·2015-12-28 21:41

Spark修炼之道（进阶篇）——Spark入门到精通：第一节 Spark 1.5.0集群搭建

作者：周志湖网名：摇摆少年梦微信号：zhouzhihubeyond本节主要内容操作系统环境准备Hadoop2.4.1集群搭建Spark1.5.0集群部署注：在利用CentOS6.5操作系统安装spark1.5
lovehuangjiaju·2015-12-28 21:00

hadoop2.4.1伪分布式安装

第一步配置jdk环境变量[root@xuegodJava]#tar-xfjdk-8u66-linux-x64.tar.gz-C/usr/src/[root@xuegodJava]#cd!$cd/usr/src/[root@xuegodsrc]#cdjdk1.8.0_66/[[email protected]_66]#vim/etc/profileexportJAVA_HOME=/usr/src
幸运_7·2015-12-06 02:32

Spark环境搭建遇到的问题

1.始终找不到Hive表的问题原因：官方编译后的Spark1.2.0+hadoop2.4与hadoop2.4.1不匹配解决方法有两个：a.将Hadoop2.4.1替换为2.4.0版本b.重新编译Spark1.2.0
镜涛·2015-11-19 14:00

hive0.13.1安装-mysql server作为hive的metastore

hive0.13.1在hadoop2.4.1伪分布式部署上安装过程 环境：redhat enterprice 6.5 +hadoop2.4.1+hive0.13.1+mysql单节点伪分布式部署 相关网址
·2015-11-13 11:55

hadoop2.4.1伪分布模式部署

hadoop2.4.1伪分布模式部署 （承接上一篇hadoop2.4.1-src的编译安装继续配置：http://www.cnblogs.com/wrencai/p/3897438.html）  
·2015-11-13 11:54

RedHat Ent 6.5 64bit编译安装hadoop2.4.1

RedHat Ent 6.5 64bit编译安装hadoop2.4.1 感谢原帖：http://blog.csdn.net/w13770269691/article/details/16883663/
·2015-11-13 11:53

Spark在集群中的安装

我已有的环境是： 操作系统：CentOS6.5 hadoop：hadoop2.4.1 JDK：1.7 集群环境：四个节点   闲话不说，以下是我的安装步骤： 说明：下边的这些安装都是先在
·2015-11-11 12:10

building hadoop2.4.1 on centos7[在centos7上面构建hadoop2.4.1]

　　本文介绍在centos7上面通过hadoop2.4.1源码构建hadoop distribution 版本，即hadoop的运行版本。 　　
·2015-11-08 13:50

Hadoop2.4.1 MapReduce通过Map端shuffle（Combiner）完成数据去重

package com.bank.service;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Lo
·2015-11-07 12:54

Hadoop2.4.1 使用MapReduce简单的数据清洗

package com.bank.service;import java.io.IOException;import java.text.ParseException;import java.text.SimpleDateFormat;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configur
·2015-11-07 12:53

Hbase0.98.4/Hadoop2.4.1整合小结【原创】

　　设定hbase的数据目录，修改conf/hbase-site.xml <configuration> <property> <name>hbase.cluster.distributed</name> <value>true</value> <
·2015-10-27 11:48

单机/伪分布式Hadoop2.4.1安装文档

转载自官方文档，最新版请见：http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/SingleCluster.html 补充：建议添加如下环境变量 #hadoop configuration export PATH=$PATH:/home/jediael/hadoop-2.4.1/bin:/home/
·2015-10-21 12:14

Hadoop2.4.1入门实例：MaxTemperature

注意：以下内容在2.x版本与1.x版本同样适用，已在2.4.1与1.2.0进行测试。 一、前期准备 1、创建伪分布Hadoop环境，请参考官方文档。或者http://blog.csdn.net/jediael_lu/article/details/38637277 2、准备数据文件如下sample.txt： 12345679867623119010123456798676231190
·2015-10-21 12:14

教你如何查看识别hadoop是32位还是64位

我们来从官网下载的hadoop2.4.1安装包.ha
javastart·2015-10-03 10:00

hadoop2.4.1伪分布模式部署

hadoop2.4.1伪分布模式部署-wrencai时间2014-08-0814:54:33 博客园-所有随笔区原文 http://www.cnblogs.com/wrencai/p/3899375.htmlhadoop2.4.1
sherry20150511·2015-09-16 17:04

hadoop2.4.1伪分布模式部署

hadoop2.4.1伪分布模式部署-wrencai时间2014-08-0814:54:33 博客园-所有随笔区原文 http://www.cnblogs.com/wrencai/p/3899375.htmlhadoop2.4.1
sherry20150511·2015-09-16 17:04

hadoop2.4.1伪分布模式部署

hadoop2.4.1伪分布模式部署-wrencai时间2014-08-0814:54:33博客园-所有随笔区原文http://www.cnblogs.com/wrencai/p/3899375.htmlhadoop2.4.1
sherry20150511·2015-09-16 17:04

Hadoop2.7.1分布式安装-安装篇

Hadoop2.7.1分布式安装-准备篇注意：Hadoop-2.5.1开始终于不用再编译64位的libhadoop.so.1.0.0了，再早版本的hadoop自带的是32位的，如需64位需要自省编译，具体见Hadoop2.4.1
悟空太多啦·2015-07-31 14:00

【更新中】个人总结：在大数据hadoop路上跳过的坑

-7u79-linux-x64.tar.gzscala-2.10.4.tgzspark-1.2.0-bin-hadoop2.4.tgz.tarzookeeper-3.4.6.tar.gz附上下载地址：hadoop2.4.1
gk4030·2015-07-11 18:20

Hadoop2.4.1入门实例：MaxTemperature

注意：以下内容在2.x版本与1.x版本同样适用，已在2.4.1与1.2.0进行测试。一、前期准备1、创建伪分布Hadoop环境，请参考官方文档。或者http://blog.csdn.net/jediael_lu/article/details/386372772、准备数据文件如下sample.txt：1234567986762311901012345679867623119010123456798
jinhong_lu·2015-06-17 10:00

Could not locate executable null 解决办法【在windows环境下开发hadoop2.4.1或者hadoop2.5.2的mapreduce，执行job遇到的一些错误】

可以在windows8、windows764位操作系统4G内存i5进行hadoop2.4.1和hadoop2.5.2的mapreduce开发【若本文有错误，请查看上面的详情链接】文章来自http://www.ab
buster2014·2015-05-09 18:00

编译hadoop2.4.1插件

操作于win732位 Eclipse4.1  Kepler ①下载插件源码包https://github.com/winghc/hadoop2x-eclipse-plugin点击右侧download下载解压，打开解压目录“xxxx\hadoop2x-eclipse-plugin-master\src\contrib”②新建一个java项目将contrib下的eclipse-plugin里面的内容拷
若有思无·2015-04-17 15:00

Centos 6.5版本的Linux系统下关于hadoop2.4.1伪分布式的搭建

1.准备Linux环境1.1设置虚拟机网络点击VMware菜单上的编辑按钮-->虚拟网络编辑器，把VMnet1设置成NAT模式，如下图所示子网IP和子网掩码自动填写，点击应用-->确定,点击VMware右下角网络连接（两台电脑图标），出现小菜单后点击设置。在出现的窗口中把网络连接设置成自定义并选择刚才设置NAT模式的VMnet1，设置后如下图所示。1.2修改主机名敲入命令：vim/etc/sysc
u014686180·2015-04-14 16:00

CentOS6.3安装Hadoop2.4.1

修改主机名和IP的映射关系vim/etc/hosts192.168.1.168        cacgg168 安装javaexportJAVA_HOME=/usr/java/jdk1.6.0_45 exportJRE_HOME=/usr/java/jdk1.6.0_45/jre exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH e
大巧不工·2015-04-03 21:00

hadoop2.4.1 安装hue with Yarn模式

HerearesomeurlsaboutHUE,以下是一些参考链接http://cloudera.github.io/hue/docs-3.7.0/manual.htmlhttps://github.com/cloudera/hue/tree/branch-3.7.1https://raw.githubusercontent.com/cloudera/hue/branch-3.7.1/deskto
zhoujj303030·2015-04-02 15:00

spark1.3.0__for_hadoop2.4.1编译、安装与初步测试

building-spark.html     http://spark.apache.org/docs/latest/sql-programming-guide.html#overview--主要包括：--1.Spark基于hadoop2.4.1
javastart·2015-03-23 08:00

Spark1.2.1集群环境搭建——Standalone模式

安装Hadoop2.4.1详见Spark集群搭建——Hadoop2.4.
Jackson_Mu·2015-03-16 17:00

Spark集群搭建——Hadoop2.4.1集群搭建

安装Java参见Hadoop1.2.1伪分布式模式安装中Java安装部分配置SSH免密码验证我们还是以spark-master,ubuntu-worker,spark-worker1三台机器为例。参见博客Spark集群搭建——SSH免密码验证登陆下载hadoop下载地址：http://hadoop.apache.org/releases.html#Download解压文件：tar-zxvf had
Jackson_Mu·2015-03-16 17:00

spark编译安装及部署

源码下载sparkhttp://spark.apache.org/downloads.html我下载的是1.2.0版本解压并编译，在编译前，可以根据自己机器的环境修改相应的pom.xml配置，我的环境是hadoop2.4.1
tjbklx33·2014-12-29 16:44

spark编译安装及部署

sparkhttp://spark.apache.org/downloads.html 我下载的是1.2.0版本  解压并编译，在编译前，可以根据自己机器的环境修改相应的pom.xml配置，我的环境是hadoop2.4.1
tjbklx33·2014-12-29 16:44

hbase0.98.8源码编译（基于hadoop2.4.1）

上一篇介绍了hadoop2.4.1的编译过程，以及hive和spark的编译，这次简单介绍hbase的编译过程。
tjbklx33·2014-12-11 15:48
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他