hadoop2.2.0)

hadoop 2.2.0 编译运行wordcount

hadoop2.2.0编译运行wordcount，因为hadoop2.2.0不支持eclipse的插件，所以运行wordcount，需要手动编译并将wordcount打包成jar包来运行（也可以自己编译生成
general_du·2015-12-11 14:39

Apache Spark学习：利用Eclipse构建Spark集成开发环境

前一篇文章“ApacheSpark学习：将Spark部署到Hadoop2.2.0上”介绍了如何使用Maven编译生成可直接运行在Hadoop2.2.0上的Sparkjar包，而本文则在此基础上，介绍如何利用
GarfieldEr007·2015-11-25 15:00

Hadoop2.0的HA介绍

原文 http://www.linuxidc.com/Linux/2014-05/101174.htm主题HadoopNFS前一篇文章介绍了Hadoop2.0（hadoop2.0架构，具体版本是hadoop2.2.0
lhui798·2015-11-20 16:00

基于Hadoop2.2.0版本号分布式云盘的设计与实现

基于Hadoop2.2.0版本号分布式云盘的设计与实现 一、前言 在学习了hadoop2.2一个月以来，我重点是在学习hadoop2.2的HDFS。
·2015-11-13 20:42

Hadoop2.X版本伪分布式安装详细介绍【非抄袭，原创！】

不喜勿看   Hadoop2.2.0（Yarn）安装详细过程 一、运行一个单机版
·2015-11-13 14:59

hadoop2.2.0集群搭建与部署

  原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3818908.html     一、安装环境 1、系统环境 CentOS  6.4   2、集群机器节点ip 节点一ip：10.100.209.221   （master）   &
·2015-11-13 14:34

hadoop实现购物商城推荐系统

3，hadoop2.2.0：这里用于练习的是伪分布模式。 4，完毕内容：喜欢该商品的人还喜欢，同样购物喜好的好友推荐。
·2015-11-13 13:51

hadoop2.2.0伪分布式搭建

1.准备Linux环境      1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.68.0 子网掩码：255.255.255.0 -> apply -> ok   &nb
·2015-11-12 22:38

hadoop异常： 到目前为止解决的最牛逼的一个异常（java.io.IOException: Incompatible clusterIDs）

（注意： 本人用的版本为hadoop2.2.0， 旧的版本和此版本的解决方法不同） 异常为： 9 (storage id DS-2102177634-172.16.102.203-50010-1384415799536
·2015-11-12 17:06

在unbuntu 1204（32位）下安装hadoop2.2.0的一些问题

虽然在网上可以找到很多这样的step by step的教程，但是我还是遇到了很多问题。趁着一点记忆，将这些问题记录下来。安装过程参考了以下博客： http://www.cnblogs.com/lifeinsmile/p/3579218.html http://my.oschina.net/u/179537/blog/189239#OSC_h2_15 http://www.cnblogs.co
·2015-11-12 16:50

编译hadoop2.2.0源码时报错

编译hadoop2.2.0源码时， mvn install -DskipTests 报错： [ERROR] COMPILATION ERROR : [INFO] -------
·2015-11-12 09:33

test

hadoop2.2.0基础编程实例 1.
·2015-11-12 09:09

Hadoop系列（一）hadoop2.2.0源码编译

操作系统：Centos 所需条件：能上网 编译所需工具： apache-ant-1.9.2-bin.tar.gz apache-maven-3.0.5-bin.tar.gz findbugs-2.0.2.tar.gz protobuf-2.5.0.tar.gz 编译工具还需配置环境变量到 /etc/profile,并加入的环境变量PATH中； &nbs
·2015-11-12 08:19

HADOOP2.2.0安装配置指南

一、     集群环境搭建 这里我们搭建一个由三台机器组成的集群： Ip地址 用户名/密码 主机名 集群中角色 操作系统版本 192.168.0.1 hadoop/hadoop Hadoop-master nn/snn/rm Ubuntu1132bit 192.168.0.2
·2015-11-11 17:35

Spark Pipe使用方法（外部程序调用方法）

写在前面： 1、我们使用的是Hadoop2.2.0，Spark 1.0。 2、这里使用的样例是经典的求pai程序来演示这个开发过程。
·2015-11-11 17:02

Hbase 0.98集群搭建的详细步骤

版本选择 由于之前搭建的hadoop2.2.0社区版，hadoop和hbase之间存
·2015-11-11 08:56

Hadoop2.2.0(yarn)编译部署手册

Created on 2014-3-30URL : http://www.cnblogs.com/zhxfl/p/3633919.html @author: zhxfl     Hadoop-2.2编译 由于Hadoop-2.2只发布了32位的版本，所以如果是在64位操作系统上，需要重新编译 安装 maven 安装maven，查找其安装目录 sudo apt-
·2015-11-11 06:35

使用Maven将Hadoop2.2.0源码编译成Eclipse项目

下载Hadoop2.2.0源码包  http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2
·2015-11-11 06:54

Hadoop2.2.0 手动切换HA环境搭建

　　　　ssh-copy-id -i hadoop5含义: 　　　　节点hadoop4上执行ssh-copy-id -i hadoop5的含义是把hadoop4上的公钥id_rsa.pub的内容追加到hadoop5的授权文件authorized_keys中。 　　　　zookeeper在hadoop2中实现的一个作用是HA的自动切换。　　　　journalnode是实现active和stand
·2015-11-11 06:45

hadoop2.2.0部署

hadoop2.2.0部署 下载安装包 hadoop-2.2.0-cdh5.0.0-beta-1.tar.gz 解压 tar zxvf hadoop-2.2.0
·2015-11-11 03:18

Hadoop系列(二)hadoop2.2.0伪分布式安装

一、环境配置 安装虚拟机vmware，并在该虚拟机机中安装CentOS 6.4； 修改hostname(修改配置文件/etc/sysconfig/network中的HOSTNAME=hadoop),修改IP到主机名的映射(vi /etc/hosts ,添加 127.0.0.1   hadoop); 按照JDK,下载jdk1.7.0_60
·2015-11-11 03:17

编译Apache Hadoop2.2.0源代码

　　Hadoop2的学习资料很少，只有官网的少数文档。如果想更深入的研究hadoop2，除了仅看官网的文档外，还要学习如何看源码，通过不断的调试跟踪源码，学习hadoop的运行机制。 　　1.安装CentOS 　　我使用的是CentOS6.5，下载地址是，选择CentOS-6.5-i386.iso 下载，大小是4GB，需要下载一段时间的。其实6.x的版本都可以，不一定是6.5。 　　我使用的
·2015-11-11 00:45

hadoop2.2.0安装需要注意的事情

今天在安装hadoop2.2.0时遇到若干问题，解决这些问题有些心得，记录下来以备不时之需。   问题1、master和slave之间不能相互ssh免密码登陆。 　　
·2015-11-08 15:32

hadoop2.2.0 MapReduce求和并排序

javabean必须实现WritableComparable接口，并实现该接口的序列化，反序列话和比较方法 package com.my.hadoop.mapreduce.sort;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Wr
·2015-11-07 12:52

hadoop2.2.0 MapReduce分区

　package com.my.hadoop.mapreduce.partition;import java.util.HashMap;import java.util.Map;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWr
·2015-11-07 12:51

hadoop2.2.0伪分布模式64位安装

hadoop2.2.0伪分布模式64位安装用到的软件：jdk-6u45-linux-x64.bin，hadoop-2.2.0.x86_64.tar.gz修改主机名vim /etc/sysconfig/networkHOSTNAME
·2015-11-07 12:50

hadoop2.2.0 MapReduce的序列化

package com.my.hadoop.mapreduce.dataformat;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;im
·2015-11-07 12:49

hadoop2.2.0的WordCount程序

package com.my.hadoop.mapreduce.wordcount;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.ap
·2015-11-07 12:48

hadoop2.2.0的ha分布式集群搭建

hadoop2.2.0 ha集群搭建使用的文件如下：    jdk-6u45-linux-x64.bin    hadoop-2.2.0.x86
·2015-11-07 12:47

Hadoop 学习笔记 （十） hadoop2.2.0 生产环境部署 HDFS HA Federation 含Yarn部署

其他的配置跟HDFS-HA部署方式完全一样。但JournalNOde的配置不一样》hadoop-cluster1中的nn1和nn2和hadoop-cluster2中的nn3和nn4可以公用同样的journalnode但dfs.namenode.shared.edits.dir配置不能相同。hadoop-cluster1中的nn1和nn2配置如下： hdfs ha federatio
·2015-11-02 16:41

Hadoop 学习笔记 （九） hadoop2.2.0 生产环境部署 HDFS HA部署方法

step1:将安装包hadoop-2.2.0.tar.gz存放到某一个目录下，并解压 step2:修改解压后的目录中的文件夹/etc/hadoop下的xml配置文件（如果文件不存在，则自己创建） 包括hadoop-env.sh mapred-site.xml core-site.xml hdfs-site.xml yarn-site.xml step3:格式化并启动hdfs s
·2015-11-02 16:39

Ganglia3.6.0，nginx+php搭建gweb，监控Hadoop2.2 和 Hbase0.98.1

环境：CentOS6.5 Hadoop2.2.0 Hbase0.98.1 服务端(master): 安装 ganglia ganglia-devel ganglia-gmetad ganglia-gmond
·2015-11-02 14:47

【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse小工具

目标： 编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件 环境： win7x64家庭普通版 eclipse-jee-kepler-SR1-win32
·2015-11-01 09:04

在eclipse上安装hadoop2.2.0插件

1、安装环境系统：centos6.5hadoop2.2.0eclipse:mars.1Release（4.5.1）2、插件的安装下载hadoop2.2.0的eclipse插件，解压之后放到eclipse
lqf1403·2015-10-31 21:25

在eclipse上安装hadoop2.2.0插件

1、安装环境系统：centos6.5hadoop2.2.0eclipse:mars.1Release（4.5.1）2、插件的安装下载hadoop2.2.0的eclipse插件，解压之后放到eclipse
GYQJN·2015-10-31 21:00

hbase 0.96 单机伪分布式配置文件及遇到的问题 find命令

http://www.apache.org/dyn/closer.cgi/hbase/国外的站点下载速度慢,可以考虑国内的镜像网站~前面已经部署好了hadoop2.2.0单机伪分布式。
·2015-10-31 17:55

hadoop2.2.0 单机伪分布式（含64位hadoop编译） 及 eclipse hadoop开发环境搭建

hadoop中文镜像地址：http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.2.0/第一步，下载 wget 'http://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/hadoop-2.2.0.tar.gz'第二步，编译haoop-2.2.0（注解：这一步很费时间）因为官方下载只提供
·2015-10-31 17:53

hadoop2.2.0集群安装

说明：目前官方hadoop2.2只有32位的版本，安装到64位肯定有问题，比如执行jar包会提示没有本地库。。。。。。。。。如果要安装64位的，需要自己编译，这里不做阐述，一下都以32位说明。 环境：试验使用的虚拟机ubuntu12.04（32位）。Jdk使用的1.7（1.6也可以）。网络配置好，相互可以ping通，java环境安装完毕。   第一部分 Hadoop 2.2 下载
·2015-10-31 17:30

国内最全最详细的hadoop2.2.0集群的MapReduce的最简单配置

  简介   hadoop2的中的MapReduce不再是hadoop1中的结构已经没有了JobTracker，而是分解成ResourceManager和ApplicationMaster。这次大变革被称为MRv2或者YARN，是一次革命性的变化。   配置   在前面的文章中，我们配置了hadoop2集群的HA高可靠，下面紧接上前面的配置，设置M
·2015-10-31 13:04

Hadoop 学习笔记 （八） hadoop2.2.0 测试环境部署 及两种启动方式

1基本流程步骤1:准备硬件（linux操作系统）步骤2:准备软件安装包，并安装基础软件（主要是JDK）步骤3:修改配置文件步骤4:分发hadoop步骤5:启动服务步骤6:验证是否启动成功！2硬件配置要求 1测试环境： 一台pc机或者服务器 建议内存不少于4G（2G也行）---------越高越流畅 2生产环境：>小于100个节点 建议每台机器配置不少于： dual quad-core 2
·2015-10-31 12:41

Hadoop2.2.0 安装笔记

v=WN2tJk_oL6E 同时把作者的教程下载下来放在百度云盘上了：http://pan.baidu.com/s/1qWqHvM8 这个教程安装的是Hadoop1.1.2，不过安装Hadoop2.2.0
·2015-10-31 10:39

【甘道夫】Hive 0.13.1 on Hadoop2.2.0 + Oracle10g部署详细解释

环境： hadoop2.2.0 hive0.13.1 Ubuntu 14.04 LTS java version "1.7.0_60" Oracle10g
·2015-10-31 10:03

Centos6.5 64位Hadoop完全分布安装教程

64位Centos6.5Hadoop2.2.0完全分布安装教程本教程的环境搭建准备：实体机Win764位putty或VNC或SSHSecureShellClientCentos6.5版本Hadoop2.2.0
u011414200·2015-10-30 08:00

Namenode HA原理详解

社区hadoop2.2.0 release版本开始支持NameNode的HA，本文将详细描述NameNode HA内部的设计与实现。   为什么要Namenode HA？ 1.
·2015-10-29 08:39

Hadoop2.2.0安装过程记录

1    安装环境1.1    客户端1.2    服务端1.3    安装准备    2    操作系统安装2.1.1    BIOS打开虚拟化支持2.1.2   &n
·2015-10-27 12:39

Flume1.5.0的安装、部署、简单应用(含伪分布式、与hadoop2.2.0、hbase0.96的案例)

目录： 　　一、什么是Flume? 　　　　1)flume的特点 　　　　2)flume的可靠性 　　　　3)flume的可恢复性 　　　　4)flume 的 一些核心概念 　　二、flume的官方网站在哪里？ 　　三、在哪里下载？ 　　四、如何安装？ 　　五、flume的案例 　　　　1)案例1：Avro 　　　　2)案例2：Sp
·2015-10-27 11:18

Hadoop2.2.0分布式安装配置详解[1/3]

前言         在寒假前的一段时间，开始调研Hadoop2.2.0搭建过程,当时苦于没有机器，只是在3台笔记本上，简单跑通一些数据
·2015-10-27 11:27

hadoop2.2.0源代码编译

一、环境说明虚拟软件:VMwareWorkstation10虚拟机配置:RHELServerrelease6.5(Santiago)2.6.32-431.el6.x86_64cpu:4核心,内存:4G,硬盘:50G二、前提条件:1:将rhel6.5的iso文件作为yum源2:hadoop-2.2.0-src.tar.gz3:安装JDK1.6.0_434:安装并配置apache-maven3.0.5
chaijuntao·2015-10-22 17:00

hadoop2.2.0集群搭建

http://blog.csdn.net/liyong199012/article/details/24019333
u013360022·2015-10-09 21:00

hadoop2.2.0伪分布安装

一、安装虚拟机安装过程可以在网上查找。二、安装Linux系统系统可以Redhat、CentOS。这里用的是CentOS。安装过程可以网上查看。三、伪分布式安装3.1准备Linux环境★辅助工具PieTTY、WinSCP       FileZilla、secureCRT★连通Linux（客户机）和Windows(宿主机)使它们能够进行通信在windows系统下，打开 “控制面板”--->打开“网络
llllpppp4444·2015-09-17 20:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他