Hadoop2.7.1

hadoop手工编译自己的wordcount

Hadoop2.7.1手动编译wordcount成功搭建了hadoop运行环境并运行了wordcount，实际上是完成了由我们给定输入和输出的路径，运行hadoop提供的示例中编译好的程序实现的，但真正的开发过程中
sr_sr·2015-11-29 15:00

CentOS64位6.4下Hadoop2.7.1、Mysql5.5.46、Hive1.2.1、Spark1.5.0的集群环境部署

部署环境：CentOS 6.4 64bitHadoop2.7.1、Mysql5.5、Hive1.2.1、Scala2.11.7、Spark1.5.0jdk1.7.0_79 主机IP：master（namenode）：10.10.4.115slave1（datanode）：10.10.4.116slave2（datanode）：10.10.4.117 一、环境准备及Hadoop部署：（1）环境准备(
nuosuifeng·2015-11-24 17:15

CentOS6.5安装Hadoop2.7.1

一、软件准备下载Hadoop http://apache.fayea.com/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz下载JDK http://download.oracle.com/otn-pub/java/jdk/8u66-b17/jdk-8u66-linux-x64.tar.gz二、服务器准备（三台服务器，最好4台）最好4台服务器，1台na
Johnny_feng·2015-11-16 14:00

Hadoop加速器GridGain

1.安装Hadoop2.7.1很早之前写过一篇《Hadoop入门（一）：Hadoop伪分
dc_726·2015-11-14 19:00

[原][hadoop2.7.1]I/O之压缩

先来看下类图（hadoop2.7.1）：对照类图，对每一种压缩算法做个简单介绍：DeflateCodec（DEFLATE）hadoop2.7.1中实际上就是DefaultCodec。
s060403072·2015-11-13 21:00

[原][hadoop2.7.1]I/O之压缩

先来看下类图（hadoop2.7.1）：对照类图，对每一种压缩算法做个简单介绍：DeflateCodec（DEFLATE）hadoop2.7.1中实际上就是DefaultCodec。
s060403072·2015-11-13 13:00

[hadoop2.7.1]I/O之压缩

先来看下类图（hadoop2.7.1）：对照类图，对每一种压缩算法做个简单介绍：DeflateCodec（DEFLATE）hadoop2.7.1中实际上就是DefaultCodec。
s060403072·2015-11-13 13:00

Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析

关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml 关于ResourceManager高可靠需要配置的文件有yarn-site.xml 逻辑结构：  NameNode-HA工作原理： 在一个典型的HA集群中，最好有2台独立的机器的来配置NameNode角色，无论在任何时候，集群中只能有一个NameNode作为Active状态，而另一个是Standby状
葬月仙帝·2015-11-11 20:51

Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析

关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml 关于ResourceManager高可靠需要配置的文件有yarn-site.xml 逻辑结构：  NameNode-HA工作原理： 在一个典型的HA集群中，最好有2台独立的机器的来配置NameNode角色，无论在任何时候，集群中只能有一个NameNode作为Active状态，而另一个是Standby状
葬月仙帝·2015-11-11 20:51

Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析

关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml 关于ResourceManager高可靠需要配置的文件有yarn-site.xml 逻辑结构：  NameNode-HA工作原理： 在一个典型的HA集群中，最好有2台独立的机器的来配置NameNode角色，无论在任何时候，集群中只能有一个NameNode作为Active状态，而另一个是Standby状
九劫散仙·2015-11-11 19:00

Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析

阅读更多关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml关于ResourceManager高可靠需要配置的文件有yarn-site.xml逻辑结构：NameNode-HA工作原理：在一个典型的HA集群中，最好有2台独立的机器的来配置NameNode角色，无论在任何时候，集群中只能有一个NameNode作为Active状态，而另一个是Standby状态
qindongliang1922·2015-11-11 19:00

Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析

阅读更多关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml关于ResourceManager高可靠需要配置的文件有yarn-site.xml逻辑结构：NameNode-HA工作原理：在一个典型的HA集群中，最好有2台独立的机器的来配置NameNode角色，无论在任何时候，集群中只能有一个NameNode作为Active状态，而另一个是Standby状态
qindongliang1922·2015-11-11 19:00

Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析

关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml关于ResourceManager高可靠需要配置的文件有yarn-site.xml逻辑结构：NameNode-HA工作原理：在一个典型的HA集群中，最好有2台独立的机器的来配置NameNode角色，无论在任何时候，集群中只能有一个NameNode作为Active状态，而另一个是Standby状态，Act
qindongliang1922·2015-11-11 19:00

[hadoop2.7.1]I/O之MapFile（排过序的SequenceFile）读、写、重建index实例

 MapFile是排序后的SequenceFile，MapFile由两部分组成，分别是data和index。index文件的数据索引，主要记录了每个Record的key值，以及该Record在文件中的偏移位置。在MapFile被访问的时候,索引文件会被加载到内存，通过索引映射关系可迅速定位到指定Record所在文件位置，因此，相对SequenceFile而言，MapFile的检索效率是高效的，缺点
s060403072·2015-11-08 10:00

[hadoop2.7.1]I/O之SequenceFile最新API编程实例（写入、读取）

写操作根据上一篇的介绍，在hadoop2.x之后，hadoop中的SequenceFile.Writer将会逐渐摒弃大量的createWriter（）重载方法，而整合为更为简洁的createWriter()方法，除了配置参数外，其他的参数统统使用SequenceFile.Writer.Option来替代，具体有：新的API里提供的option参数：FileOptionFileSystemOptio
s060403072·2015-11-06 22:00

[hadoop2.7.1]I/O之“泥坯块”SequenceFile前序知识

   概述   SequenceFile由一系列的二进制key/value组成，如果为key小文件名，value为文件内容，则可以将大批小文件合并成一个大文件。可以看做是一个容器，它将这些小文件组织起来统一存储，就像建筑用的“泥坯块”一样，方方正正，大小随定，很好用。   为什么要这么做呢？   首先要了解，在这里小文件是指文件size比HDFS上blocksize（hadoop中默认为64M）小
s060403072·2015-11-05 17:00

Hadoop2.7.1+Hbase1.2.1集群环境搭建(9)spring-hadoop实战

阅读更多(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com
zilongzilong·2015-11-04 18:00

Hadoop2.7.1+Hbase1.1.2集群环境搭建(8)spring-hadoop实战

(1)hadoop2.7.1源码编译       http://zilongzilong.iteye.com/blog/2246856(2)hadoop2.7.1安装准备       http://zilongzilong.iteye.com
zilongzilong·2015-11-04 18:00

Hadoop2.7.1+Hbase1.1.2集群环境搭建(6)snappy安装

(1)hadoop2.7.1源码编译       http://zilongzilong.iteye.com/blog/2246856(2)hadoop2.7.1安装准备       http://zilongzilong.iteye.com
zilongzilong·2015-11-04 18:00

Hadoop2.7.1+Hbase1.2.1集群环境搭建(6)snappy安装

阅读更多(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com
zilongzilong·2015-11-04 18:00

Hadoop2.7.1+Hbase1.2.1集群环境搭建(5)hbase安装

阅读更多(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com
zilongzilong·2015-11-04 17:00

Hadoop2.7.1+Hbase1.1.2集群环境搭建(5)hbase安装

(1)hadoop2.7.1源码编译       http://zilongzilong.iteye.com/blog/2246856(2)hadoop2.7.1安装准备       http://zilongzilong.iteye.com
zilongzilong·2015-11-04 17:00

Hadoop2.7.1+Hbase1.2.1集群环境搭建(4)hbase安装准备

阅读更多(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com
zilongzilong·2015-11-04 16:00

Hadoop2.7.1+Hbase1.1.2集群环境搭建(4)hbase安装准备

(1)hadoop2.7.1源码编译       http://zilongzilong.iteye.com/blog/2246856(2)hadoop2.7.1安装准备       http://zilongzilong.iteye.com
zilongzilong·2015-11-04 16:00

[hadoop2.7.1]I/O之一步一步解析Text（实例）

通过上一篇的讲述，我们知道hadoop中的Text类，跟java中的String类很相似，在其定义的方法上，也多有相近之处，当然，由于用途、UTF编码的不同，两者之间还是有很大的区别。下面要讲实例除了测试Text的方法之外，着重跟java.lang.String进行比较。1、首先，我们来看生成String串的方法：源码如下：//生成java字符串 privatestaticStringgetTes
s060403072·2015-11-04 16:00

[hadoop2.7.1]I/O之一步一步解析Text（基础知识及与String比较）

hadoop中的Text类，跟java中的String类很相似，在其定义的方法上，也多有相近之处，当然，由于用途的不同，两者之间还是有很大的区别的，那么，在分析Text类之前，先来回顾下java.lang.String类。1、java中的String类：String 类代表字符串。Java 程序中的所有字符串字面值（如 "abc" ）都作为此类的实例实现。 字符串是常量；它们的值在创建之后不能更改
s060403072·2015-11-03 15:00

[hadoop2.7.1]I/O之IntWritable测试实例(详尽)

用到的开源工具包：hamcrest，junitIDE：MyEclipse2013SR1用到的工具：1、Stringjava.lang.String.format(Localel,Stringformat,Object...args)使用指定的语言环境、格式字符串和参数返回一个格式化字符串。参数：l-格式化过程中要应用的语言环境。如果l为null，则不进行本地化。format-格式字符串args-格
s060403072·2015-11-01 14:00

Hadoop2.7.1+Hbase1.1.2集群环境搭建(2)hadoop2.7.1安装准备

(1)hadoop2.7.1源码编译       http://zilongzilong.iteye.com/blog/2246856(2)hadoop2.7.1安装准备       http://zilongzilong.iteye.com
zilongzilong·2015-11-01 00:00

Hadoop2.7.1 集群部署及自动化脚本

实验环境操作系统：ubuntu14.0464位主机名IPnamenode10.107.12.10datanode110.107.12.20datanode210.107.12.50datanode310.107.12.60jdk安装实验安装的是jdk1.7.0_71版本，具体安装步骤及环境变量设置参考这里。SSH无密登录下面是我写的一个自动化SSH无密登录脚本，运行脚本前需要安装expect包，u
ZCF1002797280·2015-10-30 00:00

Hadoop2.7.1单机版安装教程

1. 访问hadoop官网下载hadoop-2.7.1-src.tar.gztar -zxvf hadoop-2.7.1-src.tar.gz cd hadoop-2.7.1-src vi BUILDING.txtRequirements: * Unix System * JDK 1.7+ * Maven 3.0 or later * Findbugs 1.3.9 (if running fin
ordinance·2015-10-26 00:00

Hadoop WordCount详解（2.7.1版本）

本文代码是Hadoop2.7.1版本中example的，有些API可能跟之前的版本不太一样这里主要讲代码中使用的各个API，关于WordCount的基本思想仅略讲WordCount基本思想Hadoop
luo123n·2015-10-24 20:00

Eclipse下运行Hadoop程序（以WordCount为例，使用Maven）

这里使用的是Hadoop2.7.1版本，其他版本应该也大致通用配置Hadoop开发环境使用maven可以很轻松地配置新建一个Maven项目，然后在pom.xml中添加如下依赖项后，update即可 org.apache.hadoop
luo123n·2015-10-24 16:00

Hadoop在Ubuntu下安装教程及伪分布式配置

摘要本文档目的是介绍Hadoop的安装步骤，以及如何配置Hadoop的伪分布模式，使用Ubuntu12.0464位作为系统环境，在Hadoop2.7.1版本下验证通过。
Dandy_Deng·2015-10-23 15:40

Eclipse中hadoop2.7.1的插件下载及安装步骤

我的eclipse、linux、windows、hadoop、zookeeper都是64位的，插件也是基于64位的，安装好的界面如下：我上传的hadoop2.7.1插件链接:http://pan.baidu.com
tianjun2012·2015-10-20 15:00

[hadoop2.7.1]I/O之Writable的实现类及子接口

Writable子接口：Hadoop引入org.apache.hadoop.io.Writable接口，是所有可序列化对象必须实现的接口在hadoop2.71.中，Writable共有6个子接口：Counter,CounterGroup,CounterGroupBase,InputSplit,InputSplitWithLocationInfo,WritableComparable在org.apa
s060403072·2015-10-20 14:00

在window上使用VirtualBox搭建Ubuntu15.04全分布Hadoop2.7.1集群

先给大家看看配置好的集群截图：注意（default是docker的，大家不用管，下面四台才是，其中Ubuntu_0是master，Ubuntu_1,2,3是slave节点）一.新建虚拟机，配置基础java环境，配置网络访问    下载Ubuntu15.04，打开VirtualBox，新建Ubuntu虚拟机，用户名linux1，不截图了，内存选1G就够了    接下来，下载并安装JDK：    下载
崔光范·2015-10-19 15:00

hadoop2.7.1(64bit)学习中错误整理

问题一、ESXi5.5安装过程中网卡不支持解决方案：购买新网卡，这个是经过亲身实践后得到的最好结论，有时候，花点钱能解决的问题，绝对不要纠结，也不能为了显示个人能力而zhuangbility，当然，一定要顶风撸三米的请忽视此结果，然后寻找网卡驱动并重新编译驱动程序。问题二、HadoopNativeLibraries问题如果您的linux系统是64位，那么很高兴的告诉您。您需要重新编译hadoop2
ordinance·2015-10-16 14:00

[hadoop2.7.1]I/O之Writable源码及相关注解

我们先来看hadoop2.7.1中Writable接口的
s060403072·2015-10-16 09:00

基于HA的hadoop2.7.1完全分布式集群搭建

本文的前提是假设你已经成功安装一台服务器的hadoop伪分布式，因此有些细节没有具体给出解释（http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html）。参考文章：http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist
tianjun2012·2015-10-14 11:00

Hadoop2.7.1+Hbase1.2.1集群环境搭建(1)hadoop2.7.1源码编译

阅读更多(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com
zilongzilong·2015-09-30 00:00

Hadoop2.7.1+Hbase1.2.1集群环境搭建(1)hadoop2.7.1源码编译

阅读更多(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com
zilongzilong·2015-09-30 00:00

Hadoop2.7.1+Hbase1.2.1集群环境搭建(3)1.x和2.x都支持的集群安装方式

阅读更多(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com
zilongzilong·2015-09-23 16:00

Hadoop2.7.1+Hbase1.2.1集群环境搭建(3)1.x和2.x都支持的集群安装方式

阅读更多(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com
zilongzilong·2015-09-23 16:00

Hadoop2.7.1+Hbase1.1.2集群环境搭建(3)hadoop2.7.1安装

(1)hadoop2.7.1源码编译       http://zilongzilong.iteye.com/blog/2246856(2)hadoop2.7.1安装准备       http://zilongzilong.iteye.com
zilongzilong·2015-09-23 16:00

hadoop2.7.1单机版安装部署

环境和软件：1.vmware10+ubuntu14.04(32bit)查看linux操作系统位数：getconfLONG_BIT2.jdk1.8.0_60（注意要和linux系统位数一致，我的为32位）hadoop2.7.1
duhm·2015-09-22 21:43

hadoop2.7.1单机版安装部署

环境和软件：1.vmware10+ubuntu14.04(32bit)查看linux操作系统位数：getconfLONG_BIT2.jdk1.8.0_60（注意要和linux系统位数一致，我的为32位）hadoop2.7.1
duhm·2015-09-22 21:19

Ant构建Hadoop程序（Hadoop-2.7.1）

1、环境描述Hadoop环境：VirtualBox5(三台)，CentOS7，Hadoop2.7.1开发环境：Windows72、详细配置2.1、project结构一览2.2、build.xml     
悟空太多啦·2015-08-11 11:00

Hadoop2.7.1分布式安装-安装篇

环境说明VirtualBox5(三台)，CentOS7，Hadoop2.7.11、基础安装及配置先完成Hadoop2.7.1分布式安装-准备篇注意：Hadoop-2.5.1开始终于不用再编译64位的libhadoop.so
悟空太多啦·2015-07-31 14:00

Hadoop2.7.1分布式安装-准备篇

环境说明VirtualBox5(三台)，CentOS7，Hadoop2.7.1，1、网络设置为桥接方式参考：http://www.cnblogs.com/york-hust/archive/2012/03
悟空太多啦·2015-07-29 22:00

Hadoop2.7.1集群搭建

菜鸟配置Hadoop2.7.1集群搭建本文章是在虚拟机下安装Hadoop集群1.安装虚拟机环境电脑环境是64位操作系统，故采用64位Vmware虚拟机，64centos6.4操作系统，本人安装了三台虚拟机分别为
sudaxhh·2015-07-29 20:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他