E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop2.7.1
hadoop手工编译自己的wordcount
Hadoop2.7.1
手动编译wordcount成功搭建了hadoop运行环境并运行了wordcount,实际上是完成了由我们给定输入和输出的路径,运行hadoop提供的示例中编译好的程序实现的,但真正的开发过程中
sr_sr
·
2015-11-29 15:00
CentOS64位6.4下
Hadoop2.7.1
、Mysql5.5.46、Hive1.2.1、Spark1.5.0的集群环境部署
部署环境:CentOS 6.4 64bitHadoop2.7.1、Mysql5.5、Hive1.2.1、Scala2.11.7、Spark1.5.0jdk1.7.0_79 主机IP:master(namenode):10.10.4.115slave1(datanode):10.10.4.116slave2(datanode):10.10.4.117 一、环境准备及Hadoop部署:(1)环境准备(
nuosuifeng
·
2015-11-24 17:15
部署
centos6.4
HADOOP集群
hadoop2.7.1
Hive1.2.1
CentOS6.5安装
Hadoop2.7.1
一、软件准备下载Hadoop http://apache.fayea.com/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz下载JDK http://download.oracle.com/otn-pub/java/jdk/8u66-b17/jdk-8u66-linux-x64.tar.gz二、服务器准备(三台服务器,最好4台)最好4台服务器,1台na
Johnny_feng
·
2015-11-16 14:00
hadoop
hdfs
Hadoop加速器GridGain
1.安装
Hadoop2.7.1
很早之前写过一篇《Hadoop入门(一):Hadoop伪分
dc_726
·
2015-11-14 19:00
mapreduce
hadoop
内存
网格
[原][
hadoop2.7.1
]I/O之压缩
先来看下类图(
hadoop2.7.1
):对照类图,对每一种压缩算法做个简单介绍:DeflateCodec(DEFLATE)
hadoop2.7.1
中实际上就是DefaultCodec。
s060403072
·
2015-11-13 21:00
[原][
hadoop2.7.1
]I/O之压缩
先来看下类图(
hadoop2.7.1
):对照类图,对每一种压缩算法做个简单介绍:DeflateCodec(DEFLATE)
hadoop2.7.1
中实际上就是DefaultCodec。
s060403072
·
2015-11-13 13:00
[
hadoop2.7.1
]I/O之压缩
先来看下类图(
hadoop2.7.1
):对照类图,对每一种压缩算法做个简单介绍:DeflateCodec(DEFLATE)
hadoop2.7.1
中实际上就是DefaultCodec。
s060403072
·
2015-11-13 13:00
Hadoop2.7.1
配置NameNode+ResourceManager高可用原理分析
关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml 关于ResourceManager高可靠需要配置的文件有yarn-site.xml 逻辑结构: NameNode-HA工作原理: 在一个典型的HA集群中,最好有2台独立的机器的来配置NameNode角色,无论在任何时候,集群中只能有一个NameNode作为Active状态,而另一个是Standby状
葬月仙帝
·
2015-11-11 20:51
hadoop
NameNode
Hadoop2.7.1
配置NameNode+ResourceManager高可用原理分析
关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml 关于ResourceManager高可靠需要配置的文件有yarn-site.xml 逻辑结构: NameNode-HA工作原理: 在一个典型的HA集群中,最好有2台独立的机器的来配置NameNode角色,无论在任何时候,集群中只能有一个NameNode作为Active状态,而另一个是Standby状
葬月仙帝
·
2015-11-11 20:51
hadoop
NameNode
Hadoop2.7.1
配置NameNode+ResourceManager高可用原理分析
关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml 关于ResourceManager高可靠需要配置的文件有yarn-site.xml 逻辑结构: NameNode-HA工作原理: 在一个典型的HA集群中,最好有2台独立的机器的来配置NameNode角色,无论在任何时候,集群中只能有一个NameNode作为Active状态,而另一个是Standby状
九劫散仙
·
2015-11-11 19:00
hadoop
namenode-ha
Hadoop2.7.1
配置NameNode+ResourceManager高可用原理分析
阅读更多关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml关于ResourceManager高可靠需要配置的文件有yarn-site.xml逻辑结构:NameNode-HA工作原理:在一个典型的HA集群中,最好有2台独立的机器的来配置NameNode角色,无论在任何时候,集群中只能有一个NameNode作为Active状态,而另一个是Standby状态
qindongliang1922
·
2015-11-11 19:00
hadoop
mapreduce
namenode
ha
Hadoop2.7.1
配置NameNode+ResourceManager高可用原理分析
阅读更多关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml关于ResourceManager高可靠需要配置的文件有yarn-site.xml逻辑结构:NameNode-HA工作原理:在一个典型的HA集群中,最好有2台独立的机器的来配置NameNode角色,无论在任何时候,集群中只能有一个NameNode作为Active状态,而另一个是Standby状态
qindongliang1922
·
2015-11-11 19:00
hadoop
mapreduce
namenode
ha
Hadoop2.7.1
配置NameNode+ResourceManager高可用原理分析
关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml关于ResourceManager高可靠需要配置的文件有yarn-site.xml逻辑结构:NameNode-HA工作原理:在一个典型的HA集群中,最好有2台独立的机器的来配置NameNode角色,无论在任何时候,集群中只能有一个NameNode作为Active状态,而另一个是Standby状态,Act
qindongliang1922
·
2015-11-11 19:00
mapreduce
hadoop
NameNode
HA
[
hadoop2.7.1
]I/O之MapFile(排过序的SequenceFile)读、写、重建index实例
MapFile是排序后的SequenceFile,MapFile由两部分组成,分别是data和index。index文件的数据索引,主要记录了每个Record的key值,以及该Record在文件中的偏移位置。在MapFile被访问的时候,索引文件会被加载到内存,通过索引映射关系可迅速定位到指定Record所在文件位置,因此,相对SequenceFile而言,MapFile的检索效率是高效的,缺点
s060403072
·
2015-11-08 10:00
java
hadoop
实例
[
hadoop2.7.1
]I/O之SequenceFile最新API编程实例(写入、读取)
写操作根据上一篇的介绍,在hadoop2.x之后,hadoop中的SequenceFile.Writer将会逐渐摒弃大量的createWriter()重载方法,而整合为更为简洁的createWriter()方法,除了配置参数外,其他的参数统统使用SequenceFile.Writer.Option来替代,具体有:新的API里提供的option参数:FileOptionFileSystemOptio
s060403072
·
2015-11-06 22:00
java
hadoop
代码
[
hadoop2.7.1
]I/O之“泥坯块”SequenceFile前序知识
概述 SequenceFile由一系列的二进制key/value组成,如果为key小文件名,value为文件内容,则可以将大批小文件合并成一个大文件。可以看做是一个容器,它将这些小文件组织起来统一存储,就像建筑用的“泥坯块”一样,方方正正,大小随定,很好用。 为什么要这么做呢? 首先要了解,在这里小文件是指文件size比HDFS上blocksize(hadoop中默认为64M)小
s060403072
·
2015-11-05 17:00
java
hadoop
IO
Hadoop2.7.1+Hbase1.2.1集群环境搭建(9)spring-hadoop实战
阅读更多(1)
hadoop2.7.1
源码编译http://aperise.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备http://aperise.iteye.com
zilongzilong
·
2015-11-04 18:00
hadoop
spring-hadoop
Hadoop2.7.1+Hbase1.1.2集群环境搭建(8)spring-hadoop实战
(1)
hadoop2.7.1
源码编译 http://zilongzilong.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备 http://zilongzilong.iteye.com
zilongzilong
·
2015-11-04 18:00
hadoop
spring-hadoop使用
Hadoop2.7.1+Hbase1.1.2集群环境搭建(6)snappy安装
(1)
hadoop2.7.1
源码编译 http://zilongzilong.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备 http://zilongzilong.iteye.com
zilongzilong
·
2015-11-04 18:00
hadoop
安装
snappy
Hadoop2.7.1+Hbase1.2.1集群环境搭建(6)snappy安装
阅读更多(1)
hadoop2.7.1
源码编译http://aperise.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备http://aperise.iteye.com
zilongzilong
·
2015-11-04 18:00
hadoop
hbase
snappy
Hadoop2.7.1+Hbase1.2.1集群环境搭建(5)hbase安装
阅读更多(1)
hadoop2.7.1
源码编译http://aperise.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备http://aperise.iteye.com
zilongzilong
·
2015-11-04 17:00
hbase
安装
importtsv
Hadoop2.7.1+Hbase1.1.2集群环境搭建(5)hbase安装
(1)
hadoop2.7.1
源码编译 http://zilongzilong.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备 http://zilongzilong.iteye.com
zilongzilong
·
2015-11-04 17:00
安装
hbase
importtsv
Hadoop2.7.1+Hbase1.2.1集群环境搭建(4)hbase安装准备
阅读更多(1)
hadoop2.7.1
源码编译http://aperise.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备http://aperise.iteye.com
zilongzilong
·
2015-11-04 16:00
hbase
安装前
准备
Hadoop2.7.1+Hbase1.1.2集群环境搭建(4)hbase安装准备
(1)
hadoop2.7.1
源码编译 http://zilongzilong.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备 http://zilongzilong.iteye.com
zilongzilong
·
2015-11-04 16:00
hbase
安装准备
[
hadoop2.7.1
]I/O之一步一步解析Text(实例)
通过上一篇的讲述,我们知道hadoop中的Text类,跟java中的String类很相似,在其定义的方法上,也多有相近之处,当然,由于用途、UTF编码的不同,两者之间还是有很大的区别。下面要讲实例除了测试Text的方法之外,着重跟java.lang.String进行比较。1、首先,我们来看生成String串的方法:源码如下://生成java字符串 privatestaticStringgetTes
s060403072
·
2015-11-04 16:00
java
hadoop
实例
[
hadoop2.7.1
]I/O之一步一步解析Text(基础知识及与String比较)
hadoop中的Text类,跟java中的String类很相似,在其定义的方法上,也多有相近之处,当然,由于用途的不同,两者之间还是有很大的区别的,那么,在分析Text类之前,先来回顾下java.lang.String类。1、java中的String类:String 类代表字符串。Java 程序中的所有字符串字面值(如 "abc" )都作为此类的实例实现。 字符串是常量;它们的值在创建之后不能更改
s060403072
·
2015-11-03 15:00
[
hadoop2.7.1
]I/O之IntWritable测试实例(详尽)
用到的开源工具包:hamcrest,junitIDE:MyEclipse2013SR1用到的工具:1、Stringjava.lang.String.format(Localel,Stringformat,Object...args)使用指定的语言环境、格式字符串和参数返回一个格式化字符串。参数:l-格式化过程中要应用的语言环境。如果l为null,则不进行本地化。format-格式字符串args-格
s060403072
·
2015-11-01 14:00
Hadoop2.7.1+Hbase1.1.2集群环境搭建(2)
hadoop2.7.1
安装准备
(1)
hadoop2.7.1
源码编译 http://zilongzilong.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备 http://zilongzilong.iteye.com
zilongzilong
·
2015-11-01 00:00
hadoop
准备工作
分布式安装
Hadoop2.7.1
集群部署及自动化脚本
实验环境操作系统:ubuntu14.0464位主机名IPnamenode10.107.12.10datanode110.107.12.20datanode210.107.12.50datanode310.107.12.60jdk安装实验安装的是jdk1.7.0_71版本,具体安装步骤及环境变量设置参考这里。SSH无密登录下面是我写的一个自动化SSH无密登录脚本,运行脚本前需要安装expect包,u
ZCF1002797280
·
2015-10-30 00:00
hadoop
分布式
集群部署
集群安装
hadoop2-7
Hadoop2.7.1
单机版安装教程
1. 访问hadoop官网下载hadoop-2.7.1-src.tar.gztar -zxvf hadoop-2.7.1-src.tar.gz cd hadoop-2.7.1-src vi BUILDING.txtRequirements: * Unix System * JDK 1.7+ * Maven 3.0 or later * Findbugs 1.3.9 (if running fin
ordinance
·
2015-10-26 00:00
Hadoop WordCount详解(2.7.1版本)
本文代码是
Hadoop2.7.1
版本中example的,有些API可能跟之前的版本不太一样这里主要讲代码中使用的各个API,关于WordCount的基本思想仅略讲WordCount基本思想Hadoop
luo123n
·
2015-10-24 20:00
hadoop
Eclipse下运行Hadoop程序(以WordCount为例,使用Maven)
这里使用的是
Hadoop2.7.1
版本,其他版本应该也大致通用配置Hadoop开发环境使用maven可以很轻松地配置新建一个Maven项目,然后在pom.xml中添加如下依赖项后,update即可 org.apache.hadoop
luo123n
·
2015-10-24 16:00
hadoop
Hadoop在Ubuntu下安装教程及伪分布式配置
摘要本文档目的是介绍Hadoop的安装步骤,以及如何配置Hadoop的伪分布模式,使用Ubuntu12.0464位作为系统环境,在
Hadoop2.7.1
版本下验证通过。
Dandy_Deng
·
2015-10-23 15:40
Hadoop
BigData
Eclipse中
hadoop2.7.1
的插件下载及安装步骤
我的eclipse、linux、windows、hadoop、zookeeper都是64位的,插件也是基于64位的,安装好的界面如下:我上传的
hadoop2.7.1
插件链接:http://pan.baidu.com
tianjun2012
·
2015-10-20 15:00
[
hadoop2.7.1
]I/O之Writable的实现类及子接口
Writable子接口:Hadoop引入org.apache.hadoop.io.Writable接口,是所有可序列化对象必须实现的接口在hadoop2.71.中,Writable共有6个子接口:Counter,CounterGroup,CounterGroupBase,InputSplit,InputSplitWithLocationInfo,WritableComparable在org.apa
s060403072
·
2015-10-20 14:00
在window上使用VirtualBox搭建Ubuntu15.04全分布
Hadoop2.7.1
集群
先给大家看看配置好的集群截图:注意(default是docker的,大家不用管,下面四台才是,其中Ubuntu_0是master,Ubuntu_1,2,3是slave节点)一.新建虚拟机,配置基础java环境,配置网络访问 下载Ubuntu15.04,打开VirtualBox,新建Ubuntu虚拟机,用户名linux1,不截图了,内存选1G就够了 接下来,下载并安装JDK: 下载
崔光范
·
2015-10-19 15:00
windows
虚拟机
VirtualBox
hadoop2.7.1
ubuntu15.04
hadoop2.7.1
(64bit)学习中错误整理
问题一、ESXi5.5安装过程中网卡不支持解决方案:购买新网卡,这个是经过亲身实践后得到的最好结论,有时候,花点钱能解决的问题,绝对不要纠结,也不能为了显示个人能力而zhuangbility,当然,一定要顶风撸三米的请忽视此结果,然后寻找网卡驱动并重新编译驱动程序。问题二、HadoopNativeLibraries问题如果您的linux系统是64位,那么很高兴的告诉您。您需要重新编译hadoop2
ordinance
·
2015-10-16 14:00
hadoop
bug
[
hadoop2.7.1
]I/O之Writable源码及相关注解
我们先来看
hadoop2.7.1
中Writable接口的
s060403072
·
2015-10-16 09:00
基于HA的
hadoop2.7.1
完全分布式集群搭建
本文的前提是假设你已经成功安装一台服务器的hadoop伪分布式,因此有些细节没有具体给出解释(http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html)。参考文章:http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist
tianjun2012
·
2015-10-14 11:00
Hadoop2.7.1+Hbase1.2.1集群环境搭建(1)
hadoop2.7.1
源码编译
阅读更多(1)
hadoop2.7.1
源码编译http://aperise.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备http://aperise.iteye.com
zilongzilong
·
2015-09-30 00:00
hadoop
源代码
编译
安装包
Hadoop2.7.1+Hbase1.2.1集群环境搭建(1)
hadoop2.7.1
源码编译
阅读更多(1)
hadoop2.7.1
源码编译http://aperise.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备http://aperise.iteye.com
zilongzilong
·
2015-09-30 00:00
hadoop
源代码
编译
安装包
Hadoop2.7.1+Hbase1.2.1集群环境搭建(3)1.x和2.x都支持的集群安装方式
阅读更多(1)
hadoop2.7.1
源码编译http://aperise.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备http://aperise.iteye.com
zilongzilong
·
2015-09-23 16:00
hadoop
分布式安装
namenode
Hadoop2.7.1+Hbase1.2.1集群环境搭建(3)1.x和2.x都支持的集群安装方式
阅读更多(1)
hadoop2.7.1
源码编译http://aperise.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备http://aperise.iteye.com
zilongzilong
·
2015-09-23 16:00
hadoop
分布式安装
namenode
Hadoop2.7.1+Hbase1.1.2集群环境搭建(3)
hadoop2.7.1
安装
(1)
hadoop2.7.1
源码编译 http://zilongzilong.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备 http://zilongzilong.iteye.com
zilongzilong
·
2015-09-23 16:00
hadoop
分布式安装
hadoop2.7.1
单机版安装部署
环境和软件:1.vmware10+ubuntu14.04(32bit)查看linux操作系统位数:getconfLONG_BIT2.jdk1.8.0_60(注意要和linux系统位数一致,我的为32位)
hadoop2.7.1
duhm
·
2015-09-22 21:43
大数据
hadoop
hadoop2.7.1
单机版安装部署
环境和软件:1.vmware10+ubuntu14.04(32bit)查看linux操作系统位数:getconfLONG_BIT2.jdk1.8.0_60(注意要和linux系统位数一致,我的为32位)
hadoop2.7.1
duhm
·
2015-09-22 21:19
hadoop
Ant构建Hadoop程序(Hadoop-2.7.1)
1、环境描述Hadoop环境:VirtualBox5(三台),CentOS7,
Hadoop2.7.1
开发环境:Windows72、详细配置2.1、project结构一览2.2、build.xml
悟空太多啦
·
2015-08-11 11:00
mapreduce
hadoop
ant
hadoop开发
Hadoop2.7.1
分布式安装-安装篇
环境说明VirtualBox5(三台),CentOS7,Hadoop2.7.11、基础安装及配置先完成
Hadoop2.7.1
分布式安装-准备篇注意:Hadoop-2.5.1开始终于不用再编译64位的libhadoop.so
悟空太多啦
·
2015-07-31 14:00
hadoop
hadoop安装
hadoop-2.7.1安装
hadoop2.7.1安装
hadoop2.7.1
Hadoop2.7.1
分布式安装-准备篇
环境说明VirtualBox5(三台),CentOS7,
Hadoop2.7.1
,1、网络设置为桥接方式参考:http://www.cnblogs.com/york-hust/archive/2012/03
悟空太多啦
·
2015-07-29 22:00
hadoop
hadoop安装
hadoop2.7.1
hadoop2.7.1安装
hadoop-2.7.1安装
Hadoop2.7.1
集群搭建
菜鸟配置
Hadoop2.7.1
集群搭建本文章是在虚拟机下安装Hadoop集群1.安装虚拟机环境电脑环境是64位操作系统,故采用64位Vmware虚拟机,64centos6.4操作系统,本人安装了三台虚拟机分别为
sudaxhh
·
2015-07-29 20:00
上一页
1
2
3
4
5
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他