E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop2.7.1
Hadoop2.7.1+Hbase1.2.1集群环境搭建(10)基于ZK的Hadoop HA集群安装
阅读更多(1)
hadoop2.7.1
源码编译http://aperise.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备http://aperise.iteye.com
zilongzilong
·
2016-06-18 00:00
hadoop
HA
zk
zookeeper
Hadoop2.7.1+Hbase1.2.1集群环境搭建(10)基于ZK的Hadoop HA集群安装
阅读更多(1)
hadoop2.7.1
源码编译http://aperise.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备http://aperise.iteye.com
zilongzilong
·
2016-06-18 00:00
hadoop
HA
zk
zookeeper
在win7的idea访问centos部署的
hadoop2.7.1
问题集锦
阅读更多hadoop程序安装包：/opt/package/hadoop-2.7.1；（具体hadoop安装请参考hadoop的安装教程！）问题1:：jps查看进程，没有datanode？文件格式化$HADOOP_HOME/bin/hdfsnamenode-format后，没有删除对应的元数据目录以及权限分配，可以监控hadoop启动日志（/opt/package/hadoop-2.7.1/log/
zhongmin2012
·
2016-06-15 16:00
hadoop
win7
idea
连接
在win7的idea访问centos部署的
hadoop2.7.1
问题集锦
阅读更多hadoop程序安装包：/opt/package/hadoop-2.7.1；（具体hadoop安装请参考hadoop的安装教程！）问题1:：jps查看进程，没有datanode？文件格式化$HADOOP_HOME/bin/hdfsnamenode-format后，没有删除对应的元数据目录以及权限分配，可以监控hadoop启动日志（/opt/package/hadoop-2.7.1/log/
zhongmin2012
·
2016-06-15 16:00
hadoop
win7
idea
连接
在win7的idea访问centos部署的
hadoop2.7.1
问题集锦
hadoop程序安装包：/opt/package/hadoop-2.7.1；（具体hadoop安装请参考hadoop的安装教程！）问题1:：jps查看进程，没有datanode？ 文件格式化$HADOOP_HOME/bin/hdfsnamenode-format后，没有删除对应的元数据目录以及权限分配，可以监控hadoop启动日志（/opt/package/hadoop-2.7.1/l
zhongmin2012
·
2016-06-15 16:00
hadoop
win7
连接
idea
Hadoop2.7.1
高可用环境搭建
Hadoop基础知识：http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html注：本文中缺少的图可以下载附件DOCHadoop2.7.1集群搭建1.系统配置电脑1(Lenovo)，win764位系统，8G内存，此电脑虚拟机上运行name系统。电脑1(Lenovo)，win764位系统，8G内存，此电脑虚拟机上运行standyname系统电
Donald_Draper
·
2016-05-31 21:23
java
mapreduce
hadoop
Win7中使用Eclipse连接虚拟机中的Ubuntu中的
Hadoop2.7.1
经验总结
本文的目的：Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.7版本：Hadoop2.7.1hadoop安装模式：伪分布式本文主要解决的问题：检查点：1.配置文件是否正确，localhost是否需要替换成hadoopmaster的IP2.集群是否启动3. 是否关闭防火墙4.hosts中主机名和地址是否映射5.虚拟机的IP是否设置成桥接模式静态ip,检查虚拟机和主机是否可以互
zqqnancy
·
2016-05-16 16:00
eclipse
虚拟机
开发环境配置
Hadoop环境搭建及实现倒排索引
我用自己的笔记本在ubuntu14.04操作系统下自己搭建了
hadoop2.7.1
lihaitao000
·
2016-05-13 12:00
Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
本教程适合于在CentOS6.x系统中安装原生Hadoop2，适用于
Hadoop2.7.1
,Hadoop2.6.0等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利在CentOS
qjc_501165091
·
2016-05-04 23:00
hadoop
数据库
分布式
使用java代码提交Spark的hive sql任务，run as java application
我的环境：
hadoop2.7.1
、spark1.6.0、hive2.0、java1.7目标：通过java-jarxxx.jar的方式来运行提交spark应用，执行查询hivesql。
灵宝
·
2016-05-03 17:00
spark
java代码提交应用
编译
Hadoop2.7.1
（Ubuntu）
操作系统准备：$sudoapt-getupdate $sudoapt-getupgrade $sudoapt-getinstallbuild-essentialopenjdk-7-jdkgitmavensubversion $sudoapt-getinstallg++autoconfautomakelibtoolcmakezlib1g-devpkg-configlibssl-dev $java-
u011499747
·
2016-04-29 10:00
hadoop
ubuntu
大数据环境部署-JDK8、
Hadoop2.7.1
、Spark 1.6 for Hadoop2.6+、Scala2.11.7
阅读更多JDK8、
Hadoop2.7.1
、Spark1.6forHadoop2.6+、Scala2.11.7命令：sudo（普通用户执行root的命令权限）；参考：http://www.linuxdiyf.com
xttifqqk
·
2016-04-25 11:00
JDK8
Hadoop2.7.1
Spark
1.6
for
Hadoop2.6+
Scala2.11.7
大数据环境部署-JDK8、
Hadoop2.7.1
、Spark 1.6 for Hadoop2.6+、Scala2.11.7
阅读更多JDK8、
Hadoop2.7.1
、Spark1.6forHadoop2.6+、Scala2.11.7命令：sudo（普通用户执行root的命令权限）；参考：http://www.linuxdiyf.com
xttifqqk
·
2016-04-25 11:00
JDK8
Hadoop2.7.1
Spark
1.6
for
Hadoop2.6+
Scala2.11.7
Java笔记--CenOS6.5搭建
hadoop2.7.1
伪分布式环境
一、前言很以前就搭建过hadoop的伪分布式环境，为了搭建环境特意弄的双系统，还把毕业论文给毁了。不过当时使用的是hadoop1.x的，而且因为一些原因，就搭建了环境，而没继续学习了。现在开始，准备好好的学习一下hadoop二、Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台是云计算中PaaS(平台即服务)一层的实现HDFS和MapReduce共同组成了Hadoop
GuLu_GuLu_jp
·
2016-04-22 23:00
java
mapreduce
hadoop
云计算
hadoop2.7.1
在vmware上3台centos7虚拟机上的完全分布式集群搭建
集群架构centos7的安装安装javahadoop全分布ssh无密码登录hadoop集群正常启动测试以下内容均属个人理解，如有偏差，望大家谅解。集群架构3台虚拟机都在同一个局域网中，网段是192.168.10.0，子网掩码是：255.255.255.0。主节点：master.hadoop192.168.10.2namenode,SecondaryNamenode,ResourceNameNode
DdouQiu
·
2016-04-21 22:58
hadoop
centos搭建hadoop2
第二篇隔了这么久，一个是因为有工作任务，第二个也是因为为了编译64位的
hadoop2.7.1
耽误了。到现在也不确定64位系统到底需不需要自己编译hadoop2，反正我编译了才安装成功的。
任杰LL
·
2016-04-19 15:00
hadoop2
单机版hadoop2搭建
编译64位hadoop2
[
hadoop2.7.1
]I/O之序列化（serializer）
先来看下org.apache.hadoop.io.serializer的类图（
hadoop2.7.1
）：由类图看：接口三个：1、Deserializer：定义反序列化接口；2、Serializer：定义序列化接口
tenght
·
2016-04-13 16:00
[
hadoop2.7.1
]I/O之压缩
先来看下类图（
hadoop2.7.1
）：对照类图，对每一种压缩算法做个简单介绍：DeflateCodec（DEFLATE）
hadoop2.7.1
中实际上就是DefaultCodec。
tenght
·
2016-04-13 16:00
[
hadoop2.7.1
]I/O之序列化（WritableSerialization）示例
首先先引入
hadoop2.7.1
中的一个工具类GenericsUtil，顾名思义，是用来处理java泛型的一个工具类，这个类很简单，但很实用，不多说，直接上源码：packageorg.apache.hadoop.util
tenght
·
2016-04-13 16:00
[
hadoop2.7.1
]I/O之IntWritable测试实例(详尽)
用到的开源工具包：hamcrest，junitIDE：MyEclipse2013SR1用到的工具：1、Stringjava.lang.String.format(Localel,Stringformat,Object...args)使用指定的语言环境、格式字符串和参数返回一个格式化字符串。参数：l-格式化过程中要应用的语言环境。如果l为null，则不进行本地化。format-格式字符串args-格
tenght
·
2016-04-13 16:00
[
hadoop2.7.1
]I/O之MapFile（排过序的SequenceFile）读、写、重建index实例
MapFile是排序后的SequenceFile，MapFile由两部分组成，分别是data和index。index文件的数据索引，主要记录了每个Record的key值，以及该Record在文件中的偏移位置。在MapFile被访问的时候,索引文件会被加载到内存，通过索引映射关系可迅速定位到指定Record所在文件位置，因此，相对SequenceFile而言，MapFile的检索效率是高效的，缺点
tenght
·
2016-04-13 16:00
Hadoop2.7.1+Hbase1.1.2集群环境搭建(10) hadoop hbase kerberos
阅读更多(1)
hadoop2.7.1
源码编译http://zilongzilong.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备http://zilongzilong.iteye.com
zilongzilong
·
2016-03-30 17:00
hadoop
hbase
kerberos
Hadoop2.7.1+Hbase1.1.2集群环境搭建(10) hadoop hbase kerberos
阅读更多(1)
hadoop2.7.1
源码编译http://zilongzilong.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备http://zilongzilong.iteye.com
zilongzilong
·
2016-03-30 17:00
hadoop
hbase
kerberos
hadoop2.7.1
配置备忘
1、hadoop-env.sh#开启自动同步代码，当重启master时，master机器上的hadoop代码同步到各台slaves上 exportHADOOP_MASTER=master:$HADOOP_HOME exportHADOOP_SLAVE_SLEEP=0.1 exportJAVA_HOME=$JAVA_HOME#前提是JDK环境变量已配置，chk：echo$JAVA_HOME2、cor
kevin6216
·
2016-03-25 11:00
Hadoop2.7.1+Hbase1.1.2集群环境搭建(7)hbase 性能优化
(1)
hadoop2.7.1
源码编译 http://zilongzilong.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备 http://zilongzilong.iteye.com
zilongzilong
·
2016-03-15 11:00
性能
优化
hbase
Hadoop2.7.1+Hbase1.2.1集群环境搭建(7)hbase 性能优化
阅读更多(1)
hadoop2.7.1
源码编译http://aperise.iteye.com/blog/2246856(2)
hadoop2.7.1
安装准备http://aperise.iteye.com
zilongzilong
·
2016-03-14 13:00
hbase
性能
优化
hadoop2x-eclipse-plugin在hadoop 2.7下编译
我下载源码包后发现其release包中只有hadoop2.6的，我本机的环境是
hadoop2.7.1
所以需要自己编译环境准备其官方的编译指导文件描述
StormrageWang
·
2016-03-09 12:00
eclipse
hadoop
ant
WebHDFS vs HttpFS GateWay
基于
hadoop2.7.1
版本 一、简介 1、WebHDFS官方简介： Introduction TheHTTPRESTAPIsupportsthecompleteFileSystem/FileContextinterfaceforHDFS
qq85609655
·
2016-03-09 09:11
Hadoop安装教程_单机/伪分布式配置
本教程适合于在CentOS6.x系统中安装原生Hadoop2，适用于
Hadoop2.7.1
,Hadoop2.6.0等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利在CentOS
u012877472
·
2016-03-07 18:00
hadoop
hadoop2.7.1
安装
hadoop2.7.1
安装 李万鸿服务器配置1.集群地址Ip位置：10.1.130.10
buddha17
·
2016-02-29 21:00
ubuntu下部署eclipse集成hadoop\android\web\GCC开发环境小记
Hadoop环境：1、部署： 1)ubuntu上创建新用户账号：hadoop/123，并设置为管理员； 2)ubuntu上安装SSH：创建rsa无密码ssh-key； 3)ubuntu上部署
hadoop2.7.1
fjssharpsword
·
2016-02-03 08:00
hadoop2.7.1
的一些新特性
最近hadoop版本更替的有些频繁，上个月看的时候是2.7的版本，今天上来的时候2.7.1了，不过现在的版本只是发行版本的一个小版本，不过还是非常兴奋的，下面记录一下：hadoop2.7.11.放弃支持jdk1.6,结合jdk1.7使用common模块：1.支持windowsazure存储hdfs:1.支持文件截断2.支持配额/存储类型3.支持可变长的文件块yarn:1.使yarn授权变为可插拔的
fjr_huoniao
·
2016-01-21 16:42
hadoop
ambari实战 (1)ambari介绍
2272263ambari实战(2)ambari安装http://zilongzilong.iteye.com/blog/22722231.Ambari是什么1.1Ambari为什么出现前面已经花了大量篇幅讲解
Hadoop2.7.1
zilongzilong
·
2016-01-20 16:00
ambari
介绍
安装
ambari实战 (1)ambari介绍
2272263ambari实战(2)ambari安装http://zilongzilong.iteye.com/blog/22722231.Ambari是什么1.1Ambari为什么出现前面已经花了大量篇幅讲解
Hadoop2.7.1
zilongzilong
·
2016-01-20 16:00
ambari
介绍
安装
ambari实战 (1)ambari介绍
2)ambari安装 http://zilongzilong.iteye.com/blog/2272223 1.Ambari是什么 1.1Ambari为什么出现 前面已经花了大量篇幅讲解
Hadoop2.7.1
zilongzilong
·
2016-01-20 16:00
安装
介绍
ambari
从零开始搭建
Hadoop2.7.1
的分布式集群
http://blog.csdn.net/zl007700/article/details/50533675
天下杰论
·
2016-01-18 19:00
Hadoop 2.7.1 搭建
1目的将
hadoop2.7.1
安装到166、167、168三台机器上2提供环境练习环境192.168.0.166master192.168.0.167slave01192.168.0.168slave02user
灼灼2015
·
2016-01-17 09:39
初学
hadoop2.7.1
(一)配置单点模式
系统：ubuntu-14.04.3-desktop-amd64+mac.isohadoop版本：hadoop-2.7.1jdk版本：jdk-7u79-linux-x64.tar.gz1.安装配置JDK1.1）解压jdksudotarzxvfjdk-7u79-linux-x64.tar.gz-C/usr/lib/java1.2)修改环境变量sudovim/etc/profile添加:#setjava
faq_tong
·
2016-01-15 16:26
一步一步安装
hadoop2.7.1
HA
一步一步安装hadoop2.7.1HAHadoopHA高可用架构图：3台虚拟机节点分部：--不用图形界面[root@node1~]#vi/etc/inittabid:3:initdefault:--linux基本设置ifconfig192.168.88.128192.168.88.129192.168.88.130hostnamenode1hostnamenode2hostnamenode3vi/
gdmzlhj1
·
2016-01-08 14:08
hadoop
Hadoop2.6.0集群安装
环境本教程使用 Ubuntu14.0464位 作为系统环境，基于原生Hadoop2，在 Hadoop2.6.0(stable) 版本下验证通过，可适合任何Hadoop2.x.y版本，例如
Hadoop2.7.1
benladeng5225
·
2016-01-08 11:00
Reduce统计结果汇总混乱
在
hadoop2.7.1
上写了一段MapReduce程序，做一个wordcloud统计，程序执行结果中有数据，但是混乱：很多完全相同的关键字没有归并到一起，也有个别的归并到了一起，但汇总值没有超过
师弟文
·
2016-01-06 09:00
mapreduce
hadoop
2.7.1
Hadoop2.7.1
和Hbase0.98添加LZO压缩
阅读更多1，执行命令安装一些依赖组件yuminstall-yhadoop-lzolzolzo-develhadoop-lzo-nativelzop2，下载lzo的源码包并解压wgethttp://www.oberhumer.com/opensource/lzo/download/lzo-2.09.tar.gztar-zxvflzo-2.09.tar.gz3，在当前目录新建一个lzo目录，存储编译后
qindongliang1922
·
2016-01-04 17:00
hbase
hadoop
lzo
Hadoop2.7.1
和Hbase0.98添加LZO压缩
1，执行命令安装一些依赖组件yuminstall-yhadoop-lzolzolzo-develhadoop-lzo-native lzop2，下载lzo的源码包并解压wgethttp://www.oberhumer.com/opensource/lzo/download/lzo-2.09.tar.gztar-zxvflzo-2.09.tar.gz3，在当前目录新建一个lzo目录，存储编译后的lz
qindongliang1922
·
2016-01-04 17:00
hadoop
hbase
lzo
（转载）
Hadoop2.7.1
配置
http://my.oschina.net/laigous/blog/478438hadoop伪分布式搭建 其实官网有比较详实的说明，英语好的可以直接看官网，地址 1、安装JDK1.7 这个省略，官网显示1.6可以，但是我用openjdk1.6出了异常，JDK1.6没试，直接用了JDK1.7 配置好环境变量 ?1vi /etc/profile?123expor
fjssharpsword
·
2016-01-04 16:00
hadoop2.7.1
环境搭建
在老板的支持下，陆续划拉到了10几台机器，绑定了固定IP，工作之余开始了Hadoop之旅。将要点记录下来，以备查阅。硬件构成：ResourceVolumeCPU2coresMemory4GBDisk500 GBNetwork100M软件构成：NameVersionInstall PathCentOS6.7x86_64/OracleJDK7u79-linux-x64/usr/local/java/H
师弟文
·
2015-12-30 11:00
mapreduce
hadoop
yarn
CentOS 6.3 下编译64位
hadoop2.7.1
yuminstallsvnyuminstallautoconfautomakelibtoolcmakeyumintallncurses-develyuminstallopenssl-develyuminstallgcc*安装jdk1.7.0_80并配置环境变量安装maven wgethttp://mirrors.noc.im/apache/maven/maven-3/3.3.9/bi
tenchiwuyo
·
2015-12-28 10:00
64位
编译
hadoop2.7.1
hadoop2.7.1
不重启，动态删除节点和新增节点
hadoop重启太麻烦了，需要暂停当前所有的任务。所以动态的删除和新增节点就很重要了。先说动态删除节点：（配置为可动态删除节点，这个是要重启的，以后需要动态删除节点时，就不用重启了。）进入hadoop目录的etc/hadoop/目录1.增加excludes文件，每行写一个要删除的节点的主机名2.在hdfs-site.xml中增加 dfs.hosts.exclude /data/hadoop/etc
灵宝
·
2015-12-25 16:00
负载均衡
hadoop2.7.1
动态新增节点
动态删除节点
[
hadoop2.7.1
]I/O之序列化（WritableSerialization）示例
首先先引入
hadoop2.7.1
中的一个工具类GenericsUtil，顾名思义，是用来处理java泛型的一个工具类，这个类很简单，但很实用，不多说，直接上源码：packageorg.apache.hadoop.util
s060403072
·
2015-12-11 15:00
java
hadoop
IO
[
hadoop2.7.1
]I/O之序列化（serializer）
先来看下org.apache.hadoop.io.serializer的类图（
hadoop2.7.1
）：由类图看：接口三个：1、Deserializer：定义反序列化接口；2、Serializer：定义序列化接口
s060403072
·
2015-12-03 10:00
java
hadoop
IO
[
hadoop2.7.1
]I/O之tfile
在这儿做个记录吧org.apache.hadoop.io.file.tfile.TFile@Public@EvolvingA TFile is a container of key-value pairs. Both keys and values are type-less bytes. Keys are restricted to 64KB, value length is not restr
s060403072
·
2015-12-03 09:00
java
hadoop
IO
上一页
1
2
3
4
5
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他