hadoop2.2.0)

利用Eclipse构建Spark集成开发环境

Spark：利用Eclipse构建Spark集成开发环境2014-01-0710:36佚名dongxicheng.org我要评论(0)字号：T|T前一篇文章“ApacheSpark学习：将Spark部署到Hadoop2.2.0
xuguokun1986·2015-09-12 10:00

Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)

1需要软件Hadoop-2.2.0Hbase-0.96.2（这里就用这个版本，跟Hadoop-2.2.0是配套的，不用覆盖jar包什么的）Hive-0.13.1Zookeepr-3.4.6（建议使用Zookeepr-3.4.5，这样就不用替换storm和hive里面的zookeepr-3.4.5.jar了）Sqoop1.4.5Scala-2.10.4Spark-1.0.2-bin-hadoop2J
edentyin·2015-09-07 23:15

Hadoop2.2.0中HDFS的高可用性实现原理

在《Hadoop1.x中fsimage和edits合并实现》文章中，我们谈到了Hadoop1.x上的fsimage和edits合并实现，里面也提到了Hadoop2.x版本的fsimage和edits合并实现和Hadoop1.x完全不一样，今天就来谈谈Hadoop2.x中fsimage和edits合并的实现。我们知道，在Hadoop2.x中解决了NameNode的单点故障问题；同时Secondary
javastart·2015-09-06 09:00

Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程~（心血之作啊~~）

转载至： http://blog.csdn.net/licongcong_0224/article/details/12972889历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）PS：转载请注明来源：http://blog.csdn.net/li
ldds_520·2015-08-27 16:00

Centos6.5 + Hadoop2.2.0 + Mahout安装(Maven & 发布版安装)

Mahout简介Mahout是ApacheSoftwareFoundation（ASF）旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。ApacheMahout项目已经发展到了它的第三个年头，目前已经有了三个公共发行版本。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用ApacheHadoop库，Mah
u011414200·2015-08-22 13:00

Centos6.5 64位Hadoop伪分布安装教程

伪分布安装教程本教程配置说明目的：给Hadoop初学者一个直观认识，为后续的完全分布打下基础本教程的环境搭建准备：实体机Win764位VMwareWorkstation10.0.0版本Centos6.5版本Hadoop2.2.0
该昵称已经被占用·2015-08-15 15:24

Centos6.5 64位Hadoop伪分布安装教程

伪分布安装教程本教程配置说明目的：给Hadoop初学者一个直观认识，为后续的完全分布打下基础本教程的环境搭建准备：实体机Win764位VMwareWorkstation10.0.0版本Centos6.5版本Hadoop2.2.0
u011414200·2015-08-15 15:00

Hadoop两个版本fsimage和edits文件运行机制对比

看看目录(hadoop2.2.0版本)：我们发现有些以edites_开头
yushaoqing·2015-08-03 11:35

Hadoop两个版本fsimage和edits文件运行机制对比

看看目录(hadoop2.2.0版本)：我们发现有些以edites_开头和少量以
yushaoqing·2015-08-03 11:35

Hadoop两个版本fsimage和edits文件运行机制对比

看看目录(hadoop2.2.0版本)：我们发现有些以edites_开头和少量以
yushaoqing·2015-08-03 11:35

Eclipse 阅读 Hadoop2.2.0 源码

下载protobuf-2.5.0.tar.gz安装./configuremakemakecheckmakeinstall验证：protoc–version添加开源中国maven库：http://maven.oschina.net/home.html修改maven\conf\settings.xml nexus-osc * Nexusosc http://maven.oschina.net/con
guotong1988·2015-07-30 11:00

利用Eclipse构建Spark集成开发环境

http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/前一篇文章“ApacheSpark学习：将Spark部署到Hadoop2.2.0上”
moonpure·2015-07-22 11:00

Hadoop之常见错误集锦

下文中没有特殊说明，环境都是CentOS下Hadoop2.2.0。
waysoflife·2015-07-20 13:00

Redhat上Hadoop2.2.0安装配置说明

Redhat上Hadoop2.2.0安装配置说明1.建立用户，用户组都为hadoop创建组：groupaddhadoop，创建用户：useradd-ghadoophadoop设置用户密码：passwdhadoop2
daizj·2015-07-09 23:00

Hadoop+Spark+Hbase部署整合篇

确保集群的每台机器用户名都为cloud（或者一样）为了避免过多重复的解释，这里仅仅示意了怎么配置，关于配置的详情解释可自行百度，必应之~或者参考：hadoop2.2.0集群安装和配置HBase集群的安装部署
qq1010885678·2015-06-28 18:00

HBASE 0.98版本安装，一步曲：编译HADOOP 2.2.0 x64版本

1、安装JDK下载JDK7u55版本，安装JDK和JRE都需要，JDK里面有tools.jar，这个jar包是一定需要的安装在/java上2、下载Hadoop2.2.0源代码wgethttp://apache.dataguru.cn
刀刀_高扬·2015-06-23 16:08

HBASE 0.98版本安装，一步曲：编译HADOOP 2.2.0 x64版本

1、安装JDK下载JDK7u55版本，安装JDK和JRE都需要，JDK里面有tools.jar，这个jar包是一定需要的安装在/java上2、下载Hadoop2.2.0源代码wgethttp://apache.dataguru.cn
刀刀_高扬·2015-06-23 16:08

Nutch爬取效率非常重要的一点

http://my.oschina.net/junfrank/blog/290404除此之外我补充本猿在实践过程中遇见的重要的一点，Nutch版本选取的是1.8的版本+hadoop2.2.0。
羊羊羊·2015-06-09 14:00

Nutch爬取效率非常重要的一点

http://my.oschina.net/junfrank/blog/290404除此之外我补充本猿在实践过程中遇见的重要的一点，Nutch版本选取的是1.8的版本+hadoop2.2.0。
羊羊羊·2015-06-09 14:00

Nutch爬取效率非常重要的一点

http://my.oschina.net/junfrank/blog/290404 除此之外我补充本猿在实践过程中遇见的重要的一点，Nutch版本选取的是1.8的版本+hadoop2.2.0。
羊羊羊·2015-06-09 14:00

Hadoop2.0 QJM方式的HA的配置

www.linuxidc.com/Linux/2014-05/101173.htm ）一文的基础上继续介绍hadoop2.0QJM（QuorumJournalManager）方式的HA的配置（hadoop2.0架构，具体版本是hadoop2.2.0
01wang·2015-06-04 18:36

Hadoop2.0 QJM方式的HA的配置

www.linuxidc.com/Linux/2014-05/101173.htm ）一文的基础上继续介绍hadoop2.0QJM（QuorumJournalManager）方式的HA的配置（hadoop2.0架构，具体版本是hadoop2.2.0
01wang·2015-06-04 18:36

oozie安装

  1.1) 本案例以hadoop2.2.0和oozie4.0.0为样本 1.2) 下载oozie-4.0.0-cdh5.0.0-beta-2.tar.gz 1.3)
chengjianxiaoxue·2015-06-03 08:00

Hadoop之——Hadoop2.2.0分布式集群安装

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/45748111 一、安装系统虚拟软件： VMwareworkstation10系统：      Centos6.432bitMasterIP : 192.168.56.131SlaveIP  : 192.168.56.132User&pass: hadoop注：一台充当master(
l1028386804·2015-05-15 19:00

hadoop2.2.0目录结构

一.hadoop2.0的目录结构如下图所示 二.bin目录Hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以用这些脚本管理和使用hadoop 三.etc目录hadoop配置文件所在的目录，包括core-site.xml、hdfs-site.xml、mapred-site.xml等从hadoop1.0继承而来的配置文件和yarn-site.xml等h
eksliang·2015-05-07 16:00

hadoop2.2.0目录结构

一.hadoop2.0的目录结构如下图所示 二.bin目录Hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以用这些脚本管理和使用hadoop 三.etc目录hadoop配置文件所在的目录，包括core-site.xml、hdfs-site.xml、mapred-site.xml等从hadoop1.0继承而来的配置文件和yarn-site.xml等h
eksliang·2015-05-07 16:00

Java程序中不通过hadoop jar的方式访问hdfs

一般情况下，我们使用Java访问hadoopdistributedfilesystem(hdfs)使用hadoop的相应api，添加以下的pom.xml依赖（这里以hadoop2.2.0版本为例）：org.apache.hadoophadoop-common2.2.0org.apache.hadoophadoop-mapreduce-client-core2.2.0
clamaa·2015-05-05 21:07

Java程序中不通过hadoop jar的方式访问hdfs

阅读更多一般情况下，我们使用Java访问hadoopdistributedfilesystem(hdfs)使用hadoop的相应api，添加以下的pom.xml依赖（这里以hadoop2.2.0版本为例
brandNewUser·2015-05-05 21:00

Java程序中不通过hadoop jar的方式访问hdfs

  一般情况下，我们使用Java访问hadoopdistributedfilesystem(hdfs)使用hadoop的相应api，添加以下的pom.xml依赖（这里以hadoop2.2.0版本为例）：
brandNewUser·2015-05-05 21:00

MapReduce原理及实例分析

前言由于最近开始涉及MR程序的编写，之前会一点HIVE，对MR接触不多，不论从原理还是实际操作上，都有些障碍，终于在今天柳暗花明，将这一过程记录下，与大家分享~环境准备在VM上搭建好LINUX虚拟机，并安装配置好HADOOP2.2.0
zfz_linux_boy·2015-04-25 20:28

MapReduce原理及实例分析

前言由于最近开始涉及MR程序的编写，之前会一点HIVE，对MR接触不多，不论从原理还是实际操作上，都有些障碍，终于在今天柳暗花明，将这一过程记录下，与大家分享~环境准备在VM上搭建好LINUX虚拟机，并安装配置好HADOOP2.2.0
zfz_linux_boy·2015-04-25 20:28

HBase的三种操作方式

在《Hadoop2.2.0和HBase0.98.11伪分布式》中已经安装好了伪分布式的HBase，而且可以启动起来了。
liuyuan185442111·2015-04-24 18:00

搭建hadoop2.6.0 HA及YARN HA

搭建hadoop2.6.0HA及YARNHA以前用hadoop2.2.0只搭建了hadoop的高可用，但在hadoop2.2.0中始终没有完成YARNHA的搭建，直接下载了hadoop最新稳定版本2.6.0
qq_16365849·2015-04-14 17:00

mahout0.9的安装和配置（1）

本人使用的环境是windows7_64位操作系统、wmware10、ubuntu64位14.0、hadoop2.2.0、mahout0.9,虚拟机内存1个G1
u014028392·2015-04-06 10:00

sqoop1.99.4的安装和使用

sqoop1.99.4的安装和使用一.环境介绍：sqoop版本:1.99.4-hadoop200hadoop版本:hadoop2.2.0安装路径是/usr/local/sqoop二.sqoop1.99.4
nysyxxg·2015-03-29 11:00

Hbase-0.98.x-haoop2 ImportTsv与completebulkload 工具如何使用

前段时间，自己在实验室琢磨hbase，实验室有5台机器，并且都已经部署好了hadoop2.2.0集群，然后在其中的3台上面装好了zookeeper3.4.6与hbase-0.98.9-hadoop2后，
dingji_ping·2015-03-27 08:00

Hadoop2.2.0集群的HA高可靠的最简单配置

简介Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。hadoop2就解决了这个问题。图1hadoop2.2.0中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个
天下杰论·2015-03-26 15:00

hadoop2.2.0集群安装和配置

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA、YARN等。注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译集群规划：主机名IP安装的软件运行的进程cloud1192.168.61.128jdk、hadoopNam
qq1010885678·2015-03-20 15:00

hadoop2.2.0对应HBase安装说明

注：安装配套hadoop2.2.0版本的HBase,需要hbase-0.96.2-hadoop2-bin.tar.gz1、安装HBase（在hadoop1上）将hbase-0.96.2-hadoop2-
u010022051·2015-03-14 18:00

hadoop2 单机搭建

Hadoop2.2.0环境配置说明（多节点配置在最后） 1. 关闭防火墙# chkconfig iptables off2. 
xinjie1224·2015-03-14 15:00

hadoop2.2.0安装

Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/，因为操作系统我选择的是CentOS-6.5-x86_64-bin-DVD1.iso所以需要下载hadoop的源码自己编译成64位的hadoop，至于编译过程本人还不太
u010022051·2015-03-14 13:00

hadoop2.2.0伪分布式安装

修改主机名和IP的映射关系vi/etc/hosts192.168.61.134hadoop关闭防火墙#查看防火墙状态serviceiptablesstatus#关闭防火墙serviceiptablesstop#查看防火墙开机启动状态chkconfigiptables--list#关闭防火墙开机启动chkconfigiptablesoff重启Linuxreboot安装JDK上传JDK文件到linux
qq1010885678·2015-03-12 21:00

hadoop2.2.0伪分布式搭建

一、准备linux环境1、更改VMware适配器设置  由于是在单机环境下进行学习的，因此选择适配器模式是host-only模式，如果想要联网，可以选择桥接模式，配置的方式差不多。    点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段：192.168.85.0子网掩码：255.255.255.0->a
flycc258·2015-02-24 21:53

hadoop2.2.0伪分布式搭建

一、准备linux环境1、更改VMware适配器设置  由于是在单机环境下进行学习的，因此选择适配器模式是host-only模式，如果想要联网，可以选择桥接模式，配置的方式差不多。    点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段：192.168.85.0子网掩码：255.255.255.0->a
flycc258·2015-02-24 21:53

hadoop集群配置

国内最全最详细的Hadoop2.2.0集群的HA高可靠的最简单配置简介 Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。
hao707822882·2015-02-13 14:00

最详细的hadoop2.2.0集群的HA高可靠的最简单配置(转)

最详细的hadoop2.2.0集群的HA高可靠的最简单配置您的评价:     较差 收藏该经验    简介 hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。
javastart·2015-02-05 16:00

Hadoop云盘文件管理系统

/blog.csdn.net/cptcpt123/article/details/20581339http://download.csdn.net/detail/cptcpt123/7181997基于Hadoop2.2.0
nysyxxg·2015-02-05 14:00

Hadoop2.2.0 中错误总结之（org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test._COPYING）

错误：[root@xiajie01sbin]#hadoopfs-put/root/20131210110122880.doc hdfs://192.168.30.169:9000/test15/01/2803:11:27WARNhdfs.DFSClient:DataStreamerExceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOEx
ZuoAnYinXiang·2015-01-28 19:00

Hadoop2.2.0 中错误总结之（WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfo）

错误：WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-原因查找：   查看本地hadoop文件发现是由于安装的是64位的hadoop文件而本linux系统是32位的，版本不匹配,lib包编译环境不一样，所以不能使用。解决方法：将原来的64位hadoop卸载安装32的ha
ZuoAnYinXiang·2015-01-28 11:00

Hadoop2.0入门学习(一)--Hadoop2.2.0伪分布式安装配置详解

一、测试环境准备    由于个人硬件环境的限制，在测试过程中我是以VMware开虚拟机来替代真实的机器，宿主机和虚拟机配置如下：    宿主机：       CPU： Inteli5-3470CPU3.20GHz        内存： 8.00GB      操作系统： Windows7旗舰版 (64位/ServicePack1)    虚拟机：         操作系统：Ubuntu14.04.
MinMGui·2015-01-25 13:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他