hadoop2.X

Hadoop环境

Hadoop环境已经安装完毕（1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2
weitao1026·2016-01-15 10:00

hadoop单机版搭建过程

hadoop2.4.1编译后的包并解压到/hadoop目录下mkdir /hadoop解压tar  -zxvf  hadoop.2.7.0.tar.gz -C /hadoop   l 配置hadoop注意：hadoop2
sqh201030412·2016-01-11 23:00

Hadoop2.x HDFS shell命令

Hadoop2HDFSshell命令 1. hdfsdfs-appendToFile... 可同时上传多个文件到HDFS里面 2.  hdfsdfs-catURI[URI...] 查看文件内容 3. hdfsdfs-chgrp[-R]GROUPURI[URI...] 修改文件所属组 4.  hdfsdfs-chmod[-R]URI[URI...] 修改文件权限 5. hdfsdfs-chown[-
yntmdr·2016-01-11 15:36

hadoop 2.6.0伪分布式安装

本教程基于原生Hadoop2，在 Hadoop2.6.0(stable) 版本下验证通过，可适合任何Hadoop2.x
benladeng5225·2016-01-08 11:00

模拟实现一个基于zookeeper怎么解决单点故障

单点故障问题，在分布式系统中是一个很有可能发生的场景，比如说在Hadoop2.x之前的HDFS的NameNode和MapReduce的JobTracker的单点故障，当然这个问题已经在Hadoop2.x
weitao1026·2016-01-05 10:00

hadoop2.x 常用端口及定义方法

一常用端口号1HDFS2YARN3HBase4Hive5ZooKeeper二WebUIHTTP服务1对于存在WebUIHTTP服务的所有hadoopdaemon有如下url2特定的Daemon又有特定的URL路径特定相应信息一.常用端口号Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记
u011414200·2016-01-01 11:00

Hadoop 1.x 与 2.x 中 fsimage 和 edits 合并实现

本文部分转自Hadoop1.x中fsimage和edits合并实现本文部分转自Hadoop2.x中fsimage和edits合并实现本文部分转自hadoop2.2.0关于fsimage&editlog的相关配置一
u011414200·2016-01-01 11:00

Linux系统基本知识说明和启动Linux虚拟机

Hadoop生产都是在Linux环境下的，在Hadoop2.x已经开始支持windows环境了，只是支持，所以首先要掌握Liunx环境的使用，熟悉Liunx命令1、Linux环境搭建，使用VMware虚拟机搭建环境
hsl_1990_08_15·2015-12-30 12:00

Hadoop2.x配置即测试

版本http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz配置参考这里测试参考这里
zc02051126·2015-12-19 10:00

hadoop2.0 HA高可用笔记和搭建流程

一：hadoop2.X笔记hadoop1.0中，HDFS存在的问题-NameNode单点故障-NameNode压力过大、内存受限MapReduce存在的问题---mapReduce计算时间比较长JobStacker
BradyZhu·2015-12-15 18:00

Hadoop2.x的MapReduce改进

1.1Hadoop1.x时代的MapReduce在Hadoop1.x时代，Hadoop中的MapReduce实现是做了很多的事情，而该框架的核心JobTracker则是既当爹又当妈的意思，如图4所示：图4Hadoop1.x时代的MapReduce框架架构图（1）首先用户程序（JobClient）提交了一个job，job的信息会发送到JobTracker中，JobTracker是Map-reduce
俯身吻你·2015-12-15 16:05

hadoop1.x与hadoop2.x在HDFS和MapReduce上的区别

HDFS改进·hadoop1.x的HDFS体系架构在Hadoop1.x中的NameNode只可能有一个，虽然可以通过SecondaryNameNode与NameNode进行数据同步备份，但是总会存在一定的延时，如果NameNode挂掉，但是如果有部份数据还没有同步到SecondaryNameNode上，还是可能会存在着数据丢失的问题。下面顺便介绍一下SecondaryNameNode在Hadoop
俯身吻你·2015-12-14 20:01

MapReduce任务参数调优

http://blog.javachen.com/2014/06/24/tuning-in-mapreduce/本文主要记录Hadoop2.x版本中MapReduce参数调优，不涉及Yarn的调优。
shubingzhuoxue·2015-12-09 21:00

hadoop2.5.2 eclipse 插件编译

原文地址：http://aub.iteye.com/blog/2162155插件地址：https://github.com/winghc/hadoop2x-eclipse-plugin  1.下载并解压hadoop2
larntin2002·2015-11-27 19:00

Hadoop2.x版本的eclipse插件问题汇总

问题一：最近搭建hadoop-2.6.0之后，在Window8系统中，将自己ant编译的hadoop-eclipse-plugin-2.6.0放在eclipse\plugins\目录下，重启eclipse之后，发现该插件没法使用！解决办法是：启动eclipse的时候清理一下缓存。  eclipse.exe-clean。  就可以解决我那个插件不存在的问题。
buster2014·2015-11-26 07:00

hadoop2.x异常

Win下Eclipse提交hadoop程序出错：org.apache.hadoop.security.AccessControlException:Permissiondenied:  Win下Eclipse提交hadoop程序出错：org.apache.hadoop.security.AccessControlException:Permissiondenied:user=administrat
51zhangyanfeng·2015-11-18 18:56

Eclipse安装Hadoop插件配置Hadoop开发环境

这儿有一个Hadoop2.X版本对应的Hadoop插件，前往下载，下载hadoop2x-eclipse-plugin.zip。
garfielder007·2015-11-17 13:34

Eclipse安装Hadoop插件配置Hadoop开发环境

这儿有一个Hadoop2.X版本对应的Hadoop插件，前往下载，下载hadoop2x-eclipse-plugin.zip。
GarfieldEr007·2015-11-17 13:00

Hadoop2.x编程入门实例：MaxTemperature

Hadoop2.x编程入门实例：MaxTemperature@(博客文章)[hadoop]Hadoop2x编程入门实例MaxTemperature一前期准备二编写代码1创建Map2创建Reduce3创建
lujinhong2·2015-11-13 15:00

Hadoop2.x版本全分布式详细安装过程！！【原创！非抄袭！】

网上对于全分布式的介绍也是一堆！！要么是假的！要么是1.x版本的全分布式！我实在是无力吐槽，很多博客大牛转载的或者“原创”的我看完我都问他们自己。。。他们自己实现了吗？以下是我的安装过程： 如有问题随时联系我 E-mail:[email protected]   此次Hadoop分布式共搭建了三个虚拟机，分别如下： 主机名 IP 运行进程 maste
·2015-11-13 14:59

Hadoop2.X版本伪分布式安装详细介绍【非抄袭，原创！】

网上hadoop单节点安装文章真是一搜一大堆，可以这样说，全是垃圾，那些博主也不知道自己安装过没有。。反正就一堆的copy，我实在看不下去了。必须把我总结的写出来，如果你有任何问题随时联系我！ E-Mail: [email protected] 下面我以2.2.0为例子！注意这是单节点！！伪分布式！！不喜勿看   Hadoop2.2.0（Yarn）安装详细过程 一、运行一个单机版
·2015-11-13 14:59

Hadoop1.x程序升级到Hadoop2.x需要的依赖库，Cannot initialize Cluster.Please check your configuration for ma

 根据官方文档（ApacheHadoopMapReduce-MigratingfromApacheHadoop1.xtoApacheHadoop2.x：http://hadoop.apache.org/docs/r2.2.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduce_Compatibility_Hadoop1_Ha
qq_20545159·2015-11-11 23:00

spark 1.X standalone和on yarn安装配置

安装JDK1.7以上Hadoop2.7.0不支持JDK1.6，Spark1.5.0开始不支持JDK1.6安装Scala2.10.4安装Hadoop2.x至少HDFSspark-env.shexport 
jethai·2015-11-11 22:16

spark 1.X standalone和on yarn安装配置

安装JDK1.7以上Hadoop2.7.0不支持JDK1.6，Spark1.5.0开始不支持JDK1.6安装Scala2.10.4安装Hadoop2.x 至少HDFSspark-env.shexport
jethai·2015-11-11 22:16

Hadoop2.x集群动态添加删除数据节点

     如果Hadoop集群已经在运行了，这时可能需要动态的添加新的数据节点到Hadoop系统中去，或者将某个数据节点下线，由于业务的需要，集群是不能重启的，那么具体的DataNode添加、删除步骤是什么样的呢？ 下面以DataNode的上线为例详细说明下如何动态的给HDFS集群新增数据节点(Hadoop2.0版本)。   &nbs
·2015-11-11 18:30

YARN环境搭建 之 一：CentOS7.0系统配置

一、我缘何选择CentOS7.0     14年7月7日17:39:42发布了CentOS 7.0.1406正式版,我曾使用过多款Linux，对于Hadoop2.X/YARN
·2015-11-11 18:38

hadoop2.5.2学习及实践笔记（三）—— HDFS概念及体系结构

    注：文中涉及的文件路径或配置文件中属性名称是针对hadoop2.X系列，相对于之前版本，可能有改动。
·2015-11-11 00:49

作业流程和优化

MapReduce作业读取文件Map任务数量由InputSplit决定，InputSplit分片大小默认是HDFS块大小（hadoop1.x=64mb，hadoop2.x是128mb）。
·2015-11-07 12:00

[hadoop2.7.1]I/O之SequenceFile最新API编程实例（写入、读取）

写操作根据上一篇的介绍，在hadoop2.x之后，hadoop中的SequenceFile.Writer将会逐渐摒弃大量的createWriter（）重载方法，而整合为更为简洁的createWriter
s060403072·2015-11-06 22:00

启动hadoop2.x historyserver

启动hadoop2.xhistoryserver（不启动historyserver的话，pig任务结束后，会报连接不上10020端口）./mr-jobhistory-daemon.shstarthistoryserver[root@ylchou sbin]#./mr-jobhistory-daemon.shstarthistoryserverstartinghistoryserver,loggin
浮躁请沉下来·2015-11-06 00:00

Hadoop 2.x的DistributedCache无法工作的问题

现象：和这个帖子描述的一样，简单说来就是，在Hadoop2.x上，用新的DistributedCache的API，在mapper中会获取不到这个cache文件。
longzhun·2015-11-04 09:00

Hadoop第3周练习--Hadoop2.X编译安装和实验

1    作业题目... 5 2    编译Hadoop2.X 64bit. 5 2.1    
·2015-10-31 08:55

Hadoop2.x源码－编译剖析

1.概述最近，有小伙伴涉及到源码编译。然而，在编译期间也是遇到各种坑，在求助于搜索引擎，技术博客，也是难以解决自身所遇到的问题。笔者在被询问多次的情况下，今天打算为大家来写一篇文章来剖析下编译的细节，以及遇到编译问题后，应该如何去解决这样类似的问题。因为，编译的问题，对于后期业务拓展，二次开发，编译打包是一个基本需要面临的问题。2.编译准备在编译源码之前，我们需要准备编译所需要的基本环境。下面给大
哥不是小萝莉·2015-10-29 10:00

Hadoop2.x下安装HBase

1.安装好hadoop集群，并启动[grid@hadoop4~]$shhadoop-2.5.2/sbin/start-dfs.sh[grid@hadoop4~]$shhadoop-2.5.2/sbin/start-yarn.sh查看hadoop版本：[grid@hadoop4~]$hadoop-2.5.2/bin/hadoopversionHadoop2.5.2SubversionUnknown-
qq_20545159·2015-10-28 21:00

Hadoop伪分布配置与基于Eclipse开发环境搭建

my.oschina.net/lanzp/blog/309078   目录[-] 1、开发配置环境： 2、Hadoop服务端配置（Master节点） 3、基于Eclipse的Hadoop2
·2015-10-27 13:29

在Win7 环境使用Java API 上传文件到 Hadoop2.x HDFS 问题统计

  问题一： org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hado
·2015-10-27 11:53

hadoop优化之MapReduce的Uber方式运行

hadoop2.x版本中新增了Uber方式运行MR。什么是Uber呢？
大数据交流官方群·2015-10-21 16:34

hadoop2.x集群的安装

一、说明1. 本文档以四台机器为例搭建hadoop集群，各台机器的职责如下：此集群主要包括Namenode HA和RresourceManager HA，这是本文重点所在。 hadoop1hadoop2hadoop3hadoop4NameNodeYYNNDataNodeNNYYJournalNodeYYYNZookeeperYYYNzkfcYYNNResourceManagerYYNNNodeMa
qq_21178933·2015-10-21 14:00

从零自学Hadoop(10)：Hadoop1.x与Hadoop2.x

阅读目录序里程碑Hadoop1.x与Hadoop2.x系列索引本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。
sinodzh·2015-10-10 16:00

HDFS－Architecture剖析

1.概述从HDFS的应用层面来看，我们可以非常容易的使用其API来操作HDFS，实现目录的创建、删除，文件的上传下载、删除、追加（Hadoop2.x版本以后开始支持）等功能。
哥不是小萝莉·2015-09-30 15:00

hadoop2.x的HA简介

1）基础架构（1）NameNode（Master）命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。块存储管理（2）DataNode（Slaver）namenode和client的指令进行存储或者检索block，并且周期性的向namenode节点报告它存了哪些文件的block2）HA架构 使用ActiveNameNode，Standb
suibianshen2012·2015-09-08 20:00

hadoop2.x对hadoop1在HDFS和Mapre方面的改进（hadoop1和hadoop2的区别）

一、HDFS的改进1.1Hadoop1.x时代的HDFS架构在Hadoop1.x中的NameNode只可能有一个，虽然可以通过SecondaryNameNode与NameNode进行数据同步备份，但是总会存在一定的延时，如果NameNode挂掉，但是如果有部份数据还没有同步到SecondaryNameNode上，还是可能会存在着数据丢失的问题。该架构如图1所示：图1Hadoop1.x时代的HDFS
suibianshen2012·2015-09-07 16:00

hadoop2.x 如何解决NameNode单节点故障问题？

在Hadoop2.x中有两个NameNode,一个是activenamenode状态是active，另一个是standynamenode 状态是standy两者是进行切换的，但是有且只有一个active
suibianshen2012·2015-09-06 17:00

Hadoop2.2.0中HDFS的高可用性实现原理

在《Hadoop1.x中fsimage和edits合并实现》文章中，我们谈到了Hadoop1.x上的fsimage和edits合并实现，里面也提到了Hadoop2.x版本的fsimage和edits合并实现和
javastart·2015-09-06 09:00

Hadoop第3周练习--Hadoop2.X编译安装和实验

转载：http://www.cnblogs.com/shishanyuan/p/4164104.html1    作业题目2    编译HADOOP2.X64BIT2.1     运行环境说明2.1.1   硬软件环境2.1.2   集群网络环境2.2     环境搭建2.2.1   JDK安装和Java环境变量配置2.2.2   安装并设置maven2.2.3   以root用户使用yum安装s
Dopamy_BusyMonkey·2015-08-31 16:00

hadoop2.X如何将namenode与SecondaryNameNode分开配置

1.如何将namenode与SecondaryNameNode分开？2.SecondaryNameNode单独配置，需要修改那些配置文件？3.masters文件的作用是什么？我们这里假设你已经安装配置了hadoop2.2，至于如何配置可以参考，hadoop2.2完全分布式最新高可靠安装文档。在这个基础上，我们对配置文件做一些修改：1.增加masters文件sudovimasters复制代码peiz
javastart·2015-08-31 16:00

Hadoop里的数据挖掘应用-Mahout——学习笔记<三>

这是小象学院hadoop2.X的笔记 由于平时对数据挖掘做的比较多，所以优先看Mahout方向视频。
尾巴AR·2015-08-28 23:00

Hadoop-HBASE案例分析-Hadoop学习笔记<二>

这是小象学院hadoop2.X概述第八章的笔记 主要介绍HBase，一个分布式数据库的应用案例。
尾巴AR·2015-08-28 21:00

Hadoop-HBASE案例分析-Hadoop学习笔记<二>

这是小象学院hadoop2.X概述第八章的笔记主要介绍HBase，一个分布式数据库的应用案例。
weixin_30794499·2015-08-28 21:00

Hadoop概括——学习笔记<一>

这是小象学院hadoop2.X概述第一章的笔记第一章主要讲的是hadoop基础知识。老师讲的还是比较全面简单的，起码作为一个非专业码农以及数据库管理人员，也能狗大致了解其特点。
尾巴AR·2015-08-28 20:00
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他