hadoop2.0

hive-0.12安装详解

-----成王败寇（陈小春） Hive安装部署（安装会有版本问题hadoop1.0版本以上的请安装hive-0.90测试 hadoop2.0以上请安装hive-0.12.0或者最新版测试）hive-0.9.0
江中炼·2014-01-13 19:00

hadoop2.0 yarn 之 资源调度器 基于hadoop2.2.0

java高级交流群：37341439欢迎所有学习hadoop2.2.0的朋友加入讨论交流，分享实战经验！我们群无下限哦~~  资源调度器是hadoopyarn中最核心的组件之一，是resourcemanage中一个插拔式的服务组件，负责整个集群资源（container）的管理和分配。   背景：     hadoop最初设计目的是支持大数据批处理作业，如日志挖掘，web索引等作业，为此，hadoo
jiushuai·2014-01-01 12:00

hadoop2.0 yarn 之 mapreduce on yarn (MRv2) 基于hadoop2.2.0

java高级交流群：37341439欢迎所有学习hadoop2.2.0的朋友加入讨论交流，分享实战经验！我们群无下限哦~~mapreduceonyarn(MRv2)mapreduceonyarn与MRv1在编程模型和数据处理引擎方面的实现是一样的，唯一的区别是运行时环境，mapreduceonyarn的运行时环境由yarn和applicationmaster构成。编程模型：mapreduce的一些
jiushuai·2014-01-01 12:00

hadoop2.0 yarn 总结 基于hadoop2.2.0

java高级交流群：37341439欢迎所有学习hadoop2.2.0的朋友加入讨论交流，分享实战经验！我们群无下限哦~~ 为什么使用hadoop？在单机程序设计中，为了快速处理一个大的数据集，通常采用多线程并行编程，如图所示，大体流程如下：先由操作系统启动一个主线程，由它负责数据切分、任务分配、子线程启动和销毁等工作，而各个子线程只负责计算自己的数据，当所有子线程处理完数据后，主线程再退出。这种
jiushuai·2014-01-01 12:00

Hadoop2.2.0稳定版安装__伪分布式模式__Hadoop2.0入门学习一

一：环境准备1：准备虚拟机一台，我安装的是redhat6.4的32位操作系统。2:修改hostname。使用命令hostnamelocalhost（如需重启后生效，可以修改配置文件/etc/sysconfig/network中的HOSTNAME=localhost即可）。另修改/etc/hosts ,用#注释掉默认的文本，添加127.0.0.1localhost即可。3：jdk安装，虚拟机是32位
风雨中_帅军冠·2013-12-31 15:00

hadoop2.0(cdh4) fs client错误"java.io.IOException: No FileSystem for scheme: hdfe"

阅读更多启动dfsclient时候报错：“java.io.IOException:NoFileSystemforscheme:hdfs"”出现这个错误是因为缺少hadoop-hdfsjar包，在项目中进行如下依赖配置即可，两个都不能少，下面是clouderamaven配置org.apache.hadoophadoop-common2.0.0-cdh4.4.0jdk.toolsjdk.toolsor
heipark·2013-12-31 12:00

hadoop2.0(cdh4) fs client错误"java.io.IOException: No FileSystem for scheme: hdfe"

启动dfs client时候报错：“java.io.IOException: No FileSystem for scheme: hdfs"”   出现这个错误是因为缺少hadoop-hdfs jar包，在项目中进行如下依赖配置即可，两个都不能少，下面是cloudera maven配置   <dependency> <groupI
heipark·2013-12-31 12:00

Spark 的初步尝试

参加完本月初在北京举办的大数据技术会议，确实感觉到在未来的一段时间里，Yarn作为当前比较热门的分布式资源管理平台，正在吸引着越来越的全世界的developper为hadoop2.0开源社区做出更多的contribution
shenxiaoming77·2013-12-23 14:00

深入理解Hadoop YARN中的Container概念

在学习HadoopYARN—Hadoop2.0新引入的通用资源管理系统过程中，总会遇到Container这一概念，由于中文资料的缺乏，很多人对Container这一概念仍非常的模糊。
macyang·2013-12-22 21:59

hadoop2.0 HDFS搭建和HA切换

说到了hadoop2.0的新特性。这里详解一下搭建步骤以及原理。    
kirayuan·2013-12-17 16:00

Hadoop迈入2.0时代 更适合企业应用

JeffMarkham表示，Hadoop2.0拥有更强大、更广泛的符合企业用户需求的新特性，弥补了Hadoop1.0的不足之处，更符合企业用户的需求。Hadoop改头换面Jeff
郭涛·2013-12-10 22:36

Hadoop 2.0集群配置详细教程

Hadoop2.0集群配置详细教程前言Hadoop2.0介绍Hadoop是apache的开源项目，开发的主要目的是为了构建可靠，可拓展scalable，分布式的系统，hadoop是一系列的子工程的总和，
cnxk·2013-12-05 12:00

Hadoop2.0 简易安装

前言使用交互式安装脚本,只需在主节点操作即可.脚本自动将代码下发部署到其他远程主机,包括修改环境变量,修改相关配置,集群统一起停等.@Authorduangr@Website http://my.oschina.net/duangr/blog/1812151.相关环境HostNameOSIPduangr-1CentOS64x86_64192.168.56.10duangr-2CentOS64x86
七猿·2013-12-03 22:00

2013 China Hadoop Summit杂记

今年哥们作为主持人兼演讲嘉宾参加了CHS大会，这次大会举办的十分隆重和成功，请到了业界很多的大牛，包括Hortonworks的CTOJeff，HBase的committerTedYu等等，介绍了目前Hadoop2.0
Slaytanic·2013-11-30 15:55

2013 China Hadoop Summit杂记

今年哥们作为主持人兼演讲嘉宾参加了CHS大会，这次大会举办的十分隆重和成功，请到了业界很多的大牛，包括Hortonworks的CTOJeff，HBase的committerTedYu等等，介绍了目前Hadoop2.0
Slaytanic·2013-11-30 15:55

hadoop2.0介绍（一）

一、概述现在大数据很“热”，hadoop系列（也称为TheHadoopProjectEcosystem）东西随着也很“热”，不过hadoop也确实有此“资本”，hadoop起源于google的产品，本身就是为海量数据量身定做的。Hadoop大致在2005-2006年成形，经过几年的发展，估计明年能出2.0正式版。2.0版与1.0版有比较大的区别（开源产品的硬伤：随意性比较大），具体来说，2.0主要
guxch·2013-11-26 10:14

hadoop2.0介绍（二）

（接上文）2.YARN（MapReduceNextGen/MRv2）这三个名字都在说明一个东西，改进的mapreduce。（注：有些文章中，将YARN与MapReduce分开，认为YARN是MapReduce的基础/支撑，具体的分布式计算的实现依然是MapReduce，这样理解也可以，本文是将它们合在一起介绍。）Mapreduce包含三方面的内容：终端用户使用的API及使用Mapreduce的模型
guxch·2013-11-26 10:00

hadoop2.0介绍（一）

一、概述现在大数据很“热”，hadoop系列（也称为TheHadoopProjectEcosystem）东西随着也很“热”，不过hadoop也确实有此“资本”，hadoop起源于google的产品，本身就是为海量数据量身定做的。Hadoop大致在2005-2006年成形，经过几年的发展，估计明年能出2.0正式版。2.0版与1.0版有比较大的区别（开源产品的硬伤：随意性比较大），具体来说，2.0主要
guxch·2013-11-26 10:00

启动hadoop2.0中nfs网关服务的步骤

需要解决两个问题，一是如何启动portmap和nfs网关，二是如何在客户端挂载hdfs；以下适用于ubuntu10.04系统及hadoop2.2.0；启动portmap和nfs网关编译源码后启动nfs网关需要拷贝的文件目录hadoop-common-project/hadoop-nfs/target/hadoop-nfs-2.2.0hadoop-hdfs-project/hadoop-hdfs-n
zlx0615·2013-11-22 11:34

YARN 简介（Yarn 系列）

一、YARN介绍  ApacheHadoopYARN是apacheSoftwareFoundationHadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入。
gengqi88·2013-11-20 20:00

hadoop2.0 ha failover 遇到的问题

最近在测试hadoop2.0的ha，当failover的时候，standbynamenode会同步activenamenode的edit日志。
baiyangfu·2013-11-15 20:00

Hadoop2.0 YARN cloudra4.4.0 WordCount实例

 其他都没啥这个jar都在这里了。importjava.io.IOException; importjava.util.StringTokenizer; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.io.IntWritable; impor
luyee2010·2013-11-14 20:00

Hadoop2.0 YARN cloudra4.4.0安装配置

1,1 2 3 hadoop@hadoop-virtual-machine:~$cat/etc/hostname yard02 hadoop@hadoop-virtual-machine:~$ 2,1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 hadoop@hadoop-virtual-machine:~$cat/etc/hosts 127.0.0.1localhost
luyee2010·2013-11-14 20:00

hbase在hadoop2.2.0编译安装，及常见问题

我的环境是：hadoop2.2.0 hbase0.94.11有5台机器：baby19,baby18,baby17,baby16,baby15一.编译；1.下载hbase，解压2.hbase的pom.xml里面hadoop2.0
teddeyang·2013-11-12 17:00

Hadoop2.0 Namenode HA实现方案介绍及汇总

hadoop2.0主要的新特性(Hadoop2.0稳定版2.2.0新特性剖析)：hdfssnapshots:apache官方对hdfssnapshots说明namenodefederation:namenode
zbf8441372·2013-11-05 15:00

hadoop2.0 公平调度器（fair-scheduler）配置

如果是第一次接触hadoop2.0版本的Fairsharescheduler，最好先看一下他的官方文档：http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/
baiyangfu·2013-11-01 17:00

hadoop2.0安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid

转： http://blog.csdn.net/bamuta/article/details/12995139 解决办法 ： 在1个网站上找到了解决方法，（网络忘了没记）urg, my copy/paste was botched up but hopefully this still makes sense. The value mapreduce.shuffle is now mapredu
·2013-10-31 14:00

hadoop2.0 capacity调度器配置

集群同时运行的最大作业数yarn.scheduler.capacity.maximum-applications   100default队列同时运行的最大作业数 yarn.scheduler.capacity.root.default.maximum-applications   10am所占资源最大比例，用来控制同时运行的作业数yarn.scheduler.capacity.maximum-a
baiyangfu·2013-10-30 14:00

hadoop2.0 遇到的问题 （持续更新）

最近在弄hadoop2.0，把遇到的一些问题做个笔记：版本：apachehadoop-2.2.02013-10-29在启动nodemanager的时候报下面的错误：2013-10-2911:32:21,523FATALorg.apache.hadoop.yarn.server.nodemanager.NodeManager
baiyangfu·2013-10-29 11:00

hadoop 2.0

最重要的是hadoop2.0在安装好之后是：  这样的，没有了jobtracker和tasktracker，只有nodenmanager和resourcemanager而且localhost：50030
LIPING234·2013-10-26 13:00

hadoop2.0 安全配置 kerberos

在安装配置kerberos之前，需要了解一些背景资料： http://www.freebsd.org/doc/zh_CN/books/handbook/kerberos5.htmlhttp://blog.wgzhao.com/2005/12/02/kerberos-authentication-configuration/http://dongxicheng.org/mapreduce-nextg
baiyangfu·2013-10-14 20:00

hadoop2.0 相关问题（持续更新）

搭建了一个hadoop2.0的测试集群，使用的是QJMHA方案，搭建配置过程就不在这里说了，晚上有很多资料。
baiyangfu·2013-10-09 20:57

hadoop2.0 相关问题（持续更新）

   搭建了一个hadoop2.0的测试集群，使用的是QJMHA方案，搭建配置过程就不在这里说了，晚上有很多资料。
baiyangfu·2013-10-09 20:00

hadoop2.0 ha 两个namenode都在standby，why？

症状：2013-08-2718:19:03,489WARNorg.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer:UnabletotriggerarolloftheactiveNNorg.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException):Oper
baiyangfu·2013-08-27 19:00

YARN Distributedshell解析

Hadoop2.0的源代码中实现了两个基于yarn的application，一个是MapReduce，另一个是被当做如何写application的示例程序----Distributedshell，可以认为它就是
lalaguozhe·2013-08-26 19:00

第二代map-reduce架构YARN解析

背景最近开始调研YARN-下一代资源管理系统，hadoop2.0主要由三部分组成Mapreduce,YARN和HDFS，其中HDFS主要增加了HDFSFederation和HDFSHA，Mapreduce
lalaguozhe·2013-08-19 17:00

hadoop1.0 和hadoop2.0 任务处理架构比较

 刚刚看到一篇文章对hadoop1和hadoop 2 做了一个解释图片不错拿来看看  Hadoop1.0  从上图中可以清楚的看出原MapReduce程序的流程及设计思路：首先用户程序(JobClient)提交了一个job，job的信息会发送到JobTracker中，JobTracker是Map-reduce框架的中心，他需要与集群中的机器定时通信(heartbeat),需要管理哪些程序应该跑在哪
younglibin·2013-08-07 14:00

hadoop1.0 和hadoop2.0 任务处理架构比较

 刚刚看到一篇文章对hadoop1和hadoop 2 做了一个解释图片不错拿来看看  Hadoop1.0  从上图中可以清楚的看出原MapReduce程序的流程及设计思路：首先用户程序(JobClient)提交了一个job，job的信息会发送到JobTracker中，JobTracker是Map-reduce框架的中心，他需要与集群中的机器定时通信(heartbeat),需要管理哪些程序应该跑在哪
younglibin·2013-08-07 14:00

hadoop2.0 yarn 内存溢出问题解决

问题描述：在跑一个mapreduce程序的过程中，提示内存溢出的错误，确定非程序影响。百度了很多可能的问题产生原因，依次排除后，终于解决了。想把前人的经验总结一下方便后人查阅。异常提示：Container[pid=23708,containerID=container_1369623433359_0404_01_000151]isrunningbeyondphysicalmemorylimits.
Lawrence费·2013-08-06 08:37

hadoop2.0对命令调用的重构

原创，转载请注明出处  白硕 [email protected] http://baishuo491.iteye.com/blog/1916241 2.0以后，重构为为以Command为基础的一系列类  bstract public class Command extends Configured 最核心的是run函数，里面主要的行为就是处理各种选项，展开参数，并且
baishuo491·2013-07-31 17:00

Stinger

Stinger 建立在Hadoop2.0基础上，采用了两类技术提高性能： 1.Apache Tez：Tez是Apache的一个通用、高可定制的编程框架，可以同时优化对小规模、低延迟和大规模、高吞吐的作业负载的处理过程
denniszjw·2013-06-25 23:00

Hadoop2.x集群动态添加删除数据节点

下面以DataNode的上线为例详细说明下如何动态的给HDFS集群新增数据节点(Hadoop2.0版本)。首先简单说下几个相关的配置文件。(1)由dfs.hosts配置选项指定的白名单文件，当要新
can007·2013-06-13 22:12

Hadoop2.x集群动态添加删除数据节点

下面以DataNode的上线为例详细说明下如何动态的给HDFS集群新增数据节点(Hadoop2.0版本)。   首先简单说下几个相关的配置文件。(1)由dfs.hosts配置选项指定的白名单文件，
can007·2013-06-13 22:00

搭建Hadoop2.0

搭建Hadoop2.0hadoop Hadoop-0.20.2+Nutch-1.2+Tomcat-7——分布式搜索配置摘要:Hadoop-0.20.2+Nutch-1.2+Tomcat-7——分布式搜索配置随着nutch的发展，各模块逐渐独立性增强，我从2.1到1.6装过来，也没有实现整个完整的功能。今天装一下nutch1.2，这应该是最后一个有war文件的稳定版本。1.准备工作下载apache-
·2013-05-21 10:00

Hadoop 2.0 安装向导 (0.23.x)

http://blog.csdn.net/shenshouer/article/details/7613234安装向导 (0.23.x)最新版本的HADOOP2.0与老版本相比有不同的目录结构。
ShiZhixin·2013-04-15 14:00

Hadoop2.0介绍

Hadoop2.0介绍 Hadoop是 apache 的开源 项目，开发的主要目的是为了构建可靠，可拓展 scalable ，分布式的系 统， hadoop 是一系列的子工程的 总和，其中包含
lancefox·2013-04-02 21:00

Hadoop2.0 配置详解

Hadoop2.0集群配置详细教程前言Hadoop2.0介绍Hadoop是apache的开源项目，开发的主要目的是为了构建可靠，可拓展scalable，分布式的系统，hadoop是一系列的子工程的总和，
coolwzjcool·2013-04-01 12:00

Hadoop2.0.3-alpha包结构分析

Hadoop2.0的目录结构：Hadoop2.0的目录结构很像Linux操作系统的目录结构，各个目录的作用如下：(1)  在新版本的hadoop中，由于使用hadoop的用户被分成了不同的用户组，就像Linux
dangyifei·2013-03-20 14:00

baidu vs google 不在一个等级上的

看到一篇文章说baidu要发布一个hadoop2.0的东西。 
freewebsys·2013-03-04 15:00

Apache Hadoop2.0之HDFS均衡操作分析

 1HDFS均衡操作原理HDFS默认的块的副本存放策略是在发起请求的客户端存放一个副本，如果这个客户端在集群以外，那就选择一个不是太忙，存储不是太满的节点来存放，第二个副本放在与第一个副本相同的机架但是不同节点上，第三个放在与第二个和第一个副本不同的机架上，原则是尽量避免在相同的机架上放太多的副本。随着时间的推移，在各个DataNode节点上的数据块会分布的越来越不均衡。如果集群不均衡的程度很严重
can007·2013-01-04 22:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他