hadoop2.2

hadoop 2.2 错误总结

hadoop2.2搭建http://blog.csdn.net/pelick/article/details/120651471但是上面这个配置里面有点小问题问题      yarn.nodemanager.aux-services
qq_20545159·2015-12-01 13:00

Eclipse调用hadoop2运行MR程序

hadoop：hadoop2.2
buster2014·2015-11-27 16:00

Spark社区可能放弃Spark 1.7而直接发布Spark 2.x

不过也有可能移除对Hadoop2.2以下版本的支持，因为Hadoop2.0和2.1版本分
wind520·2015-11-14 09:00

基于Hadoop2.2.0版本号分布式云盘的设计与实现

基于Hadoop2.2.0版本号分布式云盘的设计与实现 一、前言 在学习了hadoop2.2一个月以来，我重点是在学习hadoop2.2的HDFS。
·2015-11-13 20:42

hadoop2.2编程: SequenceFileWritDemo

1 import java.io.IOException; 2 import java.net.URI; 3 4 import org.apache.hadoop.fs.FileSystem; 5 import org.apache.hadoop.fs.Path; 6 import org.apache.hadoop.conf.Configuration; 7 impo
·2015-11-12 17:14

hadoop2.2编程：从default mapreduce program 来理解mapreduce

下面写一个default mapreduce 的程序： 1 import org.apache.hadoop.mapreduce.Mapper; 2 import org.apache.hadoop.mapreduce.Reducer; 3 import org.apache.hadoop.conf.Configuration; 4 import org.apache.hadoo
·2015-11-12 17:11

Hadoop2.2编程：新旧API的区别

Hadoop最新版本的MapReduce Release 0.20.0的API包括了一个全新的Mapreduce JAVA API，有时候也称为上下文对象。 新的API类型上不兼容以前的API，所以，以前的应用程序需要重写才能使新的API发挥其作用 。 新的API和旧的API之间有下面几个明显的区别。 新的API倾向于使用抽象类，而不是接口，因为这更容易扩展。例如，你可以添加一个
·2015-11-12 17:01

hadoop2.2编程：矩阵相乘简单实现

1 /* 2 matrix-matrix multiplication on Hadoop 3 4 A x B = C 5 constraint: A, B, C must be of the same size 6 7 I use this to evaluate the efficiency of Hadoop for matrix multipli
·2015-11-12 17:55

hadoop2.2编程：自定义hadoop map/reduce输入文件切割InputFormat

        hadoop会对原始输入文件进行文件切割，然后把每个split传入mapper程序中进行处理，FileInputFormat是所有以文件作为数据源的InputFormat实现的基类，FileInputFormat保存作为job输入的所有文件，并实现了对输入文件计算splits的方法。至于获得记录的方法是有不同的子类进行实现的。 &nbs
·2015-11-12 17:44

hadoop2.2编程：使用MapReduce编程实例

原文链接： http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html 从网上搜到的一篇hadoop的编程实例，对于初学者真是帮助太大了，看过以后对MapReduce编程基本有了大概的了解。看了以后受益匪浅啊，赶紧保存起来。   1、数据去重 　　 "数据去重"主要是为了掌握和利用并行
·2015-11-12 17:41

hadoop2.2原理：分析HDFS的文件读写

File Read 程序举例： 1 public class FileRead { 2 3 public static void main(Sting[] args) throws Exception { 4 Configuration conf = new Configuration(); 5 FileSystem fs = FileSy
·2015-11-12 17:40

hadoop2.2编程：MRUnit——Test MaxTemperatureMapper

继承关系1 1. java.lang.Object |__ org.apache.hadoop.mapreduce.JobContext |__org.apache.hadoop.mapreduce.TaskAttemptContext |__ org.apache.hadoop.mapreduce.TaskInputOut
·2015-11-12 17:38

hadoop2.2编程：MRUnit

examples:  Overview This document explains how to write unit tests for your map reduce code, and testing your mapper and reducer logic on your desktop without having any Hadoop environment setu
·2015-11-12 17:38

hadoop2.2编程：各种API

hadoop2.2 API http://hadoop.apache.org/docs/r0.23.9/api/index.html junit API http://junit.org
·2015-11-12 17:37

hadoop2.2编程：Tool, ToolRunner, GenericOptionsParser, Configuration

  继承关系:   1. java.util Interface Map.Entry<K,V> description: public static interface Map.Entry<K,V> methods:   Modifier and Type Method and Description boo
·2015-11-12 17:36

hadoop2.2编程：DFS API 操作

  1. Reading data from a hadoop URL 说明：想要让java从hadoop的dfs里读取数据，则java 必须能够识别hadoop hdfs URL schema, 因此我们应该将hdfs的FsUrlStreamHandlerFactory作为一个实例提供给java, java的setURLStreamHandlerFactory方法可以实现此功能；
·2015-11-12 17:35

hadoop2.2编程：hadoop性能测试

  《hadoop the definitive way》(third version)中的Benchmarking a Hadoop Cluster Test Cases 的class在新的版本中已不再是hadoop-*-test.jar, 新版本中做BanchMark&nb
·2015-11-12 17:34

hadoop2.2编程: Interation

  继承关系： 1.java.lang.Object 　　|_ org.apache.hadoop.io.BinaryComparable 　　　　|_ org.apache.hadoop.io.Text 　　　　　　//description 　　　　　　public class Text 　　　　　　extends BinaryComparable 　　　　　　implement
·2015-11-12 17:33

hadoop2.2编程：mapreduce编程之二次排序

  mr自带的例子中的源码SecondarySort，我重新写了一下，基本没变。 这个例子中定义的map和reduce如下，关键是它对输入输出类型的定义：（java泛型编程）  public static class Map extends Mapper<LongWritable, Text, IntPair, IntWritable> public
·2015-11-12 17:32

hadoop2.2编程: 重写comparactor

  要点：  类型比较在hadoop的mapreduce中非常重要，主要用来比较keys; hadoop中的RawComparator<T>接口继承自java的comparator, 主要用来比较序列化的objects; hadoop中的WritableComparator class更全面，提供了两种主要的比较方法，一种是直接比较obje
·2015-11-12 17:31

hadoop2.2编程: 数据压缩

 本文主要讨论hadoop的数据压缩与解压缩代码的书写 Compressing and decompressing streams with CompressionCodec 1 import org.apache.hadoop.io.*; 2 import org.apache.hadoop.io.compress.CompressionOutputStream; 3
·2015-11-12 17:29

hadoop2.2编程：用ruby跑hadoop的完整实例

Becareful!  All nodes include  need to install ruby! 1 #!/usr/bin/ruby 2 # Ruby code for map.rb 3 4 ARGF.each do |line| 5 6 # remove any newline 7 line = line.chom
·2015-11-12 17:28

hadoop2.2编程：序列化

测试序列化后的长度 提示：需要用到的类，以及继承关系如下： 1.java.lang.Object |__ java.io.OutputStream |__ java.io.ByteArrayOutputStream //description public class Byte
·2015-11-12 17:28

hadoop2.2基准测试

《hadoop the definitive way》(third version)中的Benchmarking a Hadoop Cluster Test Cases的class在新的版本中已不再试hadoop-*-test.jar, 新版本中做BanchMark Test应采用如下方法：   1. TestDFSIO write TestDFSIO用来测试HDFS的I/O
·2015-11-12 17:27

hadoop2.2原理：采样器

多输入路径－只采一个文件－（MultipleInputs+getsample(conf.getInputFormat) 之前弄采样器，以为已经结束了工作，结果现在又遇到了问题，因为我的输入有两个文件，设计要求是先只采样其中的大文件（未来是两个文件分别采样的），只有一个输入文件且采样时，使用采样器的代码是：   [java] view plain copy  
·2015-11-12 13:41

hadoop2.2原理： 序列化浅析

  序列化是指将一个对象编码成字节流，之后从字节流中重构对象； 为什么需要序列化？ 答：用序列化接口可以将对象实例从存储到本地文件或者传送到网络的另一端的节点上； 序列化过程：   序列化的三种主要用途： 　　1.作为一种持久化的格式 　　2. 一种网络节点间通信的数据格式 　　3. 拷贝和克隆 hadoop的序列化机制： 调用write()方法将对象
·2015-11-12 13:37

基于Hadoop 2.2.0的高可用性集群搭建步骤（64位）

  内容概要: CentSO_64bit集群搭建， hadoop2.2(64位)编译，安装，配置以及测试步骤 新版亮点: 基于yarn计算框架和高可用性DFS的第一个稳定版本。
·2015-11-11 09:20

hadoop2.2伪分布安装加2.2源码编译

配置linux基本环境： 　　　　 --> java、ip、hostname、hosts、iptables、chkconfig、ssh环境配置 hadoop2.2安装在linux64位机器上
·2015-11-11 06:44

64位ubuntu下重新编译hadoop2.2流水账

hadoop官方网站中只提供了32位的hadoop-2.2.0.tar.gz，如果要在64位ubuntu下部署hadoop-2.2.0，就需要重新编译源码包，生成64位的部署包。建议以下操作使用root账户，避免出现权限不足的问题。 安装jdk 请参考文章《在ubuntu中安装jdk》。 安装maven 请参考文章《在ubuntu中安装maven》。 下载hadoop源码 wget htt
·2015-11-08 14:39

Ganglia3.6.0，nginx+php搭建gweb，监控Hadoop2.2 和 Hbase0.98.1

环境：CentOS6.5 Hadoop2.2.0 Hbase0.98.1 服务端(master): 安装 ganglia ganglia-devel ganglia-gmetad ganglia-gmond ganglia-web ganglia-gmond-python rrdtool httpd php 客户端(slave) : 安装 ganglia-gmond 1 安装Ganglia&
·2015-11-02 14:47

hadoop2.2.0集群安装

说明：目前官方hadoop2.2只有32位的版本，安装到64位肯定有问题，比如执行jar包会提示没有本地库。。。。。。。。。如果要安装64位的，需要自己编译，这里不做阐述，一下都以32位说明。
·2015-10-31 17:30

常见错误总结

编译hadoop2.2版本步骤：http://blog.csdn.net/hebutscs/article/details/29359635 wordcount程序：http://www.cnblogs.com
·2015-10-31 12:58

centos6下安装部署hadoop2.2

环境准备1、操作系统:centos6.0 64位2、hadoop版本：hahadoop-2.2.0 安装和配置步骤具体如下：1、主机和ip分配如下     ip地址              &nbs
·2015-10-30 13:48

【Spark】----Spark on Yarn

转到Hadoop 2.x 同时将一些java 程序转为Scala的程序将平台上的代码减少了很多，在实施的过程中，开到一些Spark相关的YARN的部署上都是基于之前的Hadoop 1.x的部分方式，在Hadoop2.2
·2015-10-30 10:03

hadoop2.2集群

1、ls-l查看文件所有者，以及权限2、网络配置、hosts配置(hostname配置)、ssh免密配置、环境变量配置、关闭防火墙3、文件配置配置文件1：hadoop-env.sh配置文件2：yarn-env.sh配置文件3：slavessniper2sniper3配置文件4：core-site.xml                     fs.defaultFS               
Zero零_度·2015-10-27 20:00

hadoop2.2环境配置

场景介绍：主机macpro，安装了两台虚拟机，虚拟机均为Ubuntu系统ubuntu系统配置jdk1、到Sun的官网下载http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html2、解压所下载的文件lixiaojiao@ubuntu:~/software$tar-zxvfjdk-7u79-l
CoderToSurvive·2015-10-20 21:00

hadoop（2.x）以hadoop2.2为例完全分布式最新高可靠安装文档

首先说一下这个安装过程需要注意的地方一、使用新建用户可能会遇到的问题（1）权限问题：对于新手经常使用root，刚开始可以使用，但是如果想真正的学习，必须学会使用其他用户。也就是你需要学会新建用户，但是新建用户，并不是所有人都会的。具体可以参考ubuntu创建新用户并增加管理员权限，这里面使用adduser是最方便的。也就是说你需要通过这里，学会给Linux添加用户，并且赋权，上面那篇文章会对你有所
Flood_Dragon·2015-10-13 15:00

Could not locate executable null\bin\winutils.exe in the Hadoop binaries

在windows下开发hadoop一直正常，但把hadoop集群升级到2.0版本以上，在eclipse下执行程序会报打不到winutils.exe的错误，这是因为hadoop2.2没有发布winutils.exe
csdn_huangyumin·2015-10-12 18:35

hadoop2.X如何将namenode与SecondaryNameNode分开配置

我们这里假设你已经安装配置了hadoop2.2，至于如何配置可以参考，hadoop2.2完全分布式最新高可靠安装文档。
javastart·2015-08-31 16:00

Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程~（心血之作啊~~）

转载至： http://blog.csdn.net/licongcong_0224/article/details/12972889历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题
ldds_520·2015-08-27 16:00

Hadoop核心架构HDFS+MapReduce+Hbase+Hive详解

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
Stubborn_Cow·2015-07-22 14:00

安装和使用flume1.5传输数据(日志)到hadoop2.2

http://www.aboutyun.com一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作情报人员（1）搜集信息（2）获取记忆信息（3）传递报告间谍信息flume是怎么完成上面三件事情的，三个组件：source：搜集信息channel：传递信息sink：存储信息上面有点简
moonpure·2015-07-22 11:00

SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: xxx

http://www.cnblogs.com/nattyq/p/3458565.html刚配置hadoop2.2，格式化namenode时候报的这个错。
mituan1234567·2015-07-07 19:16

Spark集群基于Zookeeper的HA搭建部署笔记

1.环境介绍（1）操作系统RHEL6.2-64（2）两个节点：spark1(192.168.232.147),spark2(192.168.232.152)（3）两个节点上都装好了Hadoop2.2集群
矩阵·2015-07-06 09:58

Spark集群基于Zookeeper的HA搭建部署笔记

1.环境介绍（1）操作系统RHEL6.2-64（2）两个节点：spark1(192.168.232.147),spark2(192.168.232.152)（3）两个节点上都装好了Hadoop2.2集群
矩阵·2015-07-06 09:58

Hadoop2.2内存调优

今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Javaheapspace的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右，因
lixuguang·2015-06-16 15:00

Spark集群基于Zookeeper的HA搭建部署

1.环境介绍（1）操作系统RHEL6.2-64（2）两个节点：spark1(192.168.232.147),spark2(192.168.232.152)（3）两个节点上都装好了Hadoop2.2集群
wwwxxdddx·2015-05-11 19:00

亚马逊Hadoop2.2内存参数模板

m1.medium 配置选项 默认值 mapreduce.map.java.opts -Xmx512m mapreduce.reduce.java.opts -Xmx768m mapreduce.map.memory.mb 768 mapreduce.reduce.memory.mb 1024 yarn.app.mapreduce.am.resource.mb 1024 yarn.schedu
qindongliang1922·2015-05-01 18:00

亚马逊Hadoop2.2内存参数模板

m1.medium 配置选项 默认值 mapreduce.map.java.opts -Xmx512m mapreduce.reduce.java.opts -Xmx768m mapreduce.map.memory.mb 768 mapreduce.reduce.memory.mb 1024 yarn.app.mapreduce.am.resource.mb 1024 yarn.schedu
qindongliang1922·2015-05-01 18:00

亚马逊Hadoop2.2内存参数模板

m1.medium 配置选项 默认值 mapreduce.map.java.opts -Xmx512m mapreduce.reduce.java.opts -Xmx768m mapreduce.map.memory.mb 768 mapreduce.reduce.memory.mb 1024 yarn.app.mapreduce.am.resource.mb 1024 yarn.schedu
qindongliang1922·2015-05-01 18:00
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他