Hadoop2.6.0

Hadoop2.6.0学习笔记（六）TextOutputFormat及RecordWriter解析

鲁春利的工作笔记，谁说程序员不能有文艺范？MapReduce提供了许多默认的输出格式，如TextOutputFormat、KeyValueOutputFormat等。MapReduce中输出文件的个数与Reduce的个数一致，默认情况下有一个Reduce，输出只有一个文件，文件名为part-r-00000，文件内容的行数与map输出中不同key的个数一致。如果有两个Reduce，输出的结果就有两个
luchunli1985·2015-12-03 13:45

Hadoop2.6.0学习笔记（五）自定义InputFormat和RecordReader

鲁春利的工作笔记，谁说程序员不能有文艺范？ TextInputFormat提供了对文本文件的处理方式，通过InputSplit进行分片（FileSplit），每一个分片分别new一个LineRecordReader进行读取解析，解析得到的每一行以的形式传给Mapper的map()函数。应用示例：随机生成100个小数并求最大值。MapReduce自带的输入类型都是基于HDFS的，本示例不从HDFS读
luchunli1985·2015-12-02 13:00

Hadoop2.6.0学习笔记（五）自定义InputFormat和RecordReader

鲁春利的工作笔记，谁说程序员不能有文艺范？ TextInputFormat提供了对文本文件的处理方式，通过InputSplit进行分片（FileSplit），每一个分片分别new一个LineRecordReader进行读取解析，解析得到的每一行以的形式传给Mapper的map()函数。应用示例：随机生成100个小数并求最大值。MapReduce自带的输入类型都是基于HDFS的，本示例不从HDFS读
luchunli1985·2015-12-02 13:00

Hadoop2.6.0学习笔记（四）TextInputFormat及RecordReader解析

鲁春利的工作笔记，谁说程序员不能有文艺范？ 一个最简单的MapReduce程序package com.lucl.hadoop.mapreduce; public class MiniMRDriver extends Configured implements Tool {     public static void main(String[] args) {         try {    
luchunli1985·2015-11-30 21:29

Hadoop2.6.0学习笔记（四）TextInputFormat及RecordReader解析

鲁春利的工作笔记，谁说程序员不能有文艺范？ 一个最简单的MapReduce程序package com.lucl.hadoop.mapreduce; public class MiniMRDriver extends Configured implements Tool {     public static void main(String[] args) {         try {    
luchunli1985·2015-11-30 21:29

Hadoop2.6.0学习笔记（三）Hadoop序列化

鲁春利的工作笔记，谁说程序员不能有文艺范？ 序列化和反序列化在分布式数据处理中，主要应用于进程建通信和永久存储两个领域。序列化（serialization）就是结构化的数据转换为字节流以便在网络上传输或写到磁盘进行永久存储的过程；反序列化（deserialization）就是将字节流转换回结构化对象的逆过程。Hadoop系统节点进程间通信采用RPC实现，Hadoop没有采用Java的序列化机制，而
luchunli1985·2015-11-29 10:03

Hadoop2.6.0学习笔记（三）Hadoop序列化

鲁春利的工作笔记，谁说程序员不能有文艺范？ 序列化和反序列化在分布式数据处理中，主要应用于进程建通信和永久存储两个领域。序列化（serialization）就是结构化的数据转换为字节流以便在网络上传输或写到磁盘进行永久存储的过程；反序列化（deserialization）就是将字节流转换回结构化对象的逆过程。Hadoop系统节点进程间通信采用RPC实现，Hadoop没有采用Java的序列化机制，而
luchunli1985·2015-11-29 10:03

Hadoop 2.6.0动态添加节点

文章出自：http://my.oschina.net/leoleong/blog/477508本文主要从基础准备，添加DataNode和添加NodeManager三个部分详细说明在Hadoop2.6.0
ggz631047367·2015-11-28 19:00

Hadoop2.6.0学习笔记（四）HDFS安全模式磁盘限额复制因子

鲁春利的工作笔记，谁说程序员不能有文艺范？1、安全模式    系统启动的时候会自动进入安全模式，如果DN节点正常那么经过30秒之后安全模式会自动关闭。    （1）、参数定义    dfs.replication：设置数据块应该被复制的份数；    dfs.replication.min：所规定的数据块副本的最小份数；    dfs.safemode.threshold.pct：指定应有多少比例的
luchunli1985·2015-11-28 15:49

Hadoop2.6.0学习笔记（四）HDFS安全模式磁盘限额复制因子

鲁春利的工作笔记，谁说程序员不能有文艺范？1、安全模式    系统启动的时候会自动进入安全模式，如果DN节点正常那么经过30秒之后安全模式会自动关闭。    （1）、参数定义    dfs.replication：设置数据块应该被复制的份数；    dfs.replication.min：所规定的数据块副本的最小份数；    dfs.safemode.threshold.pct：指定应有多少比例的
luchunli1985·2015-11-28 15:49

Hadoop集群安装配置教程_Hadoop2.6.0/Ubuntu 14.04

本文转载自给力星原文地址：http://www.powerxing.com/install-hadoop-cluster/前言当开始着手实践Hadoop时，安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有Hadoop安装配置教程，但由于对Linux环境不熟悉，书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好
chijiaodaxie·2015-11-27 19:00

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

转载自给力星原文地址：http://www.powerxing.com/install-hadoop/给力的blog，怕丢失，故转载当开始着手实践Hadoop时，安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有Hadoop安装配置教程，但由于对Linux环境不熟悉，书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是
chijiaodaxie·2015-11-27 19:00

Hadoop2.6.0集群配置

（1）java的jdk安装配置，ssh的免密登录安装配置ssh的免密登录安装配置（2）区分主节点的功能：130是resorcemanager和namenode—-由下面的配置决定131是datanode，nodemanager132是datanode，nodemanager（3）JAVA_HOME内容添加hadoop-env.sh修改JAVA_HOMEyarn-env.sh修改JAVA_HOME（
JavaChaoCo·2015-11-25 21:47

Hadoop2.6.0集群配置

（1）java的jdk安装配置，ssh的免密登录安装配置ssh的免密登录安装配置（2）区分主节点的功能：130是resorcemanager和namenode—-由下面的配置决定131是datanode，nodemanager132是datanode，nodemanager（3）JAVA_HOME内容添加hadoop-env.sh修改JAVA_HOMEyarn-env.sh修改JAVA_HOME（
JavaChaoCo·2015-11-25 21:00

Hadoop2.6.0学习笔记（三）HDFS架构

鲁春利的工作笔记，谁说程序员不能有文艺范？HDFSArchitecture见：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html或下载的tar包解压后的hadoop-2.6.0/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/Hdf
luchunli1985·2015-11-25 21:50

Hadoop2.6.0学习笔记（三）HDFS架构

鲁春利的工作笔记，谁说程序员不能有文艺范？HDFSArchitecture见：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html或下载的tar包解压后的hadoop-2.6.0/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/Hdf
luchunli1985·2015-11-25 21:50

基于Ubuntu14.04的Hadoop2.6.0完全分布式安装

**//到底怎么安装完全完全分布Hadoop**/最近正在准备一个云计算&&大数据的比赛，需要配置Hadoop，然而并没有找到一个可以完全走流程的Hadoop安装教程，So，准备自己边学边写一个，不知道是不是到了别人不同的机器上会不会也是出现各种问题。。。算了，试试吧/0.准备一些生物设备，物理设备，软件人一个阿里云/腾讯云/虚拟机的三台机器给他们装好系统安装环境：UbuntuServer14.0
mouse_ts·2015-11-25 17:00

Hadoop2.6.0错误

错误1：WARNhdfs.DFSClient:DataStreamerException org.apache.hadoop.ipc.RemoteException(java.io.IOException):File/user/ha1/input/hadoop/yarn-env.sh._COPYING_couldonlybereplicatedto0nodesinsteadofminReplica
ggz631047367·2015-11-22 18:00

Hadoop-2.6.0学习笔记汇总

HDFS    Hadoop2.6.0学习笔记（一）HA集群搭建        http://luchunli.blog.51cto.com/2368057/1672186    Hadoop2.
luchunli1985·2015-11-22 15:45

Hadoop-2.6.0学习笔记汇总

HDFS    Hadoop2.6.0学习笔记（一）HA集群搭建        http://luchunli.blog.51cto.com/2368057/1672186    Hadoop2.
luchunli1985·2015-11-22 15:45

编译hadoop2.6.0源码

最近在玩hadoop,发现官网下的二进制包经常包警告,不爽,不如自己编译安装 　　1. 下载源码 　　2. 安装编译环境(gcc build-essential ....) 　　3. 安装protobuf (编译hadoop需要用) 　　4. 安装mvn 　　5. 在解压源码目录执行mvn -Pdist,native -DskipTests -Dtar 　　6. 在源码目录下
·2015-11-11 10:59

hadoop2.6.0 --- 64位源代码

今天有朋友在群里找hadoop最新的2.6.0的源代码,其实这个源代码在hadoop的官方网站是有下载的(应该是32位的),还有一个src,不过给的是maven版本,需要自己在机器上编译一下(我的机器用的是64位的,所以要在上面进行开发,就要自己编译成64位的). 如果你需要32位的,请直接去官方下吧:地址http://mirrors.cnnic.cn/apache/hadoop/common/
·2015-11-11 02:49

搭建Hadoop2.6.0+Eclipse开发调试环境

上一篇在win7虚拟机下搭建了hadoop2.6.0伪分布式环境。为了开发调试方便，本文介绍在eclipse下搭建开发环境，连接和提交任务到hadoop集群。 1.
·2015-11-08 14:00

在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境

第一篇，在win7虚拟机下搭建hadoop2.6.0伪分布式环境。 1. 所需要的软件 使用Vmware 11.0搭建虚拟机，安装Ubuntu 14.04.2系统。
·2015-11-08 14:59

[置顶] DayDayUP_大数据学习课程[1]_hadoop2.6.0完全分布式集群环境和伪分布式集群搭建

1.环境说明系统：Centos6.5软件版本：hadoop2.6.0jdk1.8集群状态：master:www192.168.78.110slave1:node1192.168.78.111slave2:node2192.168.78.112hosts文件192.168.78.110www192.168.78.111node1192.168.78.112node2确保三台机器之间互ping主机名能
erujo·2015-11-08 10:00

hadoop2.6.0的eclipse插件安装

 1.安装插件 下载插件hadoop-eclipse-plugin-2.6.0.jar并将其放到eclips安装目录->plugins（插件）文件夹下。然后启动eclipse。 配置 hadoop 安装目录 　　 　　 配置Map/Reduce 视图 　　 　　 　　 　　 点击"大象"
·2015-11-07 10:21

ubuntu14.04安装hadoop2.6.0（伪分布模式）

版本：虚拟机下安装的ubuntu14.04（64位）,hadoop-2.6.0 下面是hadoop2.6.0的官方英文教程： http://hadoop.apache.org/docs/r2.6.0
·2015-11-07 10:21

windows7 eclipse 连接 hdoop2.6.0

编译eclipse插件    准备工具：ant，eclipse,hadoop2.6.0,插件编译包插件编译包获取地址：https://github.com/winghc/hadoop2x-eclipse-pluginzip
stu4java·2015-11-06 13:00

Hadoop — 使用Eclipse编译运行MapReduce程序（Hadoop2.6.0）

#前期准备1、eclipse（eclipse-java-mars-1-linux-gtk-x86_64.tar.gz）密码:6awv2.、eclipse-plugin（hadoop-eclipse-plugin-2.6.0.jar）密码:geq43、将hadoop-eclipse-plugin-2.6.0.jar拷贝到eclipse的plugin中#配置hadoop-eclipse-plugin1
PeersLee·2015-11-05 23:00

初学Hadoop之WordCount词频统计

1、WordCount源码 　　将源码文件WordCount.java放到Hadoop2.6.0文件夹中。
·2015-11-02 09:39

【hadoop2.6.0】用C++ 编写mapreduce

hadoop通过hadoop streaming 来实现用非Java语言写的mapreduce代码。 对于一个一点Java都不会的我来说，这真是个天大的好消息。 官网上hadoop streaming的介绍在：http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/Hado
·2015-11-02 09:43

【hadoop2.6.0】利用JAVA API 实现数据上传

　　原本的目的是想模拟一个流的上传过程，就是一边生成数据，一边存储数据，因为能用上HADOOP通常情况下原本数据的大小就大到本地硬盘存不下。这一般是通过把数据先一部分一部分的缓冲到本地的某个文件夹下，hdfs把缓冲文件夹中的文件一点一点上传，并把上传了的缓冲文件删除。 　　我这里没有实现数据的分次生成，而是直接用了一个文件，上传的时候模拟缓存一点一点上传。 代码如下：保存为Read2.java
·2015-11-01 08:52

【hadoop2.6.0】利用Hadoop的 Java API

Hadoop2.6.0的所有Java API都在 http://hadoop.apache.org/docs/r2.6.0/api/overview-summary.html 里。
·2015-11-01 08:51

【hadoop2.6.0】安装+例子运行

由于下载的是hadoop的最新版，网上各种杂七杂八的东西都不适用。好在官网上说的也够清楚了。如果有人看这篇文章的话，最大的忠告就是看官网。 官网2.6.0的安装教程：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html hdfs指令：http://hadoop.apac
·2015-11-01 08:50

【hadoop2.6.0】一句话形容mapreduce

网上看到的： We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That's map. The more people we get, the faster it goes. 我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多，数书
·2015-10-31 09:24

【hadoop2.6.0】MapReduce原理

看了几篇博文，感觉还是云里雾里的。 http://blog.csdn.net/opennaive/article/details/7514146 http://www.aboutyun.com/thread-6723-1-1.html http://blog.csdn.net/thomas0yang/article/details/8562910 这三篇看下来，大概有了个框架，但是具体的细
·2015-10-31 09:24

在mac中导入hadoop2.6.0源代码至eclipse

一、环境准备 1、安装jdk、maven等 2、下载hadoop源代码，并解压 3、将tools.jar复制到Classes中，具体原因见http://wiki.apache.org/hadoop/HowToSetupYourDevelopmentEnvironment cd $JAVA_HOME mkdir Classes   cp lib/tools.
·2015-10-28 09:14

【hadoop2.6.0】通过代码运行程序流程

之前跑了一下hadoop里面自带的例子，现在顺一下如何通过源代码来运行程序。 我懒得装eclipse,就全部用命令行了。 整体参考官网上的：http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Example:_WordCo
·2015-10-27 15:40

windows下安装linux双系统

在看到文章《【图文绝对详细】Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04》之后，发现有些人不会安装linux系统。。。
mmc2015·2015-10-26 18:00

Hadoop2.6.0 mapreduce 例子

1.Wordcount[java]viewplaincopyimportjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Tex
翔飞天宇·2015-10-17 20:04

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境

相关环境：虚拟机：VMWare（64位）Linux版本：centOS6.564位Windows版本：win1064位Hadoop版本：2.6.0Linux中JDK版本：1.7.0_71（64位）参考网页：搭建伪分布式环境的网页本文是集成上述网页的主要步骤，然后在配置文件的时候略作修改，是为了配合之后在Windows中安装hadoop2.6.0-eclipse-plugin插件时用的。同时也其中穿插
u010997403·2015-10-10 10:00

hadoop2.6.0执行自带wordcount出现异常

文章来源：http://blog.csdn.net/vickyrocker1/article/details/47299391[[email protected]]#bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jarwordcounthdfsInputhdfsOutput执行上述命令，结果如
buster2014·2015-09-16 09:00

nutch2.3 hadoop2.6.0 hbase0.98.8 分布式爬虫NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfigurati

Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/hbase/HBaseConfigurationatorg.apache.gora.hbase.store.HBaseStore.initialize(HBaseStore.java:114)atorg.apache.gora.store.DataStor
huangdsky·2015-09-14 17:45

Hadoop2.6.0集群搭建过程报错及详解

启动失败报错1：2014-03-1112:39:06,725FATALorg.apache.hadoop.hdfs.server.datanode.DataNode:ExceptioninsecureMainjava.io.IOException:Incorrectconfiguration:namenodeaddressdfs.namenode.servicerpc-addressordfs.n
豆蛙蛙·2015-08-30 19:01

Hadoop2.6.0集群搭建过程报错及详解

启动失败报错1：2014-03-1112:39:06,725FATALorg.apache.hadoop.hdfs.server.datanode.DataNode:ExceptioninsecureMainjava.io.IOException:Incorrectconfiguration:namenodeaddressdfs.namenode.servicerpc-addressordfs.n
mgx289106164·2015-08-30 19:00

Hadoop2.6.0安装详解（亲测有效）

环境CentOS6.464位Hadoop2.6.0(stable)HBase1.0.1.1（stable）JDK7.79三台主机：一台Master（192.168.100.187），两台Slave（192.168.100.192,192.168.100.193
mgx289106164·2015-08-30 14:00

hadoop2.6.0版本搭建伪分布式环境

由于个人需要在自己的笔记本上搭建hadoop伪分布环境，为了方便自己使用，如想看机器也看之前的一篇博客：hadoop2.6.0版本集群环境搭建一台虚拟机，配置信息如下：内存：1G，cpu：一个core,
闪电·2015-08-22 23:00

sqoop2安装启动

（1）安装环境     操作系统：Linux（centos6.5）     JDK版本：1.7.0_45     Hadoop版本：hadoop2.6.0     Sqoop2版本：sqoop-1.99.4
王上京小伙·2015-08-18 10:52

windows下使用Eclipse编译运行MapReduce程序 Hadoop2.6.0/Ubuntu

一、环境介绍宿主机：windows8虚拟机：Ubuntu14.04hadoop2.6伪分布：搭建教程http://blog.csdn.net/gamer_gyt/article/details/46793731Eclipse：eclipse-jee-luna-SR2-win32-x86_64二、准备阶段网上下载hadoop-eclipse-plugin-2.6.0.jar(点击下载)也可以自行编译
Gamer_gyt·2015-08-15 09:00

Hadoop2.6.0学习笔记（八）Hadoop启动脚本介绍

鲁春利的工作笔记，谁说程序员不能有文艺范？sbin/start-all.shsbin/start-dfs.shsbin/start-yarn.shsbin/hadoop-daemon.shsbin/hadoop-daemons.sh
luchunli1985·2015-08-12 13:57
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他