Hadoop开发

使用Maven搭建Hadoop开发环境

文章来自：http://blog.csdn.net/kongxx/article/details/42339581 关于Maven的使用就不再啰嗦了，网上很多，并且这么多年变化也不大，这里仅介绍怎么搭建Hadoop的开发环境。1.首先创建工程[plain]viewplaincopyprint?mvn archetype:generate -DgroupId=my.hadoopstudy -Dart
ximeng1234·2015-04-27 14:00

linux下基于eclipse的hadoop开发

太水了，要不是不会java和eclipse也不会浪费我这么多时间了，做个笔记。1.安装eclipse。yuminstalleclipse,版本3.3.2。2.下载MapReduceToolsforEclipse插件。http://www.alphaworks.ibm.com/tech/mapreducetools。3.查找eclipse安装路径，看插件放在哪里。打开eclipse,Help->Ab
北漂一族·2015-04-25 13:00

Windows下使用 IntelliJ IDEA搭建hadoop开发环境调试MapReduce（二）

准备准备前一篇的涉及到的内容这里额外新增一快，在idea的安装目录下，也就是idea.exe的目录下新建一个idea.bat，使用txt文本文件改下后缀名即可，编辑输入以下信息：runas /user:root  /savecred idea.exe相当于使用前面新建的windows账号为root的用户，使用root身份执行idea.exe程序，此时会提示输入root账号的密码，如果idea在ro
Hi徐敏·2015-04-14 22:00

Windows下使用Eclipse搭建Hadoop开发环境

  写在文章之前。。。。。。    写文章一方面是为了记录在学习和实践的过程中遇到的问题以及对应的解决方法，二是回顾梳理知识，加深理解。初学Hadoop，对其中的很多的设计原理和思想还不甚理解，因此文章中对于Hadoop的知识点表述不正确的地方，还望大神能够予以指正。    ===================================华丽的分割线=====================
艾斯的梦想·2015-03-24 17:47

Eclipse+Hadoop开发插件

下载插件（在文章最后提供了两个版本的插件1.2.1和2.5.2）放到eclipse的\plugins目录下，然后重启eclipse点击上图中方框的按钮选择Map/Reduce，确认会多出一个Map/Reduce选项然后做以下配置Window>ShowView>Other.. 选择Map/ReduceLocations确认后会出现点击方框中的按钮添加配置配置成功后即可连接上你所配置集群的HDFS在新
小黑放大·2015-03-24 10:00

Hadoop开发常用的InputFormat和OutputFormat

在用hadoop的streaming读数据时，如果输入是sequencefile，如果用“-inputformat org.apache.hadoop.mapred.SequenceFileInputFormat”配置读的话，读入的数据显示的话为乱码，其实是因为读入的还是sequencefile格式的，包括sequencefile的头信息在内.改为“inputformat org.apache.h
Yuzhiyuxia·2015-03-23 14:00

Hadoop开发常用的InputFormat和OutputFormat

Hadoop中的MapReduce框架依赖InputFormat提供数据，依赖OutputFormat输出数据；每一个MapReduce程序都离不开他们。Hadoop提供了一系列InputFormat和OutputFormat方便开发，本文介绍几种常用的。TextInputFormat 用于读取纯文本文件，文件被分为一系列以LF或者CR结束的行，key是每一行的位置（偏移量,LongWritabl
baolibin528·2015-03-14 18:00

hadoop开发环境搭建

很早就听说hadoop，但项目中一直没怎么接触，今天终于下定决心，花了一天的时间，搭起了基本的开发环境，总结如下。一.软件准备jdk、hadoop软件包、eclipse软件包（linux版）二.安装java详见http://blog.csdn.net/tonytfjing/article/details/42167599三.安装hadoop（单机伪分布式）3.1创建hadoop用户为hadoop创
tonytfjing·2015-03-04 20:00

windows/ Linux下 myeclipse和eclipse下安装配置hadoop插件

这里写下笔记希望对大家有帮助安装和配置的步骤是：我的是myeclipse8.5hadoop-1.2.2-eclipse-plugin.jar1、安装Hadoop开发插件hadoop安装包contrib/
u012965373·2015-01-31 01:00

linux中导入maven hadoop project 到 eclipse中

介绍Hadoop的源码项目是属于apache的，大家可以在github上搜到，作为Hadoop开发者或者Hadoop运维人员是一定要能理解其内部原理的，所以很多人选择将hadoop源码下下来用eclipse
zhouxing_good·2015-01-28 11:28

linux中导入maven hadoop project 到 eclipse中

介绍Hadoop的源码项目是属于apache的，大家可以在github上搜到，作为Hadoop开发者或者Hadoop运维人员是一定要能理解其内部原理的，所以很多人选择将hadoop源码下下来用eclipse
zhouxing_good·2015-01-28 11:28

linux中导入maven hadoop project 到 eclipse中

介绍Hadoop的源码项目是属于apache的，大家可以在github上搜到，作为Hadoop开发者或者Hadoop运维人员是一定要能理解其内部原理的，所以很多人选择将hadoop源码下下来用eclipse
aaabbbbttt·2015-01-28 11:28

hadoop参数配置详解

在搭建hadoop开发环境的时，配置的参数非常多，要怎么设定才能达到最好的效能是一件令人头痛的事，通过本文的分析使读者能对hadoop的参数配置有一个详细的了解，初步学会如何进行hadoop参数配置。
likaiwalkman_Victor·2015-01-27 14:08

[置顶] hadoop 使用 -- spring-data-hadoop

spring是java开发者比较熟悉的框架，准备使用spring-data-hadoop为hadoop开发定制一个框架，方便后续开发人员能快速熟悉开发框架hadoop下载地址(含各版本)：http://
flash8627·2015-01-22 16:00

从零开始的战斗路线

3、集群维护、参与基于hadoop开发的工作流程及环节标准的制定、应用工具开发。 4、基于XX项目大数据应用的实验开发。
yimi·2015-01-09 16:00

win7+eclipse配置Hadoop开发环境注意事项

1、需把hadoop.dll和winutils.exe放到hadoop的bin目录下，我的是：E:\Hadoop\hadoop-2.4.0\bin2、且需要配置HADOOP_HOME和PATH路径。我的如下：HADOOP_HOME——E:\Hadoop\hadoop-2.4.0PATH——.;%HADOOP_HOME%\bin;以上两个注意项可以解决运行wordcount报空指针异常的错误。3、需
kartik·2014-12-19 09:04

win7+eclipse配置Hadoop开发环境注意事项

1、需把hadoop.dll和 winutils.exe放到hadoop的bin目录下，我的是：E:\Hadoop\hadoop-2.4.0\bin2、且需要配置HADOOP_HOME和PATH路径。我的如下：     HADOOP_HOME――E:\Hadoop\hadoop-2.4.0    PATH――.;%HADOOP_HOME%\bin;以上两个注意项可以解决运行wordcount报空指
kartik·2014-12-19 09:04

win7+eclipse配置Hadoop开发环境注意事项

1、需把hadoop.dll和 winutils.exe放到hadoop的bin目录下，我的是：E:\Hadoop\hadoop-2.4.0\bin2、且需要配置HADOOP_HOME和PATH路径。我的如下：     HADOOP_HOME――E:\Hadoop\hadoop-2.4.0    PATH――.;%HADOOP_HOME%\bin;以上两个注意项可以解决运行wordcount报空指
kartik·2014-12-19 09:04

Hadoop小兵笔记【一】Hadoop安装过程中core-site.xml,hdfs-site.xml,mapred-site.xml配置文件详解

      在搭建hadoop开发环境的时候，需要对hadoop进行配置，其中Hadoop1.x的配置文件放在{hadoop_home}/conf目录下，Hadoop2.x的配置文件放在{hadoop_home
cafuc46wingw·2014-12-09 20:00

Eclipse搭建hadoop开发环境

1、 软件环境a)        Eclipseb)        运行中的hadoop集群2、 eclipse上安装hadoop插件a)        首先将eclipseHadoop的插件放置到eclipse/plugins目录下，重启eclipseb)        如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有HadoopMap/Reduce选项，点击此选项
f369504543·2014-12-01 23:00

eclipse链接hadoop

三、配置Eclipse、Hadoop开发环境第一步：安装Eclipse-Hadoophadoop集成插件把hadoop-eclipse-plugin-1.1.1.jar插件放到/home/eclipse
havedream_one·2014-11-16 15:00

VMware 克隆linux后找不到eth0

所以直接在windows操作系统上用VMware安装了CentOS操作系统，配置好hadoop开发环境后，采用克隆功能，直接克隆出两个另外的虚拟机。   
shuideyidi·2014-10-31 14:00

利用虚拟机virtualbox配置Hadoop开发环境总结

导师课题未来需要对大规模传感数据进行处理，因此用Hadoop研究怎么处理海量数据。今天完成了Hadoop的安装，期间也遇到了很多问题，总结以备后用。主要参考了Hadoop配置安装1和Hadoop配置安装2.错把校园网环境当做局域网环境首先在本地电脑（master）上配置了两个虚拟机（slaves），网络设置方式自动DHCP。因此想着这“三台电脑”，通过校园网交换机构成了局域网。这样的一个后果就是虽
Strugoogle·2014-10-28 20:48

在Fedora18上配置个人的Hadoop开发环境

在Fedora18上配置个人的Hadoop开发环境1.背景文章中讲述了类似于“personalcondor”的一种“personalhadoop”配置法。
pointerIsNULL·2014-10-28 17:50

window下连接hadoop集群基础超详细版

1、Hadoop开发环境简介1.1Hadoop集群简介Java版本：jdk-6u31-linux-i586.binLinux系统：CentOS6.0Hadoop版本：hadoop-1.0.0.tar.gz1.2Windows
lifuxiangcaohui·2014-09-23 16:00

hadoop开发方式总结及操作指导

http://www.aboutyun.com/thread-6950-1-1.html1、2方法中Eclipse是运行在linux中，3方法中Eclipse是运行在widows中===================================================================1、使用hadoop-Eclipse插件（使用插件时可以直接在Eclipse中查看并操
Appleses·2014-09-02 16:00

Spark on Yarn：性能调优

（1）配置项的使用 熟悉Hadoop开发的同学应该对配置项不陌生。根据不同问题
wbj0110·2014-08-26 15:00

Spark on Yarn：性能调优

（1）配置项的使用 熟悉Hadoop开发的同学应该对配置项不陌生。根据不同问题
wbj0110·2014-08-26 15:00

Spark on Yarn：性能调优

（1）配置项的使用 熟悉Hadoop开发的同学应该对配置项不陌生。根据不同问题
wbj0110·2014-08-26 15:00

eclipse hadoop开发环境配置

win7下安装hadoop完成后，接下来就是eclipsehadoop开发环境配置了。
tao975·2014-07-19 09:36

Eclipse开发环境设置

1、Hadoop开发环境简介1.1Hadoop集群简介Java版本：jdk-6u31-linux-i586.binLinux系统：CentOS6.0Hadoop版本：hadoop-1.0.0.tar.gz1.2Windows
wenyusuran·2014-06-19 16:00

Eclipse下搭建Hadoop开发环境，并运行第一个实例

  有同学无法正常运行程序，这里将Eclipse下Hadoop环境配置进行一下说明：  1.新建Map/Reduce工程  2.设置HadoopLocaiton，第一次使用的话，点击大象，新建配置。     3.设置内容（配置需要和Hadoop的配置文件相同）：  Locationname和Host填写localhost，Map/ReduceMaster的端口号必须和Mapred-site.xml
kt431128·2014-06-11 11:00

hadoop开发方式总结及操作指导

本篇亦为学习hadoop----java零基础学习线路指导(3)第三篇，想学习hadoop,没有Java基础，可以查看下面两节内容：学习hadoop----java零基础学习线路指导视频(1)学习hadoop---Java初级快读入门指导（2）本文为操作指导1.如何引用外部包？2.使用插件开发端口如何设置？如果你已经比较熟悉了,可以思考：1.hadoop脱离集群开发，加入外部包的作用是什么？2.H
wbj0110·2014-06-07 10:00

windows 环境下Eclipse开发MapReduce环境设置

1、Hadoop开发环境简介1.1Hadoop集群简介Java版本：jdk-6u31-linux-i586.binLinux系统：CentOS6.0Hadoop版本：hadoop-1.0.0.tar.gz1.2Windows
794068648·2014-06-04 19:53

Eclipse查看hadoop源代码出现Source not found

如果不了解怎么引入的可以参考：hadoop开发方式总结及操作指导http://www.aboutyun.com/thread-6950-1-1.html看到上面现象，是因为我们每天添加.zip。
lifuxiangcaohui·2014-05-07 15:00

Eclipse查看hadoop源代码出现Source not found

如果不了解怎么引入的可以参考：hadoop开发方式总结及操作指导http://www.aboutyun.com/thread-6950-1-1.html看到上面现象，是因为我们每天添加.zip。
程序员成长史·2014-05-07 15:00

WritableComparable

官方给例子  做hadoop开发的都知道 WritableComparable没有自己的方法体。
zhaomengsen·2014-05-06 16:00

WritableComparable

官方给例子  做hadoop开发的都知道 WritableComparable没有自己的方法体。
zhaomengsen·2014-05-06 16:00

配置hadoop开发环境（eclipse，hadoop2.2.0）

通常我们可以用Eclipse作为Hadoop程序的开发平台。1） 下载Eclipse下载地址：http://www.eclipse.org/downloads/根据操作系统类型，选择合适的版本下载并安装。2） 下载并编译Hadoop的Eclipse插件网上可直接下载到Hadoop1.x的Eclipse插件，但是该插件和Hadoop2.2不兼容，所以无法使用。Hadoop2.2的Eclipse插件正
颜建海·2014-05-06 12:00

Ubuntu14下Hadoop开发<2> 编译64位Hadoop2.4

Hadoop官方网站只提供了32位的Hadoop包，我装的是64位的系统，自然无法使用，会报错误，导致的结果是无法启动hadooplibhadoop.so.1.0.0whichmighthavedisabledstackguard.我们可以在${Hadoop-Home}/lib/native文件夹下找到libhadoop.so.1.0.0文件，会出现如下yuping@YP-X100e:$file/
yueritian·2014-05-05 13:00

Ubuntu14下Hadoop开发<1> 基础环境安装

准备了一台淘汰的笔记本，单核CPU，3G内存，160G硬盘；准备一个2G的U盘在官网下载了64位的14.04版本（麒麟）的ISO，下载UNetbootin（Ubuntu专用U盘安装工具）使用UNetbootin将ISO文件写入到U盘中，将笔记本设置为U盘启动，将U盘插入笔记本，打开笔记本电源即可，接下来就根据提示一步一步来就可以了安装过程很快，期间如果有网络的话，可能会比较慢，会下载一些更新包下载
yueritian·2014-05-01 21:00

eclipse_win7_hadoop1.2.1开发环境搭建1

http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html时间比较紧，而且，这篇日志不管怎么写，都不能比转载的这篇好，所以，这次抄了：1、Hadoop
majian_1987·2014-04-17 16:00

Windows下使用Eclipse开发Hadoop程序

1、目标：在三台ubuntu上搭建hadoop开发环境；在windows下利用Eclipse访问ubuntu下的hadoop环境，进行开发；2、软硬件要求：软件：hadoop-0.20.2，jdk-1.6
ypl9935250·2014-03-25 22:00

windows下通过eclipse进行远程执行出错：Permission denied:

前一阵子搭建好了windows下的hadoop开发环境，今天进行远程执行时报了一个异常：14/02/2610:33:52WARNmapred.LocalJobRunner:job_local_0001org.apache.hadoop.security.AccessControlException
zwx19921215·2014-02-26 10:00

【Hadoop技术博客推荐】Hive的那些事

【编者按】Hive是Facebook数据团队基于Hadoop开发的数据仓库封装，对存储在分布式中的大型数据集进行查询和管理。
huoyunshen88·2014-02-17 21:00

OOzie简介

Oozie协调作业就是通过时间（频率）和有效数据触发当前的Oozie工作流程Oozie是Yahoo针对ApacheHadoop开发的一个开源工作流引擎。
GreatElite·2014-02-08 07:00

OOzie简介

Oozie协调作业就是通过时间（频率）和有效数据触发当前的Oozie工作流程Oozie是Yahoo针对ApacheHadoop开发的一个开源工作流引擎。
GreatElite·2014-02-07 23:00

Spark on Yarn：性能调优

（1）配置项的使用熟悉Hadoop开发的同学应该对配置项不陌生。根据不同问题，调整不同的配置项参数，是比较基本的调优方案。配置项可
Johnny_Lee·2014-01-17 18:00

Spark on Yarn：性能调优

（1）配置项的使用熟悉Hadoop开发的同学应该对配置项不陌生。根据不同问题，调整不同的配置项参数，是比较基本的调优方案。配置项可
Johnny_Lee·2014-01-17 18:00

王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程第三门课程：云计算分布式大数据Hadoop征服之旅：HDFS&MapReduce&HBase&Hive&集群管理

本课程会助你深入浅出的掌握Hadoop开发（包括HD
wangruoze·2014-01-15 23:00
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他