hadoop开发

hadoop操作命令总结

转载于：http://blog.csdn.net/cybercode/article/details/7085260eclipsehadoop开发环境配置已经搞定，接下来就是开发hadoop程序了。
jtlyuan·2012-04-30 22:00

Hadoop开发常用的InputFormat和OutputFormat

在用hadoop的streaming读数据时，如果输入是sequence file，如果用“-inputformat org.apache.hadoop.mapred.SequenceFileInputFormat”配置读的话，读入的数据显示的话为乱码，其实是因为读入的还是sequence file格式的，包括sequencefile的头信息在内.改为“inputformat 
·2012-04-23 00:00

搭建Hadoop开发环境

 准备工作：在192.168.129.35上搭建一个Hadoop环境，早上已经搞定，所以不说了可以参照附件的邮件cantonhadoopenvironmentin192.168.129.35 Step1：下载并解压Hadoop到本地机器（因为Eclipse需要这个Hadoop里面的部分Jar包充当其运行时）这个Hadoop可以在http://hadoop.apache.org/官方下载，我下载了0
charles_wang8888·2012-04-21 11:02

搭建Hadoop开发环境

准备工作：在192.168.129.35上搭建一个Hadoop环境，早上已经搞定，所以不说了可以参照附件的邮件cantonhadoopenvironmentin192.168.129.35Step1：下载并解压Hadoop到本地机器（因为Eclipse需要这个Hadoop里面的部分Jar包充当其运行时）这个Hadoop可以在http://hadoop.apache.org/官方下载，我下载了0.2
charles_wang888·2012-04-21 11:02

视频：easyhadoop聚会hive和phpHiveAdmin部分

2012-04-14，在北航主南203，第二次easyhadoop开发者聚会核心主题:Hadoop高可用和性能调优和Hadoop相关软件发布.网站:www.easyhadoop.comEasyHadoop
Slaytanic·2012-04-15 02:52

视频：easyhadoop聚会hive和phpHiveAdmin部分

2012-04-14，在北航主南203，第二次easyhadoop开发者聚会核心主题:Hadoop高可用和性能调优和Hadoop相关软件发布.网站:www.easyhadoop.comEasyHadoop
Slaytanic·2012-04-15 02:52

基于Eclipse的Hadoop开发环境配置方法

（1）启动hadoop守护进程在Terminal中输入如下命令：$bin/hadoopnamenode-format$bin/start-all.sh（2）在Eclipse上安装Hadoop插件找到hadoop的安装路径，我的是hadoop-0.20.2，将/home/wenqisun/hadoop-0.20.2/contrib/eclipse-plugin/下的hadoop-0.20.2-ecl
wenqisun·2012-04-07 21:00

基于Eclipse的Hadoop开发环境配置方法

（1）启动hadoop守护进程在Terminal中输入如下命令：$bin/hadoopnamenode-format$bin/start-all.sh（2）在Eclipse上安装Hadoop插件找到hadoop的安装路径，我的是hadoop-0.20.2，将/home/wenqisun/hadoop-0.20.2/contrib/eclipse-plugin/下的hadoop-0.20.2-ecl
wenqisun·2012-04-07 13:00

Hadoop运行WordCount示例出现的一些问题及解决办法

2.hadoop开发者第一期里有个DFSOperator的示例，那个更简单，怎么打jar包，怎么运行之类的问题可以先参见一个那篇文章。运行WordCount示例遇到了两个问题：a.
aaron-han·2012-03-30 20:00

Hadoop运行WordCount示例出现的一些问题及解决办法

2.hadoop开发者第一期里有个DFSOperator的示例，那个更简单，怎么打jar包，怎么运行之类的问题可以先参见一个那篇文章。运行WordCount示例遇到了两个问题：a.
aaron-han·2012-03-30 20:00

Hadoop运行WordCount示例出现的一些问题及解决办法

2.hadoop开发者第一期里有个DFSOperator的示例，那个更简单，怎么打jar包，怎么运行之类的问题可以先参见一个那篇文章。运行WordCount示例遇到了两个问题：a.
aaron-han·2012-03-30 20:00

windows环境搭建Hadoop过程中的一些问题及解决办法

先说明两点：1.搭建的基本过程参见Hadoopor论坛的Hadoop开发者杂志第一期，很靠谱。2.本文以下内容全部经过个人验证。
aaron-han·2012-03-30 19:00

hadoop学习笔记（5）-运行任务(Job)小结：第三方jar包、hadoop jar命令

1、借助eclipse在eclipse下面搭建hadoop开发环境的相关问题及其解决详见http://blog.csdn.net/bhq2010/article/details/7267747有一个问题是
bhq2010·2012-03-19 19:00

hadoop集群常见错误

    来到第二家公司将近三个月，不再做j2ee开发，开始接触hadoop开发。这里将自己在初识hadoop过程中遇到的一些错误做一个简单总结： （一）启动hadoop集群时易出现的错误：1.  
mahout·2012-03-05 17:00

hadoop学习笔记（3）-eclipse下搭建hadoop开发环境各种问题的解决

这两天折腾在eclipse中写hadoopmap-reducejobs，遇到了以下问题：1、无法配置ssh无密码登录2、无法启动hadoop守护进程3、hadoop-0.20.203.0的eclipse插件有问题4、通过eclipse插件连接非本地hadoop伪分布式集群，出现“拒绝连接”5、通过eclipse插件连接非本地hadoop成功后，权限不够、无法提交任务解决如下：环境：ubuntu11
bhq2010·2012-02-17 15:00

搭建hadoop开发环境--基于xp+cygwin

1.安装cygwin 参考博文：http://hi.baidu.com/%BD%AB%D6%AE%B7%E7_%BE%B2%D6%AE%D4%A8/blog/item/8832551c7598551f314e15c2.html       Q1.实际安装中在第9步“打开cygwin进行配置，首先输入：ssh-host-config.回车。会让你输入yes/no输入no。回车。见到Havefun！就
王建奎Jerrick·2012-02-14 09:00

hadoop重启电脑错误

1.基本信息hadoop版本hadoop-0.20.205.0.tar.gz操作系统ubuntu2.问题在使用Hadoop开发初期的时候遇到一个问题。每次重启系统后发现不能正常运行hadoop。
天霜地目·2012-02-12 18:02

hadoop重启电脑错误

1.基本信息hadoop   版本hadoop-0.20.205.0.tar.gz操作系统  ubuntu2.问题在使用Hadoop开发初期的时候遇到一个问题。
chengfei112233·2012-02-12 18:00

hadoop-eclipse开发环境搭建及error: failure to login错误

对于Hadoop开发者来讲，通过JAVAAPI编程是进入Map-Reduce分布式开发的第一步。由于Eclipse本身并没有提供对MapReduce编程模式的支持，所以需要一些简单的步骤来实现。
天霜地目·2012-02-12 14:06

hadoop-eclipse开发环境搭建及error: failure to login错误

对于Hadoop开发者来讲，通过JAVAAPI编程是进入Map-Reduce分布式开发的第一步。由于Eclipse本身并没有提供对MapReduce编程模式的支持，所以需要一些简单的步骤来实现。
chengfei112233·2012-02-12 14:00

hadoop学习4——使用hadoop压缩（zipping）文件

hadoop0.20.2 1.使用streaming命令（摘至hadoop开发文档）： 除了纯文本格式的输出，你还可以生成gzip文件格式的输出，你只需设置streaming作业中的选项‘-jobconf
goon·2012-02-10 15:00

mapreduce 编程SequenceFile类的使用

对于基于MapReduce的数据处理，将每个二进制数据的大对象融入自己的文件中并不能实现很高的可扩展性，针对上述情况，Hadoop开发了一组更高层次的容器SequenceFile。    
zyj8170·2012-01-05 15:00

编译hadoop-0.20.2的eclipse-plugin插件

hadoop-0.20.2自带的eclipse-plugin对版本在3.3以上的eclipse不起作用，在eclipsehadoop开发环境配置中，我用的是第三方编译的eclipse插件，但它也有可能在你的电脑上不起作用
cybercode·2011-12-21 15:00

hadoop基本操作命令小结

eclipsehadoop开发环境配置已经搞定，接下来就是开发hadoop程序了。
cybercode·2011-12-19 18:00

eclipse hadoop开发环境配置

win7下安装hadoop完成后，接下来就是eclipsehadoop开发环境配置了。
cybercode·2011-12-19 16:45

eclipse hadoop开发环境配置

win7下安装hadoop完成后，接下来就是eclipsehadoop开发环境配置了。
cybercode·2011-12-19 16:00

在windows xp系统下配置eclipse集成hadoop开发

一、目的：由于hadoop只能在Linux环境下运行，所以对于在windwos系统下使用IDE工作的开发人员来说，调试是件麻烦的工作，所以我们今天要配置的Hadoop开发环境是在Windows XP系统下
lirenjuan·2011-11-28 13:00

在 Windows 平台下部署 Hadoop 开发环境

转载自：魏仁言的博客，原文地址在Windows平台下部署Hadoop开发环境魏仁言2010.6.8Hadoop简介Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，由于分布式存储对于分布式编程来说是必不可少的
azhao_dn·2011-11-17 12:00

hadoop中的配置文件

在前面搭建hadoop开发环境的时候，我们讲过需要对hadoop进行一些配置，其中用到的配置文件放在{hadoop_home}/conf目录下，主要有core-site.xml,hdfs-site.xml
xw13106209·2011-11-03 08:00

win7+Cygwin+Eclipse搭建Hadoop开发环境

参考文献：http://wildrain.iteye.com/blog/1164608
xw13106209·2011-11-01 07:00

eclipse搭建hadoop开发环境

1.版本hadoop：apache0.20.0eclipse：3.3.02.插件hadoop自带，contrib/eclipse_plugin3.步骤*将hadoop自带插件拷贝至eclipseplugins目录*启动eclipse，window-->preference-->hadoopmap/reduce指定本地hadoop目录*window-->showview-->other,增加mapr
dy_252·2011-10-28 10:00

hadoop开发环境搭建

hadoop开发环境搭建：hadoop网站：http://hadoop.apache.org/http://wiki.apache.org/hadoop/参考这篇文章编译：http://wiki.apache.org
活的自由·2011-10-19 07:00

Hadoop 0.21.0 + Cygwin + Eclipse Indigo环境设置记录

==================== 总攻略--在windows xp系统下配置eclipse集成hadoop开发 http://blog.csdn.net/a2211
1553482·2011-09-09 09:00

上海Hadoop开发者聚会(EMC赞助，众多业界内资深专家参加）

今年八月我们成功举办了北京Hadoop开发者聚会，有来自百度、搜狐等互联网和CCTV等企业客户参加，反响热烈。此次上海Hadoop开发者聚会，我们更邀请到了EMCGreenplumH
LeftNotEasy·2011-09-01 17:00

hadoop开发环境配置（伪分布）

 Hadoop开发环境安装插件0.20.0下原始的eclispe插件无法使用，需要下载网上改造过的：hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar copy到eclispe
jessezhang1981·2011-08-14 10:00

hadoop实践部署

首先安装cygwin，接着是sshdhadoopzooKeeperhbase我安装的过程，参考的是《Hadoop开发者第一期.pdf》文档，不过根据我的实际操作情况来看，还是有点误差的。
fish_cool·2011-07-15 17:35

hadoop实践部署

首先安装cygwin，接着是sshdhadoopzooKeeperhbase 我安装的过程，参考的是《Hadoop开发者第一期.pdf》文档，不过根据我的实际操作情况来看，还是有点误差的。
chenyi8888·2011-07-15 17:00

Hadoop开发常用的InputFormat和OutputFormat

Hadoop中的MapReduce框架依赖InputFormat提供数据，依赖OutputFormat输出数据；每一个MapReduce程序都离不开他们。Hadoop提供了一系列InputFormat和OutputFormat方便开发，本文介绍几种常用的。TextInputFormat用于读取纯文本文件，文件被分为一系列以LF或者CR结束的行，key是每一行的位置（偏移量,LongWritable
eryk·2011-07-01 11:00

Window搭建Hadoop开发平台

一，准备Java1.6EclipseEuropa3.3.2hadoop-0.19.2Java一定要1.6，Eclipse好像不能用3.4以上，hadoop用0.19.2，原文用0.19.1，现在没的下了。0.20.0不能用，我试过了，没法启动JobTracker，不知道原因，可能是bug也不定。二，安装Cygwin先去下载一个安装文件，完后运行，这只是一个引导的程序，真正的程序要通过它下载才能安装
chenlm2bcto·2011-06-02 09:54

hadoop namenode 节点无法启动

安装Hadoop时，按照《Hadoop开发者入门专刊》 很顺利，但启动服务./start-all.sh，遇到问题，看后台log.（hadoop-0.20.2\logs），有这样的异常。
dyllove98·2011-05-31 11:00

在Ubuntu Server 8.10上搭建Hadoop-0.19.0环境

workstation版)     长期以来，一直很喜欢研究分布式的技术，也一直想尝试搭建一个分布式编程环境，最近看到一些文章讨论Hadoop很多，而且也看到Google也使用Hadoop
haya·2011-05-17 23:00

(转载)基于Eclipse的Hadoop应用开发环境的配置

实际上开发环境很好配置，网上很多的帖子，都指向了IBM提供的Hadoop开发工具，这个工具很好用。大家打开这个网址，很容易就能Stepbystep搞定，http://www.
laiahu·2011-04-15 18:00

基于Eclipse的Hadoop应用开发环境的配置

实际上开发环境很好配置，网上很多的帖子，都指向了IBM提供的Hadoop开发工具，这个工具很好用。大家打开这个网址，很容易就能Stepbystep搞定，http://www.al
isiqi·2011-04-15 18:00

简单至上，搭一个hadoop开发环境

hadoop是纯java写的，与平台无关，但官方只给出了shell的启动脚本，所以在linux下很容易能运行一个单机hadoop作为开发环境 如果没有空闲机器来跑linux，在windows下，除了装一个虚拟机开linux，还有更简单的方法，在windows下启hadoop cygwin是一个windows下运行shell脚本的好东西，除了脚本本身，还有linux下常用工具像grep、
yunj·2011-02-24 21:00

Hadoop

Hadoop Distributed File System:  http://www.systemswemake.com/papers/hdfs     Hadoop
morry·2011-02-20 13:00

Hadoop Windows 搭建开发环境[转]

HadoopWindows搭建开发环境[转]Hadoop 2010-07-0411:24:20 阅读844 评论0  字号：大中小 订阅在Windows平台下部署Hadoop开发环境魏仁言2010.6.8Hadoop
zhaohaolin·2011-02-12 23:00

Hadoop开发常用的InputFormat和OutputFormat

Hadoop中的Map Reduce框架依赖InputFormat提供数据，依赖OutputFormat输出数据；每一个Map Reduce程序都离不开他们。Hadoop提供了一系列InputFormat和OutputFormat方便开发，本文介绍几种常用的。 TextInputFormat 用于读取纯文本文件，文件被分为一系列以LF或者CR结束的行，key是每一行的位置（偏移量,LongWrit
dajuezhao·2011-01-21 11:00

Hadoop开发入门资料__值得收藏参考

Hadoop开发入门资料__值得收藏参考（转）转自：http://hi.baidu.com/webcell/blog/item/2154b1015874bf0a728da5a0.htmlHadoop 是
hengheng123456789·2010-12-24 16:00

Windows下基于Cygwin和Eclipse的Hadoop开发环境配置中遇到的问题和解决方法

由于不是即时写的，所以不能把我遇到的每个问题都写出来。但是几个印象比较深刻的问题和解决方法可以分享一下。   主要有如下几个问题：   一、在我执行格式化namenode的时候。不停的跳出一个一行语句说cygwin '\r'command not found。 在网上搜过之后，大部分给出的解决方法是：“其实，很简单，就是不要用winrar解压缩，而应该用linux下的
Sunnie小食·2010-12-14 02:00

Hadoop开发常用的InputFormat和OutputFormat

Hadoop中的MapReduce框架依赖InputFormat提供数据，依赖OutputFormat输出数据；每一个MapReduce程序都离不开他们。Hadoop提供了一系列InputFormat和OutputFormat方便开发，本文介绍几种常用的。TextInputFormat用于读取纯文本文件，文件被分为一系列以LF或者CR结束的行，key是每一行的位置（偏移量,LongWritable
dajuezhao·2010-11-23 10:00
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他