hadoop编程

hadoop编程：分析CSDN注册邮箱分布情况

hadoop编程：分析CSDN注册邮箱分布情况本文博客链接:http://blog.csdn.net/jdh99,作者:jdh,转载请注明.环境：主机:Ubuntu10.04hadoop版本:1.2.1
jdh99·2014-07-08 15:00

hadoop编程:词频排序

hadoop编程:词频排序本文博客链接:http://blog.csdn.net/jdh99,作者:jdh,转载请注明.环境：主机:Ubuntu10.04hadoop版本:1.2.1开发工具:gedit
jdh99·2014-07-04 15:00

hadoop编程：解决eclipse能运行，打包放到集群上ClassNotFoundException:经验总结

本文之所以称之为经验，是因为我们经常碰到莫名其妙的问题，从原理上是说不通的。但是我们却确确实实碰到了。在刚开始运行的时候，碰到了下文所表示的错误。本想作为经验总结留下来。为了让错误重现，所以又重新操作了一遍。这时候已经换环境，但是环境与原先没做任何的更改，也就是说他们的配置完全是一样的，神奇的是mapreduce执行的完全正确。对于如果碰到下面问题的同学，可以参考。对于原理性的内容，以后在更新。对
wbj0110·2014-06-15 01:00

hadoop编程：解决eclipse能运行，打包放到集群上ClassNotFoundException:经验总结

本文之所以称之为经验，是因为我们经常碰到莫名其妙的问题，从原理上是说不通的。但是我们却确确实实碰到了。在刚开始运行的时候，碰到了下文所表示的错误。本想作为经验总结留下来。为了让错误重现，所以又重新操作了一遍。这时候已经换环境，但是环境与原先没做任何的更改，也就是说他们的配置完全是一样的，神奇的是mapreduce执行的完全正确。对于如果碰到下面问题的同学，可以参考。对于原理性的内容，以后在更新。对
wbj0110·2014-06-15 01:00

hadoop编程：解决eclipse能运行，打包放到集群上ClassNotFoundException:经验总结

本文之所以称之为经验，是因为我们经常碰到莫名其妙的问题，从原理上是说不通的。但是我们却确确实实碰到了。在刚开始运行的时候，碰到了下文所表示的错误。本想作为经验总结留下来。为了让错误重现，所以又重新操作了一遍。这时候已经换环境，但是环境与原先没做任何的更改，也就是说他们的配置完全是一样的，神奇的是mapreduce执行的完全正确。对于如果碰到下面问题的同学，可以参考。对于原理性的内容，以后在更新。对
wbj0110·2014-06-15 01:00

Hadoop编程调用HDFS

前言 HDFS 全称Hadoop分步文件系统(Hadoop Distributed File System)，是Hadoop的核心部分之一。要实现MapReduce的分步式算法时，数据必需提前放在HDFS上。因此，对于HDFS的操作就变得非常重要。Hadoop的命令行，提供了一套完整命令接口，就像Linux命令一样方便使用。 不过，有时候我们还需要在程序中直接访问HDFS，我们可以通过API的
wbj0110·2014-05-21 10:00

Hadoop编程调用HDFS

前言 HDFS 全称Hadoop分步文件系统(Hadoop Distributed File System)，是Hadoop的核心部分之一。要实现MapReduce的分步式算法时，数据必需提前放在HDFS上。因此，对于HDFS的操作就变得非常重要。Hadoop的命令行，提供了一套完整命令接口，就像Linux命令一样方便使用。 不过，有时候我们还需要在程序中直接访问HDFS，我们可以通过API的
wbj0110·2014-05-21 10:00

Hadoop编程调用HDFS

前言 HDFS 全称Hadoop分步文件系统(Hadoop Distributed File System)，是Hadoop的核心部分之一。要实现MapReduce的分步式算法时，数据必需提前放在HDFS上。因此，对于HDFS的操作就变得非常重要。Hadoop的命令行，提供了一套完整命令接口，就像Linux命令一样方便使用。 不过，有时候我们还需要在程序中直接访问HDFS，我们可以通过API的
wbj0110·2014-05-21 10:00

Eclipse查看hadoop源代码出现Source not found

在我们hadoop编程中，经常遇到像看看hadoop的某个类中函数的功能。但是我们会遇到一种情况就是Sourcenotfound。遇到这个问题，该如何解决。因为我们已经引入了包，为什么会找不到。
lifuxiangcaohui·2014-05-07 15:00

Eclipse查看hadoop源代码出现Source not found

在我们hadoop编程中，经常遇到像看看hadoop的某个类中函数的功能。但是我们会遇到一种情况就是Sourcenotfound。遇到这个问题，该如何解决。因为我们已经引入了包，为什么会找不到。
程序员成长史·2014-05-07 15:00

hadoop实现简单的倒排索引

最近在学习hadoop编程，在大概理解了wordcount之后又接触了一个叫倒排索引的东东，所以就用它来练练手吧！           首先介绍一下什么是倒牌索引！（以下请参考各种百科）.      
zb872676223·2014-03-20 13:00

Pig的使用

Pig实战1.pig简介2.安装pig3.实战pig4.深入pig5.参考资料及代码下载 .Pig简介  pig是hadoop项目的一个拓展项目， 用以简化hadoop编程（简化的程度超乎想象啊），并且提供一个更高层次抽象的数据处理能力
lantian0802·2014-03-07 09:00

Hadoop Invalid byte 1 of 1-byte UTF-8 sequence

在hadoop编程的时候出现了下面的问题（使用myeclipse调用hadoop集群的方式）：14/03/0311:19:31WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform
fansy1990·2014-03-03 12:00

Hadoop编程调用HDFS

前言HDFS全称Hadoop分步文件系统(HadoopDistributedFileSystem)，是Hadoop的核心部分之一。要实现MapReduce的分步式算法时，数据必需提前放在HDFS上。因此，对于HDFS的操作就变得非常重要。Hadoop的命令行，提供了一套完整命令接口，就像Linux命令一样方便使用。不过，有时候我们还需要在程序中直接访问HDFS，我们可以通过API的方式进行HDFS
Flood_Dragon·2014-02-13 14:00

eclipse远程调试mapreduce程序

编程调试环境：windoweclipsehadoop运行环境：linux（vmware）hadoop版本：1.2.1hadoop编程涉及两个方面，一是hdfs分布式文件存储程序、一是mapreduce分布式数据处理程序
ejtooo·2013-12-27 17:15

eclipse远程调试hdfs程序

编程调试环境：windoweclipsehadoop运行环境：linux（vmware）hadoop版本：1.2.1hadoop编程涉及两个方面，一是hdfs分布式文件存储程序、一是mapreduce分布式数据处理程序
ejtooo·2013-12-27 16:38

pig实战

1.pig简介2.安装pig3.实战pig4.深入pig5.参考资料及代码下载 .Pig简介   pig 是hadoop项目的一个拓展项目， 用以简化hadoop编程（简化的程度超乎想象啊），并且提供一个更高层次抽象的数据处理能力
这些年·2013-12-12 23:00

Facebook数据专家：处理大数据，仅有Hadoop是不够的

他认为，Hadoop编程框架可能是“大数据”运动的代名词，但它并不是企业从大规模存储的非结构化信息中得到价值的唯一工具。有很多很普及的大数据的观念
崔康·2013-12-06 00:00

Facebook数据专家：处理大数据，仅有Hadoop是不够的

他认为，Hadoop编程框架可能是“大数据”运动的代名词，但它并不是企业从大规模存储的非结构化信息中得到价值的唯一工具。有很多很普及的大数据的观念
崔康·2013-12-06 00:00

【hadoop】Hadoop学习笔记（一）之示例程序：计算每年的最高温度MaxTemperature

另外设计到hadoop编程方面的请查阅另一个笔记系列：《Hadoop编程笔记》。如果有同学同时
zsch591488385·2013-11-04 14:00

Hadoop入门实践之从WordCount程序说起

这段时间需要学习Hadoop了，以前一直听说Hadoop，但是从来没有研究过，这几天粗略看完了《Hadoop实战》这本书，对Hadoop编程有了大致的了解。接下来就是多看多写了。
·2013-10-31 22:00

Hadoop入门实践之从WordCount程序说起

这段时间需要学习Hadoop了，以前一直听说Hadoop，但是从来没有研究过，这几天粗略看完了《Hadoop实战》这本书，对Hadoop编程有了大致的了解。接下来就是多看多写了。
guimingyue·2013-10-31 16:00

[置顶] Hadoop--两个简单的MapReduce程序

blog.csdn.net/huhui_cs/article/details/9907951源代码下载：http://download.csdn.net/detail/huhui_bj/5909575这周在学习Hadoop
huhui_bj·2013-08-12 01:00

Hadoop编程接口简述

Hadoop提供了很多可以直接使用的编程接口，大部分可以直接使用。整个编程模型位于应用程序层和MapReduce执行器之间，可以分为两层。第一层是最基本的JavaAPI，主要有5个可编程组件，分别是InputFormat、Mapper、Partitioner、Reducer和OutputFormat。Hadoop自带了很多直接可用的InputFormat、Partitioner和OutputFor
yongjian_luo·2013-07-22 14:00

Hadoop编程_Configuration类

根据《hadoop权威指南》（第三版）hadoop中，组件配置是由Hadoop的Configuration的一个实例实现。（在源码包的org.apache.hadoop.conf中可以找到）先上个类图：这只是部分的，Configuraation涉及的方法很多，不一一例举了。在这里面我们看到的是整个hadoop的核心包的confpackage里面涉及到全部类和接口。 在书中，我们可以看到一个XML文
zhouyongsdzh·2013-06-26 21:00

Hadoop编程_StringTokenizer类

StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。1.构造函数publicStringTokenizer(Stringstr)publicStringTokenizer(Stringstr,Stringdelim)publicStringTokenizer(Stringstr,Stringdelim,booleanreturnDelims)第一个参数就是
zhouyongsdzh·2013-06-26 21:00

MapReduce程序

 [Hadoop编程实践]一个实用、清晰的MapReduce程序今天写的日志合并MapReduce程序，重新梳理了一遍写一个MapReduceJob的要点：1.参数获取。
·2013-05-07 21:00

[Hadoop编程实践]一个实用、清晰的MapReduce程序

今天写的日志合并MapReduce程序，重新梳理了一遍写一个MapReduceJob的要点：1.参数获取。我一般都会在参数中包含这几项：输入文件路径、工作路径（.finish文件所在的目录）、输出文件路径（结果数据所在的路径，在实际工程中，一般和工作路径不同）。还有一个wait/submit参数，用来说明Job是通过waitForCompletion还是submit的方式提交，waitForCom
·2013-05-07 18:00

[Hadoop编程实践]解决MultipleInputs时调用getInputSplit抛出TaggedInputSplit的转换错误

今天在写MapReduce时遇到一个，和这篇文章描述的一样http://blog.csdn.net/rabbitxl/article/details/8645428 因此直接将原文转于此，备忘。 ====转载开始====在社区版的hadoop版本0.19/0.20中,当使用普通的输入的时候,比如job.setInputFormatClass(TextInputFormat.class); 在map
·2013-03-27 11:00

计算每年的最高温度MaxTemperature

另外设计到hadoop编程方面的请查阅另一个笔记系列：《Hadoop编程笔记》。如果有同学同时
·2012-12-07 14:00

hadoop编程笔记

1 基本hadoop程序 2 输入输出格式 3 多个map reduce管道（已经实践，靠谱，可否支持写入不同的文件呢？） 4 数据join。 map端join reduce端join（分组，打标志，以关联字段为key） 分布式缓存（非对称，小数据） 布隆过滤器（假负率为0，位图，缩小存储空间，非对称表join常用手段） http://www.google.com.hk/ggblo
hill007299·2012-09-09 23:00

Pig实战

1.pig简介2.安装pig3.实战pig4.深入pig5.参考资料及代码下载 .Pig简介  pig是hadoop项目的一个拓展项目， 用以简化hadoop编程（简化的程度超乎想象啊），并且提供一个更高层次抽象的数据处理能力
lxneliu·2012-09-01 00:00

看nutch学习hadoop的编程

nutch上有很多hadoop的应用，可以作为案例学习，看人家如何使用hadoop来实现，这对于刚接触hadoop编程的人来说，这是一个比较好的选择，怎么说nutch也算是hadoop的起源地。。。
duck_genuine·2012-07-03 13:00

Hadoop编程入门，统计单词出现数目wordcount

编程环境：Windows+Netbeans（在windows下编写mapReduce，然后在Linux下执行）一、准备阶段首先，我的java库里是很多类都没有的，因为，我到Linux系统中copy了hadoop/lib库里的必要jar，加载到了我的Netbeans里，使用eclipse的同学也需要加载到自己那边去。这个程序使用到的包括：hadoop/hadoop-core-0.20.2-CDH3B
changingivan·2012-06-03 07:00

揭开Hadoop的面纱

这也同时说明了，hadoop编程里面最核
华工微软俱乐部科技部·2012-04-07 11:00

初识Hadoop

这也同时说明了，hadoop编程里面最核心的两个动作是：将任务分解，
Hadoop-scutmstcSIG·2012-03-20 13:00

初识Hadoop

这也同时说明了，hadoop编程里面最核心的两个动作是：将任务分解，将结果统计，就是mapping和reducing。不过庆幸的是，hadoop已经帮我们实现了这两种方法
chenxiaochen32·2012-03-20 11:00

hadoop实现简单的倒排索引

       最近在学习hadoop编程，在大概理解了wordcount之后又接触了一个叫倒排索引的东东，所以就用它来练练手吧！
luliangy·2012-02-07 22:00

如何编写MapReduce代码

关于maperduce，可以参考：http://en.wikipedia.org/wiki/MapReduce这里假设你具备一定的hadoop编程经验。
autofei·2011-12-01 04:00

Pig实战

1.pig简介2.安装pig3.实战pig4.深入pig5.参考资料及代码下载 .Pig简介  pig是hadoop项目的一个拓展项目， 用以简化hadoop编程（简化的程度超乎想象啊），并且提供一个更高层次抽象的数据处理能力
qiang.xu·2011-06-06 13:00

Nutch开源搜索引擎的crawl日志分析及工作目录说明

可以通过nutch来深入学习Hadoop编程，都是比较横的代码。这一块待以后研究完毕后，blog出来。
banditjava·2008-09-19 17:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他