Hadoop开发

Hadoop开发周期（二）：编写mapper和reducer程序

编写一个简单的MapReduce程序大体上需要如下3步：   1）实现Mapper，处理输入的对，输出中间结果；   2）实现Reducer，对中间结果进行运算，输出最终结果；   3）在main方法里定义运行作业，定义一个job，在这里控制job如何运行等。   本文将通过一个实例（字数统计）演示MapReduce基本编程。 0 导
·2015-11-09 14:45

MapReduce and MachineLearning——笔记四（配置开发环境—上）

    在windows上进行hadoop相关的开发，需要在eclipse上安装hadoop开发插件。
·2015-11-08 15:53

Oozie — What Why and How

为Hadoop开发的一个工作流调度器，一个工作流有多个Job组成。
·2015-11-08 10:41

Ubuntu环境下eclipse的hadoop开发

在安装好hadoop伪分布式后，开始搭建eclipse的hadoop开发环境 我的版本信息如下： Ubuntu 版本 12.10 Hadoop版本 1.2.1 Java版本  1.6.0
·2015-11-07 13:30

windows下基于cygwin,eclipse搭建hadoop开发环境

一 java jdk安装（略）二 cygwin安装： 1 下载cygwin安装包 2 单机setup.exe 3 选择 install from local directory 4 完全安装（单机 all 后面的 default 使default变为install）注解：弄不懂装哪个包，就完全安装了 5 配置环境变量 Path : D:\cygwin\usr\bin;D:\cygwin\
·2015-11-02 13:23

eclipse添加hadoop开发插件

在开发hadoop的时候去查找了一下eclipse marketplace是没有找到hadoop的插件，上网又找了一下发现原来hadoop中其实是带有这样的插件的， 其实很简单只要将这个插件复制到eclipse/plugins目录下然后重启eclipse就可以了 重启之后就可以看到eclipse  == 》window  ==》 preferences  
·2015-11-02 10:18

Hadoop debug 方法

      做hadoop开发，需要对hdfs，mapreduce组件等进行修改、测试，如果每次做修改后都打成jar包上传到服务器打log测试的话将非常麻烦和耗时的。
·2015-11-02 10:11

Facebook如何使用Avartarnode提升HDFS可靠性

Ryan从2009年开始，就参与到了Facebook的 Hadoop开发中。
·2015-11-02 10:12

《Hadoop开发者》第四期

在这里再次感谢为这期《Hadoop开发者》做出贡献的童鞋们，you're so nice!
·2015-11-01 10:22

《Hadoop开发者》第二期

目录 1、Hadoop 业界资讯......................................... - 1 - 2、Nutch + Hadoop 构建商用分布式搜索引擎的问题探究  ....... - 5 -3、支持自定义爬虫的Nutch segment 文件存储接口改写.......... - 11 - 4、Nutch 中mapreduce 应用的几个特殊
·2015-11-01 10:19

《Hadoop开发者》第一期@入门专刊

我们论坛出的第一期Hadoop电子杂志, 欢迎大家下载.   目录1        Hadoop介绍2        Hadoop在国内应用情况3        Hadoop源代码eclipse编译教程7&
·2015-11-01 10:15

【Hadoop】Win7上搭建Hadoop开发环境，方法一

在Win7上，编写hadoop程序   操作系统：win7 hadoop版本：CDH3u6   1、下载安装JDK，以及Eclipse    具体看此链接：http://blog.csdn.net/weixuehao/article/details/17715793 2、新建JAVA Project 3、去cloudera网站下载hado
·2015-11-01 09:38

HBase eclipse开发环境搭建

伪分布式环境安装 事先本机必须部署好了伪分布式hadoop开发环境将Hbase/lib下的 hadoop-core-*.jar 与 hadoop保持一致。
·2015-10-31 17:54

hadoop2.2.0 单机伪分布式（含64位hadoop编译） 及 eclipse hadoop开发环境搭建

hadoop中文镜像地址：http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.2.0/第一步，下载 wget 'http://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/hadoop-2.2.0.tar.gz'第二步，编译haoop-2.2.0（注解：这一步很费时间）因为官方下载只提供
·2015-10-31 17:53

Hadoop开发遇到的问题之reduce卡住

遇到的问题描述：在hadoop上面执行程序，程序运行之后能够正常执行。一切似乎都是正常的，然而过了一段时间之后程序便开始阻塞直到程序超时退出（如下）。 14/08/19 21:17:51 INFO mapred.JobClient: map 99% reduce 71% 14/08/19 21:17:54 INFO mapred.JobClient: map 99% reduce 75%
·2015-10-31 17:59

Hadoop开发第6期---HDFS的shell操作

一、HDFS的shell命令简介 我们都知道HDFS 是存取数据的分布式文件系统，那么对HDFS 的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作，如ls、mkdir、rm 等。我们在执行HDFS的shell操作的时候，一定要确定hadoop 是正常运行的，我们可以使用
·2015-10-31 08:30

Hadoop开发第2期---虚拟机中搭建Linux

注：关于如何将hadoop源码导入Eclipse详见http://pan.baidu.com/s/1hq8ArUs 一、Hadoop配置软件（我的电脑是Windows7旗舰--64bit） 1. VMWare专用CentOS镜像(Centos是Linux操作系统的一种)2. VMware-workstation103. hadoop-1.1.2.tar.gz4. jdk-6u24-linux-
·2015-10-31 08:29

详解Hadoop Slots的含义

网上关于slots的概念介绍也很少，而对于一个有经验的Hadoop开发者来说，他们可能脑子里已经理解了slots的真正含义，但却难以清楚地表达出来，Hadoop初学者听了还是云里雾里。
·2015-10-30 14:00

Cloudera 开发者 北京

Cloudera开发者北京（Cloudera开发者）建议学员：一定编程检验的程序员和软件工程师课时：4天最新的ClouderaApacheHadoop开发者将为你讲解ApacheHadoop的核心概念与专家经验
一只树懒·2015-10-27 17:00

4.Eclipse下的Hadoop开发实践

前三篇文章为Hadoop环境配置和命令行运行程序及查看结果等等。   安装eclipse 注：只需在master上安装即可 在www.eclipse.org下载linux对应32位安装包，在根目录新建eclipse文件夹 拷贝eclipse-java-mars-R-linux-gtk.tar.gz到eclipse目录下，并解压。 运行eclipse 这样eclips
·2015-10-27 11:04

配置Hadoop开发环境（Eclipse）

参考博文： http://blog.csdn.net/zythy/article/details/17397153 http://www.tuicool.com/articles/AjUZrq 注意事项一：在Edit Hadoop Location 时注意端口配置   注意事项二： Hadoop installation directory里填写Win下的hadoop h
·2015-10-27 11:52

Eclipse下运行Hadoop程序（以WordCount为例，使用Maven）

这里使用的是Hadoop2.7.1版本，其他版本应该也大致通用配置Hadoop开发环境使用maven可以很轻松地配置新建一个Maven项目，然后在pom.xml中添加如下依赖项后，update即可 org.apache.hadoop
luo123n·2015-10-24 16:00

ubuntu 15.04下使用Eclipse搭建Hadoop开发环境

1、前期准备：已经安装好了jdk、hadoop、eclipse.如果有问题，参考：http://blog.csdn.net/a1b2c3d4123456/article/details/49181021http://blog.csdn.net/a1b2c3d4123456/article/details/492032372、下载hadoop-eclipse-plugin-1.2.1.jar。然后把
a1b2c3d4123456·2015-10-17 15:00

【用户行为分析】【Mahout】调研学习之一：分析算法简要总结

Mahout为数据分析人员，解决了大数据的门槛；为算法工程师，提供基础的算法库；为Hadoop开发人员，提供了数据建模的标准；为运维人员，打通了和Had
昕玫·2015-10-13 17:44

【用户行为分析】【Mahout】调研学习之一：分析算法简要总结

Mahout为数据分析人员，解决了大数据的门槛；为算法工程师，提供基础的算法库；为Hadoop开发人员，提供了数据建模的标准；为运维人员，打通了和Had
kexinmei·2015-10-13 17:00

SSH免密码登录

SSH免密码登录在搭建hadoop开发环境时，需要在集群中的机器之间配置ssh免密码登录。现有三台服务器：master1、pc2、pc3，用户均为hadoop2。
GYQJN·2015-10-13 10:00

Hadoop集群系列

最近学习ITCAST的hadoop开发文章，做了一下笔记，和大家分享一下。虾米工作室，这位大牛积累的很多。最优推荐Hadoop博客
tallny·2015-10-10 09:00

许鹏：从零开始学习，Apache Spark源码走读（三）

而在不久前，更成为了Apache软件基金会的顶级项目，当下已是知名Hadoop开发商Cloudera和MapR的新宠。
javastart·2015-10-02 16:00

hadoop中slot简介（map slot 和 reduce slot）

网上关于slots的概念介绍也很少，而对于一个有经验的Hadoop开发者来说，他们可能脑子里已经理解了slots的真正含义，但却难以清楚地表达出来，Hadoop初学者听了还是云里雾里。
jethai·2015-09-22 22:46

hadoop中slot简介（map slot 和 reduce slot）

网上关于slots的概念介绍也很少，而对于一个有经验的Hadoop开发者来说，他们可能脑子里已经理解了slots的真正含义，但却难以清楚地表达出来，Hadoop初学者听了还是云里雾里。
jethai·2015-09-22 22:46

hadoop中slot简介（map slot 和 reduce slot）

网上关于slots的概念介绍也很少，而对于一个有经验的Hadoop开发者来说，他们可能脑子里已经理解了slots的真正含义，但却难以清楚地表达出来，Hadoop初学者听了还是云里雾里。
suibianshen2012·2015-09-07 20:00

Cloudera Hadoop4视频教程

第一讲：ClouderaManager介绍与安装第二讲：ClouderaManager详解第三讲：CDH4.1介绍与环境搭建一第四讲：CDH4.1环境搭建二第五讲：Hadoop工作原理、调度策略第六讲：Hadoop
nwheydnwyefs·2015-09-05 08:00

Cloudera Hadoop4视频教程

第一讲：ClouderaManager介绍与安装第二讲：ClouderaManager详解第三讲：CDH4.1介绍与环境搭建一第四讲：CDH4.1环境搭建二第五讲：Hadoop工作原理、调度策略第六讲：Hadoop
nwheydnwyefs·2015-09-05 08:00

hadoop扫盲

1hadoop大数据平台架构和实践掌握大数据存储与处理技术的原理掌握hadoop开发2课程预报知识linux常用命令java编程基础3hadoop前世今生大数据到来PB级别的数据。
lijingsan1·2015-08-30 21:56

hadoop扫盲

1hadoop大数据平台架构和实践掌握大数据存储与处理技术的原理掌握hadoop开发2课程预报知识linux常用命令java编程基础3hadoop前世今生大数据到来PB级别的数据。
lijingsan1·2015-08-30 21:56

hadoop扫盲

1hadoop大数据平台架构和实践掌握大数据存储与处理技术的原理掌握hadoop开发2课程预报知识linux常用命令java编程基础3hadoop前世今生大数据到来PB级别的数据。
lijingsan1·2015-08-30 21:56

一次Hadoop开发思路分享

困扰了自己1周的一个问题终于得到解决了，感谢给我帮助的同学，同时记录下来分享给大家.问题简化描述：HDFS存在这样格式的文件：用户ID    主题ID    用户对此主题的偏好分数score。现在要求实现对给定的几个主题T1，T2，T3，...TN，每个主题要求筛选出指定数量的用户ID是M1,M2,M3,...MX。希望尽可能根据score来选出偏好的用户ID，并且主题之间的用户ID不可以重复。另
zfz_linux_boy·2015-08-30 18:04

hadoop相关教程_简介

1、             开本专题的背景意义  面试体会：应用层面过浅、对平台框架理解不到位  求职倾向：不要讲hadoop开发工程师，因为它仅是个简单的工具而已2、             Hadoop
erliang20088·2015-08-11 21:00

Hadoop开发环境的配置（安装eclipse）

1.下载eclipse因为安装了64位的jdk，所以eclipse版本也为64位：eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz2.解压缩文件到/opt目录下sudotar-xsvf~/下载/eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz-C/opt/3.下载eclipse支持对应hadoop版本的插件包（我将提供）had
cxx_317·2015-08-10 21:13

hadoop参数配置详解

hadoop参数配置详解在搭建hadoop开发环境的时，配置的参数非常多，要怎么设定才能达到最好的效能是一件令人头痛的事，通过本文的分析使读者能对hadoop的参数配置有一个详细的了解，初步学会如何进行
javastart·2015-08-01 16:00

职位罗列

极光推送：运维开发工程师￥15000-25000/          3-5年系统运维工程师￥15000-25000/          3-5年/          本科/          深圳Hadoop
小码哥·2015-07-30 11:00

OSC职位推荐：月薪 40k 还是 6k，不看学校只看实力

一大波互联网公司求才若渴，各种岗位应有尽有：web前端、iOS开发、C/C++开发、Erlang开发、Python开发、Android开发、运维、Hadoop开发。。。
小码哥·2015-07-20 15:00

使用HDP快速搭建Hadoop开发环境

使用两台虚拟机搭建真实集群环境，操作系统为CentOS6.5 1.      服务器基本设置vim/etc/hosts192.168.159.145    hdp01.domain192.168.159.146    hdp02.domainvim/etc/selinux/configSELINUX=disabledserviceiptablesstopchkconfigiptablesoffvi
灰仔·2015-07-09 17:00

hadoop实战---Hadoop开发过程中遇到的问题和解决方法

先上正确运行的显示：错误1：变量为IntWritable，接收的是LongWritable，如下图：原因，多写了参数reporter，如下图：错误2：数组超出边界，如下图：原因：设置了combine类，如下图：错误3：nullpointerexception异常，如下图：原因：静态变量为null，赋值即可，如下图：错误4：进入了map，但是无法进入reduce，且直接把map的数据输出了，并且无错
FeelTouch·2015-06-28 15:33

Hadoop集群（第7期）_Eclipse开发环境设置

1、Hadoop开发环境简介1.1Hadoop集群简介Java版本：jdk-6u31-linux-i586.binLinux系统：CentOS6.0Hadoop版本：hadoop-1.0.0.tar.gz1.2Windows
Carl_·2015-06-25 16:00

Maven构建Hadoop Web项目

使用Maven构建HadoopWeb项目，此项目是一个样例Demo，方便开发专注于后台以及Hadoop开发的人员在其上构建自己定制的项目。
fansy1990·2015-06-09 22:00

mvn+eclipse构建hadoop项目并运行(超简单hadoop开发入门指南)

本文详述如何在windows开发环境下通过mvn+eclipse构建hadoop项目并运行必备环境windows7操作系统eclipse-4.4.2mvn-3.0.3及用mvn生成项目架构(参阅mvn入门指南)hadoop-2.5.2（直接上hadoop官网下载hadoop-2.5.2.tar.gz并解压到某个目录）windows7下环境配置1、本地hadoop环境配置添加环境变量HADOOP_H
tang9140·2015-05-15 10:00

在eclipse里配置Hadoop开发环境

1.下载Hadoop的eclipse插件，放进eclipse的插件文件夹里。我下载的是：hadoop-eclipse-kepler-plugin-2.2.0.jar2.在eclipse里配置Hadoop的安装目录。打开eclipse-->Window-->Preferences-->HadoopMap/Reduce-->如下图配置Hadoop的安装目录：-->点击“OK”。3.右键点击下图选中位置
l294265421·2015-05-15 09:00

Windows下安装hadoop并集成到myeclipse开发环境

具体细节请参看刘胜球的博客：在Windows系统中安装Hadoop链接为http://my.oschina.net/u/570654/blog/112757myeclipse配置Hadoop开发环境链接为
iwantknowwhat·2015-05-12 19:00

Eclipse下搭建Hadoop开发环境，并运行第一个实例

有同学无法正常运行程序，这里将Eclipse下Hadoop环境配置进行一下说明：1.新建Map/Reduce工程2.设置HadoopLocaiton，第一次使用的话，点击大象，新建配置。3.设置内容（配置需要和Hadoop的配置文件相同）：Locationname和Host填写localhost，Map/ReduceMaster的端口号必须和Mapred-site.xml中的HDFS配置端口号一致
judyge·2015-05-10 17:02
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他