Hadoop-自学日记

hadoop-数据去重

importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.T
a331251021·2013-07-31 21:52

Hadoop1.x 源码修改编译执行

2.将该jar包覆盖掉所有节点上的/usr/share/hadoop/（如果是tar.gz直接解压的话，目录是$HADOOP_HOME/）目录下的hadoop-*-1.1.2.
Mrknowledge·2013-07-25 17:00

Hadoop-常用操作

使用URL的方式读取一个文件内容，需要设置一个handler工厂，这个工厂只能设置一次 static { URL.setURLStreamHandlerFactory( new FsUrlStreamHandlerFactory() ); } public void test1() throws IOException { URL u = new URL(&quo
我是小小鸟·2013-07-19 11:00

Hadoop-常用操作

使用URL的方式读取一个文件内容，需要设置一个handler工厂，这个工厂只能设置一次 static { URL.setURLStreamHandlerFactory( new FsUrlStreamHandlerFactory() ); } public void test1() throws IOException { URL u = new URL(&quo
我是小小鸟·2013-07-19 11:00

Hadoop-常见问题

经典漫画讲解HDFS原理 http://blog.chinaunix.net/uid-27105712-id-3274395.html HBASE SHELL 常用命令 http://blog.csdn.net/hongbinchen/article/details/6289279 Hadoop使用常见问题以及解决方法 http://www.hadoopor.com/
我是小小鸟·2013-07-05 12:00

Hadoop-常见问题

经典漫画讲解HDFS原理 http://blog.chinaunix.net/uid-27105712-id-3274395.html HBASE SHELL 常用命令 http://blog.csdn.net/hongbinchen/article/details/6289279 Hadoop使用常见问题以及解决方法 http://www.hadoopor.com/
我是小小鸟·2013-07-05 12:00

Hadoop-环境搭建

登陆master机器 ssh-keygen -t rsa     生成密钥对 cp id_rsa.pub authorized_kyes scp authorized_keys 从节点1:/home/xx/.ssh        scp authorized_keys 从节点2:/
我是小小鸟·2013-06-27 16:00

Hadoop-环境搭建

登陆master机器 ssh-keygen -t rsa     生成密钥对 cp id_rsa.pub authorized_kyes scp authorized_keys 从节点1:/home/xx/.ssh        scp authorized_keys 从节点2:/
我是小小鸟·2013-06-27 16:00

Hadoop添加删除节点

/bin/hadoop-
java_doom·2013-05-09 18:00

Reduce作业运行时错误：Too many fetch-failures

root@ubuntu:/usr/local/hadoop# bin/hadoop jar hadoop-*-examples.jar wordcount /test1 /test2 11/11/22
skywhsq1987·2013-04-24 21:00

Hadoop namenode 不能启动解决方案

hadoop.tmp.dir的目录在系统启动时被清空[html] viewplaincopy  [html] viewplaincopy      hadoop.tmp.dir      /tmp/hadoop/hadoop
leoleocmm·2013-03-14 16:00

hadoop 命令行运行

mkdirFirstJar#建立FirstJar文件夹javac-classpath${HADOOP_HOME}/hadoop-${VERSION}-core.jar-dFirstJarWordCount.java
·2013-03-10 00:00

hadoop-集群管理（4）——关键属性

hadoop中的配置属性非常多，这里只讨论关键属性，它们分散在3个文件中：core-site.xml、hdfs-site.xml、mapred-site.xml。1.core-site.xml   fs.default.name  hdfs://Route:9000  true 运行HDFS需要指定一台机器为namenode，通过参数fs.default.name来设置。它还指定了文件系统为HDF
醇酒醉影·2013-03-08 15:00

hadoop-集群管理（3）——不常用参数

hadoop日志文件的名称格式为“hadoop-用户名-守护进程名-本地主机名.log”。例如“hadoop-tianyc-namenode-Route.log”就是我的h
醇酒醉影·2013-03-08 11:00

hadoop-集群管理（1）——配置文件

1.配置文件列表如下：[tianyc@Routeconf]$pwd/home/tianyc/hadoop-1.0.4/conf[tianyc@Routeconf]$ll总用量76-rw-rw-r--.1tianycNEU74573月610:38capacity-scheduler.xml-rw-rw-r--.1tianycNEU5353月610:38configuration.xsl-rw-rw-
醇酒醉影·2013-03-06 10:00

hadoop参数-core-site.xml

三个缺省配置参考文件说明core-default.html 序号参数名参数值参数说明1hadoop.tmp.dir/tmp/hadoop-${user.name}临时目录设定2hadoop.native.libtrue
nuoline·2013-02-25 18:00

HADOOP_CLASSPATH设置

在写hadoop程序编译时，往往需要HADOOP_CLASSPATH路径，可通过以下方式进行在编译脚本中设置：forfin$HADOOP_HOME/hadoop-*.jar;doCLASSPATH=${
nuoline·2013-02-25 18:00

hadoop-执行mapreduce时hang住的问题

在执行mapreduce时，map成功后，reduce一直hang在17%。现象如下：[tianyc@TkHbasehadoop]$hadoopjarcontrib/streaming/hadoop-streaming-1.0.4.jar-mapper/home/tianyc/study/mapred/python/mapper.py-reducer/home/tianyc/study/mapre
醇酒醉影·2013-02-20 16:00

hadoop-执行mapreduce时主机名非法的处理

hadoop搭建正常，在执行mr时，提示一个datanode节点主机名非法：[tianyc@TeletekHbasebin]$~/hadoop/bin/hadoopjar~/hadoop/contrib/streaming/hadoop-streaming-1.0.4.jar-mapper~/study/mapred/python/map.py-reducer~tudy/mapred/python
醇酒醉影·2013-02-20 11:00

Hadoop-采样器－多输入路径－只采一个文件－（MultipleInputs+getsample(conf.getInputFormat)

之前弄采样器，以为已经结束了工作，结果现在又遇到了问题，因为我的输入有两个文件，设计要求是先只采样其中的大文件（未来是两个文件分别采样的），只有一个输入文件且采样时，使用采样器的代码是： [java] view plain copy print ? Pathinput=newPath(args[0].toString()); input=input.makeQ
jiagou·2013-01-31 22:00

Hadoop MapReduce进阶 使用DataJoin包实现Join

它的Jar包存在于contrib/datajoin/hadoop-*-datajoin。为区别于其他的datajoin技术，我们称其为reduce-sidejoin。
jiagou·2013-01-31 22:00

Hadoop-* 自动安装脚本

#!/bin/bash #validateuserorgroup validate(){ if['id-u'==0];then echo"mustnotberoot!" exit0 else echo"---------welcometohadoop---------" fi } #hadoopinstall hd-dir(){ if[!-d/home/hadoop/];then mkdir/
noobzc1·2012-12-29 23:00

HADOOP_CLASSPATH设置

在写hadoop程序编译时，往往需要HADOOP_CLASSPATH路径，可通过以下方式进行在编译脚本中设置：forfin$HADOOP_HOME/hadoop-*.jar;doCLASSPATH=${
mysileng·2012-12-28 20:00

Hadoop 配置笔记

hdfs-site.xml和conf/mapred-site.xml2.几个默认参数值：Hadoop默认的临时文件夹由src/core/core-default.xml中的hadoop.tmp.dir设置，默认值为/tmp/hadoop
shenyan008·2012-12-27 22:00

hadoop log

信息, 用log4j实现的) : $HADOOP_HOME/logs/userlogs/$JOB_ID/attempt_*/syslog 2 在$HADOOP_HOME/logs目录下: hadoop
shixin42·2012-10-25 15:00

[置顶] Hadoop 实战之运行DataJoin

它的Jar包存在于contrib/datajoin/hadoop-*-datajoin。为区别于其他的datajoin技术，我们称其为reduce-sidejoin。
xiaotom5·2012-10-17 11:00

Hadoop-相关文章

HBase API http://hbase.apache.org/0.94/apidocs/index.html HBase blog http://blogs.apache.org/hbase/ csdn hadoop http://subject.csdn.net/hadoop/ hadoop大会 http://hbtc2012.hadooper.c
我是小小鸟·2012-10-03 20:00

Hadoop-相关文章

HBase API http://hbase.apache.org/0.94/apidocs/index.html HBase blog http://blogs.apache.org/hbase/ csdn hadoop http://subject.csdn.net/hadoop/ hadoop大会 http://hbtc2012.hadooper.c
我是小小鸟·2012-10-03 20:00

私塾在线《深入浅出学 Hadoop- 初级 部分》 —— 系列精品教程

私塾在线《深入浅出学   Hadoop-   初级   部分》    ——   系列精品教程
rainyear·2012-09-07 15:00

Hadoop实战-初级部分 之 HDFS

 私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程视频课程地址》》》 http://sishuok.com/product/481整体课程概览第一部分：开始云计算之旅第二部分
jenmhdn·2012-08-19 07:00

【转】Hadoop 中的两表join

原文见：http://www.gemini5201314.net/hadoop/hadoop-%E4%B8%AD%E7%9A%84%E4%B8%A4%E8%A1%A8join.html  
hugh.wangp·2012-08-09 10:00

安装eclipse插件后，run on hadoop没有反映的解决办法

issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar2、重命名：将下载的插件重命名为“hadoop
zhu_yanjie·2012-07-05 10:00

hadoop集群搭建+eclipse开发环境配置

192.168.10.29slave         1、下载hadoop-1.0.3、jdk1.7.0_04（略过）        2、安装hadoop和jdk          （hadoop目录为：/opt/789/hadoop
511930751·2012-06-27 17:00

[置顶] Hadoop-采样器－多输入路径－只采一个文件－（MultipleInputs+getsample(conf.getInputFormat)

之前弄采样器，以为已经结束了工作，结果现在又遇到了问题，因为我的输入有两个文件，设计要求是先只采样其中的大文件（未来是两个文件分别采样的），只有一个输入文件且采样时，使用采样器的代码是：Pathinput=newPath(args[0].toString()); input=input.makeQualified(input.getFileSystem(conf)); InputSampler.
kingjinzi_2008·2012-06-27 15:00

bin/hadoop jar hadoop-*-examples.jar wordcount 路径错误。

examples.jarwordcount”，结果发生了异常，如下：    Exceptioninthread"main"java.io.IOException:Erroropeningjobjar:hadoop
jkeven·2012-06-12 12:00

安装hadoop－新手安装篇

参考《在windows上安装hadoop教程》1. 安装SDK 版本在1.6以上，推荐1.6.0_32 注意：安装的时候JDK安装的路径不要含有空格及中文字符，否则出现莫名其妙的路径找不到的问题，原因在于java对于空格和中文字符的处理。 2.安装cygwin下载setup.exe后运行，选择downloadsite时填http://www.cygwin.cn/pub，千万不要mirrors.16
yyt8yyt8·2012-06-10 16:00

Hadoop MapReduce进阶 使用DataJoin包实现Join

它的Jar包存在于contrib/datajoin/hadoop-*-datajoin。为区别于其他的datajoin技术，我们称其为reduce-sidejoin。
linuxchyu·2012-05-30 16:00

hbase提供了导出表

中添加mapred-site.xml： Java代码      mapred.job.tracker    192.168.0.1:9001        hadoop.tmp.dir    /tmp/hadoop
书音棋·2012-05-23 15:00

Hadoop- jobtracker.info could only be replicated to 0 nodes, instead of 1

Hadoop 0.20.2 以前配置好能运行的集群，今天不记得改了点什么，跑不起来了，总是报下面的异常： java.io.IOException: File /tmp/hadoop-wangdeyu/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1 也看了下网上其他人
wondery·2012-05-09 16:00

core-default配置说明等

为了以后查找方便，故将配置说明等列在这里Xml代码                            hadoop.tmp.dir    /tmp/hadoop-${user.name}    A 
jlins_you·2012-04-18 20:00

第一章 Hadoop启动Shell启动脚本分析--基于hadoop-0.20.2-cdh3u1

"$bin"/hadoop-
我的家园·2012-04-15 16:00

Hadoop 中的两表join

转自：http://www.gemini5201314.net/hadoop/hadoop-%e4%b8%ad%e7%9a%84%e4%b8%a4%e8%a1%a8join.html  
yeshuqiang·2012-03-29 12:00

ipc.Client: Retrying connect to server. ——hadoop学习第1天

  cat logs/hadoop-[用户名]-
lvdccyb·2012-03-13 20:00

java的 IO操作基础及类加载器

java的IO操作基础及类加载器-jayronlou-博客频道-CSDN.NETjava的IO操作基础及类加载器分类：黑马自学日记2011-12-2110:2469人阅读评论(0)收藏举报  一、File
·2012-02-27 22:00

Hadoop-单机安装配置

  单机安装主要用于程序逻辑调试。安装步骤基本通分布式安装，包括环境变量，主要Hadoop配置文件，SSH配置等。主要的区别在于配置文件：slaves配置需要修改，另外如果分布式安装中dfs.replication大于1，需要修改为1，因为只有1个datanode.   分布式安装请参考： http://acooly.iteye.com/blog/1179828 &n
zp820705·2012-02-18 11:00

Hadoop-单机安装配置

  单机安装主要用于程序逻辑调试。安装步骤基本通分布式安装，包括环境变量，主要Hadoop配置文件，SSH配置等。主要的区别在于配置文件：slaves配置需要修改，另外如果分布式安装中dfs.replication大于1，需要修改为1，因为只有1个datanode.   分布式安装请参考： http://acooly.iteye.com/blog/1179828 &n
zp820705·2012-02-18 11:00

运行 bin/hadoop jar hadoop-*-examples.jar wordcount报错

报错内容：Exceptioninthread"main"java.io.IOException:Erroropeningjob:hadoop-*-examples.jar...原因：hadoop的版本更新了
Longerandlonger·2012-02-17 19:00

hadoop core-default.xml配置文件

name value description hadoop.tmp.dir /tmp/hadoop-${user.name} A base for other temporary directories
zhengzhuangjie·2012-02-15 13:00

Centos5下安装hadoop-伪分布式模式

hadoop安装 测试环境 centos 5.6 sunjava1.6.0_26 - 安装java 官方文档写最好是sun jdk 如果是opengdk的请注意。 #chmod u+x jdk-6u26-linux-i586-rpm.bin #./jdk-6u26-linux-i586-rpm.bin #java -version (查看安装信息)
hao3721·2012-02-09 17:00

hadoop-扫盲篇

一、Hadoop是什么？答：是google的核心算法MapReduce的一个开源实现。用于海量数据的并行处理。hadoop的核心主要包含：HDFS和MapReduce     HDFS是分布式文件系统，用于分布式存储海量数据。     MapReduce是分布式数据处理模型，本质是并行处理。二、多少数据算海量数据？答：个人认为，TB（1024GB）级别往上就可以算海量数据。三、谁在使用hadoop
bruce_wang_janet·2012-02-08 22:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他