hadoop配置

Hadoop配置项整理(core-site.xml)

记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分以hadoop1.x配置为例core-site.xmlnamevalueDescriptionfs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口fs.checkpoint.dir/opt/data/hadoop1/hdfs/namesecon
Slaytanic·2012-12-26 15:19

Hadoop-0.20.2的log存放时间控制

想要在JobTracker的WebUI上（master:50030）多保持几个job执行状态，默认是100个 调整Hadoop配置文件，比如调整为200个 <property>
JerryLead·2012-12-15 16:00

Hadoop的配置

转自出处点击打开链接Hadoop配置一、Hadoop集群模式：   Hadoop集群共有三种模式：1、单机模式（Standalone）2、伪分布式模式（Pseudo-distributed）3、完全分布式模式
martin_liang·2012-12-06 23:00

hadoop 单机安装配置教程

安装步骤基本通分布式安装，包括环境变量，主要Hadoop配置文件，SSH配置等。
·2012-11-26 14:20

Mac OS Hadoop Mahout安装

下载Hadoop，Mahout： 可以直接从labs.renren.com/apache-mirror/hadoop和labs.renren.com/apache-mirror/mahout下载2.配置Hadoop
·2012-11-23 18:00

hadoop配置文件问题

hadoop配置文件问题，参考：http://blog.csdn.net/lin_fs/article/details/7349497
gongweijiao·2012-11-23 09:00

配置Eclipse连接Hadoop

我的Hadoop配置在开源的Virtual-box上面，系统是Ubuntu 12.04   配置Hadoop开发环境的文章就很多了，这里不累述。
dacoolbaby·2012-11-20 08:00

hadoop配置运行错误总结(1)

感觉这位兄台总结还蛮好的，所以特把这两篇转帖过来，其中第十一点总结还是来自我的博客总结，嘿嘿。新手搞hadoop最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，希望对你们有所帮助。一、hadoop集群在namenode格式化（bin/hadoopnamenode-format）后重启集群会出现如下IncompatiblenamespaceIDSin…:namenodename
fish_cool·2012-10-30 17:22

hadoop配置运行错误总结(1)

感觉这位兄台总结还蛮好的，所以特把这两篇转帖过来，其中第十一点总结还是来自我的博客总结，嘿嘿。 新手搞hadoop最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，希望对你们有所帮助。一、hadoop集群在namenode格式化（bin/hadoopnamenode-format）后重启集群会出现如下IncompatiblenamespaceIDSin…:namenodenam
chenyi8888·2012-10-30 17:00

hadoop配置运行错误总结(2)

十二、如果遇到如下错误：FAILEDjava.lang.IllegalArgumentException:java.net.URISyntaxException:RelativepathinabsoluteURI:***就是URI里边出现了不允许出现的字符，比如冒号：之类的，操作系统不允许的文件命名字符。详细的可以根据提示的部分（星号部分）来进行grep匹配查看。消除掉就可以解决了。十三、遇到ta
chenyi8888·2012-10-30 17:00

【hadoop】——将rpm卸载后，换成bin包的形式运行hadoop所遇到的问题

平台：CentOS； hadoop版本：1.0.4； 安装方式：使用官网提供的rpm安装包安装； 所遇问题 将rpm包的hadoop卸载后，使用hadoop提供的bin包运行hadoop会受到原来hadoop
·2012-10-28 00:00

在windows安装hadoop时的文件配置及注意事项

环境模拟是用cygwin搭建的，可以参考：cygwin架设SSH服务Hadoop配置：hadoop-env.sh增加：exportJAVA_HOME="/cygdrive/d/java/jdk1.6.0
iteye_20005·2012-10-25 14:00

在windows安装hadoop时的文件配置及注意事项

环境模拟是用cygwin搭建的，可以参考：cygwin架设SSH服务Hadoop配置：hadoop-env.sh增加：exportJAVA_HOME="/cygdrive/d/java/jdk1.6.0
shiqidide·2012-10-25 14:00

在windows安装hadoop时的文件配置及注意事项

环境模拟是用cygwin搭建的，可以参考：cygwin架设SSH服务Hadoop配置：hadoop-env.sh增加：exportJAVA_HOME="/cygdrive/d/java/jdk1.6.0
shiqidide·2012-10-25 14:00

Hadoop集群提交作业问题总结

其次，要确保本地机器上的用户对hadoop执行文件和配置文件具备相应的权限（在实验环境中，hadoop用户需要对hadoop安装文件具有执行权限；需要对hadoop配置文件具备读权限；需要对
zuochanxiaoheshang·2012-10-11 19:00

HADOOP1.0.3+HBASE0.94.1伪单机环境配置实录

HADOOP1.0.3+HBASE0.94.1伪单机环境配置实录1.在host中加入master127.0.0.1 2.实现无需密码登录ssh 3.hadoop配置文件 core-site.xml     
paulwong·2012-10-01 22:00

hadoop性能调优

从三个方面着手优化:1.hadoop配置2.设计mapred/job3.代码级别.4.改造hadoop一.conf/hadoop-site.xml配置.经验要求高,特别需要结合实际情况.典型参数如复制因子
闵开慧·2012-09-21 13:00

Hadoop入门

配置hadoop配置文件时，发现该文档此段落已经过期，请参考英文版本：http://hadoop.apache.org/common/docs/r1.0.3/single_node_setup.html
ryanflyer·2012-09-18 17:00

Hadoop入门

配置hadoop配置文件时，发现该文档此段落已经过期，请参考英文版本：http://hadoop.apache.org/common/docs/r1.0.3/single_node_setup.html
ryanflyer·2012-09-18 17:00

hadoop伪分布模式配置

hadoop伪分布模式配置如下：进入/home/tom/hadoop/conf，配置hadoop配置文件配置hadoop-env.sh文件exportJAVA_HOME=/home/tom/jdk1.7.0
zjml2412·2012-08-28 18:00

hadoop集群配置

想要学习学习这个东西，就自己在电脑上装了一台虚拟机，安装了linux操作系统，结合网上前辈们的资料，自己实践了一下，由于是第一次学习，所以看似简单的问题，确花费了一些时间，走了不少弯路，不过欣慰的是，终于将一个简单的hadoop
liujun58love·2012-08-20 13:00

hadoop集群配置

就自己在电脑上装了一台虚拟机， 安装了linux操作系统，结合网上前辈们的资料，自己实践了一下，由于是第一次学习，所以 看似简单的问题，确花费了一些时间，走了不少弯路，不过欣慰的是，终于将一个简单的 hadoop
liujun58love·2012-08-20 13:00

hadoop配置文件

(1)配置$HADOOP_HOME/conf/hadoop-env.sh切换到Hadoop的安装路径找到hadoop-0.20.2下的conf/hadoop-env.sh文件将：#exportJAVA_HOME=/usr/lib/j2sdk1.5-sun改为：exportJAVA_HOME=/usr/lib/jvm/java-6-openjdk(2)配置$HADOOP_HOME/conf/core
闵开慧·2012-08-14 11:00

hadoop优化

从三个方面着手优化 :1. hadoop配置2. 设计mapred/job3. 代码级别.4.
书音棋·2012-08-13 22:00

hadoop优化

阅读更多从三个方面着手优化:1.hadoop配置2.设计mapred/job3.代码级别.4.改造hadoop一.conf/hadoop-site.xml配置.经验要求高,特别需要结合实际情况.典型参数如复制因子
书音棋·2012-08-13 22:00

hadoop配置常见错误及解决方法

1配置文件中使用IP地址错误：（logs目录下的日志文件错误）10/11/0917:19:06INFOmapred.JobClient:TaskId:attempt_201011091659_0001_m_000003_0,Status:FAILEDErrorinitializingattempt_201011091659_0001_m_000003_0:java.lang.IllegalArgu
duguyiren3476·2012-08-13 18:00

hadoop参数配置（mapreduce数据流）

Hadoop配置文件设定了Hadoop平台运行时各方面属性。大量实验证明，合理的配置会大大提高Hadoop的性能。
J.J.REN·2012-08-07 17:00

ubuntu hadoop完全分布式模式配置

用户名和密码都是hadoop配置三台机器的etc/hosts127.0.0.
kejmln·2012-08-03 19:00

Hadoop配置详解

Hadoop配置一、Hadoop集群模式：   Hadoop集群共有三种模式：1、单机模式（Standalone）2、伪分布式模式（Pseudo-distributed）3、完全分布式模式（Fullydistributed
ShuTear·2012-07-27 19:00

hadoop配置文件详解、安装

一、     Hadoop伪分布配置      1. 在conf/hadoop-env.sh文件中增加：exportJAVA_HOME=/home/Java/jdk1.6      2. 在conf/core-site.xml文件中增加如下内容：         fs.default.name       hdfs://localhost:9000            hadoop.tmp.di
zhdjbabygo·2012-07-20 19:00

hadoop/mapred 优化方法

 从三个方面着手优化:1.hadoop配置2.设计mapred/job3.代码级别.4.改造hadoop一.conf/hadoop-site.xml配置.经验要求高,特别需要结合实际情况.典型参数如复制因子
yeshuqiang·2012-06-12 11:00

Hadoop配置机架感知(python脚本)

昨天QQ群里提了一个hadoop运行效率分配的问题，总结一下，写个文章。集群使用hadoop-1.0.3有些hadoop集群在运行的时候，不完全是绝对平均的分配，不过需要尽可能平均的分配任务，避免某一台或者某几台服务器任务过重，其他服务器无事可做。这个，一方面是需要用到balancer，一个就是机架感知了。通常，balancer是自动启动的。而机架感知则需要单独配置和编写脚本。不过，机架感知，不是
Slaytanic·2012-06-08 15:20

Hadoop配置机架感知(python脚本)

昨天QQ群里提了一个hadoop运行效率分配的问题，总结一下，写个文章。集群使用hadoop-1.0.3有些hadoop集群在运行的时候，不完全是绝对平均的分配，不过需要尽可能平均的分配任务，避免某一台或者某几台服务器任务过重，其他服务器无事可做。这个，一方面是需要用到balancer，一个就是机架感知了。通常，balancer是自动启动的。而机架感知则需要单独配置和编写脚本。不过，机架感知，不是
Slaytanic·2012-06-08 15:20

Hadoop配置文件配置项定义说明

      hadoop的集群配置中，大部分都用的默认设置，如果想要提高整个集群的性能，可以考虑通过修改配置的方法实现，配置项大部分都配置在这三个文件里：core_site.xml, hdfs_site.xml, mapred_site.xml, 下面将经常会用到的配置项总结如下：（待补充）   core_site.xml fs.default
shirley.ren·2012-05-15 16:00

hadoop配置手册

环境：Hadoop-1：10.10.30.1（namehost：ip）Hadoop-2:10.10.30.2（namehost：ip）部署步骤（JDK安装不在描述）1，在每一台服务器上添加hosts记录a)Vi/etc/resole.confi.Hadoop-110.10.30.1ii.Hadoop-210.10.30.22，在hadoop-1上pinghadoop-2，ping通正常3，在had
·2012-05-14 20:00

hadoop配置手册

环境： Hadoop-1 ： 10.10.30.1  （ namehost ： ip ） Hadoop-2:  10.10.30.2   （ namehost ： ip ）   部署步骤（ JDK 安装不在描述） 1，  在每一台服务器上添加 hosts 记录 a)   &nb
talktoto·2012-05-14 20:00

hadoop配置纪要

1.回收站设置，以防勿操作 conf/core-site.xml <property> <name>fs.trash.interval</name> <value>1440</value> </property> 默认是0.单位分钟。这里我设置的是1天（60
smallboby·2012-05-12 23:00

hadoop配置纪要

1.回收站设置，以防勿操作 conf/core-site.xml <property> <name>fs.trash.interval</name> <value>1440</value> </property> 默认是0.单位分钟。这里我设置的是1天（60
smallboby·2012-05-12 23:00

Hadoop集群与Hadoop性能优化

本文讲解一下Hadoop集群、Hadoop性能优化、Hadoop机架感知实现、Hadoop配置等，下面是有关这些命令的具体介绍。
jrckkyy·2012-05-11 13:00

eclipse中Hadoop的DFS Location无法显示DFS下的文件 解决方法

html转载自guxuanguichen最终编辑guxuanguichen 问题如上图所示，前提是首先要将hadoop正确安装，在命令行中可以运行例子程序，然后在eclipse中配置如下图 注意端口号要与hadoop
jtlyuan·2012-04-30 22:00

hadoop配置多个硬盘

在hadoop的文档里明确提出了不需要使用RAID（见http://wiki.apache.org/hadoop/DiskSetup）。hadoop本身的冗余机制使得RAID的冗余机制变得多余了。并且根据一篇文章《whynotuseRAID?》的描述：在YahooHadoopCluster的Benchmark中，测试Gridmix显示使用JBOD相比RAID能提高写性能10%以上。http://w
chcearth·2012-04-29 18:13

hadoop配置多个硬盘

在hadoop的文档里明确提出了不需要使用RAID（见http://wiki.apache.org/hadoop/DiskSetup）。hadoop本身的冗余机制使得RAID的冗余机制变得多余了。并且根据一篇文章《whynotuseRAID?》的描述：在YahooHadoopCluster的Benchmark中，测试Gridmix显示使用JBOD相比RAID能提高写性能10%以上。http://w
chcearth·2012-04-29 18:13

在多硬盘情况下的Hadoop配置注意项

原文地址：http://blog.csdn.net/dajuezhao/article/details/6797015一、背景1、最近在做hadoop的性能测试，采用了自带的Terasort的方式，但是在运行的过程中发现如果数据量过大，对硬盘I/O需求不小（通过Ganglia监控发现），因此，打算找找看是否有合适的配置来解决这样一类的问题，所以才有了这篇记录的文档。2、在做修改之前，当然必须确认s
jingling_zy·2012-04-26 23:00

hadoop中RPC的使用方法

public class UseRPC { //hadoop配置信息 private static Configuration conf=new Configuration(); //定义接口 public
jlins_you·2012-04-15 22:00

hadoop配置文件详解

最近看了看hadoop，了解了一下hadoop配置文件。先将资料分享如下：   Hadoop伪分布配置：  1.
wkm·2012-04-11 11:00

HBase与Hadoop配置

这里直接cloudera了如果从apache的服务器上下载,hbase与hadoop的版本需要匹配，版本不匹配会出现n种问题，如master起不来,连不上zookeeper之类的yuminstallhbase会提示安装hadoop和zookeeper,y回车配置hadoopcore-site.xmlhdfs-site.xmlmapred-site.xml环境变量添加HADOOP_HOME我的系统是
moxpeter·2012-03-29 15:00

hadoop配置文件详解、安装及相关操作

一、     Hadoop伪分布配置      1. 在conf/hadoop-env.sh文件中增加：exportJAVA_HOME=/home/Java/jdk1.6      2. 在conf/core-site.xml文件中增加如下内容：         fs.default.name       hdfs://localhost:9000            hadoop.tmp.di
lin_FS·2012-03-13 16:00

Hadoop-单机安装配置

安装步骤基本通分布式安装，包括环境变量，主要Hadoop配置文件，SSH配置等。
zp820705·2012-02-18 11:00

Hadoop-单机安装配置

安装步骤基本通分布式安装，包括环境变量，主要Hadoop配置文件，SSH配置等。
zp820705·2012-02-18 11:00

关于hadoop配置hosts文件的问题

在之前的一篇blog里，写到我的python脚本无法正常运行，后来是修改了hosts文件，今天有个同事又重新讲解了下问题，发现之前的理解有误差。这里在介绍一下另外一种方式，就是在每台机器的hosts文件增加全部的主机名和IP地址。对应linux系统，修改/etc/hosts文件，在全部hadoop环境下的全部机器都增加机器名和IP地址，内容如下：10.200.187.77master10.200.
fish_cool·2012-02-14 11:59
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他