hadoop配置

Hadoop源码分析之Configuration

Hadoop配置文件将下载的Hadoop压缩包解压后
twlkyao·2013-12-24 21:00

hadoop配置 - 启动backupNode和SecondaryNamenode

1.      根据上一章配好的集群,现为Myhost1配置backupNode和SecondaryNamenode,由于机器有限,这里就不为Myhost2配置backupNode和SecondaryNamenode,但是方法相同.2.      我们选定Myhost4为SecondaryNamenode,Myhost5为backupNode.配置并启动SecondaryNamenode:1.  
Mrknowledge·2013-12-20 17:00

hadoop2.0 HDFS搭建和HA切换

1、hadoop配置文件及目录     hadoop2.0版本配置文件放在$HAOOP_HOME/etc/hadoop/下,命令行工具在$HADOOP_HO
kirayuan·2013-12-17 16:00

Hadoop源码分析之Configuration

Hadoop配置文件将下载的Hadoop压缩包解压后
guimingyue·2013-12-13 15:00

hadoop任务监控页面namenode:50030(在hadoop配置中查找集群jobtracker的ip，访问50030)

公司集群，配置的hadoop。执行job，想去看看运行状态，却不知道jobtracker的机器ip：查询hadoop的jobtrack机器的ip，就查看文件conf/mapred-site.xmlmapred.job.trackernode1:49001mapred.local.dir/home/hadoop/hadoop_home/var其中，mapred.job.tracker是JobTrac
longshenlmj·2013-12-12 21:00

Hadoop配置Ganglia指南

Server端：yuminstallrrdtoolgangliaganglia-gmetadganglia-gmondganglia-webhttpdphpClient端：yuminstallganglia-gmond创建RRD目录mkdir-p/var/lib/ganglia/rrdschownganglia:ganglia/var/lib/ganglia/rrds编辑/etc/ganglia/
j2eelamp·2013-12-11 19:00

hadoop配置常见问题

收集记录一些Hadoop配置部署过程中遇到的问题。
taotie119·2013-12-10 18:00

hadoop常见问题

收集记录一些Hadoop配置部署过程中遇到的问题。   1.
taotie119·2013-12-10 18:00

hadoop配置常见问题

收集记录一些Hadoop配置部署过程中遇到的问题。 
taotie119·2013-12-10 10:00

在多硬盘情况下的Hadoop配置注意项

原文地址：http://blog.csdn.net/dajuezhao/article/details/6797015一、背景1、最近在做hadoop的性能测试，采用了自带的Terasort的方式，但是在运行的过程中发现如果数据量过大，对硬盘I/O需求不小（通过Ganglia监控发现），因此，打算找找看是否有合适的配置来解决这样一类的问题，所以才有了这篇记录的文档。2、在做修改之前，当然必须确认s
w13770269691·2013-12-06 17:00

使用rsync同步hadoop配置

详见http://blog.sina.com.cn/s/blog_72827fb10101asp9.html暂时没有配置使用sshauthentication进行rsync,可使用cronjob每隔几分钟从指定服务器同步数据。
jollyjumper·2013-11-25 23:00

Hadoop源码目录结构<转>

首先我们需要对hadoop解压包的目录结构有个大概了解，解压下载的hadoop1.0.3版本压缩包到文件系统，目录如下：bin：此目录下为进行hadoop配置、运行以及管理的shell命令集合c++：此目录下为
yongjian_luo·2013-11-18 14:00

hadoop配置 - http address绑定内网地址

hadoop默认配置里httpaddress接口domain段均为0.0.0.0，表示可通过任一网卡访问http接口，对于双网卡服务器(一个内网，一个外网)，意味着公网用户可以随意访问hadoop系统开放的web资源，存在极大的安全隐患。我们可以修改配置将domain段替换成内网IP，这对于dfs.http.address、mapred.job.tracker.http.address没什么问题，
Mrknowledge·2013-11-07 16:00

hadoop配置 - Datanode GC优化一则

故障描述：前一阵发现Jobtracker服务器宕机，追查宕机前系统负载情况，发现很多线程被阻塞，大多上面一些cronjob对hdfs目录请求响应时间较长导致的，进一步追查后发现有若干datanode被exclude掉，报错信息如下：datanode报错ERROR1ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:DatanodeRegistr
mrknowledge·2013-10-31 14:14

hadoop配置 - Datanode GC优化一则

故障描述：前一阵发现Jobtracker服务器宕机，追查宕机前系统负载情况，发现很多线程被阻塞，大多上面一些cronjob对hdfs目录请求响应时间较长导致的，进一步追查后发现有若干datanode被exclude掉，报错信息如下：datanode报错ERROR1 ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:DatanodeRegist
Mrknowledge·2013-10-31 14:00

hadoop实战(1)求一堆数字中的最大值

首先将hadoop配置为伪分布模式，具体请参考：配置hadoop伪分布模式。
樂天·2013-10-23 21:00

Hadoop配置自动化之一ssh自动化

测试环境：Ubuntu12.04.2server64bit、expectversion5.45、GNUbash,version4.2.24(1)-release(x86_64-pc-linux-gnu)说明：Hadoop自动化配置出来的结果是：整个集群一个namenode、一个secondary、一个JobTracker，且这三个进程在同一个机器上面，datanode和tasktracker在其他
为梦而来·2013-10-23 14:00

WedHDFS配置及使用方法整理

WedHDFS配置及使用方法一、配置1、修改hadoop配置文件hdfs-site.xml，添加：dfs.webhdfs.enabledtrue注：此配置在集群中所以机器上都需要修改2、同样配置hdfs-site.xml
qianqian_520·2013-10-21 12:34

WedHDFS配置及使用方法整理

WedHDFS配置及使用方法一、配置1、修改hadoop配置文件hdfs-site.xml，添加：dfs.webhdfs.enabledtrue注：此配置在集群中所以机器上都需要修改2、同样配置hdfs-site.xml
qianqian_520·2013-10-21 12:34

hadoop配置 - 1.x mapred-site.xml 参数设定

平台环境CentOS6.XJDK1.7Hadoop1.0.4参照mapred-default.xmlJobTrackermapred.job.tracker预设值:local说明:设定jobtracker的hostname及port。预设是local，表示所有的job会用localjobrunner来执行，而且只有一个mapper及一个reducer。在这个设定下，如果要启动jobtrackers
Mrknowledge·2013-10-09 13:00

hadoop配置 - 1.x core-site.xml 参数设定

平台环境CentOS6.XJDK1.7Hadoop1.0.4参照core-default.xmlfs.default.name预设值:file:///说明:设定Hadoopnamenode的hostname及port，预设是Standalonemode，如果是Pseudo-Distributedmode要指定为hdfs://localhost:9000，但是这个缺点是只有在本机才能操作，从其他机器
Mrknowledge·2013-10-09 13:00

hadoop配置 - Hadoop1.x hdfs-site.xml 参数设定

27Jan2013平台环境CentOS6.XJDK1.7Hadoop1.0.4参照hdfs-default.xmlNameNodedfs.name.dir预设值:${hadoop.tmp.dir}/dfs/name说明:指定本机上存取fsimage及editlog的目录，这个目录非常的重要，如果损毁就无法存取HDFS的资料了，所以不建议放在${hadoop.tmp.dir}目录下。更好的做法是用“
Mrknowledge·2013-10-09 11:00

hadoop配置 - secondarynamenode配置与恢复

一、配置：secondarynamenoded配置很容易被忽视，如果jps检查都正常，大家通常不会太关心，除非namenode发生问题的时候，才会想起还有个secondarynamenode，它的配置共两步：    集群配置文件conf/master中添加secondarynamenode的机器    修改/添加hdfs-site.xml中如下属性： dfs.http.address 192.16
Mrknowledge·2013-10-08 17:00

hadoop配置文件默认配置

原文地址：http://www.linuxqq.net/archives/964.html获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选
kisuntechker·2013-10-05 11:19

hadoop配置文件默认配置

原文地址：http://www.linuxqq.net/archives/964.html获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选
kisuntechker·2013-10-05 11:19

hadoop配置 - using the other hard disks

I'vegotasmallclusterof3nodeswith5x2TBharddrivesineachcomputer.AllarerunningUbuntu,havethesamehardwarespecs,andareusingApacheHadoop1.0.4.Theharddisksaremountedas/media/diskb,/media/diskc,/media/diskd,e
Mrknowledge·2013-09-29 15:00

Hadoop集群提交作业问题总结

其次，要确保本地机器上的用户对hadoop执行文件和配置文件具备相应的权限（在实验环境中，hadoop用户需要对hadoop安装文件具有执行权限；需要对hadoop配置文件具备读权限；需要对
sdzzboy·2013-09-25 15:00

单节点伪分布式Hadoop配置

单节点伪分布式Hadoop配置 （声明：文档里面需要用户输入的均已斜体表示） 第一步：安装JDK          因为Hadoop运行必须安装JDK环境，因此在安装好Linux后进入系统的第一步便是安装
gdfdfg·2013-09-24 21:00

超详细解说Hadoop伪分布式搭建

单节点伪分布式Hadoop配置   （声明：文档里面需要用户输入的均已斜体表示）   第一步：安装JDK       
wojiaolongyinong·2013-09-24 20:00

hadoop配置自动化之一ssh自动化

此篇博客参考：SSH无密码登录-多节点自动化部署SHELL篇。 测试环境：ubuntu12.04.2 server 64bit 、expect version 5.45、GNU bash, version 4.2.24(1)-release (x86_64-pc-linux-gnu) 说明：hadoop自动化配置出来的结果是：整个集群一个namenode、一个secondary、一个JobTr
thecloud·2013-09-23 17:00

Hadoop配置自动化之一ssh自动化

此篇博客参考：SSH无密码登录-多节点自动化部署SHELL篇。测试环境：ubuntu12.04.2server64bit、expectversion5.45、GNUbash,version4.2.24(1)-release(x86_64-pc-linux-gnu)说明：hadoop自动化配置出来的结果是：整个集群一个namenode、一个secondary、一个JobTracker，且这三个进程在
fansy1990·2013-09-23 17:00

spark从hdfs上读取文件运行wordcount

1.配置环境说明hadoop配置节点：sg202(namenodeSecondaryNameNode)sg206(datanode)sg207(datanode)sg208(datanode)spark
陈兴振·2013-09-11 14:33

spark从hdfs上读取文件运行wordcount

1.配置环境说明hadoop配置节点：sg202(namenode SecondaryNameNode) sg206(datanode)sg207(datanode)sg208(datanode)spark
chenxingzhen001·2013-09-11 14:00

Hadoop配置文件表（如需要请下载附件）

  HDFS         参数 描述 默认 配置文件 例子值 fs.default.name namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/ dfs.http.address  NameNode web管理端口 50070 hdfs- site.xml
sunasheng·2013-09-10 11:00

ubuntu集群hadoop配置

1.修改所有机器/etc/hosts 192.168.1.153  liuying002 .. 2.在本地机器上生成密码对 [root@sg201 .ssh]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ss
yousky027·2013-09-06 16:00

ubuntu单机hadoop配置

1， ubuntu修改root密码： alt+f2,在弹出的运行窗口中输入：gnome-terminal，回车。如果新装的系统还没有设置root密码可以在这个界面输入：sudo passwd root，回车后按提示输入两次root的密码（注意，输入时是不会提示*号的，直接输入即可）。 2， 关闭防火墙 $sudu ufw disable 3. Ubuntu 下安装 OpenS
yousky027·2013-09-06 16:00

hadoop配置 - ssh-copy-id with port

使用下例中ssky-keygen和ssh-copy-id，仅需通过3个步骤的简单设置而无需输入密码就能登录远程Linux主机。ssh-keygen创建公钥和密钥。ssh-copy-id把本地主机的公钥复制到远程主机的authorized_keys文件上。ssh-copy-id也会给远程主机的用户主目录（home）和~/.ssh,和~/.ssh/authorized_keys设置合适的权限。步骤1:
mrknowledge·2013-09-04 09:47

hadoop配置 - ssh-copy-id with port

使用下例中ssky-keygen和ssh-copy-id，仅需通过3个步骤的简单设置而无需输入密码就能登录远程Linux主机。 ssh-keygen 创建公钥和密钥。 ssh-copy-id 把本地主机的公钥复制到远程主机的authorized_keys文件上。ssh-copy-id 也会给远程主机的用户主目录（home）和~/.ssh, 和~/.ssh/authorized_keys设置合适的权
Mrknowledge·2013-09-04 09:00

[实验]集群hadoop配置

环境 hadoop1.2.0 CentOS release 6.4 jdk1.7.0_25 node04vm01 192.168.15.146 master NameNode,SecondaryNameNode,JobTracker node04vm02 192.168.15.147 slave DataNode,TaskTracker node04vm03 192.168
GQM·2013-08-28 16:00

[实验]单机hadoop配置

环境： hadoop1.2.0 配置 修改conf/core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://local
GQM·2013-08-28 14:00

初识hadoop笔记（一）

Java进程，通常用来调试伪分布式配置：可以帮伪分布式的hadoop看做是只有一个节点的集群节点既是master 也是NameNode 也是datanode既是JobTraker也是TaskTraker.Hadoop
youngqj·2013-08-27 23:00

配置详解

配置详解配置系统是复杂软件必不可少的一部分，而Hadoop配置信息处理是学习Hadoop源代码的一个很好的起点。现在就从Hadoop的配置文件谈起。
·2013-08-25 16:00

Hadoop学习笔记2---配置详解

配置系统是复杂软件必不可少的一部分，而Hadoop配置信息处理是学习Hadoop源代码的一个很好的起点。现在就从Hadoop的配置文件谈起。
·2013-08-25 11:00

构建hadoop集群

二、内容   1.hadoop配置      2.hadoop其他属性       
hillday·2013-08-04 22:00

配置hadoop.tmp.dir 目录

 感谢原有发帖人，内容来源：http://f.dataguru.cn/thread-23704-1-1.htmlHADOOP配置HADDOP.TMP.DIR注意先说说,场景,在开发环境中,由于意外断电.
bluetropic·2013-07-26 11:00

2.2　Hadoop Configuration详解

2.2.1Hadoop配置文件的格式H
s060403072·2013-07-18 11:00

第二部分 Common的实现 第2章　Hadoop配置信息处理 2.1　配置文件简介

《Hadoop技术内幕：深入解析HadoopCommon和HDFS架构设计与实现原理》第2章Hadoop配置信息处理，本章从Windows和基于JavaProperties配置文件开始，分析了Hadoop
s060403072·2013-07-18 11:00

Hadoop配置启动

其实这不是首次触电hadoop,早在大学毕设中就已经采用hadoop开发了，当时开发的是一个hadoop为基础的搜索引擎，包括爬虫，倒排索引、查询都基于hadoop的分布式平台实现。但是当时还不懂什么叫集群，更不要说分布式了。现在工作已经一年了，对集群开发，分布式，大数据等知识都有了一定的理解和认识，所以现在准备重新拿起hadoop的书，进行一下二次学习，从中学习一些更深的知识，希望以后可以从事h
jingmiaowill·2013-07-17 22:00

hadoop 编译代码及运行

搞定了hadoop配置之后，可以写代码运行了，首先要配一下CLASS_PATH，修改/etc/profile export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
·2013-07-11 17:00

Hadoop配置HDFS分布式文件系统并映射为本地磁盘

Hadoop配置及映射本地磁盘试验网络结构master.hadoop192.168.122.2（master）node1.hadoop192.168.122.3 (slave)node2.hadoop192.168.122.4
wutaogold·2013-07-08 16:36
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他