hadoop配置

关于hadoop配置hosts文件的问题

在之前的一篇blog里，写到我的python脚本无法正常运行，后来是修改了hosts文件，今天有个同事又重新讲解了下问题，发现之前的理解有误差。这里在介绍一下另外一种方式，就是在每台机器的hosts文件增加全部的主机名和IP地址。对应linux系统，修改/etc/hosts文件，在全部hadoop环境下的全部机器都增加机器名和IP地址，内容如下：10.200.187.77     master10
chenyi8888·2012-02-14 11:00

解决namenode启动 **dfs/name is in an inconsistent state的问题

如果将Hadoop配置成伪分布模式，则Hadoop会将各种信息存入\tmp目录中，所以当系统重启之后，这些信息会丢失，使得用户不得不重新执行hadoopnamenode-format命令。
bruce_wang_janet·2012-02-12 01:00

关于hadoop配置

最近在测试hadoop0.21版本,发现有些参数设置了木有生效,检查发现有些参数已经变了,但是配置文件中还使用旧的参数.   相关配置信息如下: 默认会自动加载:core-default.xml , hdfs-default.xml , mapred.default.xml三个文件 , 通常通过core-sit.xml ,  hdfs-sit.xml , mapred-
piaoling·2012-02-11 22:00

Hadoop配置部分内容

   [size=medium;]Hadoop配置部分内容[/size][size=small;]Hadoop配置文件[/size]hadoop-env.sh??????????
hsyzijvaa·2012-02-04 15:00

hadoop配置中的重要参数

参数 取值 备注 fs.default.name NameNode的URI。 hdfs://主机名/ mapred.job.tracker JobTracker的主机（或者IP）和端口 主机:端口 dfs.name.dir NameNode持久存储名字空间及事务日志的本地文件系统路径 当这个值是一个逗号分割的目录列表时，
thomas0988·2012-01-09 17:00

hadoop配置中的重要参数

参数 取值 备注 fs.default.name NameNode的URI。 hdfs://主机名/ mapred.job.tracker JobTracker的主机（或者IP）和端口 主机:端口 dfs.name.dir NameNode持久存储名字空间及事务日志的本地文件系统路径 当这个值是一个逗号分割的目录列表时，
thomas0988·2012-01-09 17:00

hadoop配置中的重要参数

参数 取值 备注 fs.default.name NameNode的URI。 hdfs://主机名/ mapred.job.tracker JobTracker的主机（或者IP）和端口 主机:端口 dfs.name.dir NameNode持久存储名字空间及事务日志的本地文件系统路径 当这个值是一个逗号分割的目录列表时，
thomas0988·2012-01-09 17:00

[转]hadoop0.2版本使用

Hadoop配置 1.
jsczxy2·2012-01-05 03:00

Hadoop集群配置文件分发工具config-dispatcher.sh

/usr/bin/envbash#此工具为Hadoop配置文件（con
rzhzhz·2011-12-09 13:00

《权威指南》笔记九 构建Hadoop集群

nbsp; 要点： 1、集群规范 1.1网络拓扑 2、集群的构建和安装 2.1安装Java 2.2创建Hadoop用户 2.3安装Hadoop 2.4测试安装 3、SSH配置 4、Hadoop
jessezhang1981·2011-12-05 22:00

Hadoop配置部分内容

阅读更多Hadoop配置部分内容Hadoop配置文件hadoop-env.sh记录脚本要用的环境变量，以运行Hadoop，比如：jdk的环境变量配置core-site.xmlHadoopCore的配置项
zhangpuego·2011-12-02 18:00

Hadoop配置部分内容

阅读更多Hadoop配置部分内容Hadoop配置文件hadoop-env.sh记录脚本要用的环境变量，以运行Hadoop，比如：jdk的环境变量配置core-site.xmlHadoopCore的配置项
zhangpuego·2011-12-02 18:00

Hadoop配置的关键（Hdfs部分）

阅读更多Hadoop配置的关键（Hdfs部分）Hadoop配置的关键（Hdfs部分）指的是namenode和datanode几点的区别：相同点：1.安装hadoop相同2.安装jdk相同（注意：jdk1.6
zhangpuego·2011-12-02 10:00

Hadoop配置的关键（Hdfs部分）

Hadoop配置的关键（Hdfs部分）Hadoop配置的关键（Hdfs部分）指的是namenode和datanode几点的区别：相同点：         1.安装hadoop相同         2.安装
zhangpuego·2011-12-02 10:00

ssh localhost经过配置后，还是出现密码问题

我在进行hadoop配置的时候，需要用到sshlocalhost免密码登录，在root用户下，$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa $cat~/.ssh/id_dsa.pub
snrqtdhuqf·2011-11-23 10:00

Hadoop配置文件

${HADOOP_HOME}/conf目录下的配置文件： core-site.xml hadoop.tmp.dir: A base for other temporary directories(用来存储其他临时目录的根目录) fs.default.name: The name of the default file system.  A URI whose scheme
nepshi·2011-11-07 15:00

hadoop 配置说明

   Hadoop配置文件设定了Hadoop平台运行时各方面属性。大量实验证明，合理的配置会大大提高Hadoop的性能。    
dy_252·2011-10-26 16:00

ubuntu下hadoop配置指南

目录1.实验目的2.实验内容（hadoop伪分布式与分布式集群环境配置）3.运行wordcount词频统计程序一.实验目的通过学习和使用开源的ApacheHadoop工具，亲身实践云计算环境下对海量数据的处理，理解并掌握分布式的编程模式MapReduce，并能够运用MapReduce编程模式完成特定的分布式应用程序设计，用于处理实际的海量数据问题。二.实验内容 1．实验环境搭建1.1.  前期准备
xw13106209·2011-10-09 15:00

在多硬盘情况下的Hadoop配置注意项

一、背景1、最近在做hadoop的性能测试，采用了自带的Terasort的方式，但是在运行的过程中发现如果数据量过大，对硬盘I/O需求不小（通过Ganglia监控发现），因此，打算找找看是否有合适的配置来解决这样一类的问题，所以才有了这篇记录的文档。2、在做修改之前，当然必须确认slave的多块硬盘没有做任何形式的raid。二、修改配置1、hdfs-site.xml中的dfs.data.dir/d
dajuezhao·2011-09-21 14:34

在多硬盘情况下的Hadoop配置注意项

一、背景1、最近在做hadoop的性能测试，采用了自带的Terasort的方式，但是在运行的过程中发现如果数据量过大，对硬盘I/O需求不小（通过Ganglia监控发现），因此，打算找找看是否有合适的配置来解决这样一类的问题，所以才有了这篇记录的文档。2、在做修改之前，当然必须确认slave的多块硬盘没有做任何形式的raid。二、修改配置1、hdfs-site.xml中的 dfs.data.dir
dajuezhao·2011-09-21 14:00

云计算Hadoop配置(三) ——完全分布配置

3.4.1系统规划由于条件的限制，不能够获得更多的机器来进行模拟，所以在模拟完全分布式计算中，只能使用三台机器搭建环境。一台机器作为Namenode和JobTracker，另外两台机器作为运行任务的Datanode节点。如下表3-1所示:表3-1分布式机器节点说明NodeUserIPadress备注Namenodeadministrator1192.168.0.1Namenode和Jobtrack
meng_tianshi·2011-09-17 15:07

我的云之旅--hadoop集群集成Hbase集群(5)

1首先由hadoop配置完毕2配置单机hbase测试3配置伪分布式测试 4测试分布式配置，使用hdfs:hostname:9000/hbase集成hadoop5集成成功后，可以通过hbaseshell放入表
longronglin·2011-09-08 21:00

hadoop配置中的重要参数

参数 取值 备注 fs.default.name NameNode的URI。 hdfs://主机名/ mapred.job.tracker JobTracker的主机（或者IP）和端口 主机:端口 dfs.name.dir NameNode持久存储名字空间及事务日志的本地文件系统路径 当这个值是一个逗号分割的目录列表时，
亦梦亦真·2011-09-06 17:00

hadoop配置中的重要参数

参数 取值 备注 fs.default.name NameNode的URI。 hdfs://主机名/ mapred.job.tracker JobTracker的主机（或者IP）和端口 主机:端口 dfs.name.dir NameNode持久存储名字空间及事务日志的本地文件系统路径 当这个值是一个逗号分割的目录列表时，
亦梦亦真·2011-09-06 17:00

Hadoop0.20.2+Hbase0.90.4+Zookeeper3.3.3集成以及遇到的问题

实验环境：vware7.1centos5.5jdk1.6 假设你已经有可运行的hadoop，hadoop的配置参考如下（具体hadoop配置运行的教程可以网上找）core-site.xml hadoop.tmp.dir
laigood12345·2011-09-04 21:00

kerberos安装配置

原文地址：http://running.iteye.com/blog/963383kerberos安装配置博客分类： hadoop配置管理XMLWeb安装步骤： 1.下载krb5-1.9 http://
hongbinchen·2011-08-23 14:00

no namenode to start

问题： no namenode to start no jobtracker to start no tasktracker to start 解决方法: (1)查看hadoop配置文件
panwubin470·2011-08-01 12:00

hadoop/mapred 优化方法

从三个方面着手优化:1.hadoop配置2.设计mapred/job3.代码级别. 
eryk·2011-07-14 08:00

hive 初始化运行流程

1096504CliDriver初始化过程CliDriver.main是Cli的入口（1）解析(Parse)args，放入cmdLine，处理–hiveconfvar=val用于增加或者覆盖hive/hadoop
bupt041137·2011-06-18 18:00

hive 初始化运行流程

  CliDriver 初始化过程 CliDriver.main 是Cli的入口 （1）解析(Parse)args，放入cmdLine，处理–hiveconfvar=val 用于增加或者覆盖hive/hadoop
bupt041137·2011-06-18 18:00

hive 初始化运行流程

CliDriver初始化过程CliDriver.main 是Cli的入口（1）解析(Parse)args，放入cmdLine，处理–hiveconfvar=val 用于增加或者覆盖hive/hadoop
bupt04406·2011-06-17 13:00

hadoop配置

所有的基本的配置，在下载下来的hadoop包中都有。hadoop-0.20.203.0\docs   1、下载hadoop，放到linux中     2、   修改以下配置文件。   conf/core-site.xml:   <configuration> <property> &
muxiaolin·2011-06-10 16:00

Hadoop配置 快速入门

   Hadoop快速入门写在前面:   Hadoop是Apache的一个项目,它是一个实现了MapReduce计算模型的可以运用于大型集群并行计算的分布式并行计算编程框架,当然分布式计算离不开分布式存储,Hadoop框架包含了分布式存储系统HDFS(HadoopDistributedFileSystem),其存储和数据结构很类似Google的GFS.对于Hadoop来说，在HDFS看来，节点分为
xuyuanshuaaa·2011-05-20 09:00

Hadoop配置和使用问题记录

最近在本地用cygwin环境来配置和使用hadoop。 遇到了一些问题，下面的这篇文章讲的比较全。 原文地址：http://shutiao2008.iteye.com/blog/319128 如果有补充的，我会补充进去 关于hadoop如何配置的教程网上已经有不少了，配合hadoop主页上的说明，基本可以顺利在多台机器上配置好hadoop集群。这里记录的是我在实际配置和使用hadoop
bbym010·2011-04-27 13:00

关于Hadoop数据块Miss在页面提示的问题

f=4&t=1938 請教一個hadoop運行維護中的問題：背景：調整hadoop配置：1.hadoop的dfs.replication之前設置為1，現在改為3；2.去掉一個節點，增加6個節點。
dajuezhao·2011-04-13 10:00

关于Hadoop数据块Miss在页面提示的问题

f=4&t=1938請教一個hadoop運行維護中的問題：背景：調整hadoop配置：1.hadoop的dfs.replication之前設置為1，現在改為3；2.去掉一個節點，增加6個節點。
dajuezhao·2011-04-13 10:00

hadoop配置注意事项

1访问要通过hosts或nameServer来访问，不能再配置文件中直接设置IP2.每次重新格式化后一定要删除hadoop_tmp目录下的所有文件3.多使用JPS查看状态，还有http的接口4.在每台机器上设置hostName
adcxf·2011-03-16 22:00

Hadoop远程开发

  Hadoop配置方面的就不多说了，baidu一下你就知道。 为了达到远程开发的目的，之前在配置过程中犯了很多错误。主要是m
yangzc106·2011-03-16 16:00

hadoop配置过程（简化版，推荐）

折腾hadoop好久，期间几次完全推到重来，现在在这里写下来备份。本文不是写给别人作为教程，而是给我自己作提醒的，如果你碰巧看到了本文，那你可能需要一些linux基本知识才能正确理解。1、安装linux   本文假设从裸机开始，所以要先装linux。本人是ubuntu对支持者，所以装的是ubuntu，废话没有，很容易就装好了。在安装过程中，要注意所有节点对主机名应该有规律，比如node0,node
cookey77·2011-02-09 16:45

Hadoop tips: Hadoop脚本的环境变量

HADOOP_CONF_DIR 指定Hadoop配置文件目录，默认是${HADOOP_HOME}/conf。当某台客户端机器是多人共用时，大家可能使用同
nopower·2011-01-22 14:00

Hadoop配置小结

配置Hadoop环境有几天了，虽说“装”了Ubuntu有两年了，不过这次用硬盘安装还是把系统搞崩溃了，而且是在装Ubuntu之前分盘时弄崩溃了，而且是因为搬电脑时震了一下，然后又采取了很不明智的解决方法——还原系统，而且还一不小心还原了整个盘，200多G的东西瞬间没了，就为了分20G的东西出来装Ubuntu，而且是我好不容易挤出来的20G啊。我的壁纸都有好几G啊，我的音乐也有几十G啊，我保留了好久
唐木白·2011-01-20 01:00

hadoop参数配置（mapreduce数据流）

Hadoop配置文件设定了Hadoop平台运行时各方面属性。大量实验证明，合理的配置会大大提高Hadoop的性能。
samuschen·2011-01-14 11:00

hadoop学习(二)

TheBasicsofMultimachineClusters(2nd)hadoop配置可以参考本连接（http://hadoop.apache.org/common/docs/current/api/
uhippo·2011-01-09 12:00

Hadoop/MapReduce 优化方案

从三个方面着手优化 : 1. hadoop配置 2. 设计mapred/job 3. 代码级别. 4.
leves·2010-10-04 23:00

基于Hadoop配置文件的MapReduce数据流优化

    Hadoop配置文件设定了Hadoop平台运行时各方面属性。大量实验证明，合理的配置会大大提高Hadoop的性能。
fredric0611·2010-06-20 16:00

hadoop 优化

从三个方面着手优化 : 1. hadoop配置 2. 设计mapred/job 3. 代码级别. 4. 改造hadoop 一. conf/hadoop-site.xml配置.
085567·2010-05-14 18:00

[备份]hadoop配置过程。

折腾hadoop好久，期间几次完全推到重来，现在在这里写下来备份。本文不是写给别人作为教程，而是给我自己作提醒的，如果你碰巧看到了本文，那你可能需要一些linux基本知识才能正确理解。1，安装linux   本文假设从裸机开始，所以要先装linux。本人是ubuntu对支持者，所以装的是ubuntu，废话没有，很容易就装好了。在安装过程中，要注意所有节点对主机名应该有规律，比如node0,node
高源·2010-05-07 16:00

Hadoop配置注意事项

经验总结和注意事项（这部分是我在使用过程中花了一些时间走的弯路）：Master和Slave上的几个conf配置文件不需要全部同步，如果确定都是通过Master去启动和关闭，那么Slave机器上的配置不需要去维护。但如果希望在任意一台机器都可以启动和关闭Hadoop，那么就需要全部保持一致了。Master和Slave机器上的/etc/hosts中必须把集群中机器都配置上去，就算在各个配置文件中使用的
HEYUTAO007·2010-04-09 19:00

Hadoop Hdfs 分布文件系统安装与部署

新的版本准备采用Hadoop架构，现在将Hadoop配置的大致过程和需要注意的事项进行说明
cqfish·2009-09-24 11:31

Hadoop Hdfs 分布文件系统安装与部署

新的版本准备采用Hadoop架构，现在将Hadoop配置的大致过程和需要注意的事项进行说明
cqfish·2009-09-24 11:31
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他