hadoop配置

Hadoop 权威指南

一集群规范网络拓扑二集群的构建和安装1安装Java16及其以上2创建Hadoop用户3安装Hadoop4测试安装三SSH配置四Hadoop配置1配置管理2环境设置21内存22Java23系统日志文件24SSH
u011414200·2016-01-01 11:00

hadoop配置文件详解、安装及相关操作

一、Hadoop伪分布配置1.在conf/hadoop-env.sh文件中增加：exportJAVA_HOME=/home/Java/jdk1.62.在conf/core-site.xml文件中增加如下内容：fs.default.namehdfs://localhost:9000hadoop.tmp.dir/home/hdfs/tmp3.在conf/hdfs-site.xml中增加如下内容：dfs
顺顺顺子·2015-12-29 15:02

mongodb在centos 6上的安装部署

首先关闭SElinux、配置防火墙见hadoop配置1.官网下载（注意版本号）如果报错-bash:/usr/local/mongodb/bin/mongod:cannotexecutebinaryfile
fh09102103·2015-12-27 22:41

hadoop安装包的目录结构

etc：Hadoop配置文件所在的目录，包括core-site,xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-
I_absolutely·2015-12-23 01:16

安装hadoop 2.2.0

安装环境为CentOS64位系统，大概分下面几个步奏，0.安装JDK1.配置SSH2.配置/etc/hosts3.拷贝hadoop包到没台机器上4.修改hadoop配置文件5.关闭每台机器的防火墙6.格式化
Dion·2015-12-21 11:00

hadoop 参数配置

hadoop参数配置hadoop参数hadoop配置参数hadoop优化目录[-]Hadoop参数汇总linux参数JVM参数Hadoop参数大全core-default.xmlhdfs-default.xmlyarn-default.xmlHadoop
javastart·2015-12-18 10:37

关于flume hdfs sink lzo 压缩格式的问题

3、hadoop配置支持lzo格式压缩。解决问题：  
shongx·2015-12-03 14:33

关于flume hdfs sink lzo 压缩格式的问题

3、hadoop配置支持lzo格式压缩。解决问题：1、开始以为是因为大文件写入HDFS超时导致。。。。结果调大了callt
shongx·2015-12-03 14:33

Hadoop-2.6.2集群配置安装

Hadoop-2.6.2集群安装Hadoop-262集群安装环境说明基础环境搭建CentOS7安装新建用户hadoop配置hosts关闭防火墙安装jdk180_40ssh配置安装配置hadoop-262hadoop
u014595668·2015-11-18 17:00

spark集群配置错误

1.当用hdfs传文件时，出现如下错误：CalltoMaster:9000failedonconnectionexception解决办法：把hadoop配置文件中的hdfs-site.xml中dfs.data.dir
ASIA_kobe·2015-11-17 15:00

shell自动化配置hadoop配置文件示例

#!/bin/bash read -p 'Please input the directory of hadoop , ex: /usr/hadoop :' hadoop_dir if [ -d $hadoop_dir ] ; then echo 'Yes , this directory exist.' else echo 'Error , this directory
·2015-11-13 16:14

hadoop配置文件加载顺序

　　用了一段时间的hadoop，现在回来看看源码发现别有一番味道，温故而知新，还真是这样的 　　在使用hadoop之前我们需要配置一些文件，hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml。那么这些文件在什么时候被hadoop使用？ 　　一般的在启动hadoop的时候使用最多就是start-all.sh，那么这个脚本都干了些什么
·2015-11-13 02:57

Hadoop的部分重要配置文件说明

Hadoop的配置文件 hadoop-env.sh　　bash脚本　　　　　　　　在运行Hadoop的脚本中使用的环境变量 core-site.xml　　　Hadoop配置XML　　　　 Hadoop
·2015-11-13 01:39

hadoop配置

获取默认配置 配置hadoop，主要是配置core-site.xml,hdfs- site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找 的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法: 1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-defau
·2015-11-12 16:13

Hadoop配置SSH直接登录

51cto上得一个文章写的很好： http://blog.chinaunix.net/uid-28628909-id-3487966.html 主要解决了SSH无密码登录(利用公钥的方式），我之前也是这么做的，不过总是忘记权限问题，这回利用这篇文章记录一下。给自己提醒。   附带一个老外写得Hadoop的安装手册，简单的很，但不是很全，不过可以参考一下，版本是0.20的 htt
·2015-11-11 13:11

为Hadoop配置Win8.1授时服务器

启动Windows服务，顺序如下： SSTPS(secure socket tunneling protocol service)服务 Telephony服务 Remote Access Connection Manager服务 Windows Event Log服务 选择服务器的基准时钟，可以选择内部硬件时钟和外部的NTP授时服务器时钟，但
·2015-11-11 12:05

安装hadoop 2.2.0

修改hadoop配置文件5. 关闭每台机器的防火墙6. 格式化namenode7. 运行hadoop 详细说每个步奏， 0.
·2015-11-11 02:41

hadoop配置机架感知

　　接着上一篇来说。上篇说了hadoop网络拓扑的构成及其相应的网络位置转换方式，本篇主要讲通过两种方式来配置机架感知。一种是通过配置一个脚本来进行映射；另一种是通过实现DNSToSwitchMapping接口的resolve()方法来完成网络位置的映射。 　　hadoop自身是没有机架感知能力的，必须通过人为的设定来达到这个目的。在FSNamesystem类中的resolveNetworkLo
·2015-11-09 13:31

hadoop配置错误

今天主要是解决hadoop配置的错误以及网络时断时续的问题。
·2015-11-08 16:58

Hadoop配置文件解析

Hadoop源码解析 2 --- Hadoop配置文件解析 1 Hadoop Configuration简介    Hadoop没有使用java.util.Properties
·2015-11-08 13:17

几个因为hadoop配置文件不当造成的错误

192.168.1.20: Exception in thread "main" java.lang.IllegalArgumentException 192.168.1.20: at java.net.URI.create(URI.java:841) 192.168.1.20: at org.apache.hadoop.fs.FileSystem.getDefaultUr
·2015-11-08 10:25

hadoop配置Hadoop 2.0--分布式环境搭建安装配置

PS:今天上午，非常郁闷，有很多简单基础的问题搞得我有些迷茫，哎，代码几天不写就忘。目前又不当COO，还是得用心记代码哦！     集群环境：     1 NameNode(真实主机):     Linux yan-Server 3.4.36-gentoo #3 SMP M
·2015-11-07 10:28

解析Cloudera Manager内部结构、功能包括配置文件、目录位置等

2.hadoop配置文件在什么位置？3.Cloudera manager运行所需要的信息存在什么位置？4.CM结构和功能是什么？1.
·2015-11-02 16:17

hadoop 2.x 安装包目录结构分析

bin：Hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用hadoop etc：Hadoop配置文件所在目录，包括core-site.xml
·2015-10-31 12:43

hadoop配置含义(继续更新中)

  自己添加： dfs.datanode.du.reserved ：表示在datanode对磁盘写时候，保留多少非dfs的磁盘空间，从而避免dfs将所在的磁盘写满 ，但在0.19.2中该参数存在bug 。 I introduced "ipc.server.listen.queue.size" which defines how many calls per ha
·2015-10-31 11:37

hadoop配置安装

操作系统为ubuntu10.04，cpu为AMD 1、先到到甲骨文官网下载jdk-7-linux-x64.tar.gz（CPU为其它的注意下载相应的版本），因为hadoop是用java写的，所以要安装java的jdk，我这是把下载的压缩文件解压到目录/usr/lib/jvm/jdk1.7.0，记住这个目录，待会设置hadoop的java环境变量的路径时会用到此目录。 2、再到hadoop官网下
·2015-10-31 09:17

Hadoop开发第2期---虚拟机中搭建Linux

注：关于如何将hadoop源码导入Eclipse详见http://pan.baidu.com/s/1hq8ArUs 一、Hadoop配置软件（我的电脑是Windows7旗舰--64bit） 1.
·2015-10-31 08:29

Hadoop集群配置【一、各种悲催的错误】

好吧，Hadoop配置的教程基本网上写烂了都，我就当时小记一下，留个纪念。 今天头给我五个服务器，让我挑选一台作为master，其他作为slave。
·2015-10-30 14:59

hadoop JOB的性能优化实践

优化可以从两个方面进行： 1.hadoop配置 2.程序代码 程序代码包括的方面很多：job设计，算法，数据结构，代码编写。 hadoop配置优化
·2015-10-27 13:22

HBase + Kerberos 配置示例（二）

环境准备 Hadoop配置 Zookeeper配置 HBase配置 Java测试程序 环境准备 安装hadoop/zookeeper/hbase 我在kbhbase1
·2015-10-27 11:45

hadoop配置

1.hadoopa.sudo gedit /home/hadoop/hadoop-1.1.1/conf/core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hado
·2015-10-23 08:58

超详细解说Hadoop伪分布式搭建

本人使用较老版本hadoop0.20.2单节点伪分布式Hadoop配置第一步： 安装JDK          因为 Hadoop 运行必须安装 JDK 环境，因此在安装好 Linux 后进入系统的第一步
beck_716·2015-10-22 14:23

超详细解说Hadoop伪分布式搭建

本人使用较老版本hadoop0.20.2单节点伪分布式Hadoop配置第一步： 安装JDK          因为 Hadoop 运行必须安装 JDK 环境，因此在安装好 Linux 后进入系统的第一步
beck_716·2015-10-22 14:23

hadoop配置文件说明

1、dfs.hosts 记录即将作为datanode加入集群的机器列表2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表4、master 记录运行辅助namenode的机器列表5、slave 记录运行datanode和tasktracker的机器列表6、hado
·2015-10-21 12:51

分享一些Hadoop环境搭建所用到的软件

　　本来想用土的掉渣的语言说说hadoop配置的，因为最近总有人问我，环境搭建老出莫名其妙的问题，可是写到一半，还是决定不写了，网上教程好多好多，而大家遇到问题有很多是软件版本不对应造成的，因此我就把大家需要用到的软件给共享一下算了
·2015-10-21 11:53

Hadoop配置项整理(mapred-site.xml)

namevalueDescriptionhadoop.job.history.location job历史文件保存路径，无可配置参数，也不用写在配置文件里，默认在logs的history文件夹下。hadoop.job.history.user.location 用户历史文件存放位置io.sort.factor30这里处理流合并时的文件排序数，我理解为排序时打开的文件数io.sort.mb600排序
x_i_y_u_e·2015-10-18 20:00

hadoop 2.x.x的目录结构

etc:Hadoop配置文件所在的目录，包括core-site.xml,hdfs-site.xml,mapred-site.xml等从hadoop1.x.x继承过来的以及包括yarn-site.xm
qq_21178933·2015-10-10 14:00

hadoop配置文件

可以在这里配置日志目录，master以及slave文件，但在默认的情况下最好不要去改动CDH已有的配置core-site.xml包含系统的hadoop配置项，比如HDFSURL，h
qq_21178933·2015-10-05 14:00

第一次启动hadoop

启动步骤：修改hadoop配置文件   conf/mapred-site.xml,添加以下内容         mapred.job.tracker         localhost:9001      
z_jordon·2015-10-02 18:00

mapreduce应用开发

使hadoop配置文件包含每个集群的连接
kayak2015·2015-09-29 11:00

spark on yarn

说明这篇文章记录下spark提交左右在yarn上运行hadoop配置主要配置yarn-site.xml文件,我们目前使用mapreduce_shuffle,而有些公司也增加了spark_shuffle只使用
stark_summer·2015-09-22 20:00

Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)

版权声明：原创作品，如需转载，请与作者联系。否则将追究法律责任。学习联系QQ：1660809109、1661815153、2813150558更多资讯：www.magedu.com1、Hadoop的配置文件 hadoop-env.sh:用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和s
马哥教育Linux·2015-09-12 16:00

hadoop 问题排查方案

1，hadoop配置        hadoop集群的配置关系着hadoop能否利用集群的优势进行高效率地计算2，map任务     map可能出现问题map数据倾斜，吞吐过低，或者低效的用户代码3，reduce
osenlin·2015-09-08 20:00

解析Cloudera Manager内部结构、功能包括配置文件、目录位置等

2.hadoop配置文件在什么位置？3.Clouderamanager运行所需要的信息存在什么位置？4.CM结构和功能是什么？
javastart·2015-09-01 17:00

hadoop集群搭建-笔记

1.修改主机名需要修改的参数/etc/hosts中的映射/etc/sysconfig/network中的主机名2.修改hadoop配置文件1.conf/core-site.xml//配置NameNode
q291611265·2015-08-29 21:00

hadoop配置HA

cluster1和cluster2组成hdfs联盟，cluster1有namenodeA和namenodeB，cluster2有namenodeC和namenodeD。安装配置好后启动顺序应该为：1.在所有zookeeper集群节点上启动zookeeper：zkServer.shstart 2.在cluster1的namenodeA上格式化zookeeper集群：hdfszkfc-formatZK
cjun1990·2015-08-27 17:00

hadoop配置读取

hadoop中的配置文件一般有xx-default.xml，xx-site.xml。一般会先读取default.xml的内容，然后再读取site.xml的内容，读取配置文件的类都是继承Configuration。hadoop所有的配置有1000+，很多配置根本没有归到default.xml和site.xml中，所有有些配置改怎么找？先去default.xml中找，看看是否配置了，大部分都能在def
cjun1990·2015-08-24 15:00

hadoop配置

安装包：hadoop-1.2.1.tar.gz。jdk-7u45-linux-x64.tar.gz（官网上可以下载到，hadoop版本低于2.0即可，jdk版本貌似是没有要求，笔者的ubuntu环境是14.04，ubuntu版本也没有要求）1.安装jdk1.1分别解压安装包（直接点开提取就行）1.2.配置java的环境变量输入sudogedit/etc/profile在文件末尾添加一下内容#set
qq632544991p·2015-08-10 21:00

hadoop 2.6 CentOs hbase 1.0 安装指南及学习blog路径

hadoop2.6hbase1.0installguide：环境系统：Ubuntu14.04hadoop版本：2.6.0hbase版本：1.0jdk版本：1.8下载地址：Apache上慢慢找吧~~jdk的环境配置这里就不列出来了，首先讲一下hadoop
patrick002·2015-07-31 16:00

Hadoop的学习前奏（二）——Hadoop集群的配置

前言： Hadoop集群的配置即完全分布式Hadoop配置。
u013761665·2015-07-24 19:00
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他