hadoop配置

Hadoop配置运行java程序

Ubuntu  Hadoop环境搭建： 第一部分：下载JDK和HADOOP安装文件： 1. 下载jdk：     查看操作系统是32位还是64位，输入命令：sudo uname --m  如果显示 i586 则是32位，如果显示x86_64则是64位，得到此信息后，下载相应版本的JDK。下载网址是：http://www.oracle.co
Chase_Sun·2014-10-23 10:00

hive查询hdfs数据时，遇到的两个hadoop配置问题

今天在用hive查询hdfs数据时，一条简单的语句select*fromlogswheretime='2014-10-16';导致hive报错，信息如下Error: java.io.IOException: java.io.IOException: java.io.IOException: Filesystem closed         at org.apache.hadoop.hive.io
voyage1314·2014-10-16 17:00

Tachyon基本使用08-----Running Hadoop MapReduce on Tachyon

一、修改Hadoop配置文件1.修改core-site.xml文件添加如下属性，让MapReduce作业可以使用Tachyon文件系统作为输入和输出  fs.tachyon.impl  tachyon.hadoop.TFS
hfhywj·2014-10-15 10:10

hadoop配置文件详解、安装及相关操作

一、     Hadoop伪分布配置       1. 在conf/hadoop-env.sh文件中增加：exportJAVA_HOME=/home/Java/jdk1.6      2. 在conf/core-site.xml文件中增加如下内容：         fs.default.name       hdfs://localhost:9000            hadoop.tmp.d
tengdazhang770960436·2014-09-07 18:00

hadoop分布式安装部署详细视频教程(网盘附配好环境的CentOS虚拟机文件/hadoop配置文件)

pan.baidu.com/s/1ntwUij3视频安装教程：hadoop安装.flvVirtualBox虚拟机：hadoop.part1-part5.rarhadoop文件：hadoop-2.2.0.tar.gzhadoop
undoner·2014-08-21 12:00

Hadoop配置文件

部分内容参考：http://www.linuxqq.net/archives/964.htmlhttp://slaytanic.blog.51cto.com/2057708/1100974/hadoop的重要配置文件有以下几个：在1.2.1版本中，core-default.xml有73个属性，hdfs-default.xml有76个属性，mapred-default.xml有136个属性。更多内容
jediael_lu·2014-08-19 12:03

Hadoop配置文件

部分内容参考：http://www.linuxqq.net/archives/964.html http://slaytanic.blog.51cto.com/2057708/1100974/hadoop的重要配置文件有以下几个：  在1.2.1版本中，core-default.xml有73个属性，hdfs-default.xml有76个属性，mapred-default.xml有136个属性。更
jediael_lu·2014-08-19 12:00

常用的Hadoop Common组件属性分享

常用的hadoop配置文件笔记一..core-site.xmlfs.default.namehdfs://master:9000fs.checkpoint.dir/opt/data/hadoop/hdfs
Andree·2014-08-19 10:26

Hadoop1.2.1安装笔记3:hadoop配置

在/usr目录下建立hadoop文件夹,赋予hadoop用户权限(master)[hadoop@master usr]$ sudo mkdir hadoop [hadoop@master usr]$ ls -al  total 156  drwxr-xr-x. 2 root root 4096 Jul 31 00:17 hadoop  [hadoop@master usr]$ sudo chown
cisolang·2014-08-12 09:30

hadoop_NameNode_DataNode详解

 hadoop配置文件含义解释:  1hdfs-site.xml和hdfs-default.xml的区别：    上图明确指出：hdfs的核心文件hdfs-default.xml禁止修改，如果想要自定义内容
chengjianxiaoxue·2014-08-03 16:00

Kettle5.0.1配置CDH4

1.修改$KETTLE_HOME/plugins/pentaho-big-data-plugin下的plugin.properties 将hadoop配置路径由 active.hadoop.configuration
vase·2014-08-01 21:00

Hadoop配置项整理(hdfs-site.xml)

 hdfs-stie.xml配置： name valueDescription dfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小，需要设置一些，主要是给非hdfs文件使用，默认是不保留，0字节dfs.name.di
yaoyaoxingkong·2014-07-24 16:00

hadoop配置 - DFSClient Packet dfs.write.packet.size

HBase里面调用DFSOutputStream的方法常用的是：write、sync write会往当前Packet里面写数据，sync会强制生成一个Packet。在DFSClientPacket里面每次都会new一个bigbytearray，size是65557(morethan64K，data+checksum+head)，由于sync会强制生成Packet，对于小kv数据来说，实际的数据会比
Mrknowledge·2014-07-16 11:00

hive初始化、处理流程详解

CliDriver.main  是 Cli 的入口 （1） 解析(Parse)args，放入cmdLine，处理 –hiveconf var=val  用于增加或者覆盖hive/hadoop
乡里伢崽·2014-07-03 15:00

hadoop学习【4】——hadoop配置、运行错误总结

hadoop学习【4】——hadoop配置、运行错误总结【前言】昨天晚上试玩hadoop算是用实例程序跑成功了，但是今天跑hadoop程序的时候却又异常的出错了——datanode没有启动起来，其他的全部正常
huangbin6·2014-06-01 15:00

Hadoop-2.2.0中文文档—— Common - 服务层认证

目的此文档描述了如何为Hadoop配置和管理ServiceLevelAuthorization。预备条件确保已经安装Hadoop,配置和设置都正确了。
ozhaohuafei·2014-05-20 14:00

hadoop配置文件笔记

  mapred-site.xml     name value Description mapred.tasktracker.tasks.maximum 2 tasktraceker给每个job同时运行的槽数，经常与mapred.tasktracker.map.tasks.maximum搞混。用于balance。x=0.95*node*y ha
blackproof·2014-05-15 23:00

hadoop配置文件笔记

  mapred-site.xml     name value Description mapred.tasktracker.tasks.maximum 2 tasktraceker给每个job同时运行的槽数，经常与mapred.tasktracker.map.tasks.maximum搞混。用于balance。x=0.95*node*y ha
blackproof·2014-05-15 23:00

Hadoop-2.2.0中文文档—— MapReduce 下一代 - Encrypted Shuffle

允许用HTTPS和可选的客户端验证(也称作双向的HTTPS,或有客户端证书的HTTPS)去加密MapReduceshuffle.它包括:在HTTP和HTTPS之间绑定shuffle的一个Hadoop配置用来指定
ozhaohuafei·2014-05-14 08:00

HDFS HA系列实验之五：client 配置

Hadoopclient访问HDFS是通过client端的hadoop配置文件来访问hadoop集群的，一般的情况下我们在配置文件core-site.xml中配置fs.defaultFS是使用一个类似hdfs
book_mmicky·2014-05-13 15:00

Hadoop配置文件与HBase配置文件

本Hadoop与HBase集群有1台NameNode,7台DataNode1./etc/hostname文件 NameNode:      node1DataNode1:      node2DataNode2:      node3.......DataNode7:      node82./etc/hosts文件NameNode:         127.0.0.1localhost #127
heyongluoyao8·2014-05-09 21:00

hadoop配置选项的默认值-官方链接

hadoop一些默认配置,官方链接http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xmlhttp://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlhttp://ha
ljq32·2014-05-08 21:00

SSH无密码登录配置（主要针对Hadoop配置）

SSH无密码登录配置（主要针对Hadoop配置） 1、修改服务器侧的[/etc/ssh/sshd_config]文件内容（将配置文件中的以下3个配置项放开） RSAAuthentication yes
mryangjw·2014-05-07 15:00

hadoop 配置文件 masters 以及 namenode, jobtracker, secondary namenode

hadoop配置文件里面有一个是masters和slaves，从字面意思来理解的话呢就是masters设置运行namenode,和jobtracker的结点，其实不然啊！！
Flood_Dragon·2014-05-05 16:00

Hadoop配置之中JAVA_HOME设置问题

初次配置Hadoop，通过windows下Hadoop安装这个博客教程进行配置安装，开始一切都比较顺利，但当在更改Hadoop的hadoop-env.sh中的JAVA_HOME时发现把自己的jdk路径直接覆盖原来的时，用bin/hadoopnamenode-format命令执行时报错。因不了解*.sh文件语法，然后网上查了下，发现在.sh文件中#后面的都是行注释，可我用记事本打开的.sh文件没有原
bikeytang·2014-05-05 15:49

Hadoop配置 - net.core.somaxconn

net.core.somaxconn的作用net.core.somaxconn是Linux中的一个kernel参数，表示socket监听（listen）的backlog上限。什么是backlog呢？backlog就是socket的监听队列，当一个请求（request）尚未被处理或建立时，他会进入backlog。而socketserver可以一次性处理backlog中的所有请求，处理后的请求不再位于
Mrknowledge·2014-04-28 10:00

hadoop配置文件详解及相关操作

http://yq1518602434.blog.163.com/blog/static/202937084201322331913546/一、Hadoop伪分布配置1. 在conf/hadoop-env.sh文件中增加：exportJAVA_HOME=/home/Java/jdk1.62.在conf/core-site.xml文件中增加如下内容：fs.default.namehdfs://loc
a6225301·2014-04-23 09:00

hadoop配置、运行错误总结二

接上一篇。十二、如果遇到如下错误： FAILED java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI:*** 就是URI里边出现了不允许出现的字符，比如冒号：之类的，操作系统不允许的文件命名字符。详细的可以根据提示的部分（星号部分）来进行grep匹
myhadoop·2014-04-11 13:00

hadoop配置、运行错误总结一

新手搞hadoop最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，希望对你们有所帮助。一、hadoop集群在namenode格式化（bin/hadoopnamenode-format）后重启集群会出现如下IncompatiblenamespaceIDSin...:namenodenamespaceID=...,datanodenamespaceID=...错误，原因是格式化n
myhadoop·2014-04-11 13:00

hadoop配置文件详解、安装及相关操作

一、     Hadoop伪分布配置      1. 在conf/hadoop-env.sh文件中增加：exportJAVA_HOME=/home/Java/jdk1.6      2. 在conf/core-site.xml文件中增加如下内容：         fs.default.name       hdfs://localhost:9000            hadoop.tmp.di
村长kylin·2014-04-10 11:00

【hadoop之翊】——hadoop配置ssh免密码登录，解决ssh设置好了依然需要输入密码的问题

首先确定系统是否安装了ssh服务，如果没有则可以使用yum进行安装，参照前面关于yum使用的文章。1、使用以下命令进行查看：ssh-version2、查看用户主目录下是否有.ssh文件夹（为隐藏文件夹）,其中javen为本人系统用户主文件夹名称ll/home/javen/.ssh/没有的话就自行创建mkdir/home/javen/.ssh3、生成私钥和公钥ssh-keygen-tdsa-P''-
Mr-稻帅·2014-03-29 20:35

【hadoop之翊】——hadoop配置ssh免密码登录，解决ssh设置好了依然需要输入密码的问题

首先确定系统是否安装了ssh服务，如果没有则可以使用yum进行安装，参照前面关于yum使用的文章。1、使用以下命令进行查看：ssh-version2、查看用户主目录下是否有.ssh文件夹（为隐藏文件夹）,其中javen为本人系统用户主文件夹名称ll/home/javen/.ssh/没有的话就自行创建mkdir/home/javen/.ssh3、生成私钥和公钥ssh-keygen-tdsa-P''-
enson16855·2014-03-29 20:00

ubuntu下hadoop运行wordcount程序

本机环境ubuntu12hadoop1.1.2首先保证hadoop配置成功1、在Hadoop的解压目录的如下位置可以找到WordCount.java的源文件src/examples/org/apache
yonghutwo·2014-03-06 13:00

Hadoop配置datanode无法连接到master

初次在VM上配置Hadoop，开了三台虚拟机，一个作namenode,jobtracker另外两台机子作datanode,tasktracker配置好后，启动集群通过http://localhost:50700查看cluster状况发现没有datanode检查结点，发现datanode进程已经启动，查看datanode机器上的日志2014-03-0122:11:17,473INFOorg.apac
lengxiao1993·2014-03-02 01:00

Informatica 9.5.1实验记录

/etc/haoop-0.20/conf，所有hadoop配置文件，core-site中配置存储路径，core-site中dfs.replication设置备份份数，hadoop的ip和端口号（如infabde
snakezhao·2014-02-28 17:20

伪分布式Hadoop配置安装

1. 安装Hadoop到/home/xsj/hadoop： $ tar -zxvf hadoop-0.20.2.tar.gz   2. 创建目录： $ mkdir /home/xsj/hadoop/hadoop-0.20.2/hadooptmp $ mkdir /home/xsj/hadoop/hadoop-0.20.2/hdfs/data $ mkdir /h
wbj0110·2014-02-26 09:00

伪分布式Hadoop配置安装

1. 安装Hadoop到/home/xsj/hadoop： $ tar -zxvf hadoop-0.20.2.tar.gz   2. 创建目录： $ mkdir /home/xsj/hadoop/hadoop-0.20.2/hadooptmp $ mkdir /home/xsj/hadoop/hadoop-0.20.2/hdfs/data $ mkdir /h
wbj0110·2014-02-26 09:00

hadoop配置常见问题

收集记录一些Hadoop配置部署过程中遇到的问题。 
Flood_Dragon·2014-02-17 17:00

Cloudera Manager的Hadoop配置文件管理

阅读更多本文基于ClouderaManager4.8，以下简称CM初次使用CM有个困惑：修改/etc/hadoop/conf目录下配置不会使serviceinstance（如NN、DN、TT、JT等）生效CM中serviceinstance的配置文件分为服务端和客户端。服务端文件：/var/run/cloudera-scm-agent/process/客户端文件：/etc/hadoop/conf，
heipark·2014-02-11 10:00

Cloudera Manager的Hadoop配置文件管理

本文基于Cloudera Manager 4.8，以下简称CM       初次使用CM有个困惑： 修改/etc/hadoop/conf目录下配置不会使service instance（如NN、DN、TT、JT等）生效     CM中service instance的配置文件分为服务端和客户端。 &nbs
heipark·2014-02-11 10:00

hadoop配置文件详解、安装及相关操作补充版

一、     Hadoop伪分布配置     首先应该现在profile文件添加hadoop_home操作如下：exportJAVA_HOME=/usr/java/jdkexportHADOOP_HOME=/usr/java/hadoopexportPATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH      1. 在conf/hadoop-env.sh文件中
tianyazaiheruan·2014-01-25 00:00

Hadoop技术内幕_深入解析Hadoop Common和HDFS架构设计与实现原理——读书笔记(2)

第2章 Hadoop配置信息处理 2.1 配置文件简介  1.
cumtheima·2014-01-24 12:00

单节点伪分布式Hadoop配置

单节点伪分布式Hadoop配置 （声明：文档里面需要用户输入的均已斜体表示） 第一步：安装JDK          因为Hadoop运行必须安装JDK环境，因此在安装好Linux后进入系统的第一步便是安装
wangchangshuai0010·2014-01-19 16:00

Hive&hadoop 安装配置

Hive&hadoop安装配置hadoop配置文档tarzxvfhadoop-0.20.2.tar.gzcdconfvimcore-config.xml增加以下内容2345678fs.default.name9hdfs
chenduo911·2014-01-13 11:48

第2周 实施Hadoop集群

Hadoop配置有关文件完全分布式模式的安装和配置##配置hosts文件（所有节点都要做）[[email protected]]#cat/etc/hosts#Donotremovethefollowingline
zq9017197·2014-01-09 16:00

hive 初始化运行流程

CliDriver 初始化过程 CliDriver.main 是Cli的入口 （1）解析(Parse)args，放入cmdLine，处理–hiveconfvar=val 用于增加或者覆盖hive/hadoop
wisgood·2014-01-02 21:00

windows下eclipse基于hadoop配置注意项

具体 http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html出现security.UserGroupInformation:PriviledgedActionExceptionas:wspcause:java.net.UnknownHostException:unknownhost:masterExceptioninthrea
nywsp·2014-01-02 17:00

小记一则重启hadoop集群是找不到pid故障

经过对hadoop配置文件的研究和启动脚本的研究找出了原因，分享记录一下：错误原因：hadoop每次启动的时候都会分别为JobTracker、namenode、SecondaryNameNode和每个节点上的
zengzhaozheng·2013-12-26 16:30

hadoop配置 - 权限管理

如下图，hadoop访问控制分为两级，其中ServiceLevelAuthorization为系统级，用于控制是否可以访问指定的服务，例如用户/组是否可以向集群提交Job，它是最基础的访问控制，优先于文件权限和mapred队列权限验证。AccessControlonJobQueues在job调度策略层之上，控制mapred队列的权限。DFSPermmision用户控制文件权限。目前版本中，连接到h
Mrknowledge·2013-12-25 10:00

hadoop配置 - 添加删除节点

http://www.cnblogs.com/rilley/archive/2012/02/13/2349858.htmlhttp://www.cnblogs.com/licheng/archive/2011/11/08/2241854.htmlhttp://www.blogjava.net/ivanwan/archive/2011/01/21/343328.html今天在hadoop集群环境下需
Mrknowledge·2013-12-25 10:00
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他