Hive环境搭建

hadoop各个节点角色定义

master 和 slave
name node 和 data node： name node 目录管理者
从map reduce的角度划分

hadoop安装部署

三种运行模式：

• 单机模式
• 伪分布模式
• 完全分布模式

伪分布式安装

• 下载hadoop
  url: http://hadoop.apache.org/#Download+Hadoop
  http://hadoop.apache.org/releases.html
  可以复制要下载的链接，然后再linux命令行下用wget下载

wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0-src.tar.gz

• 安装hadoop

1.将下载下来的 hadoop-2.8.0-src.tar.gz 拷贝到指定目录
2 . tar zxvf hadoop-2.8.0-src.tar.gz
3 . rm hadoop-2.8.0-src.tar.gz

• 配置hadoop
  修改 ~/.bashrc, 在底部新增：

 export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=${HADOOP_HOME}/bin:$PATH

保存后

source  ~/.bashrc

伪分布式需要操作四个文件： hadoop-env.sh、core-site.xml、mapred-site.xml 以及 hdfs-site.xml

1）. 配置 hadoop-env.sh
在配置文件中找到JAVA_HOME关键字所在的行，把前面的#号去掉，然后填写实际的JAVA_HOME地址.
2 ) . 配置core-site.xml
加入如下内容：

        
                fs.default.name
                hdfs://127.0.0.1:9000
        
 
        
                hadoop.tmp.dir
                /home/leo/hadoopdata
        

3 ）. 配置 hdfs-site.xml

    
            dfs.replication
                    1
                        
      

4 ) . 配置mapred-site.xml

        
              mapreduce.job.tracker
              127.0.0.1:9001
        

运行 hadoop version。

leo@ubuntu:~$ hadoop version
Warning: $HADOOP_HOME is deprecated.
Hadoop 1.2.1
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152
Compiled by mattf on Mon Jul 22 15:23:09 PDT 2013
From source with checksum 6923c86528809c4e7e6f493b6b413a9a
This command was run using /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar

修改~/.bashrc， 增加

export HADOOP_HOME_WARN_SUPPRESS=1
保存成功后：
source  ~/.bashrc

• 启动hadoop

 hadoop namenode -format

检查运行结果有没有错误。
如果出现找不到namenode之类的。请使用命令检查

more /etc/hosts

运行 start-all.sh 启动hadoop
使用jps名称检查运行的进程

• 运行hadoop

hadoop fs ls /
hadoop fs -mkdir input
hadoop fs -put /home/leo/file/* input