Linux下安装hadoop

1、安装Linux、JDK
2、配置主机名
3、安装目录：/root/hadoop


安装：
1、解压 : tar -zxvf hadoop-2.4.1.tar.gz -C /root/hadoop/
2、设置环境变量： vi ~/.bash_profile
HADOOP_HOME=/root/hadoop/hadoop-2.4.1
export HADOOP_HOME


PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

生效环境变量： source ~/.bash_profile


第一节：Hadoop的目录结构


第二节：Hadoop的本地模式
1、特点：不具备HDFS，只能测试MapReduce程序
2、修改hadoop-env.sh

   修改第27行：export JAVA_HOME=/root/hadoop/jdk1.7.0_75
   
3、演示Demo: $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar
命令：hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /root/data/input/data.txt  /root/data/output/wc
日志：17/08/04 23:28:38 INFO mapreduce.Job:  map 100% reduce 100%

注意：MR有一个默认的排序规则


第三节：Hadoop的伪分布模式
1、特点：具备Hadoop的所有功能，在单机上模拟一个分布式的环境
         （1）HDFS：主：NameNode，数据节点：DataNode
（2）Yarn：容器，运行MapReduce程序
            主节点：ResourceManager
从节点：NodeManager

2、步骤：
（1）hdfs-site.xml


  dfs.replication
  1





  dfs.permissions
  false



（2）core-site.xml


  fs.defaultFS
  hdfs://127.0.0.1:9000





  hadoop.tmp.dir
  /root/hadoop/hadoop-2.4.1/tmp



(3) mapred-site.xml


  mapreduce.framework.name
  yarn


(4) yarn-site.xml


  yarn.resourcemanager.hostname
  127.0.0.1





  yarn.nodemanager.aux-services
  mapreduce_shuffle


(5) 格式化NameNode
    hdfs namenode -format
日志：Storage directory /root/hadoop/hadoop-2.4.1/tmp/dfs/name has been successfully formatted.


(6) 启动：start-all.sh
           (*) HDFS: 存储数据
   (*) Yarn：执行计算
   
(7) 访问：（*）命令行
          （*）Java API
  （*）Web Console：
HDFS：http://127.0.0.1:50070
Yarn：http://127.0.0.1:8088