hadoop安装

1.添加hadoop用户到系统用户
安装前要做一件事——添加一个名为hadoop到系统用户，专门用来做Hadoop测试。
sudo addgroup hadoop 
sudo adduser --ingroup hadoop hadoop

2.现在只是添加了一个用户hadoop，它并不具备管理员权限，因
此我们需要将用户hadoop添加到管理员组
sudo usermod -aG hadoop hadoop 
3.安装ssh
由于Hadoop用ssh通信，先安装ssh
(1)sudo apt-get install openssh-server 
ssh安装完成以后，先启动服务：
(2)sudo /etc/init.d/ssh start
启动后，可以通过如下命令查看服务是否正确启动：
(3)ps -e | grep ssh
建立ssh无密码登录本机.首先要转换成hadoop用户:
(4)su - hadoop
作为一个安全通信协议，使用时需要密码，因此我们要设置成免密码登录，
生成私钥和公钥：
(5)hadoop@scgm-ProBook:~$ ssh-keygen -t rsa -P ""
因为我已有私钥，所以会提示是否覆盖当前私钥。
第一次操作时会提示输入密码，按Enter直接过，这时会在
～/home/{username}/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，
后者为公钥，现在我们将公钥追加到authorized_keys中
（authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容）：
(6)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
现在可以登入ssh确认以后登录时不用输入密码：
(7)ssh localhost
登出：
exit
第二次登录：
(8)ssh localhost
登出：
exit
这样以后登录就不用输入密码了
/*如果完全分布式*/
scp master@master:~/.ssh/id_rsa.pub ~/.ssh/master_rsa.pub
//*************************hadoop安装××××××××××××///
1.解压 
    sudo tar -zxvf hadoop-2.7.1.tar.gz
2.重命名
    sudo mv hadoop-2.7.1 hadoop
3.要确保所有的操作都是在用户hadoop下完成的
    sudo chown -R hadoop:hadoop /usr/local/hadoop
4.修改配置文件
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要
修改2个配置文件 core-site.xml 和 hdfs-site.xml 。
（1）core-site.xml

    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://localhost:9000
    

（2）hdfs-site.xml 

    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data
    


/*****说明
虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），
不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，
而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行
了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下
来的步骤中可能会出错。
5.配置完成后，执行 namenode 的格式化
    bin/hdfs namenode -format
6.环境变量配置
增加环境变量hadoop
gedit /etc/profile  
. /etc/profile  

报ssh错误 添加
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    e xport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"   


sudo ifconfig eth1 102.168.1.100



/####################集群环境配置%%%%%%%%%%%%%%%%%%%%
4.1、配置 hadoop-env.sh文件-->修改JAVA_HOME
export JAVA_HOME=/home/hadoop/jdk1.7.0_80
4.2、配置 yarn-env.sh 文件-->>修改JAVA_HOME
export JAVA_HOME=/home/hadoop/jdk1.7.0_80

4.4、配置 core-site.xml文件-->>增加hadoop核心配置（hdfs文件端口是9000、
file:/home/spark/opt/hadoop-2.6.0/tmp、）

 
  fs.defaultFS
  hdfs://master:9000
 
 
  io.file.buffer.size
  131072
 
 
  hadoop.tmp.dir
  file:/home/hadoop/hadoop-2.7.1/tmp
  Abasefor other temporary directories.
 
 
  hadoop.proxyuser.spark.hosts
  *
 

  hadoop.proxyuser.spark.groups
  *
 

4.5、配置  hdfs-site.xml 文件-->>增加hdfs配置信息
（namenode、datanode端口和目录位置）

 
  dfs.namenode.secondary.http-address
  master:9001
 

  
   dfs.namenode.name.dir
   file:/home/hadoop/hadoop-2.7.1/dfs/name
 

 
  dfs.datanode.data.dir
  file:/home/hadoop/hadoop-2.7.1/dfs/data
  

 
  dfs.replication
  3
 

 
  dfs.webhdfs.enabled
  true
 


4.6、配置  mapred-site.xml 文件-->>增加mapreduce配置
（使用yarn框架、jobhistory使用地址以及web地址）

  
   mapreduce.framework.name
   yarn
 
 
  mapreduce.jobhistory.address
  master:10020
 
 
  mapreduce.jobhistory.webapp.address
  master:19888
 

4.7、配置   yarn-site.xml  文件-->>增加yarn功能

  
   yarn.nodemanager.aux-services
   mapreduce_shuffle
  
  
   yarn.nodemanager.aux-services.mapreduce.shuffle.class
   org.apache.hadoop.mapred.ShuffleHandler
  
  
   yarn.resourcemanager.address
   master:8032
  
  
   yarn.resourcemanager.scheduler.address
   master:8030
  
  
   yarn.resourcemanager.resource-tracker.address
   master:8035
  
  
   yarn.resourcemanager.admin.address
   master:8033
  
  
   yarn.resourcemanager.webapp.address
   master:8088
  



scp -r hadoop-2.7.1 hadoop@slave1:~/home/hadoop

//如果在window环境下eclipse操作不了hdfs
、如果是测试环境，可以取消hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml，
找到dfs.permissions属性修改为false（默认为true）OK了
//在分布式文件系统启动的时候，开始的时候NameNode会进入安全模式，
当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改，
直到安全模式结束。
bin/hadoop dfsadmin -safemode leave