在虚拟机下ubuntu中搭建hadoop.2.6.0集群

写这篇文章是为了防止自己忘记，还有一些简单问题的解释。  

ubuntu的版本是：14.10

java version 是1.7

hadoop version 是2.6.0

1： 建立3个ubuntu虚拟机，这个网上有很多大家可以很容易的去查到。

2：安装ssh，这个大家也可以去查到，其中的虚拟机必须可以互相免密码登录

3：修改虚拟机的用户名，还有修改虚拟机的IP以确保可以互相连接。直接上图大家看。

打开后如下图：配上三个IP地址
hadoop 作为master, hadoop1跟hadoop2作为datanode
然后保存。

接下来修改用户当前主机的用户名：命令如下
打开后里面就保留一个用户名hadoop就可以了 
另外两个虚拟机同样此操作改用户名，加上IP 然后都要重启才可以。

修改IP如下图：
只修改修改里面的IPV4，变成手动修改，写上自己的IP然后保存就好，然后重启一下虚拟机的网络就可以了，虚拟机hadoop1,hadoop2也是如此改IP

4.接下来就是下载hadoop  网址http://hadoop.apache.org/releases.html
   
    4.1   解压  tar -zxvf  hadoop-2.6.0,
    4.2   然后改名字为hadoop：  mv hadoop-2..6.0   hadoop
   4.3   在移动到自己想要的文件夹下： sudo  mv  hadoop  目标文件夹

5.修改配置文件：
    5.1 用命令打开 ：  sudo vim /etc/profile 然后修改 如下图  然后保存 不要忘记 source一下这个文件

    5.2 修改配置文件  

 Configuration file : hadoop-env.sh

## Update JAVA_HOME variable,
JAVA_HOME=/home/hadoop/hadoop/jdk

 Configuration file : core-site.xml

  
        hadoop.tmp.dir
        /home/hadoop/hadoop/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://hadoop:9000
    
 
	  io.file.buffer.size
	  131072
 
                                                                                                            

Configuration file : hdfs-site.xml

    
	    dfs.namenode.dir
	    /home/hadoop/hadoop/dfs/name
	    Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently.
    



    dfs.datanode.dir
    /home/hadoop/hadoop/dfs/data
    Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks.


    dfs.replication
    2



	
		dfs.permissions
		false
	

Configuration file : yarn-site.xml

   yarn.nodemanager.aux-services
   mapreduce_shuffle
  
 
   yarn.resourcemanager.address
   hadoop:8032
  
  
   yarn.resourcemanager.scheduler.address
   hadoop:8030
  
  
   yarn.resourcemanager.resource-tracker.address
   hadoop:8035
  
  
   yarn.resourcemanager.admin.address
   hadoop:8033
  
  
   yarn.resourcemanager.webapp.address
   hadoop:8088
  
 
       Yarn.nodemanager.local-dirs
       /home/hadoop/hadoop/mynode/my

Configuration file : mapred-site.xml

   mapreduce.framework.name
   yarn
 


 
  mapreduce.jobhistory.address
  hadoop:10020
 


 
  mapreduce.jobhistory.webapp.address
  hadoop:19888
 

6 ：然后把这个配置好hadoop拷贝到其他的两个虚拟机中，这样配置的结  果都一样了。

     命令：  scp  -r ~/hadoop   hadoop1:~/      

                  scp  -r ~/hadoop   hadoop2:~/  

7. 然后格式化 namenode  启动hadoop

出现的问题   ：   Unable to load native-hadoop library  这个问题困扰我好久

最后是按照这个才实现的  我只给个链接，大家自己去看吧:  

 http://www.ercoppa.org/Linux- Compile-Hadoop-220-fix-Unable-to-load-native-hadoop-library.htm