虚拟机Ubutnu安装hadoop

虚拟机及Ubuntu系统的安装地址

VMWare下载地址：http://www.itopdog.cn/utilities-operating-systems/virtual-machine/vmware-workstation.html

　　ubuntu 下载：http://mirrors.163.com/ubuntu-releases/或者http://mirrors.sohu.com/ubuntu-releases/

 

系统安装完成之后，就开始准备hadoop环境了，具体需要的有(默认在Ubuntu中能链接网络)： vim编辑器、java 环境、hadoop环境。

1、刚安装完成系统后，root用户默认是被锁定的，需要初始化root用户，否则在接下来的安装过程中有些操作没有权限

   sudo passwd    Password: <--- 输入安装时那个用户的密码
    Enter new UNIX password:  <--- 新的Root用户密码
    Retype new UNIX password:  <--- 重复新的Root用户密码
    passwd：已成功更新密码

2、安装vim编辑器，vim编辑器系统可能会自带，先检查系统是否已安装，否则安装VIM

sudo apt-get install vim

3、安装JAVA环境，须选择jdk 1.6版本以上环境

    在命令行中输入javac，系统会自动提示有哪些版本可供安装。

    sudo apt-get install java-7-openjdk

    等待系统自动下载安装，安装完成后，输入javac，有java的相关信息提示后，表示安装成功，但此时还需要配置java的环境变量(默认安装目录：/usr/lib/jvm):

     ~$ vi /etc/profile

   打开配置文件后，在末尾处添加下述环境设置

   export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
    export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$/JAVA_HOME/jre/bin:$PATH

  可选操作：讲安装的jdk设置为系统默认的jdk

sudo update-alternatives --install "/usr/bin/java" "java" "/usr/lib/java/jdk1.6.0_45/bin/java" 300
sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/lib/java/jdk1.6.0_45/bin//javac" 300
sudo update-alternatives --config javasudo update-alternatives --config javac

    输入~$ source /etc/profile 使更新的配置文件生效，输入javac -version进行验证.

 4、安装hadoop

   创建下hadoop目录：mkdir /opt/hadoop

   下载hadoop安装文件包： $ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

  解压hadoop文件:tar -zxvf hadoop-1.2.1.tar.gz

  进入/opt/hadoop/hadoop-1.2.1/conf，在该目录下有hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件需要进行配置

    vi hadoop-env.sh  设置JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk
 

   vi /etc/profile  配置hadoop

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
export HADOOP_HOME=/usr/hadoop/hadoop-0.20.0
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$/JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$PATH 

   vi core-site.xml

<configuration>     
  <property>              
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
  </property>
</configuration>

‍

    vi hdfs-site.xml

<configuration>    
 <property>  
  <name>dfs.replication</name>  
  <value>1</value>    
 </property>
</configuration>

 vi mapred-site.xml

<configuration>    
 <property>  
  <name>mapred.job.tracker</name>  
  <value>localhost:9001</value>    
 </property>
</configuration> 

完成之后输入命令

    安装sudo apt-get install ssh

　　ssh localhost

　　如果没有提示错误则安装成功（默认的.ssh文件夹在  /home/用户名/   这个路径下，它是隐藏文件，快捷键Ctrl+H可以显示隐藏文件），然后需要为ssh设置免密码登录和设置权限，依次输入下面几条命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 644 ~/.ssh/authorized_keys

　　完成之后再输入ssh localhost如果不需要输入密码的话则配置ssh免密码登录成功。

进入Bin目录: 

cd /opt/hadoop/hadoop-1.2.1/bin
bin/hadoop namenode -format
start-all.sh

上述操作完成后

输入jps查看进程，是否包含下述进程，如包含则安装成功

2184 SecondaryNameNode
2407 TaskTracker
2055 DataNode
2267 JobTracker
1933 NameNode
2468 Jps

输入：stop-all.sh 停止hadoop