Ubuntu中Hadoop环境搭建

Ubuntu中Hadoop环境搭建

JDK安装

方法一：通过命令行直接安装（不建议）

有两种java可以安装oracle-java8-installer以及openjdk

(1)安装oracle-java8-installer

apt install software-properties-common

add-apt-repository ppa:webupd8team/java

sudo apt-get update

sudo apt-get install oracle-java8-installer

(2)安装openJDK

sudo apt-get update

sudo apt-get install openjdk-8-jdk

卸载openJDK

sudo apt-get remove oepnjdk*

 

方法二：自己配置安装

 

1.下载jdk-7u67-linux-x64.tar.gz

2.用ftp客户端工具filezilla上传到ubuntu的合适文件夹。如果如果不能上传到指定文件夹可能是文件夹权限不足，修改文件夹可执行权限，最简单的方法是赋予权限，即：

1. chmod 777 文件夹
2. （777）为最高权限

 

3.自解压安装jdk，我解压在了/usr/cpy下

1. tar -xzvf jdk-7u67-linux-x64.tar.gz

安装完后，会生成jdk1.7.0_67文件夹

4.设置环境变量，对于对vi不熟悉的用户使用gedit命令启动文本编辑器比起vi命令更方便

1. sudo gedit /etc/profile

添加以下内容并保存退出

原本内容：

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"

新添加内容：

export JAVA_HOME="/usr/cpy/jdk1.7.0_67"
CLASSPATH=$CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

在PATH=的最前面加上 $PATH

执行以下命令，使配置生效

source /etc/profile

注意：PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"必须保留，否则会导致系统登录不了。还可以使用另外两条配置代替该行配置：

 

5.卸载自带的openjdk的方法：

1. sudo apt-get remove openjdk*  

 

 

6.设置默认jdk（假如有openjdk的话）

由于Ubuntu中可能会有默认的jdk，如openjdk。假如有openjdk的话，所以，为了使默认使用的是我们安装的jdk，还要进行如下工作（可以使用该命令安装其他命令，例如eclipse）。
执行代码:

1. sudo update-alternatives --install /usr/bin/java java /opt/jdk1.7.0_25/bin/java 300  
2. sudo update-alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_25/bin/javac 300  

通过这一步将我们安装的jdk加入java选择单。

然后执行代码:

1. sudo update-alternatives --config java  
2. sudo update-alternatives --config javac  

通过这一步选择系统默认的jdk

7.查看java版本，显示为我们自己设置的jdk

jack@jack$ java -version
java version "1.7.0_25"
Java(TM) SE Runtime Environment (build 1.7.0_25-b15)
Java HotSpot(TM) Server VM (build 23.25-b01, mixed mode)

注：还可以利用此方法配置多jdk版本，只需要修改/etc/environment内容，然后按照下边的步骤依次执行。

Hadoop单机版本安装：

sudo apt-get install ssh

sudo apt-get install rsync

Unpack the downloaded Hadoop distribution. In the distribution, edit the file etc/hadoop/hadoop-env.sh to define some parameters as follows:

# set to the root of your Java installation

  export JAVA_HOME=/usr/java/latest

配置YARN

Configure parameters as follows:etc/hadoop/mapred-site.xml:

        mapreduce.framework.name

        yarn

 

etc/hadoop/yarn-site.xml:

        yarn.nodemanager.aux-services

        mapreduce_shuffle

 

Start ResourceManager daemon and NodeManager daemon:

  $ sbin/start-yarn.sh

 Browse the web interface for the ResourceManager; by default it is available at:

• ResourceManager - http://localhost:8088/

 Run a MapReduce job.

When you're done, stop the daemons with:

  $ sbin/stop-yarn.sh

 

 

linux找不到主机名解决办法

报错：java.net.UnknownHostException: 主机名: 主机名

修改/etc/hosts文件

127.0.0.1 主机名 localhost.localdomain localhost

或是再添加一条 

127.0.0.1 主机名 

主机名是新加的，原来没有，保存，问题解决。

==========================================

/etc/sysconfig/network   
/etc/hosts       hostname命令读这个配置文件

 

 

记住一定要启动yarm再运行