VM虚拟机安装+Hadoop+Scala+Spark

VM虚拟机安装+Hadoop+Scala+Spark

1.      VM虚拟机安装

1.1VM Worksation安装

1.2配置虚拟机网络

1.3clone虚拟机

1.4SSH免密登录

2.JDK+Hadoop+Scala+Spark安装

2.1JDK安装

2.2Scala安装

2.3Hadoop安装

2.4安装spark

2.5zeppelin安装

3．各软件版本号

3.1jdk

3.2scala

3.3hadoop

3.4spark

3.5zeppelin

3.6mysql

3.7hive

 

 

1.    VM虚拟机安装

1.1VM Worksation安装

         1.安装VMware Workstation12，在D盘创建“虚拟机”文件夹，文件夹下创建master主机目录“master”。

         2.安装好VM后，点击创建虚拟机，选择iso文件，centos-6.8-x86_64-liveDVD.iso，目录选择master。

         3.如果虚拟机提示，机器配置为虚拟化，则需要重启电脑按F2进入boot设置，将虚拟化打开

         4.运行master虚拟机，点击桌面的安装到硬盘，完整安装centos系统。

         5.打开安装好的centos系统，点击虚拟机，安装VM tools，打开VM tools镜像，将tar文件拷到centos桌面，解压执行.pl文件。安装完成后重启虚拟机，可以与虚拟机公用剪切板。

1.2配置虚拟机网络

         1.选择虚拟机的网络状态，改成桥接模式，右键centos系统右上角的网络设置，编辑网络设置，在ipv4里手动设置ip，添加一条网络连接，本机ip设为192.168.1.200，子网掩码255.255.255.0，网关需要设置成启动虚拟机的机器ip192.168.1.100。

         2.进入命令行。

切换root用户：su root

打开防火墙设置：setup

关闭防火墙

查询防火墙状态：service iptables status

3.设置本机名称，vi/etc/sysconfig/network

在hostname=改为master

4.设置ssh文件，vi /etc/hosts

下面添加192.168.1.200 master

              192.168.1.201slave1

              192.168.1.202slave2

              192.168.1.203slave3

1.3clone虚拟机

1.在导航栏找到“虚拟机”并进入

2.在管理中找到克隆

3.关闭正在运行的需要克隆的虚拟机

4.开始克隆点击下一步

5.创建完整克隆

6.为虚拟机命名并制定路径

1.4SSH免密登录

1.打开sshd服务

逐个虚拟机进入到路径下打开sshd服务

/etc/init.d/Sshd start

2.      生成ssh秘钥

每个虚拟机进行秘钥生成命令

Ssh-keygen  -t  rsa

秘钥在/root/.ssh/下

进入该路径下

Cd ~/.ssh

将秘钥重命名成新文件

Cp    id_rsa.pub        authorized_keys

3.      传输秘钥文件

例如本实例中，有一台master，slave1-3共四台机器

在mater下进行如下操作

将master的秘钥文件拷贝至slave1的秘钥文件路径下

scp ~/.ssh/authorized_keys root@slave1:~/.ssh/

依照slave1的方法，将master的秘钥文件拷贝至slave2和slave3

在slave1下的操作

将slave1的秘钥文件拷贝至master秘钥文件路径下

拷贝方法如同master拷贝至slave1的方法，将后缀的slave1改成master即可

依照此法，将秘钥文件拷贝至slave2和slave3中，后续的slave2与slave3也进行上述操作

即：每个机器除自身外，均要将自己的authorized_keys文件传到其他机器的~/.ssh/路径下

 

2.JDK+Hadoop+Scala+Spark安装

2.1JDK安装

1.解压jdk，tar zvxf jdk-8u131-linux-x64.tar.gz

2.更改jdk文件夹名称，mv jdk1.8.0 jdk

3.创建目录，mkdir /opt/home

4.移动jdk，mv jdk /opt/home

5.配置环境变量，vi /etc/profile

最下面加上export    JAVA_HOME=/opt/home/jdk

                 export    JRE_HOME=/opt/home/jdk/jre

                 export    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH

                 export PATH=.:$PATH:$JAVA_HOME/bin

6.替换原始jdk，ln –s –f /opt/home/jdk/jre/bin/java

                            Ln –s –f /opt/home/jdk/bin/javac

Java –version

jdk1.8.0

jps

****jps

注：如果安装后JDK没有变成最新版本，使用命令sudo update-alternatives –congif java

查看是否有自己安装的版本，如果没有，则注入自己安装的版本

Sudo update-alternatives –install/usr/bin/java java /opt/home/jdk/bin/java 300

在执行上一步操作，选择版本号。

2.2Scala安装

1.解压scala，tar   zvxf  scala-2.11.4.tgz

 

2.更改scala文件名称，mv  scala2.11.4 scala

3.移动scala，mv   scala /opt/home

4.配置环境变量，vi  /etc/profile

export SCALA_HOME=/opt/home/scala

在PATH后面加上:$SCALA_HOME/bin

验证：scala –version

 

2.3Hadoop安装

1.解压hadoop，tar zvxf hadoop-2.7.3.tar

2.更改hadoop文件名称，mv  hadoop2.7.3    hadoop

3.移动hadoop，mv  hadoop  /opt/home

4.配置环境变量，vi  /etc/profile

export     HADOOP_HOME=/opt/home/hadoop

export     HADOOP_MAPRED_HOME=/opt/home/hadoop

export     HADOOP_COMMON_HOME=/opt/home/hadoop

export     HADOOP_HDFS_HOME=/opt/home/hadoop

export      YARN_HOME=/opt/home/hadoop

export      HADOOP_ROOT_LOGGER=INFO,console

export     HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export      HADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib”

export      JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

export      HADOOP_CLASSPATH=/opt/home/jdk/lib/tools.jar

 

在PATH后面添加：$HADOOP_HOME/bin

5.配置hadoop-env.sh文件，该文件在/opt/home/hadoop/etc/hadoop下，将JAVA_HOME=/opt/home/jdk

6.1配置slave，同在hadoop-env.sh文件目录下，更改slave内容，清空localhost，填写datanode的ip（datanode为子节点，namenode为主节点），这里填写slave1-3的ip

192.168.1.201

192.168.1.202

192.168.1.203

6.2配置master，vi master,这里填写master的ip

192.168.1.200

7.配置xml文件

7.1配置core-site.xml，在/opt/home/hadoop/etc/hadoop下

首先创建tmp文件夹，mkdir /opt/home/hadoop/tmp

        

                   fs.default.name

hdfs://master:9000

         hadoop.tmp.dir

/opt/home/hadoop/tmp

         io.file.buffer.size

131072

7.2配置hdfs-site.xml

        

                   dfs.replication

3(子节点的数目)

                   dfs.namenode.secondary.http-address

master:5000(子节点的数目)

                   dfs.namenode.name.dir

file:/opt/home/hadoop/hdfs/name(子节点的数目)

                   dfs.datanode.data.dir

file:/opt/home/hadoop/hdfs/data(子节点的数目)

7.3配置mapred-site.xml

首先复制mapred-site.xml文件，cp mapred-site.xml.template mapred-site.xml

        

                   mapred.job.tracker

master:9001

                   mapreduce.framwork.name

yarn

                   mapreduce.jobhistory.address

master:10020

                   mapreduce.jobhistory.address

master:19888

8.格式化目录节点

Hadoop    namenode-format

9.启动hadoop

Cd /opt/home/hadoop/bin

执行./start-all.sh

2.4安装spark

1.解压spark，tar zvxf spark-2.0.2-bin-hadoop2.7.tar

2.更改spark文件名称，mv  spark2.0.2  spark

3.移动spark文件，mv spark /opt/home

4.配置环境变量，vi /etc/profile

export SPARK_HOME=/opt/home/spark

在PATH后面添加:$SPARK_HOME/bin

source /etc/profile

5.将mysql-connector-java-5.1.38-bin.jar移动到/opt/home/spark/jars下（spark2.0版本之前，jar文件在lib目录下）

6.更改配置文件

6.1更改spark-env.sh

Cp spark-env.sh.template spark-env.sh

下方添加

export JAVA_HOME=/opt/home/jdk

export HADOOP_HOME=/opt/home/hadoop

exportHADOOP_CONF_DIR=/opt/home/hadoop/etc/hadoop

export SCALA_HOME=/opt/home/scala

export SPARK_HOME=/opt/home/spark

export SPARK_MASTER_IP=192.168.1.200

export SPARK_MASTER_HOST=192.168.1.200

export SPARK_LOCAL_IP=（本机ip）192.168.1.200

 

export SPARK_WORKER_CORES=3

export SPARK_WORKER_MEMORY=10G

export SPARK_DIST_CLASSPATH=$(/opt/home/hadoop/bin/hadoop classpath)

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native

6.2更改slaves

cp slaves.template slaves

下方添加

Master

Slave1

Slave2

Slave3

6.3更改log4j.properties.template log4j.properties

Log4j.rootCategory=INFO,console改为WARN，console

5.验证spark-shell

2.5zeppelin安装

1.解压zeppelin，tar zvxf zeppelin-0.7.1-bin-all.tgz

 

2.更名zeppelin，mv zeppelin0.7.1 zeppelin

3.移动zeppelin，mv zeppelin /opt/home/

4.更改配置文件，cd  /opt/home/zeppelin/conf

cp    zeppelin-env.sh.template  zeppelin-env.sh

vi      zeppelin-env.sh

添加export    JAVA_HOME=/opt/home/jdk

       export    SPARK_HOME=/opt/home/spark

       export    HADOOP_CONF_DIR=/opt/home/hadoop/etc/hadoop

       export    ZEPPELIN_INTP_JAVA_OPTS=”-XX:PermSize=512M–XX:MaxPermSize=1024M”

5.替换jar文件

进入zeppelin的lib目录

cd /opt/home/zeppelin/lib

删除文件

Rm Jackson-annotations-2.5.0.jar

Rm Jackson-core-2.5.3.jar

Rm Jackson-databind-2.5.3.jar

Rm hadoop-annotations-2.x.x.jar

Rm hadoop-auth-2.x.x.jar

Rm hadoop-common-2.x.x.jar

替换文件

Cp /opt/home/spark/jars Jackson-annotations-2.6.5.jar/opt/home/zeppelin/lib

Cp /opt/home/spark/jars Jackson-core-2.6.5.jar/opt/home/zeppelin/lib

Cp /opt/home/spark/jars Jackson-databind-2.6.5.jar/opt/home/zeppelin/lib

Cp /opt/home/spark/jars hadoop-annotations-2.6.5.jar/opt/home/zeppelin/lib

Cp /opt/home/spark/jars hadoop-auth-2.6.5.jar/opt/home/zeppelin/lib

Cp /opt/home/spark/jars hadoop-common-2.6.5.jar/opt/home/zeppelin/lib

6.启动zeppelin，/opt/home/zeppelin/bin/zeppelin-daemon.shstart

7.验证

打开浏览器，输入master:8080

 

 

 

3．各软件版本号

3.1jdk

jdk-8u131-linux-x64.tar.gz

3.2scala

scala-2.11.4.tgz

3.3hadoop

hadoop-2.7.3.tar

3.4spark

spark-2.0.2-bin-hadoop2.7.tar

3.5zeppelin

zeppelin-0.7.1-bin-all.tgz

3.6mysql

mysql-connector-java-5.1.38-bin.jar

3.7hive

apache-hive-2.1.1-bin.tar

 

 

hive的退出安全模式

hadoop dfsadmin –safemode leave