JDK8、Hadoop2.7.1、Spark 1.6 for Hadoop2.6+、Scala2.11.7
命令：sudo（普通用户执行root的命令权限）；
参考：
http://www.linuxdiyf.com/linux/13027.html
http://blog.csdn.net/yeruby/article/details/49805121
修改文件夹的所有者
chown [选项]... [所有者][:[组]] 文件...
必要参数:
-c 显示更改的部分的信息
-f 忽略错误信息
-h 修复符号链接
-R 处理指定目录以及其子目录下的所有文件
-v 显示详细的处理信息
-deference 作用于符号链接的指向，而不是链接文件本身
命令：sudo chown hadoop:hadoop -R -f /usr/local/hadoop/
监控页面：
| Spark Jobs | http://192.168.1.114:4040/ |
| 监控Spark运行情况(运行start-all.sh后) | http://192.168.1.114:8080 |
| 监控Hadoop | http://192.168.1.114:8088/ |
一、JDK8安装
1、解压
|
1
|
sudo tar zxvf ./jdk-7u45-linux-x64.tar.gz
|
2、移动：mv a b
3-A、设置当前用户的环境变量
|
1
|
vi ~/.bashrc
|
加这些内容到末尾
|
1
2
3
4
5
|
#JAVA VARIABLES
export JAVA_HOME=/usr/local/jdk1.
8
.0_65/
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
|
让设置生效
|
1
|
source ~/.bashrc
|
3-B、设置系统的环境变量
|
1
|
sudo vim /etc/profile
|
追加内容到末尾：
|
1
2
3
|
export JAVA_HOME=/usr/local/jdk1.
8
.0_65
export PATH = $JAVA_HOME/bin:$PATH
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
|
执行：
|
1
|
source /etc/profile
|
测试：
|
1
|
java -version
|
二、安装SSH
2.1. 安装ssh
$sudo apt-get installl openssh-server
然后continue YES
2.2. 安装好ssh服务后，那就打开这个服务吧
$sudo /etc/init.d/ssh start
2.3. 顺便查看下服务是否正确启动：
$ ps -e | grep ssh
2.4. 设置免密码登录，生成私钥和公钥
$ ssh-keygen -t rsa -P ""
在输入路径那儿笔者直接回车，这样在／home／ming/.ssh里面生成两个文件 id_rsa、id_rsa.pub，前者是私钥，后者是公钥。
2.5. 接着将公钥追加到authorized_keys里面，它保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
2.6. 登陆ssh
$ssh hadoop@localhost
接着输入yes
2.7. 退出
$exit
三、Hadoop安装
1、解压
2、移动到/usr/local/hadoop文件夹下；
3、给当前用户添加读写权限
|
1
|
sudo chmod
777
./hadoop/
|
4、设置环境变量
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
#HADOOP VARIABLES
#Hadoop2.
7.1
export HADOOP_INSTALL=/usr/local/bigdata/hadoop/
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
不同的
#Hadoop2.
4
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/
native
export HADOOP_OPTS=
"-Djava.library.path=$HADOOP_INSTALL/lib"
|
5、测试Hadoop
在usr/local/bigdata/hadoop/目录下，有时需要在hadoop/下创建input目录
|
1
|
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-
2.7
.
1
-sources.jar org.apache.hadoop.examples.WordCount input output
|
四、安装Spark1.6和Scala2.11.7
1、解压：tar -xzf 文件名
2、配置参数：
|
1
|
sudo gedit /etc/profile 或~/.bashrc
|
追加内容：
|
1
2
3
4
5
6
7
8
9
10
|
#Setting Scala Scala环境变量
export SCALA_HOME=/usr/local/bigdata/scala-
2.11
.
7
export PATH=${SCALA_HOME}/bin:$PATH
#setting Spark Spark环境变量
export SPARK_HOME=/usr/local/bigdata/spark-hadoop/
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
#PythonPath 将Spark中的pySpark模块增加的Python环境中
export PYTHONPATH=/usr/local/bigdata/spark-hadoop/python
|
执行：source ~/.bashrc
3、测试Spark
3.1、打开命令终端；
3.2、在spark-hadoop目录下，执行以下命令，打开Scala到Spark的连接窗口 ：
|
1
|
./bin/spark-shell
|
3.3、在spark-hadoop目录下，执行以下命令 ,打开Python到Spark的连接窗口
|
1
|
./bin/pyspark
|
3.4、运行SparkPi（不用root权限）
|
1
|
run-example org.apache.spark.examples.SparkPi
10
|
3.4、修改spark-env.sh
|
1
2
3
|
cd /usr/local/bigdata/spark-hadoop/conf/
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
|
追加内容：
|
1
2
3
4
|
export JAVA_HOME=/usr/local/jdk1.
8
.0_65
export SCALA_HOME=/usr/local/bigdata/scala-
2.11
.
7
export SPARK_MASTER_IP=
192.168
.
1.114
export SPARK_WORKER_MEMORY=1024m
|
3.5、提交任务到Spark集群
|
1
|
spark-submit --master spark:
//192.168.1.114:7077 --class org.apache.spark.examples.SparkPi --name Spark-Pi /usr/local/bigdata/spark-hadoop/lib/spark-examples-1.6.0-hadoop2.6.0.jar
|
五、Spark与Hadoop结合使用
1、在Yarn中运行Spark任务，编辑spark-env.sh：
|
1
2
3
|
vim /usr/local/bigdata/spark-hadoop/conf/spark-env.sh
#追加如下内容
export HADOOP_CONF_DIR=/usr/local/bigdata/hadoop/etc/hadoop
|
2、分别开启Hadoop集群和Spark集群：
|
1
2
3
|
$HDOOP_HOME/sbin/start-dfs.sh
$HDOOP_HOME/sbin/start-yarn.sh
$SPARK_HOME/sbin/start-all.sh
|
