Hadoop+Spark分布式集群环境搭建

  Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,而Spark 是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象。

下面使用在同一个局域网下的两台电脑搭建分布式计算的环境:

  其中JDK、Hadoop、Spark都已经在两台电脑上安装好。

  一台Ubuntu主机系统Master,IP地址假设为:192.168.1.101(ifconfig查看IP地址)

  一台Ubuntu主机系统Slave  ,IP地址假设为:192.168.1.108

  (互ping一下,测试能否ping通)

修改主机名(方便区分主机):

sudo vim /etc/hostname #分别修改为MasterSlave

修改完后分别重启一下,在终端Shell中可看到机器名的变化。

修改两台电脑的/etc/hosts文件,

sudo vim /etc/hosts

添加同样的配置:

127.0.0.1 localhost
192.168.1.101 Master
192.168.1.108 Slave

配置完后在Master上检测一下能否ping通:ping Slave

配置ssh无密码登录本机和访问集群机器

sudo apt-get openssh-server #若未安装ssh需先安装
ssh-keygen -t rsa -P ""
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys #生成ssh公钥

#将公钥发送给Slave
scp ~/.ssh/id_rsa.pub Slave:/home/zj

在Slave电脑上将Master的公钥加入到该节点:

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

在Master电脑上执行命令:ssh Slave,测试能否用ssh登录Slave主机。

Hadoop集群配置

在Master上修改Hadoop的配置文件,

cd /usr/local/hadoop/etc/hadoop

① 修改slaves(将DataNode的主机名写入该文件)

Slave

② 修改core-site.xml


      
          hadoop.tmp.dir
          file:/usr/local/hadoop/tmp
          Abase for other temporary directories.
      
      
          fs.defaultFS
          hdfs://master:9000
      

③ 修改hdfs-site.xml


    
        dfs.replication
        3
    

④ 修改mapred-site.xml(复制mapred-site.xml.template,再修改文件名)

sudo cp ./mapred-site.xml.template ./mapred-site.xm #修改文件名

    
        mapreduce.framework.name
        yarn
    

⑤ 修改yarn-site.xml

 
  
      
          yarn.nodemanager.aux-services
          mapreduce_shuffle
      
      
          yarn.resourcemanager.hostname
          master
      

配置好后,将 master 上的 /usr/local/Hadoop 文件夹复制到各个节点上

cd /usr/local/
rm -rf ./hadoop/tmp   # 删除以前运行时产生的临时文件
rm -rf ./hadoop/logs/*  # 删除日志文件

tar -zcf ~/hadoop.master.tar.gz ./hadoop #压缩文件
cd ~
scp ./hadoop.master.tar.gz Slave:/home/zj #发送到Slave

在Slave上解压hadoop文件

sudo rm -rf /usr/local/hadoop/
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R zj /usr/local/hadoop

hadoop集群环境配置完成。

Spark集群配置

在Master上修改spark的配置文件,

cd /usr/local/spark/

① 修改slaves文件(将 slaves.template 拷贝到 slaves,cp ./conf/slaves.template ./conf/slaves

slaves文件设置Worker节点:

Slave

②修改spark-env.sh文件(复制spark-env.sh.template ,再修改)

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=192.168.1.101 #集群中Master节点的IP地址

配置好后,将Master主机上的/usr/local/spark文件夹复制到Slave节点上:

cd /usr/local/
tar -zcf ~/spark.master.tar.gz ./spark
cd ~
scp ./spark.master.tar.gz Slave:/home/zj

在Slave上解压spark文件:

sudo rm -rf /usr/local/spark/
sudo tar -zxf ~/spark.master.tar.gz -C /usr/local
sudo chown -R zj /usr/local/spark

spark集群配置完成。

启动Spark集群

启动Hadoop

cd /usr/local/hadoop
bin/hdfs namenode -format # 首次运行需格式化一下
sbin/start-all.sh

启动spark(Master主机上)

cd /usr/local/spark/
sbin/start-master.sh

sbin/start-slaves.sh

分别在Master和Slave上输入jps,检查集群是否配置成功

#Master主机上
3170
SecondaryNameNode 3335 ResourceManager 3719 Jps 3657 Master 2926 NameNode
#Slave主机上
4933
Jps 4634 NodeManager 4876 Worker 4462 DataNode

能全部输出以上的各进程,则代表配置成功。缺少任一进程,需重新检查配置过程。

(注:来自厦门大学大数据学习总结)

 

你可能感兴趣的:(Hadoop+Spark分布式集群环境搭建)