迅速搭建一个学习使用的大数据环境(持续更新)

前言：

​ 大数据环境的安装，有很多种，例如CDH,Ambari,这两种都可以快速的安装大数据环境，并且搭配了精美的bashboard,笔者也曾在学习过程中安装以上2种组件，安装完成后，并没有深度使用，总感觉缺少了自己一个个修改配置文件的实在感(为自己的lazy找借口，各位勿喷),本帖粗中有细，譬如kafka-manager的JMX通信，譬如mongoDB的自定义config,相信本帖能帮助各位同学快速搭建。

​ 本文的目的是：迅速搭建一个学习使用的大数据环境。

​ 本文的阅读对象：有一定基础，安装过组件，只需复制粘贴笔者的命令即可。

​ 注：相关组件独立搭建

1.环境信息：

​ 以下为笔者的机器配置信息：

CPU	配置
CPU	E5-2660 v2 *2
内存	16G * 4
linux	CentOS 7

​ 笔者刚开始使用VM创建三个虚拟环境搭建集群，但作为一名后台开发人员，觉得够用即可，故直接安装了linux最小版（无windows，开机直接进入bash），由于笔者显卡为Nvdia，CentOS-7对Nvdia的显卡不是很支持，在使用UI安装的时候，会出现安装不成功的情况，耗费笔者一天时间，解决办法是使用linux的文本安装。

2.本文安装的组件

注：安装选项会持续更新

链接:https://pan.baidu.com/s/1Jg-BF_2d47bwm9QLLkCK6w 密码:h5in

选项	配置/版本
JDK	jdk-8u201-linux-x64.tar.gz
Zookeeper	zookeeper-3.4.12.tar.gz
Hadoop	hadoop-2.6.0.tar.gz
Hbase	hbase-1.4.9-bin.tar.gz
Kafka	kafka_2.11-1.0.2.tgz
Kafka-Manager	kafka-manager-1.3.3.23.zip
Mongodb	mongodb-linux-x86_64-4.0.7.tgz
Admin-Mongo	版本1.0.0 直接git-clone
Node (启动Admin-Mongo)	node-v10.15.3-linux-x64.tar
Flink	flink-1.8.0-bin-scala_2.11.tgz
Flume	apache-flume-1.9.0-bin.tar.gz

注：本文所有的组件都会安装在一个固定的目录：笔者的安装目录为: /usr/local，笔者的备份目录为/root/gavin,默认所有组件安装包均在该目录下

3.安装

注：export PATH 会随着组件的安装递增，组件全部安装在笔者拓展环境

3.1 环境准备，修改hosts

• 笔者使用环境：MacOS 双核4线程，内存8G

• 笔者拓展环境：CentOS-7 20核40线程，内存64G

  修改使用环境、拓展环境hosts,增加如下配置：192.168.9.46 master ip为拓展环境ip

3.2 安装JDK

• cd /root/gavin

• tar -xvf jdk-8u201-linux-x64.tar.gz

• mv jdk1.8.0_201 /usr/local/jdk

• vim /etc/profile

  export JAVA_HOME=/usr/local/jdk
  
  export PATH=$JAVA_HOME/bin:$PATH
  

• source /etc/profile

• 验证：java -version

  

3.3 安装zookeeper

• cd /root/gavin

• tar -xvf zookeeper-3.4.12.tar.gz

• mv zookeeper-3.4.12 /usr/local/zk

• cd /usr/local/zk/conf

• cp zoo_sample.cfg zoo.cfg

• mkdir …/data

• vim zoo.cfg

  dataDir=/usr/local/zk/data
  

• vim /etc/profile

  export ZK_HOME=/usr/local/zk
  
  export PATH=$JAVA_HOME/bin:$ZK_HOME/bin:$PATH
  

• 验证：zkServer.sh start

  

3.4 免密

• ssh-keygen -t rsa
• ssh-copy-id master
• cd ~
• cd .ssh
• more authorized_keys
  • 
• 执行 ssh master 不输入密码即成功

3.5 安装Hadoop

• cd /root/gavin

• tar -zxvf hadoop-2.6.0.tar.gz

• mv hadoop-2.6.0 /usr/local/hadoop

• cd /usr/local/hadoop/etc/hadoop/

• vim hadoop-env.sh

  export JAVA_HOME=/usr/local/jdk
  

• vim core-site.xml

   <configuration>
        <property>
             <name>fs.default.namename>
             <value>hdfs://master:9000value>
        property>
        <property>
             <name>hadoop.tmp.dirname>
             <value>/usr/local/hadoop/tmpvalue>
        property>
  configuration>
  

• vim hdfs-site.xml

  <configuration>
        <property>
            <name>dfs.replicationname>
            <value>1value>
        property>
        <property>
            <name>dfs.permissionsname>
            <value>falsevalue>
        property>
  configuration>
  

• cp mapred-site.xml.template mapred-site.xml

• vim mapred-site.xml

  <configuration>
   		<property>
    			<name>mapreduce.framework.namename>
    			<value>yarnvalue>
  		property>
  		<property>
          <name>mapreduce.jobhistory.addressname>
          <value>master:10020value>
  		property>
  configuration>
  

• vim yarn-site.xml

  <configuration>
  
  
   		<property>
     			<name>yarn.resourcemanager.hostnamename>
      		<value>mastervalue>
    	property>
  		<property>
      		<name>yarn.nodemanager.aux-servicesname>
     			<value>mapreduce_shufflevalue>
    	property>
  		<property>
      		<name>mapreduce.job.ubertask.enablename>
      		<value>truevalue>
   		property>
  
  configuration>
  

• vim /etc/profile

  export HADOOP_HOME=/usr/local/hadoop
  export PATH=$JAVA_HOME/bin:$ZK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  

• source /etc/profile

• 启动

  • hadoop namenode -format
  • start-dfs.sh 一路yes
  • start-yarn.sh

• 关闭防火墙

  • systemctl stop firewalld.service

• 访问master:8088 成功

  

• 访问master:50070 成功

  

3.6 安装kafka

• cd /root/gavin

• tar -xvf kafka_2.11-1.0.2.tgz

• mv /usr/local/kafka

• cd /usr/local/kafka/config

• vim server.properties

  #     listeners = PLAINTEXT://your.host.name:9092
  
  listeners=PLAINTEXT://master:9092
  log.dirs=/usr/local/kafka-log
  

• cd …/bin

• vim kafka-server-start.sh

  if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
      export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
      export JMX_PORT="9988" #此处为kafka-manager bashboard做铺垫
  fi
  

• 启动：

  JMX_PORT=9988 sh kafka-server-start.sh ../config/server.properties 1>/dev/null  2>&1  &
  

3.7 安装kafka-manager

注：笔者安装的kafka版本为1.0.2

1.kafka-manager也有相应的版本要求，笔者选用对应版本为：kafka-manager-1.3.3.23

• cd /root/gavin

• unzip kafka-manager-1.3.3.23.zip

• mv kafka-manager-1.3.3.23 /usr/local/kafka-manager

• cd /usr/local/kafka-manager/conf

• vim application.conf

  kafka-manager.zkhosts="master:2181"
  

• 启动：

  nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9999 &
  

• 浏览器输入：master:9999,显示如下：

注：kafka-manager 配置，如下所示：线程池越大，Metrics数据更新越迅速，笔者任性一把先….初始为2

3.8 安装MongoDB

• cd /root/gavin

• tar -zxvf mongodb-linux-x86_64-4.0.7.tgz

• mv mongodb-linux-x86_64-4.0.7 /usr/local/mongodb

• mkdir data

• mkdir conf

  • cd conf

  • vim mongodb.cnf (自己创建)

  • dbpath=/usr/local/mongodb/data/
    
    logpath=/usr/local/mongodb/log/mongo.log
    
    logappend=true
    
    fork=true
    
    port=27017
    
    bind_ip=0.0.0.0 //这里是允许所有ip访问，为admin-mongo做铺垫
    

• vim /etc/profile

  export MONGO_HOME=/usr/local/mongodb
  export PATH=$JAVA_HOME/bin:$ZK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MONGO_HOME/bin:$PATH
  

• source /etc/profile

• 启动：

  • mongod -f /usr/local/mongodb/conf/mongodb.cnf
  • 输入 mongo,bash 如下：

3.9 安装node.js(为admin-mongo铺垫)

• cd /root/gavin

• tar -xvf node-v10.15.3-linux-x64.tar

• mv node-v10.15.3-linux-x64 /usr/local/node

• vim /etc/profile

  export NODE_HOME=/usr/local/node
  export PATH=$JAVA_HOME/bin:$ZK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MONGO_HOME/bin:$NODE_HOME/bin:$PATH
  

• 验证

  • npm -v
  • node -v

3.10 安装adminMongo

• npm install -g admin-mongo

  ​ //adminMongo的默认安装路径为/usr/local/node/lib/node_modules/admin-mongo

• cd /usr/local/node/lib/node_modules/admin-mongo/

• npm star //启动

• 浏览器输入： master:1234，输入以下界面表示成功

注：如果这里没有配置笔者的mongodb.cnf,那么mongo只支持本机连接（默认），此处也无法通过admin-mong建立连接