第4次实践作业

1.使用Docker-compose实现Tomcat+Nginx负载均衡

（1）对nginx反向代理的理解

• 我觉得这个讲的挺明白的：nginx和代理说明
• 正反向代理示意图如下
  

（2）nginx代理tomcat集群，代理2个以上tomcat

• 使用命令建立文件和文件夹
  

• 最后得到文件树结构
  

• default.conf

  upstream tomcats {
      server tomcat1:8080; # 主机名:端口号
      server tomcat2:8080; # tomcat默认端口号8080
      server tomcat3:8080; # 默认使用轮询策略
  }
  
  server {
      listen 80;
      server_name localhost;
  
      location / {
          proxy_pass http://tomcats; # 请求转向tomcats
      }
  }
  

• tomcat1的html

   hello tomcat1 
  

• tomcat2的html

   hello tomcat2 
  

• tomcat3的html

   hello tomcat3 
  

• docker-compose.yml

  • 运行命令sudo docker-compose up -d
    

  • 特别地，在用权重均衡时查看容器状态sudo docker ps -a, 发现nginx运行失败

    经过检查，原因是nginx的default,conf文件严格遵守语法规则，weight后的等号两边不允许出现空格
    

    version: "3"
    services:
        nginx:
            image: nginx
            container_name: nginx
            ports:
                - "80:80"
            volumes:
                - ./nginx/default.conf:/etc/nginx/conf.d/default.conf # 将主机上的tomcat_nginx/nginx/default.conf目录挂在到容器的/etc/nginx/conf.d/default.conf目录
            depends_on:
                - tomcat1
                - tomcat2
                - tomcat3
    
        tomcat1:
            image: tomcat
            container_name: tomcat1
            volumes:
                - ./tomcat1:/usr/local/tomcat/webapps/ROOT # 挂载web目录
    
        tomcat2:
            image: tomcat
            container_name: tomcat2
            volumes:
                - ./tomcat2:/usr/local/tomcat/webapps/ROOT
    
        tomcat3:
            image: tomcat
            container_name: tomcat3
            volumes:
                - ./tomcat3:/usr/local/tomcat/webapps/ROOT
    

（3）了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略

• 编写爬虫

  import requests
  
  url="http://127.0.0.1"
  
  for i in range(0,10):
  	reponse=requests.get(url)
  	print(reponse.text)
  

• 轮询策略（默认）
  

• 权重策略

  • 重新编写default.conf文件

    #注意不能有空格
    
    upstream tomcats {
        server tomcat1:8080 weight=2; # 主机名:端口号
        server tomcat2:8080 weight=3; # tomcat默认端口号8080
        server tomcat3:8080 weight=5; # 使用权重策略
    }
    
    server {
        listen 80;
        server_name localhost;
    
        location / {
            proxy_pass http://tomcats; # 请求转向tomcats
        }
    }
    

  • 运行爬虫

    

  • 此爬虫难以观察结果，重新编写爬虫

    import requests
    
    url="http://127.0.0.1"
    count={}
    for i in range(0,2000):
        response=requests.get(url)
        if response.text in count:
            count[response.text]+=1;
        else:
            count[response.text]=1
    for a in count:
        print(a, count[a])
    

    

2.使用Docker-compose部署javaweb运行环境

• 同学推荐用的SpringBoot且成功了，就不踩别的坑了。

• 参考资料

  • IDEA搭建SpringBoot的过程参考, 熟悉IDEA工具

  • 关于打包成war的方法，可直接在SpringBoot构建项目的过程中选择war包，也可以参考 使用idea将springboot打包成war包

• 测试IDEA的SpringBoot项目是否可用

  

• 构建的文件树结构如下

  

• mysql的Dockerfile

  #基础镜像
  FROM mysql:5.7
  
  #将所需文件放到容器中
  COPY setup.sh /mysql/setup.sh
  COPY schema.sql /mysql/schema.sql
  COPY privileges.sql /mysql/privileges.sql
  
  #设置容器启动时执行的命令
  CMD ["sh", "/mysql/setup.sh"]
  

• mysql的privileges.sql

  grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
  flush privileges; 
  

• mysql的schema.sql

  -- 创建数据库
  create database `docker_mysql` default character set utf8 collate utf8_general_ci;
  
  use docker_mysql;
  
  -- 建表
  DROP TABLE IF EXISTS user;
  
  CREATE TABLE user (
    `id` int NOT NULL,
    `name` varchar(40) DEFAULT NULL,
    `major` varchar(255) DEFAULT NULL,
    PRIMARY KEY (`id`)
  ) ENGINE=InnoDB DEFAULT CHARSET=latin1;
  
  -- 插入数据
  INSERT INTO user (`id`, `name`, `major`)
  VALUES
      (031702223,'zzq','computer science');
  

• mysql的setup.sh

  #!/bin/bash
  set -e
   
  #查看mysql服务的状态，方便调试，这条语句可以删除
  echo `service mysql status`
   
  echo '1.启动mysql....'
  #启动mysql
  service mysql start
  sleep 3
  echo `service mysql status`
   
  echo '2.开始导入数据....'
  #导入数据
  mysql < /mysql/schema.sql
  echo '3.导入数据完毕....'
   
  sleep 3
  echo `service mysql status`
   
  #重新设置mysql密码
  echo '4.开始修改密码....'
  mysql < /mysql/privileges.sql
  echo '5.修改密码完毕....'
   
  #sleep 3
  echo `service mysql status`
  echo `mysql容器启动完毕,且数据导入成功`
   
  tail -f /dev/null
  

• tomcat的Dockerfile

  • wait-for-it.sh说明

  • wait-for-it.sh下载地址

    FROM tomcat
    COPY ./wait-for-it.sh /usr/local/tomcat/bin/
    RUN chmod +x /usr/local/tomcat/bin/wait-for-it.sh
    # 判断mysql是否已启动，如果启动就执行 catalina.sh run
    CMD ["wait-for-it.sh", "cdb:3306", "--", "catalina.sh", "run"]
    

• docker-compose.yml

  version: '3'
  services:
  #tomcat setting
    tomcat1:
      container_name: web_tomcat1
      build: ./tomcat
      image: tomcat
      #volumes path|host path:container path
      volumes:
        - ./tomcat:/usr/local/tomcat/webapps
      #connect to another container
      links:
        - mysql
      depends_on:
        - mysql
      restart: always
  
  
    tomcat2:
      container_name: web_tomcat2
      build: ./tomcat
      image: tomcat
      #volumes path|host path:container path
      volumes:
        - ./tomcat:/usr/local/tomcat/webapps
      #connect to another container
      links:
        - mysql
      depends_on:
        - mysql
      restart: always
  
    tomcat3:
      container_name: web_tomcat3
      build: ./tomcat
      image: tomcat
      #volumes path|host path:container path
      volumes:
        - ./tomcat:/usr/local/tomcat/webapps
      #connect to another container
      links:
        - mysql
      depends_on:
        - mysql
      restart: always
  
   
  #mysql setting
    mysql:
      container_name: web_mysql
      image: mysql:5.7
      build: ./mysql
      ports:
        - "3306:3306"
      environment:
        #Initialize the root password
        MYSQL_ROOT_PASSWORD: 123456
        
  
   
  #nginx setting
    nginx:
      container_name: web_nginx
      image: nginx
      ports:
        - 80:2223
      volumes:
        - ./nginx/default.conf:/etc/nginx/conf.d/default.conf
      restart: always
      depends_on:
        - tomcat1
        - tomcat2
        - tomcat3
  

• Controller

  package com.example.mysql.Controller;
  
  import com.example.mysql.Bean.UserBean;
  import com.example.mysql.Mapper.UserMapper;
  import org.springframework.beans.factory.annotation.Autowired;
  import org.springframework.web.bind.annotation.RequestMapping;
  import org.springframework.web.bind.annotation.RestController;
  
  import javax.servlet.http.HttpServletRequest;
  
  @RestController
  @RequestMapping(path = "/test4")
  public class HelloController {
  
      @Autowired
      private UserMapper userMapper;
  
      @RequestMapping(value = "/hello")
      String hello() {
          return "hello";
      }
  
      @RequestMapping(value = "/search")
      public String search(String id){
          UserBean user = userMapper.selectByPrimaryKey(id);
          if (user == null){
              return "user not exists";
          }
          String str = user.getId() + " " + user.getName() + " " + user.getMajor();
          return "search success fully!"+ " The User's information is:" + "\n" + str;
      }
  
      @RequestMapping(value = "/addr")
      String getPort(HttpServletRequest request) {
          return "本次服务器地址 " + request.getLocalAddr();
      }
  }
  

• 准备好这些文件后，构建 sudo docker-compose up --build

  

• 测试接口

  

• 负载均衡

  • 编写爬虫方便查看结果

    import requests
    
    url = 'http://localhost/test/addr'
    num = {}
    for i in range(0,100):
    	      res = requests.get(url)
        if res.text in num:
              	num[res.text] += 1
        else:
            num[res.text] = 0
    

  • 其中default配置与上面相同，为 2:3:5

    

3、使用Docker搭建大数据集群环境

• 首先准备好需要的ubuntu镜像

  

• 为了提高下载速度，换源

  • Dockerfile

    FROM ubuntu
    COPY ./sources.list /etc/apt/sources.list
    

  • sources.list

    # 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释
    deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
    # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
    deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
    # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
    deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
    # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
    deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
    # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
    

• 运行容器

  sudo docker run -it -v /home/hadoop/build:/root/build --name ubuntu ubuntu

• 进入容器后，安装一些工具，以便后续进行

  apt-get update
  apt-get install vim 
  apt-get install ssh 
  

• 开启ssh服务，并让他自启

  /etc/init.d/ssh start 	//此为开启
  vim ~/.bashrc //打开这个文件，添加上面语句即可自动启动
  

• 配置ssh

  cd ~/.ssh	//如果没有这个文件夹，执行一下ssh localhost，再执行这个
  ssh-keygen -t rsa 	//一直按回车即可
  cat id_rsa.pub >> authorized_keys
  

• 安装JDK

  apt install openjdk-8-jdk
  vim ~/.bashrc       //在文件末尾添加以下两行，配置Java环境变量：
  export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
  export PATH=$PATH:$JAVA_HOME/bin
  

• 使配置生效，并查看是否安装成功

  source ~/.bashrc
  java -version #查看是否安装成功
  

  

• 保存配置好的容器映射为镜像

  //可以打开一个新的终端
  sudo docker ps //查看容器id
  sudo docker commit [容器id] 镜像名字
  

• 接下来安装hadoop，把下载好的包挂载到目录中，下载地址推荐

  docker run -it -v /home/hadoop/build:/root/build --name ubuntu-jdk ubuntu/jdk

• 解压hadoop并查看版本

  //在打开的容器里运行
  cd /root/build
  tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local
  cd /usr/local/hadoop-3.2.1
  ./bin/hadoop version
  

  

• 接下来开始配置集群

  cd /usr/local/hadoop-3.2.1/etc/hadoop
  vim hadoop-env.sh #把下面一行代码加入文件
  export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
  

• 修改core-site.xml文件内容

  vim core-site.xml

  • 可以使用%d来快速清除
  • % 是匹配所有行
  • d 是删除的意思

  
  
  
    
      hadoop.tmp.dir
      file:/usr/local/hadoop/tmp
      Abase for other temporary directories.
    
    
      fs.defaultFS
      hdfs://master:9000
    
  
  

• 修改hdfs-site.xml文件内容

  vim hdfs-site.xml

  
  
  
      
          dfs.namenode.name.dir
          file:/usr/local/hadoop/namenode_dir
      
      
          dfs.datanode.data.dir
          file:/usr/local/hadoop/datanode_dir
      
      
          dfs.replication
          3
      
  
  

• 修改mapred-site.xml文件内容

  vim mapred-site.xml

  
  
  
      
          mapreduce.framework.name
          yarn
      
      
          yarn.app.mapreduce.am.env
          HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.1
      
      
          mapreduce.map.env
          HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.1
      
      
          mapreduce.reduce.env
          HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.1
      
  
  

• 修改yarn-site.xml文件内容

  vim yarn-site.xml

  
  
      
          yarn.nodemanager.aux-services
          mapreduce_shuffle
      
      
          yarn.resourcemanager.hostname
          master
      
  
  

• 完成这些步骤之后，再映射得到镜像

  sudo docker commit 容器id ubuntu/hadoop

• 这里要修改脚本，因为 使用root配置时会出现报错

  • 进入脚本文件存放目录：cd /usr/local/hadoop-3.2.1/sbin

  • 为start-dfs.sh和stop-dfs.sh添加以下参数

    HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root
    

  • 为start-yarn.sh和stop-yarn.sh添加以下参数

    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root
    

• 从三个终端分别为ubuntu/hadoop镜像构建容器

  # 第一个终端
  sudo docker run -it -h master --name master ubuntu/hadoop
  # 第二个终端
  sudo docker run -it -h slave01 --name slave01 ubuntu/hadoop
  # 第三个终端
  sudo docker run -it -h slave02 --name slave02 ubuntu/hadoop
  

• 在三个终端里分别对host修改ip，

  vim /etc/hosts	# 根据具体内容修改
  172.17.0.4      master
  172.17.0.5      slave01
  172.17.0.6      slave02
  

  

• 在master节点测试ssh

  ssh slave01
  ssh slave02
  

  
  

• master上的worker文件内容修改为

  vim /usr/local/hadoop-3.2.1/etc/hadoop/workers
  slave01
  slave02
  

• 测试hadoop集群

  #在master上操作
  cd /usr/local/hadoop-3.2.1
  bin/hdfs namenode -format      #首次启动Hadoop需要格式化
  sbin/start-all.sh              #启动所有服务
  jps                            #分别查看三个终端
  

  
  
  
  

• 将hadoop内的一些文件放入hdfs上的input文件夹

  ./bin/hdfs dfs -mkdir -p /user/root/input
  ./bin/hdfs dfs -put ./etc/hadoop/*.xml /user/root/input
  ./bin/hdfs dfs -ls /user/root/input
  

  

• 执行指定的应用程序，查看文件内符合正则表达式的字符串

  ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+'
  

  

• 输出结果

  ./bin/hdfs dfs -cat output/*
  

  

4.问题解决和总结

  问题的解决已分布在各个对应的内容中，就不在重复了。

  这次实验内容很多，最难的还是第二个，对javaweb一无所知，在同学推荐下去大概看了下SpringBoot，而且手头的资料很少，就连对IDEA的使用都花了很多时间（网上找的资料，由于版本不一样导致项目难以进行，只能一步一步试下去）。第一个第三个实验相比第二个花得时间就少了很多，通过这次实验学了很多内容，包括反向代理原理、javaweb的简单部署、hadoop的基本了解，还有IDEA工具的使用。

  什么时候我才能 变强 变得平凡 啊！,这次实验大概花了一天吧，24个小时。