Flink1.11.0+Kafka2.3.0+MySQL8的快速安装部署

环境准备

本实战演示环节需要安装到Linux虚拟机的服务,包括:

  • Flink 集群:用来运行 Flink 任务。
  • Kafka 集群:用来作为数据源。
  • MySQL 数据库:用来作为结果表。

虚拟机最好是CenOs7以上的版本,这样会支持docker,后续一些组件可以采用docker的方式部署

特别说明

如果我们平时是用本机window编写IDEA,可以不用着急安装虚拟机上面的Flink

Flink 集群安装

  1. 下载 Flink 1.11.0 安装包并解压(解压目录 flink-1.11.0):https://www.apache.org/dist/flink/flink-1.11.0/flink-1.11.0-bin-scala_2.11.tgz
  2. 下载以下依赖 jar 包,并拷贝到 flink-1.11.0/lib/ 目录下。因为我们运行时需要依赖各个 connector 实现。可以在GitHub上面下载 https://github.com/peigenxiao/my-flink-project/tree/master/flinklib
  3. 将 flink-1.11.0/conf/flink-conf.yaml 中的 taskmanager.numberOfTaskSlots 修改成 10,因为我们的演示任务可能会消耗多于1个的 slot。
  4. 执行 flink-1.11.0/bin/start-cluster.sh,启动集群。

运行成功的话,可以在 http://localhost:8081 访问到 Flink Web UI。

Flink1.11.0+Kafka2.3.0+MySQL8的快速安装部署_第1张图片

Kafka 本地集群安装

下载 Kafka 2.3.0 安装包并解压:https://www.apache.org/dist/kafka/2.3.0/kafka_2.11-2.3.0.tgz

  1. 在 flink-sql-submit 目录下运行 ./start-kafka.sh 启动 Kafka 集群。

  2. 在命令行执行 jps,如果看到 Kafka 进程和 QuorumPeerMain 进程即表明启动成功。

MySQL 安装

  • 可以在官方页面下载 MySQL 并安装。
  • 如果有 Docker 环境的话,也可以直接通过 Docker 安装。(通过docker默认安装是8版本的MySQL)
$ docker pull mysql
$ docker run --name mysqldb -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -d mysql

 

因为通过docker默认安装是最新版本的8以上的MySQL,我们一般情况下会使用本机IDEA编写程序测试,相当于要远程访问虚拟机上面的MySQL,所以还需要进一步配置:

MySQL8.0允许外部访问

https://www.cnblogs.com/ningy1009/p/12806748.html

 

你可能感兴趣的:(Flink,docker,mysql,大数据)