Flink部署--入门

Flink安装部署

standalone模式

在/opt/module/Flink目录下上传flink-1.7.0-bin-hadoop27-scala_2.11.tgz压缩包并解压

[root@node01 Flink]# tar -zxvf flink-1.7.0-bin-hadoop27-scala_2.11.tgz 
#重命名解压后的文件夹
[root@node01 Flink]# mv flink-1.7.0 flink

进入到flink目录下的conf目录，并修改flink-conf.yaml文件

[root@node01 Flink]# cd flink/conf/
[root@node01 conf]# vi flink-conf.yaml

jobmanager.rpc.address: node01
#JobManager运行所在主机的外部地址，可以是
#由任务管理器和任何要连接的客户端访问。这个设置
#仅在独立模式下使用，并可能在作业管理器端被覆盖
#通过指定bin/jobmanager.sh可执行文件的--host<hostname>参数。
#在高可用性模式下，如果使用bin/start-cluster.sh脚本和设置
#conf/masters文件，这将被自动处理。Yarn/Mesos
#根据节点的主机名自动配置主机名
#作业管理器运行。

jobmanager.rpc.port: 6123
#作业管理器可访问的RPC端口。

jobmanager.heap.size: 1024m
#JobManager JVM的堆大小

taskmanager.heap.size: 1024m
#TaskManager JVM的堆大小

taskmanager.numberOfTaskSlots: 1
#每个任务管理器提供的任务槽数。每个插槽运行一个并行管道。

parallelism.default: 1
#用于未指定的程序的并行性和其他并行性。

修改slaves文件

[root@node01 conf]# vi slaves 
# 添加工作节点，我的是伪分布式，只有一台机器
node01

进入到flink目录下的bin目录，启动flink集群

[root@node01 bin]# ./start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host node01.
Starting taskexecutor daemon on host node01.
[root@node01 bin]# jps
8321 StandaloneSessionClusterEntrypoint
8849 Jps
8776 TaskManagerRunner

访问http://node01:8081

编写代码
依赖引入

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.11</artifactId>
            <version>1.7.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.11</artifactId>
            <version>1.7.0</version>
        </dependency>
    </dependencies>
    <build>
    <plugins>
        <!