Flink的安装及案例

Flink的安装介绍
Flink有如下目录

进入到conf

进入conf配置文件目录下,主要配置文件维flink-conf.yaml和slaves

配置flink-conf.yaml解析如下:
- jobmanager.rpc.address: localhost1 –jobManager 的IP地址
- jobmanager.rpc.port: 6123 –jobManager 的端口，默认为6123
- jobmanager.heap.mb –jobManager 的JVM heap大小
- taskmanager.heap.mb –taskManager的jvm heap大小设置
- taskmanager.numberOfTaskSlots –taskManager中taskSlots个数，最好设置成work节点的CPU个数相等
- parallelism.default –并行计算数
- fs.default-scheme –文件系统来源
- fs.hdfs.hadoopconf: –hdfs置文件路径
- jobmanager.web.port – jobmanager的页面监控端口

内存管理配置
Flink默认上分配taskmanager.heap.mb配置值得70%留它管理,内存管理让flink批量管理效果很高;并且flink不会出现OutMemoryException的问题,因为flink知道预留多少内存来执行程序；如果flink运行的程序所需要的内存超过了它所管理的内存，Flink就可以利用磁盘；总而言之，flink的内存管理提高了鲁棒性和系统的速度；下面就介绍管理内存的配置文件：

taskmanager.memory.fraction –管理内存的百分比,默认0.7
taskmanager.memory.size –taskManager具体管理内存的大小;此配置重taskmanager.memory.fraction的配置
taskmanager.memory.segment-size –内存管理器所使用的内存缓冲区的大小和网络堆栈字节
taskmanager.memory.preallocate –taskmanager是否启动时管理所有的内存

slaves
slaves中配置节点机器的ip或主机名

启动flink
启动前要把JDK 免密码 配置好,防火墙关闭
启动flink
下面的脚本会在本地节点启动一个 JobManager，然后通过 SSH 连接所有的worker节点（slaves文件中所列的节点），并在每个节点上运行 TaskManager。现在你的 Flink 系统已经启动并运行了。跑在本地节点上的 JobManager 现在会在配置的 RPC 端口上监听并接收任务。

web界面:localhost:8081