Flink 使用介绍相关文档目录
Flink 使用介绍相关文档目录
安装Kerberos
参见Ambari添加Kerberos支持
Kerberos的使用参见：Kerberos 安装和使用
安装Ranger
安装Ranger前需要安装Infra Solr和MySQL，且允许root用户远程登录。MySQL数据库需要提前创建rangeradmin账户。
Ranger的安装按照向导操作即可，需要注意的配置如下：
MySQL驱动需要通过如下命令配置到Ambari。
ambari-server setup --jdbc-db=mysql --jdbc-driver=/path/to/mysql/com.mysql.jdbc.Driver
安装Ranger后，去Configs -> Ranger Plugin页面，打开HDFS和Yarn Ranger Plugin。之后重启HDFS和Yarn服务。
创建Flink principle和Flink 用户
创建Flink unix 用户
useradd flink
创建Flink的principal
以root用户登录KDC所在的服务器，执行如下命令：
kadmin.local
# 这里的hostname为manager.bigdata
addprinc flink/[email protected]
# 生成keytab
ktadd -norandkey -k path/to/keytabFile.keytab flink/[email protected]
配置Flink 用户的权限
此步骤需要通过Ranger赋予flink用户操作HDFS和提交yarn任务队列的权限。
打开Ranger主页面。HDFS和YARN权限的配置分别在对应栏目的下方。
此处点击my_cluster_hadoop。
点击all-path右侧的修改按钮。在下方的allow conditions中增加flink用户。
同理修改YARN all-queue的配置，加入flink用户。如图所示
Flink配置认证principal
编辑Flink 安装目录的conf/flink-conf.yaml，修改如下三行。
security.kerberos.login.use-ticket-cache: true
security.kerberos.login.keytab: /home/hdfs/flink.manager.bigdata.keytab
security.kerberos.login.principal: flink/[email protected]
测试是否能启动yarn session
执行命令：
bin/yarn-session -s 2 -nm flink_task -jm 1024 -tm 1024 -d
如果没有报错，执行(若没有权限需要先kinit 认证)：
yarn app -list
此处可以找到Flink任务，Flink on Yarn Kerberos配置成功。
如果yarn报timeline service错误，可以将timeline-service禁止。方法为修改yarn的yarn.timeline-service.enabled为false
在开启 Kerberos 认证的 HDP 集群使用Flink和Kafka
上述方法仅能保证Flink任务可以提交到Yarn队列中。如果在Flink任务中使用到了Kafka，仍需要在用户代码中增加Kafka的相关认证逻辑，非常繁琐。
Flink提供了security.kerberos.login.contexts配置项，可以对Zookeeper和Kafka进行认证。这样在代码中直接使用Flink提供的Kafka connector就可以了，不用再编写繁琐的认证过程。
配置的方法 如下：
security.kerberos.login.use-ticket-cache: false
security.kerberos.login.keytab: /path/to/kafka.keytab
security.kerberos.login.principal: [email protected]
# 这里注明Client,KafkaClient，用来认证Zookeeper和Kafka
security.kerberos.login.contexts: Client,KafkaClient
注意：这里认证使用的是kafka这个principal。任务提交到Yarn集群需要kafka身份具有提交到Yarn队列的权限。如果没有，可以使用上一节的方法增加权限。
FAQ
如果按照上面的配置之后仍然出现如下问题：
org.apache.hadoop.security.AccessControlException: SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]
说明Flink没有找到core-site.xml和hdfs-site.xml文件所在路径，需要显式指明。方法为执行：
export HADOOP_CONF_DIR=/path/to/hadoop_conf
然后再提交Flink任务。