Doris SQL日志审计部署，以及sql收集输出kafka，后续血缘分析

1，介绍

  Doris 的审计日志插件是一个可选插件。用户可以在运行时安装或卸载这个插件，该插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中，以方便用户通过 SQL 对审计日志进行查看和分析，这里的数据其实是Doris FE log目录下的 fe.audit.log 文件中的数据。

  我们要做的是安装这个插件，然后我们可以通过doris sql去对应的表查询sql语句，也可以通过doris 目录下的fe.audit.log文件将日志接出之后写入外部操作。
  通过filebeat数据接出到kafka，通过flink程序消费解析日志然后分析出血缘关系，这是我们最终的目的。

2，安装Doris 的审计日志插件

  1）参考官网方式，编译得到 auditloader.zip 文件
   审计日志插件 | Apache Doris

  2）修改 fe conf下的配置文件，添加参数，启用plugin框架
       plugin_enable = true

3）auditloader.zip文件上传到fe，解压到/plugins目录
     在fe/plugins 目录下插件一个文件夹，然后auditloader.zip解压进这个文件夹，比如我这里创建文件夹auditdemo ，解压之后的效果：
     

 

  4） plugin.conf 配置文件修改

   plugin.conf 配置信息：

   # 批量的最大大小，默认为 50MB
   max_batch_size=52428800

   # 批量加载的最大间隔，默认为 60 秒
   max_batch_interval_sec=60

   # 加载审计的 Doris FE 主机，默认为 127.0.0.1:8030。
   # 这应该是Stream load 的主机端口
   frontend_host_port=127.0.0.1:8030

   # 审计表的数据库
   database=doris_audit_db__

   # 审计表名，保存审计数据
   table=doris_audit_tbl__

   # 用来连接doris的用户. 此用户必须对审计表具有 LOAD_PRIV 权限.
   user=root

   # 用来连接doris的用户密码
   password=root

 

  5）创建插件表