Flink异步IO访问mysql和redis

流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a的查询请求(例如在MapFunction中)，然后等待结果返回，在这之前，我们无法发送用户b的查询请求。这是一种同步访问的模式，为了提高性能阿里向Flink提交了异步IO访问第三方存储的方式，大幅度的提升了程序的性能。

这个问题其实是上次遗留的问题,当时是写了scala的mysql的demo但是运行不出结果,然后就写了一个java版本的demo,后来由于比较忙也就没有找这个原因,刚好最近星球里面有人问我redis的异步IO问题,所以就又把之前的demo找出来,找到了问题所在,这篇会分享redis和mysql的scala版本的demo。

想要实现异步IO需要实现这个AsyncFunction这个接口,AsyncFunction又实现了Function接口,然后我们先看一下AsyncFunction这个类。

@PublicEvolving
trait AsyncFunction[IN, OUT] extends Function {

  /**
    * Trigger the async operation for each stream input
    *
    * @param input element coming from an upstream task
    * @param resultFuture to be completed with the result data
    */
  def asyncInvoke(input: IN, resultFuture: ResultFuture[OUT]): Unit

  /**
    * [[AsyncFunction.asyncInvoke]] timeout occurred.
    * By default, the result future is exceptionally completed with