大数据流处理引擎和框架大全

大数据流处理框架，应用程序和其他资源的精选列表。

目录

• 流处理引擎
• 流处理库
• 流处理应用
• 物联网
• DSL（特定领域语言）
• 数据管道
• 在线机器学习
• 流式SQL
• 工具包
• 性能基准
• 闭源软件

流处理引擎

• Apache Apex [Java] - 用于大数据流处理和批处理的统一平台。
• Apache Ballista [Rust]-Apache Arrow支持的分布式计算平台。
• Apache Flink [Java]-用于高吞吐量，低延迟的数据流处理的系统，支持状态计算，数据驱动的窗口语义和迭代流处理。
• Apache Heron（incubating） [Java]-来自Twitter的实时，分布式，容错流处理引擎。
• Apache Samza [Scala / Java]-基于Kafka（消息，存储）和YARN（容错，处理器隔离，安全性和资源管理）构建的分布式流处理框架。
• Apache Spark Streaming [Scala]-使构建可伸缩的容错流应用程序变得容易。
• Apache Storm [Clojure / Java]-分布式实时计算系统。Storm是流处理，而Hadoop是批处理。
• AthenaX [Java]-在生产环境运行的Uber流分析框架。
• Faust [Python]-流处理库，将Kafka Streams的工作原理用Python实现。
• Gearpump [Scala]-建立在Akka上的轻量级实时分布式流引擎。
• Hazelcast Jet [Java]-基于Hazelcast构建的通用分布式数据处理引擎。
• hailstorm [Haskell]-基于Storm的具有一次精确语义的分布式流处理。
• Maki Nage [Python]-基于Kafka和ReactiveX的，面向数据科学家的流处理框架。
• mantis[Java]-Netflix建立的实时流处理应用平台。
• mupd8（muppet） [Scala / Java]-用于处理快速/流数据的mapReduce样式的框架。
• Onyx [Clojure]-分布式，无主控，高性能，容错数据处理。
• s4 [Java]-通用，分布式，可伸缩，高容错，可插拔的平台，允许程序员轻松开发用于处理连续无限制数据流的应用程序。
• SABRE [Java / C