Streampark 入门到生产实践

Streampark 入门到生产实践

  • 1.StreamPark初探
    • 1.1 什么是StreamPark
    • 1.2 Features
    • 1.3 架构
  • 2.环境安装要求
    • 如何插入一段漂亮的代码片
  • 3.安装apache-streampark 最新版
  • 4. 使用教程
      • 4.1配置Flink_home
      • 4.2 git 拉取项目和构建项目
      • 4.3 企业微信告警
      • 4.4 相关参数配置
      • 4.5 相关参数配置yarn-session

1.StreamPark初探

1.1 什么是StreamPark

实时即未来,在实时处理流域 Apache SparkApache Flink 是一个伟大的进步,尤其是 Apache Flink 被普遍认为是下一代大数据流计算引擎, 我们在使用 Flink & Spark 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力诞生了今天的框架 —— StreamPark, 项目的初衷是 —— 让流处理更简单, 使用 StreamPark 开发流处理作业, 可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务,StreamPark 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供了scalajava两套 Api, 并且提供了一个一站式的流处理作业开发管理平台, 从流处理作业开发到上线全生命周期都 做了支持, 是一个一站式的流处理计算平台.

1.2 Features

  • Apache Flink

你可能感兴趣的:(spark开发和机器学习,数据仓库,数据仓库,大数据)