CDH6.3.2集成Apache Flink1.12.0

目录

  • 一、编译Flink
    • 1 下载flink源码
    • 2 增加maven镜像
    • 3 执行编译命令
  • 二、编译parcel
    • 1 下载flink-parcel
    • 2 修改参数
    • 3 复制安装包
    • 4 编译parcel
    • 5 编译csd
    • 6 上传文件
  • 三、CDH集成
    • 1 登录CDH
    • 2 进入Parcel操作界面
    • 3 分配Parcel
    • 4 激活Parcel
    • 5 回主界面
    • 6 添加服务
    • 问题1
        • 报错
        • 解决
    • 问题2
      • 报错
      • 解决
  • 参考资料

版本:
Centos7.6
JDK1.8
Scala2.11
Python2.7
Git1.8.3.1
Apache Maven3.6.3
CDH6.3.2
Apache Flink1.12.0

上述软件需提前安装!!!

一、编译Flink

1 下载flink源码

git clone https://github.com/apache/flink.git
git checkout release-1.12.0

2 增加maven镜像

在maven的setting.xml文件的mirrors标签中增加如下mirror

<mirrors>
        <mirror>
            <id>alimavenid>
            <mirrorOf>centralmirrorOf>
            <name>aliyun mavenname>
            <url>http://maven.aliyun.com/nexus/content/repositories/central/url>
        mirror>
        <mirror>
            <id>alimavenid>
            <name>aliyun mavenname>
            <url>http://maven.aliyun.com/nexus/content/groups/public/url>
            <mirrorOf>centralmirrorOf>
        mirror>
        <mirror>
            <id>centralid>
            <name>Maven Repository Switchboardname>
            <url>http://repo1.maven.org/maven2/url>
            <mirrorOf>centralmirrorOf>
        mirror>
        <mirror>
            <id>repo2id>
            <mirrorOf>centralmirrorOf>
            <name>Human Readable Name for this Mirror.name>
            <url>http://repo2.maven.org/maven2/url>
        mirror>
        <mirror>
            <id>ibiblioid>
            <mirrorOf>centralmirrorOf>
            <name>Human Readable Name for this Mirror.name>
            <url>http://mirrors.ibiblio.org/pub/mirrors/maven2/url>
        mirror>
        <mirror>
            <id>jboss-public-repository-groupid>
            <mirrorOf>centralmirrorOf>
            <name>JBoss Public Repository Groupname>
            <url>http://repository.jboss.org/nexus/content/groups/

你可能感兴趣的:(大数据,#,Apache,Flink,apache,flink,大数据,CDH)