本地idea开发flink程序并本地运行读取HDFS文件

        
            org.apache.hadoop
            hadoop-common
            2.7.5
        

        
            org.apache.hadoop
            hadoop-hdfs
            2.7.5
        

1、需要在MAVEN中添加以上依赖。因为只添加的flink依赖不包含HDFS的文件读写,再提交到Flink集群的时候能够读到HDFS的文件,使用为在Flink集群和HDFS整合之后会自动找到HDFS的依赖包。这个选项在flink-conf.yaml中的 fs.hdfs.hadoopconf: $HADOOP_HOME/etc/hadoop

你可能感兴趣的:(flink)