cclovezbf

flink1.16读取hive数据存到es 本地和服务器上遇到的问题和解决思路

话不多说直接上官网

Overview | Apache Flink

hive版本 3.1.3000

hadoop 版本 3.1.1.7.1.7

flink 1.16.2

代码很简单我还是贴下


import com.fasterxml.jackson.databind.ObjectMapper
import com.typesafe.config.{Config, ConfigFactory}
import org.apache.flink.api.common.functions.MapFunction
import org.apache.flink.api.connector.sink2.SinkWriter
import org.apache.flink.api.java.utils.ParameterTool
import org.apache.flink.connector.elasticsearch.sink.{Elasticsearch7SinkBuilder, ElasticsearchSink, RequestIndexer}
import org.apache.flink.streaming.api.datastream.{DataStream, SingleOutputStreamOperator}
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment
import org.apache.flink.table.api.{SqlDialect, Table}
import org.apache.flink.table.catalog.hive.HiveCatalog
import org.apache.flink.types.Row
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.security.UserGroupInformation
import org.apache.http.HttpHost
import org.elasticsearch.action.update.UpdateRequest
import org.elasticsearch.common.xcontent.XContentType
import org.slf4j.{Logger, LoggerFactory}

import java.util
import java.util.Base64
import scala.collection.mutable

object Hive2ESProcess {
  private val logger: Logger = LoggerFactory.getLogger(this.getClass.getName)
//  val path = "C:\\Users\\coder\\Desktop\\kerberos\\cdp\\hive-conf"
  //  val hiveConfDir = "C:\\Users\\coder\\Desktop\\kerberos\\cdp\\hive-conf"
  //  //指定hadoop的位置。否则能会报 unknown hosts 错误，能够show databases tables functions 但是不能select
  //  val hadoopConfDir = "C:\\Users\\coder\\Desktop\\kerberos\\cdp\\hive-conf"
  val name = "s2cluster"
  val defaultDatabase = "dwintdata"

  def main(args: Array[String]): Unit = {
    val config: Config = ConfigFactory.load("hive2es.conf")
    val hiveConfig: Config = config.getConfig("hive")
    val esConfig: Config = config.getConfig("es")
    //kbs认证
    kbsAuth(hiveConfig)

    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    val tEnv: StreamTableEnvironment = StreamTableEnvironment.create(env)
    //连接hive
    createHiveCatalog(tEnv, hiveConfig)
    //查询hive数据
    val params: ParameterTool = ParameterTool.fromArgs(args)
    val hiveTable: String = params.get("source", "dwintdata.dw_f_da_enterprise_business_info")
    val index: String = params.get("target", "i_dw_f_da_enterprise_business_info")
    val eid: String = params.get("es.id", "eid")
    logger.info(s"hiveTable=${hiveTable},esIndex=${index}, es.id=${eid}")
    //添加source
    val table: Table = tEnv.sqlQuery("select * from " + hiveTable)
    val value: DataStream[Row] = tEnv.toDataStream(table)
    import collection.JavaConverters._
    val result: SingleOutputStreamOperator[mutable.Map[String, Object]] = value
      .map(new MapFunction[Row, mutable.Map[String, Object]] {
        override def map(r: Row): mutable.Map[String, Object] = {
          val fieldNames: util.Set[String] = r.getFieldNames(true)
          val fields: Set[String] = fieldNames.asScala.toSet[String]
          val map: mutable.Map[String, Object] = mutable.Map[String, Object]()
          for (columnName <- fields) {
            val columnValue: AnyRef = r.getField(columnName)
            map.put(columnName,  if (columnValue == null)null else columnValue.toString)
//            if (columnValue == null) {
//              map.put(columnName, null)
//            } else {
//              map.put(columnName, columnValue.toString)
//            }
          }
          map
        }
      }
    )

    //创建es的index
    def createIndex(element: mutable.Map[String, Object]): UpdateRequest = {
      import collection.JavaConverters._
      var esId=""
      //一个columnValue可能做不了唯一id 需要两个columnValue构建
      val columns: Array[String] = eid.split(",")
      for(column <- columns){
        if (!element.contains(column)) throw new RuntimeException(s"column $column not exists")
        esId=esId+ element(column)
      }
      val json: String =new ObjectMapper().writeValueAsString(element.asJava)
      //这种生成eid问题在于重跑数据 elt_create_time不同 最后encode的结果也不同 只是重跑一遍 数据就会插入两份
//      val eid: String = Base64.getEncoder.encodeToString(json.getBytes)
      val request = new UpdateRequest
      request.index(index)
        .id(esId)
        .doc(json, XContentType.JSON)
        .docAsUpsert(true) //upsert方式
    }

    //添加sink
    val esSink: ElasticsearchSink[mutable.Map[String, Object]] = new Elasticsearch7SinkBuilder[mutable.Map[String, Object]]
      .setBulkFlushMaxActions(1)
      .setHosts(new HttpHost(esConfig.getString("host"), esConfig.getInt("port"), "http"))
      .setConnectionUsername(esConfig.getString("username"))
      .setConnectionPassword(esConfig.getString("password"))
//      .setBulkFlushMaxActions() //设置最大处理数 也就是最多积攒多少个 默认1000
      .setBulkFlushInterval(1000) //flush间隔 默认-1
      .setEmitter((element: mutable.Map[String, Object], context: SinkWriter.Context, indexer: RequestIndexer) => {
        indexer.add(createIndex(element))
      }).build()
    result.sinkTo(esSink)
    env.execute()
  }

  def kbsAuth(config: Config) {
    val keytab: String = config.getString("keytab")
    val principal: String = config.getString("principal")
    val krbPath: String = config.getString("krb5Conf")
    logger.info(s"login as user: $principal with keytab: $keytab")
    System.setProperty("java.security.krb5.conf", krbPath)
    val hadoopConfig: Configuration = new Configuration
    hadoopConfig.set("hadoop.security.authentication", "kerberos")
    try {
      UserGroupInformation.loginUserFromKeytab(principal, keytab)
    } catch {
      case ex: Exception =>
        logger.error("Kerberos login failure, error:", ex)
    }
  }

  def createHiveCatalog(tEnv: StreamTableEnvironment, hiveConfig: Config): Unit = {
    val hiveConf: String = hiveConfig.getString("conf")
//    val hadoopConf: String = hiveConfig.getString("hadoopConf")
    val hiveVersion: String = hiveConfig.getString("version")
    val hive = new HiveCatalog(name, defaultDatabase, hiveConf, hiveVersion)
    tEnv.registerCatalog(name, hive)
    tEnv.useCatalog(name)
    tEnv.getConfig.setSqlDialect(SqlDialect.HIVE)
  }
}

引入的jar

3.1.1.7.1.7.1000-141
1.16.1-csa1.10.0.0

 
        
            junit
            junit
            3.8.1
            test
        
        
            org.apache.flink
            flink-streaming-scala_2.12
            ${flink.version}
        
        
            org.apache.flink
            flink-connector-elasticsearch7
            ${flink.version}
        
        
            org.apache.flink
            flink-clients
            ${flink.version}
        
        
            org.apache.flink
            flink-table-planner_${scala.binary}
            ${flink.version}
        










        
            org.apache.flink
            flink-connector-hive_${scala.binary}
            ${flink.version}
        
        
        
            org.apache.hadoop
            hadoop-client
            ${hadoop.version}
            ${compile.scope}
        
        
        
            org.apache.hive
            hive-exec
            3.1.2

        
        
            com.fasterxml.jackson.core
            jackson-databind
            2.14.2
        
        
            com.fasterxml.jackson.core
            jackson-core
            2.13.4
        
        
            com.fasterxml.jackson.core
            jackson-annotations
            2.13.4

我遇到的问题

1.我最开始在本地运行使用的是3.1.3000.7.1.7.1000-141

也就是和集群hive版本相同的数据，但是报错了！！！！！

报错 Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.exec.RowSchema.getSignature()Ljava/util/ArrayList;

自己看下问题所在

flink代码注意这个返回的是arrayList

hive3.1.3 返回的是List

hive3.1.2 返回的是ArrayList

问题就很简单了 flink1.16就不支持3.1.3 所以我就降版本算球

我也一下子看不出这个问题看了官网发现说是支持3.1.3后面又只写了3.1.2

解决这个问题后本地可以运行也正常了。

然后我上传到服务器的时候，最开始打的全量包，所有依赖都打进去了

hadoop hive flink 结果报错我tm本地服务器认证了几十次了突然就报这个错

这个是flink程序在yml里配置的

这里认证成功了，而我代码里失败了。。。。路径是没有问题的， kinit -kt 成功的

org.apache.hadoop.security.KerberosAuthException: failure to login: for principal: [email protected] from keytab /data/DATA_DIR/share/keytab/hive.keytab javax.security.auth.login.LoginException: Unable to obtain password from user

后面请别人帮忙看，最开始以为是jar的问题，后来也不是，这个问题先跳过，因为不影响后面的

上传后遇到这个问题没法别人说是我hadoop-client 和hive-exec 不需要打，改为provided

结果报错。

报了一个 : org.apache.hadoop.hive.metastore.api.NoSuchObjectException

这不就是没有hive的jar包么。

我当时觉得就是缺少了hive的jar 还想ln-s 把CDH/hive/conf里的jar 引入到flink_home/lib里发现真是错了。

还是得把hive-exec 3.1.2 依赖打进jar里。

现在是hive-exec3.1.2 compile hadoop-client provided的状态，打好jar后又报错了。

报了一个 classnofound org.apache.hadoop.mapred.JobConf 我就真是服了

我本地全部jar能够运行，

服务器flink本身export `hadoop classpath` +我打入的hive-exec3.1.2应该可以呀

没法继续看问题。在本地找到这个jar 属于hadoop-mapreduce-client-core-3.1.1.7.1.7.1046-1.jar

那为啥服务器没有ls -l /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/*core*

发现hadoop classpath 有这个目录，这个目录也有这个jar ，按道理没问题呀

于是我们又要看下flink启动的时候引入了那些jar，flink的启动日志

我们稍微格式化下、发现flink确实没有引入 hadoop-mapreduce包下的数据

Classpath:
 :
enterprise-application-hehe-1.0-SNAPSHOT-jar-with-dependencies.jar:
lib/flink-cep-1.16.2.jar:
lib/flink-connector-files-1.16.2.jar:
lib/flink-csv-1.16.2.jar:
lib/flink-json-1.16.2.jar:
lib/flink-scala_2.12-1.16.2.jar:
lib/flink-shaded-zookeeper-3.5.9.jar:
lib/flink-table-api-java-uber-1.16.2.jar:
lib/flink-table-runtime-1.16.2.jar:
lib/hadoop-mapreduce-client-core-3.1.1.7.1.7.1046-1.jar:  --这个是我自己放到目录的
lib/log4j-1.2-api-2.17.1.jar:
lib/log4j-api-2.17.1.jar:
lib/log4j-core-2.17.1.jar:
lib/log4j-slf4j-impl-2.17.1.jar:
lib/mysql-connector-java-8.0.18.jar:
flink-dist-1.16.2.jar:
flink-conf.yaml:
:
/etc/hadoop/conf.cloudera.yarn:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-auth.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-thrift.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-common-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-ozone-filesystem-hadoop3-1.1.0.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-auth-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/gcs-connector-2.1.2.7.1.7.1046-1-shaded.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-cascading.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-azure.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-common.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-hadoop-bundle.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-annotations.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-generator.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-protobuf.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-format-structures.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-common.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-azure-datalake.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/gcs-connector-shaded.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-scala_2.10.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-pig.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-kms.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-cascading3.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-azure-datalake-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-annotations-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-pig-bundle.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-aws.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-kms-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-nfs.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-aws-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-nfs-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-column.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-common-3.1.1.7.1.7.1046-1-tests.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-common-tests.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-encoding.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/hadoop-azure-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-hadoop.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-jackson.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/parquet-avro.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/zookeeper.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jsr311-api-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/logredactor-2.0.13.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerb-simplekdc-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/aws-java-sdk-bundle-1.11.1026.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jsr305-3.0.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/token-provider-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jetty-security-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/commons-configuration2-2.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jackson-core-2.10.5.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jetty-xml-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jetty-servlet-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/commons-collections-3.2.2.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jersey-server-1.19.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/accessors-smart-2.3.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jackson-core-asl-1.9.13-cloudera.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/paranamer-2.8.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/commons-net-3.6.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/gson-2.2.4.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/asm-5.0.4.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/commons-compress-1.21.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/commons-logging-1.1.3.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jcip-annotations-1.0-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/azure-data-lake-store-sdk-2.3.6.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerb-util-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/commons-math3-3.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerby-xdr-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jackson-databind-2.10.5.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/log4j-1.2.17-cloudera6.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/snappy-java-1.1.7.7.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/curator-recipes-4.3.0.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/re2j-1.2.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/commons-io-2.11.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerb-identity-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/audience-annotations-0.5.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jetty-server-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/commons-beanutils-1.9.4.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerby-pkix-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jaxb-api-2.2.11.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jackson-xc-1.9.13.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/checker-qual-2.8.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/javax.servlet-api-3.1.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jetty-util-ajax-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerb-admin-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/listenablefuture-9999.0-empty-to-avoid-conflict-with-guava.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jersey-core-1.19.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/curator-framework-4.3.0.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/slf4j-api-1.7.30.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jaxb-impl-2.2.3-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jackson-mapper-asl-1.9.13-cloudera.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/commons-lang3-3.8.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerby-util-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/json-smart-2.3.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jettison-1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/commons-cli-1.2.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/ranger-hdfs-plugin-shim-2.1.0.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jetty-util-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/protobuf-java-2.5.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jackson-jaxrs-1.9.13.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerby-asn1-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerb-crypto-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/javax.activation-api-1.2.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerb-core-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/animal-sniffer-annotations-1.18.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/nimbus-jose-jwt-7.9.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/commons-codec-1.14.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/httpclient-4.5.13.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jetty-webapp-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/log4j-api-2.17.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/wildfly-openssl-1.0.7.Final.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jackson-annotations-2.10.5.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/ranger-plugin-classloader-2.1.0.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerb-server-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerb-client-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/slf4j-log4j12.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/stax2-api-3.1.4.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/curator-client-4.3.0.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jsch-0.1.54.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/guava-28.1-jre.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/ranger-yarn-plugin-shim-2.1.0.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/j2objc-annotations-1.3.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jersey-servlet-1.19.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jersey-json-1.19.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/failureaccess-1.0.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/log4j-core-2.17.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/zookeeper-jute.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jetty-io-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/xz-1.8.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/httpcore-4.4.13.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jetty-http-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jsp-api-2.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/jul-to-slf4j-1.7.30.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/netty-all-4.1.68.Final.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/woodstox-core-5.0.3.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerby-config-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/metrics-core-3.2.4.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/kerb-common-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/commons-lang-2.6.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop/lib/avro.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-3.1.1.7.1.7.1046-1-tests.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-rbf.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-httpfs-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-native-client-3.1.1.7.1.7.1046-1-tests.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-native-client.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-client-tests.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-client-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-rbf-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-nfs.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-httpfs.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-client.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-native-client-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-native-client-tests.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-rbf-tests.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-tests.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-rbf-3.1.1.7.1.7.1046-1-tests.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-nfs-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs-client-3.1.1.7.1.7.1046-1-tests.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/hadoop-hdfs.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jsr311-api-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerb-simplekdc-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jsr305-3.0.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/token-provider-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jetty-security-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/commons-configuration2-2.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jackson-core-2.10.5.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jetty-xml-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jetty-servlet-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/okhttp-2.7.5.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/commons-collections-3.2.2.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jersey-server-1.19.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/accessors-smart-2.3.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jackson-core-asl-1.9.13-cloudera.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/paranamer-2.8.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/commons-net-3.6.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/gson-2.2.4.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/asm-5.0.4.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/commons-compress-1.21.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/commons-logging-1.1.3.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jcip-annotations-1.0-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerb-util-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/commons-math3-3.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerby-xdr-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jackson-databind-2.10.5.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/log4j-1.2.17-cloudera6.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/snappy-java-1.1.7.7.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/curator-recipes-4.3.0.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/re2j-1.2.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/commons-io-2.11.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerb-identity-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/audience-annotations-0.5.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jetty-server-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/commons-beanutils-1.9.4.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerby-pkix-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jaxb-api-2.2.11.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jackson-xc-1.9.13.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/checker-qual-2.8.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/javax.servlet-api-3.1.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jetty-util-ajax-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerb-admin-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/listenablefuture-9999.0-empty-to-avoid-conflict-with-guava.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/netty-3.10.6.Final.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jersey-core-1.19.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/leveldbjni-all-1.8.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/curator-framework-4.3.0.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jaxb-impl-2.2.3-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jackson-mapper-asl-1.9.13-cloudera.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/commons-lang3-3.8.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerby-util-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/json-smart-2.3.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jettison-1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/commons-cli-1.2.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jetty-util-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/protobuf-java-2.5.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jackson-jaxrs-1.9.13.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerby-asn1-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerb-crypto-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/javax.activation-api-1.2.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerb-core-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/animal-sniffer-annotations-1.18.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/nimbus-jose-jwt-7.9.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/commons-codec-1.14.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/httpclient-4.5.13.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jetty-webapp-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jackson-annotations-2.10.5.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerb-server-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerb-client-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/avro-1.8.2.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/stax2-api-3.1.4.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/json-simple-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/curator-client-4.3.0.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/zookeeper-3.5.5.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jsch-0.1.54.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/guava-28.1-jre.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/j2objc-annotations-1.3.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jersey-servlet-1.19.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/zookeeper-jute-3.5.5.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/commons-daemon-1.0.13.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jersey-json-1.19.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/failureaccess-1.0.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jetty-io-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/xz-1.8.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/httpcore-4.4.13.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/jetty-http-9.4.40.v20210413.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/netty-all-4.1.68.Final.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/woodstox-core-5.0.3.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerby-config-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/okio-1.6.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/kerb-common-1.1.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-hdfs/lib/commons-lang-2.6.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-services-core.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-nodemanager-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-applications-unmanaged-am-launcher-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-timeline-pluginstorage-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-nodemanager.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-applicationhistoryservice-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-api.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-tests-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-web-proxy-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-applicationhistoryservice.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-common.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-applications-distributedshell.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-services-api-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-timeline-pluginstorage.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-client-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-services-api.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-tests.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-resourcemanager-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-common.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-services-core-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-applications-distributedshell-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-resourcemanager.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-router-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-router.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-sharedcachemanager.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-common-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-registry.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-applications-unmanaged-am-launcher.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-api-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-web-proxy.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-common-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-client.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-registry-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/hadoop-yarn-server-sharedcachemanager-3.1.1.7.1.7.1046-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/jackson-dataformat-yaml-2.10.5.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/swagger-annotations-1.5.4.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/jersey-client-1.19.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/objenesis-1.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/spark-2.4.7.7.1.7.1046-1-yarn-shuffle.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/ehcache-3.3.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/bcpkix-jdk15on-1.60.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/jakarta.activation-api-1.2.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/mssql-jdbc-6.2.1.jre7.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/snakeyaml-1.26.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/dnsjava-2.1.7.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/aopalliance-1.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/HikariCP-java7-2.4.12.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/guice-servlet-4.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/joda-time-2.10.6.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/jackson-jaxrs-base-2.10.5.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/jersey-guice-1.19.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/jackson-jaxrs-json-provider-2.10.5.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/javax.inject-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/json-io-2.5.1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/guice-4.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/fst-2.50.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/bcprov-jdk15on-1.60.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/jna-5.2.0.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/geronimo-jcache_1.0_spec-1.0-alpha-1.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/jakarta.xml.bind-api-2.3.2.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/jackson-module-jaxb-annotations-2.10.5.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/metrics-core-3.2.4.jar:
/opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1046.30409922/lib/hadoop-yarn/lib/java-util-1.9.0.jar

没法自己软链接了一个

ln -s /opt/cloudera/parcels/CDH/jars/hadoop-mapreduce-client-core-3.1.1.7.1.7.1046-1.jar flink_home/lib/

至此问题解决了，服务器也正常了

从解决这个事情学到了什么
1.引入的jar不一样会导致报错 3.1.3->3.1.2,不要觉得源码难，源码写不了，难道还看不了，简单的一个arrayList list还是能看懂的
2.flink本身只有自己的lib目录和 hadoop的部分目录所以缺少的jar还是要自己引入最好是ln -s
3.了解本地和服务器开发的的区别。
4.认证的哪个问题没解决。。。。不舒服

你可能感兴趣的:(flink)

nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
全面指南：用户行为从前端数据采集到实时处理的最佳实践数字沉思营销流量运营系统架构前端内容运营大数据
引言在当今的数据驱动世界，实时数据采集和处理已经成为企业做出及时决策的重要手段。本文将详细介绍如何通过前端JavaScript代码采集用户行为数据、利用API和Kafka进行数据传输、通过Flink实时处理数据的完整流程。无论你是想提升产品体验还是做用户行为分析，这篇文章都将为你提供全面的解决方案。设计一个通用的ClickHouse表来存储用户事件时，需要考虑多种因素，包括事件类型、时间戳、用户信
详解 Flink 的常见部署方式文刀小桂 Flink flink 大数据
一、常见部署模式分类1.按是否依赖外部资源调度1.1Standalone模式独立模式(Standalone)是独立运行的，不依赖任何外部的资源管理平台，只需要运行所有Flink组件服务1.2Yarn模式Yarn模式是指客户端把Flink应用提交给Yarn的ResourceManager,Yarn的ResourceManager会在Yarn的NodeManager上创建容器。在这些容器上，Flink
大数据之flink与hive 星辰_mya 大数据 flink hive
其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
Java中的大数据处理框架对比分析省赚客app开发者 java 开发语言
Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
一文搞懂 Flink Task 数据交互之数据写源码 mn_kw flink 交互 java
一文搞懂FlinkTask数据交互之数据写源码1.RecordWriterOutput2.RecordWriter3.数据分区器ChannelSelector4.数据输出模型ResultPartition5.子模型ResultSubpartition6.本地buffer池LocalBufferPool7.获取buffer8.将buffer添加到ResultSubpartitionFlink重要源码
概率图模型（PGM）综述医学影像处理概率图模型概率图模型综述
RefLink:http://www.sigvc.org/bbs/thread-728-1-1.htmlGraphicalModel的基本类型基本的GraphicalModel可以大致分为两个类别：贝叶斯网络(BayesianNetwork)和马尔可夫随机场(MarkovRandomField)。它们的主要区别在于采用不同类型的图来表达变量之间的关系：贝叶斯网络采用有向无环图(DirectedAc
Python基础知识进阶之正则表达式_头歌python正则表达式进阶前端陈萨龙程序员 python 学习面试
最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
大数据新视界 --大数据大厂之Flink强势崛起：大数据新视界的璀璨明珠青云交大数据新视界 Flink 大数据数据类型实时处理流处理框架对比应用场景数据处理大数据新视界数据库
亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
flink增量检查点降低状态依赖实现的详细步骤 goTsHgo Flink 大数据分布式 flink 大数据
增量检查点启动恢复的时间是很久的，业务上不能接受，所以可以通过降低状态依赖来减少恢复的时间。降低状态依赖尽可能减少状态的复杂性和依赖关系，通过拆分状态或将状态外部化到其他服务中，从而降低恢复的开销。实施措施：将状态分割为更小的单元，减少每次恢复的状态量。使用外部状态存储服务，减少Flink状态后端的负担。拆分状态和将状态外部化到其他服务可以帮助减少作业的状态依赖，从而降低恢复时间和复杂度。以下是详
flink table factory基础知识 loukey_j
一、概述在flink中很多组件都是TableFactory的子类。比如序列化，反序列化，tableSinkFactory,tableSourceFactory.TableFactory是用来创建序列化，反序列器，tableSource和tableSink的工厂。二、TableFactory源码在flink框架中，TableFactory的子类并不是程序员自己随心new出来的。flink的提供给程序
2024年最全使用Python求解方程_python解方程(1)，字节面试官迟到 2401_84569545 程序员 python 学习面试
最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
01-Flink安装部署及入门案例（仅供学习），音视频时代你还不会NDK开发小猪佩琪962 2024年程序员学习 flink 学习大数据
先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵
比较Spark与Flink 傲雪凌霜，松柏长青大数据后端 spark flink 大数据
ApacheSpark和ApacheFlink都是目前非常流行的大数据处理引擎，但它们在架构、处理模式、应用场景等方面有一些显著的区别。下面是二者的对比：1.处理模式Spark:主要支持批处理（BatchProcessing），也能通过SparkStreaming处理流式数据，但SparkStreaming本质上是通过微批（micro-batching）的方式处理流数据，延迟相对较高。SparkS
Apache Flink：实时流处理与批处理的统一框架小码快撩 flink 大数据
导语在大数据处理领域，流处理和批处理是两种主要的处理方式。然而，传统的系统通常将这两者视为独立的任务，需要不同的工具和框架来处理。ApacheFlink是一个开源的流处理框架，它打破了这种界限，提供了一个统一的平台来处理实时流数据和批处理数据。一、基本概念与架构ApacheFlink的基本概念与架构主要包括以下几个核心组成部分：基本概念1.流处理模型：无界流(UnboundedStreams):数
flink独立集群部署嘎子吱吱吱吱 flink hadoop linux
#flink独立集群部署说明安装环境三台服务器47.106.23.1（master）47.112.173.2（worker1）47.115.162.3（worker1）提前装好jdk和ssh,以下操作最好不要用root账号提前下载好flink的包并解压设置三台服务器之间ssh免密登录生成本机秘钥以47.106.23.1为例（其他两台参考本服务器）#生成本机秘钥cd;ssh-keygen-trsa-
Flink的时间与watermarks详解大数据技术与数仓
当我们在使用Flink的时候，避免不了要和时间(time)、水位线(watermarks)打交道，理解这些概念是开发分布式流处理应用的基础。那么Flink支持哪些时间语义？Flink是如何处理乱序事件的？什么是水位线？水位线是如何生成的？水位线的传播方式是什么？让我们带着这些问题来开始本文的内容。时间语义基本概念时间是Flink等流处理中最重要的概念之一，在Flink中Time可以分为三种：Eve
实时数仓之实时数仓架构(Hudi)(1) 2401_84164527 程序员架构
目前比较流行的实时数仓架构有两类，其中一类是以Flink+Doris为核心的实时数仓架构方案；另一类是以湖仓一体架构为核心的实时数仓架构方案。本文针对Flink+Hudi湖仓一体架构进行介绍，这套架构的特点是可以基于一套数据完全实现Lambda架构。实时数仓架构图如下：技术框架Kafka：用于接入数据源；FlinkCDC：如果直接接入业务数据源可以考虑CDC方式，如果通过Kafka缓冲接入业务数据
2024年大数据最新实时数仓之实时数仓架构(Hudi) 2401_84185556 程序员大数据架构
技术框架Kafka：用于接入数据源；FlinkCDC：如果直接接入业务数据源可以考虑CDC方式，如果通过Kafka缓冲接入业务数据可以忽略;Flink：用于数据ETL，包括接入数据、处理数据及输出数据全链路数据计算任务；Spark：用于数据ETL，包括处理数据及输出数据全链路数据计算任务；Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；Doris：O
实时数仓之实时数仓架构(Hudi)(1)，2024年最新熬夜整理华为最新大数据开发笔试题 2401_84181221 程序员架构大数据
+Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；+Doris：OLAP引擎，同步数仓结果模型，对外提供数据服务支持；+Hbase：用来存储维表信息，维表数据来源一部分有Flink加工实时写入，另一部分是从Spark任务生产，其主要作用用来支持FlinkETL处理过程中的LookupJoin功能。这里选用Hbase原因主要因为Table的HbaseC
Flink - CEP kikiki1
Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。大猪为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。准备两台主机10.211.55.11、10.211.55.12对应的hostname为m1.example.com、m2.example.com具体命
chapter01 Java语言概述知识点Note 月下绯烟 Java java 开发语言
JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoopFlinkJAVAEE消息队列rabbitMQdocker数据库redisspringbootspringcloudsshstruts+spring+hibernate过时技术栈很少用JAVA虚拟机jvm分布式微服务高并发常见dos
【无标题】大数据之批处理，流处理，批流一体概念数字天下大数据
批处理批处理是将一定量的数据集合在一起，形成一个数据批次，然后对这个批次中的数据进行处理。Spark和Flink都支持批处理，其中Spark使用的是批处理模型，即将一批数据一次性读入内存，然后对其进行处理，处理完成后再将结果写入磁盘。Flink也支持批处理，但使用的是基于流处理的批处理模式，即将一批数据分成多个数据流进行处理，可以实现更高效的内存管理和更低的延迟。流处理流式处理是一种将数据流式地处
python flink_《Flink官方文档》Python 编程指南测试版 weixin_39846361 python flink
原文链接译者：hjjxd校对：清英Flink中的分析程序实现了对数据集的某些操作(例如，数据过滤，映射，合并，分组)。这些数据最初来源于特定的数据源(例如来自于读文件或数据集合)。操作执行的结果通过数据池以写入数据到(分布式)文件系统或标准输出(例如命令行终端)的形式返回。Flink程序可以运行在不同的环境中，既能够独立运行，也可以嵌入到其他程序中运行。程序可以运行在本地的JVM上，也可以运行在服
flink---window 搞数据的小杰 flink 大数据
Window介绍DataStream:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/datastream/operators/windows/SQL:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/table/
Flink(1.13) 的window机制(一) 万事万物
窗口概述在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数
pyflink 自定义函数 scan724 Flink实时计算 python 开发语言
frompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.common.typeinfoimportTypesfrompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.tableimportStreamTableEnvironmentfrompyfli
flink 问题记录 Jhon_yh flink flink hadoop 大数据
文章目录1.Causedby:java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;JZ)V原因java.util.concurrent.Ex
Pyflink教程(三)：自定义函数 yuxj记录学习学习笔记学习 pyflink
该文章例子pyflink环境是apache-flink==1.13.6Python自定义函数是PyFlinkTableAPI中最重要的功能之一，其允许用户在PyFlinkTableAPI中使用Python语言开发的自定义函数，极大地拓宽了PythonTableAPI的使用范围。简单来说就是有的业务逻辑和需求是sql语句满足不了或太麻烦的，需要用过函数来实现。PythonUDFPythonUDF，即
pyflink 滚动窗口实例菜鸟社长菜鸟的大数据进阶之路大数据进阶之路 kafka big data python flink
写在前头：更多大数据相关精彩内容请进我的知识星球，每周定期更新正篇技术路线：模拟kafka生产者发送数据——>flink对kafka数据实时计算处理——>处理后的数据发送到kafka1、模拟客流数据的生产者，参考https://blog.csdn.net/qq_22611181/article/details/1199002502、flink聚合操作原理介绍，参考https://blog.csdn
springmvc 下 freemarker页面枚举的遍历输出杨白白 enum freemarker
spring mvc freemarker 中遍历枚举 1枚举类型有一个本地方法叫values（），这个方法可以直接返回枚举数组。所以可以利用这个遍历。 enum public enum BooleanEnum { TRUE(Boolean.TRUE, "是"), FALSE(Boolean.FALSE, "否");
实习简要总结 byalias 工作
来白虹不知不觉中已经一个多月了，因为项目还在需求分析及项目架构阶段，自己在这段时间都是在学习相关技术知识，现在对这段时间的工作及学习情况做一个总结：（1）工作技能方面大体分为两个阶段，Java Web 基础阶段和Java EE阶段 1）Java Web阶段在这个阶段，自己主要着重学习了 JSP, Servlet, JDBC, MySQL，这些知识的核心点都过了一遍，也
Quartz——DateIntervalTrigger触发器 eksliang quartz
转载请出自出处：http://eksliang.iteye.com/blog/2208559 一.概述 simpleTrigger 内部实现机制是通过计算间隔时间来计算下次的执行时间，这就导致他有不适合调度的定时任务。例如我们想每天的 1：00AM 执行任务，如果使用 SimpleTrigger，间隔时间就是一天。注意这里就会有一个问题，即当有 misfired 的任务并且恢复执行时，该执行时间
Unix快捷键 18289753290 unix Unix；快捷键;
复制，删除，粘贴： dd:删除光标所在的行 &nbs
获取Android设备屏幕的相关参数酷的飞上天空 android
包含屏幕的分辨率以及屏幕宽度的最大dp 高度最大dp TextView text = (TextView)findViewById(R.id.text); DisplayMetrics dm = new DisplayMetrics(); text.append("getResources().ge
要做物联网？先保护好你的数据蓝儿唯美数据
根据Beecham Research的说法，那些在行业中希望利用物联网的关键领域需要提供更好的安全性。在Beecham的物联网安全威胁图谱上，展示了那些可能产生内外部攻击并且需要通过快速发展的物联网行业加以解决的关键领域。 Beecham Research的技术主管Jon Howes说：“之所以我们目前还没有看到与物联网相关的严重安全事件，是因为目前还没有在大型客户和企业应用中进行部署，也就
Java取模（求余）运算随便小屋 java
整数之间的取模求余运算很好求，但几乎没有遇到过对负数进行取模求余，直接看下面代码： /** * * @author Logic * */ public class Test { public static void main(String[] args) { // TODO A
SQL注入介绍 aijuans sql注入
二、SQL注入范例这里我们根据用户登录页面 <form action="" > 用户名：<input type="text" name="username"><br/> 密码：<input type="password" name="passwor
优雅代码风格 aoyouzi 代码
总结了几点关于优雅代码风格的描述：代码简单：不隐藏设计者的意图，抽象干净利落，控制语句直截了当。接口清晰：类型接口表现力直白，字面表达含义，API 相互呼应以增强可测试性。依赖项少：依赖关系越少越好，依赖少证明内聚程度高，低耦合利于自动测试，便于重构。没有重复：重复代码意味着某些概念或想法没有在代码中良好的体现，及时重构消除重复。战术分层：代码分层清晰，隔离明确，
布尔数组百合不是茶 java 布尔数组
androi中提到了布尔数组; 布尔数组默认的是false, 并且只会打印false或者是true 布尔数组的例子; 根据字符数组创建布尔数组 char[] c = {'p','u','b','l','i','c'}; //根据字符数组的长度创建布尔数组的个数 boolean[] b = new bool
web.xml之welcome-file-list、error-page bijian1013 java web.xml servlet error-page
welcome-file-list 1.定义： <welcome-file-list> <welcome-file>login.jsp</welcome> </welcome-file-list> 2.作用：用来指定WEB应用首页名称。 error-page1.定义： <error-page&g
richfaces 4 fileUpload组件删除上传的文件 sunjing clear Richfaces 4 fileupload
页面代码 <h:form id="fileForm"> <rich:
技术文章备忘 bit1129 技术文章
Zookeeper http://wenku.baidu.com/view/bab171ffaef8941ea76e05b8.html http://wenku.baidu.com/link?url=8thAIwFTnPh2KL2b0p1V7XSgmF9ZEFgw4V_MkIpA9j8BX2rDQMPgK5l3wcs9oBTxeekOnm5P3BK8c6K2DWynq9nfUCkRlTt9uV
org.hibernate.hql.ast.QuerySyntaxException: unexpected token: on near line 1解决方案白糖_ Hibernate
文章摘自：http://blog.csdn.net/yangwawa19870921/article/details/7553181 在编写HQL时，可能会出现这种代码： select a.name,b.age from TableA a left join TableB b on a.id=b.id 如果这是HQL，那么这段代码就是错误的，因为HQL不支持
sqlserver按照字段内容进行排序 bozch 按照内容排序
在做项目的时候，遇到了这样的一个需求：从数据库中取出的数据集，首先要将某个数据或者多个数据按照地段内容放到前面显示，例如:从学生表中取出姓李的放到数据集的前面； select * fro
编程珠玑-第一章-位图排序 bylijinnan java 编程珠玑
import java.io.BufferedWriter; import java.io.File; import java.io.FileWriter; import java.io.IOException; import java.io.Writer; import java.util.Random; public class BitMapSearch {
Java关于==和equals chenbowen00 java
关于==和equals概念其实很简单，一个是比较内存地址是否相同，一个比较的是值内容是否相同。虽然理解上不难，但是有时存在一些理解误区，如下情况： 1、 String a = "aaa"; a=="aaa"; ==> true 2、 new String("aaa")==new String("aaa
[IT与资本]软件行业需对外界投资热情保持警惕 comsci it
我还是那个看法,软件行业需要增强内生动力,尽量依靠自有资金和营业收入来进行经营,避免在资本市场上经受各种不同类型的风险,为企业自主研发核心技术和产品提供稳定,温和的外部环境... 如果我们在自己尚未掌握核心技术之前,企图依靠上市来筹集资金,然后使劲往某个领域砸钱,然
oracle 数据块结构 daizj oracle 块数据块块结构行目录
oracle 数据块是数据库存储的最小单位，一般为操作系统块的N倍。其结构为：块头－－〉空行－－〉数据，其实际为纵行结构。块的标准大小由初始化参数DB_BLOCK_SIZE指定。具有标准大小的块称为标准块（Standard Block）。块的大小和标准块的大小不同的块叫非标准块（Nonstandard Block）。同一数据库中，Oracle9i及以上版本支持同一数据库中同时使用标
github上一些觉得对自己工作有用的项目收集 dengkane github
github上一些觉得对自己工作有用的项目收集技能类 markdown语法中文说明回到顶部全文检索 elasticsearch bigdesk elasticsearch管理插件回到顶部 nosql mapdb 支持亿级别map, list, 支持事务. 可考虑做为缓存使用 C
初二上学期难记单词二 dcj3sjt126com english word
dangerous 危险的 panda 熊猫 lion 狮子 elephant 象 monkey 猴子 tiger 老虎 deer 鹿 snake 蛇 rabbit 兔子 duck 鸭 horse 马 forest 森林 fall 跌倒；落下 climb 爬；攀登 finish 完成；结束 cinema 电影院；电影 seafood 海鲜；海产食品 bank 银行
8、mysql外键(FOREIGN KEY)的简单使用 dcj3sjt126com mysql
一、基本概念 1、MySQL中“键”和“索引”的定义相同，所以外键和主键一样也是索引的一种。不同的是MySQL会自动为所有表的主键进行索引，但是外键字段必须由用户进行明确的索引。用于外键关系的字段必须在所有的参照表中进行明确地索引，InnoDB不能自动地创建索引。 2、外键可以是一对一的，一个表的记录只能与另一个表的一条记录连接，或者是一对多的，一个表的记录与另一个表的多条记录连接。 3、如
java循环标签 Foreach shuizhaosi888 标签 java循环 foreach
1. 简单的for循环 public static void main(String[] args) { for (int i = 1, y = i + 10; i < 5 && y < 12; i++, y = i * 2) { System.err.println("i=" + i + " y="
Spring Security（05）——异常信息本地化 234390216 exception Spring Security 异常信息本地化
异常信息本地化 Spring Security支持将展现给终端用户看的异常信息本地化，这些信息包括认证失败、访问被拒绝等。而对于展现给开发者看的异常信息和日志信息（如配置错误）则是不能够进行本地化的，它们是以英文硬编码在Spring Security的代码中的。在Spring-Security-core-x
DUBBO架构服务端告警Failed to send message Response javamingtingzhao 架构 DUBBO
废话不多说，警告日志如下，不知道有哪位遇到过，此异常在服务端抛出(服务器启动第一次运行会有这个警告)，后续运行没问题，找了好久真心不知道哪里错了。 WARN 2015-07-18 22:31:15,272 com.alibaba.dubbo.remoting.transport.dispatcher.ChannelEventRunnable.run(84)
JS中Date对象中几个用法 leeqq JavaScript Date 最后一天
近来工作中遇到这样的两个需求 1. 给个Date对象，找出该时间所在月的第一天和最后一天 2. 给个Date对象，找出该时间所在周的第一天和最后一天需求1中的找月第一天很简单，我记得api中有setDate方法可以使用使用setDate方法前，先看看getDate var date = new Date(); console.log(date); // Sat J
MFC中使用ado技术操作数据库你不认识的休道人 sql mfc
1.在stdafx.h中导入ado动态链接库 #import"C:\Program Files\Common Files\System\ado\msado15.dll" no_namespace rename("EOF","end")2.在CTestApp文件的InitInstance()函数中domodal之前写::CoIniti
Android Studio加速 rensanning android studio
Android Studio慢、吃内存！启动时后会立即通过Gradle来sync & build工程。（1）设置Android Studio a) 禁用插件 File -> Settings... Plugins 去掉一些没有用的插件。比如：Git Integration、GitHub、Google Cloud Testing、Google Cloud
各数据库的批量Update操作 tomcat_oracle java oracle sql mysql sqlite
MyBatis的update元素的用法与insert元素基本相同，因此本篇不打算重复了。本篇仅记录批量update操作的 sql语句，懂得SQL语句，那么MyBatis部分的操作就简单了。　　注意：下列批量更新语句都是作为一个事务整体执行，要不全部成功，要不全部回滚。 MSSQL的SQL语句　WITH R AS（　　SELECT 'John' as name, 18 as
html禁止清除input文本输入缓存 xp9802 input
多数浏览器默认会缓存input的值，只有使用ctl+F5强制刷新的才可以清除缓存记录。如果不想让浏览器缓存input的值，有2种方法：方法一：在不想使用缓存的input中添加 autocomplete="off"; eg: <input type="text" autocomplete="off" name