雾岛与鲸

使用Spark操作Hudi

开发环境:
hadoop 2.7.6
hive 2.3.7
spark 2.4.5

1、pom文件

  <repositories>
    <repository>
      <id>maven-aliid>
      <url>http://maven.aliyun.com/nexus/content/groups/public//url>
      <releases>
        <enabled>trueenabled>
      releases>
      <snapshots>
        <enabled>trueenabled>
        <updatePolicy>alwaysupdatePolicy>
        <checksumPolicy>failchecksumPolicy>
      snapshots>
    repository>
  repositories>

  <dependencies>
    <dependency>
      <groupId>org.apache.hudigroupId>
      <artifactId>hudi-clientartifactId>
      <version>0.5.3version>
    dependency>

    <dependency>
      <groupId>org.apache.hudigroupId>
      <artifactId>hudi-hiveartifactId>
      <version>0.5.3version>
    dependency>

    <dependency>
      <groupId>org.apache.hudigroupId>
      <artifactId>hudi-spark-bundle_2.11artifactId>
      <version>0.5.3version>
    dependency>

    <dependency>
      <groupId>org.apache.hudigroupId>
      <artifactId>hudi-commonartifactId>
      <version>0.5.3version>
    dependency>

    <dependency>
      <groupId>org.apache.hudigroupId>
      <artifactId>hudi-hadoop-mr-bundleartifactId>
      <version>0.5.3version>
    dependency>

    
    <dependency>
      <groupId>org.apache.sparkgroupId>
      <artifactId>spark-core_2.11artifactId>
      <version>2.4.5version>
    dependency>
    <dependency>
      <groupId>org.apache.sparkgroupId>
      <artifactId>spark-sql_2.11artifactId>
      <version>2.4.5version>
    dependency>
    <dependency>
      <groupId>org.apache.sparkgroupId>
      <artifactId>spark-hive_2.11artifactId>
      <version>2.4.5version>
    dependency>
    <dependency>
      <groupId>org.apache.sparkgroupId>
      <artifactId>spark-avro_2.11artifactId>
      <version>2.4.5version>
    dependency>
    <dependency>
      <groupId>org.apache.hadoopgroupId>
      <artifactId>hadoop-clientartifactId>
      <version>2.7.2version>
    dependency>
    <dependency>
      <groupId>com.alibabagroupId>
      <artifactId>fastjsonartifactId>
      <version>1.2.47version>
    dependency>
    <dependency>
      <groupId>org.apache.sparkgroupId>
      <artifactId>spark-hive_2.11artifactId>
      <version>2.4.5version>
    dependency>
    <dependency>
      <groupId>org.spark-project.hivegroupId>
      <artifactId>hive-jdbcartifactId>
      <version>1.2.1.spark2version>
    dependency>

  dependencies>

2、模拟数据工具类

import java.io.{BufferedWriter, File, FileWriter}
import scala.util.Random

case class DwsMember(uid: Int,
                     ad_id: Int,
                     var fullname: String,
                     iconurl: String,
                     dt: String,
                     dn: String
                    )

object GenDataUtils {

  def main(args: Array[String]): Unit = {

    val writeFile = new File("text.txt")
    val writer = new BufferedWriter(new FileWriter(writeFile))

    for(i <- 1 to 10){

      val dwsMember = DwsMember(i, Random.nextInt(i),
        s"spark_hudi_${Random.nextInt(5)}",
        s"www.baidu_${randomString(10)}.com",
        "2021-03-04",        // 后面这两个属于分区
        s"dept_${Random.nextInt(10)}"
      )
      println(GsonUtil.toJson(dwsMember))
      writer.write(GsonUtil.toJson(dwsMember)+"\n")
    }

    writer.close()

  }

  /**
   * 生成随机字符串
   * @param len 长度
   * @return
   */
  def randomString(len: Int): String = {
    val rand = new scala.util.Random(System.nanoTime)
    val sb = new StringBuilder(len)
    val ab = "0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz"
    for (i <- 0 until len) {
      sb.append(ab(rand.nextInt(ab.length)))
    }
    sb.toString
  }
}

3、配置文件

将集群配置文件复制到resources文件夹下，使本地环境可以访问hadoop集群

4、Hudi写Hdfs

import com.google.gson.Gson
import com.zyh.bean.DwsMember
import org.apache.hudi.DataSourceReadOptions
import org.apache.spark.sql.{SaveMode, SparkSession}


object HoodieDataSourceExample {

  def main(args: Array[String]): Unit = {

    val sparkSession = SparkSession
      .builder()
      .appName("dwd_member_import")
      .master("local[*]")
      .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
      .enableHiveSupport()
      .getOrCreate()


    val ssc = sparkSession.sparkContext
    ssc.hadoopConfiguration.set("fs.defaultFS", "hdfs://localhost:8020")
    ssc.hadoopConfiguration.set("dfs.nameservices", "localhost")

    // insertData(sparkSession)
    // queryData(sparkSession)
    // updateData(sparkSession)
    // incrementalQuery(sparkSession)
    // pointInTimeQuery(sparkSession)
  }


  /**
   * 读取hdfs日志文件通过hudi写入hdfs
   * @param sparkSession
   */
  def insertData(sparkSession: SparkSession) = {

    import org.apache.spark.sql.functions._
    import sparkSession.implicits._

    val commitTime = System.currentTimeMillis().toString //生成提交时间
    val df = sparkSession.read.text("/user/test/ods/member.log")
      .mapPartitions(partitions => {
        val gson = new Gson
        partitions.map(item => {
          gson.fromJson(item.getString(0), classOf[DwsMember])
        })
      })

    val result = df.withColumn("ts", lit(commitTime)) //添加ts 时间戳列
      .withColumn("uuid", col("uid"))       //添加uuid 列 如果数据中uuid相同hudi会进行去重
      .withColumn("hudipartition", concat_ws("/", col("dt"), col("dn"))) //增加hudi分区列

    result.write.format("org.apache.hudi")
      //      .options(org.apache.hudi.QuickstartUtils.getQuickstartWriteConfigs)
      .option("hoodie.insert.shuffle.parallelism", 12)
      .option("hoodie.upsert.shuffle.parallelism", 12)
      .option("PRECOMBINE_FIELD_OPT_KEY", "ts")  //指定提交时间列
      .option("RECORDKEY_FIELD_OPT_KEY", "uuid") //指定uuid唯一标示列
      .option("hoodie.table.name", "testTable")
      //      .option(DataSourceWriteOptions.DEFAULT_PARTITIONPATH_FIELD_OPT_VAL, "dt") //  发现api方式不起作用 分区列
      .option("hoodie.datasource.write.partitionpath.field", "hudipartition") //分区列
      .mode(SaveMode.Overwrite)
      .save("/user/zyh/hudi")
  }

查看hdfs目录 /user/zyh/hudi :

5、查询hdfs上的hudi数据

/**
   * 查询hdfs上的hudi数据
   * @param sparkSession
   */
  def queryData(sparkSession: SparkSession) = {
    val df = sparkSession.read.format("org.apache.hudi")
      .load("/user/zyh/hudi/*/*")

    // 执行sql, 需要启动hive
    df.createOrReplaceTempView("hudi_trips_snapshot")
    sparkSession.sql(
      """
        |select * from hudi_trips_snapshot
        |where uuid <= 10
        |""".stripMargin).show()
    // df.show()
  }

查询结果:

+-------------------+--------------------+------------------+----------------------+--------------------+---+-----+------------+--------------------+----------+--------+-------------+----+-------------------+
|_hoodie_commit_time|_hoodie_commit_seqno|_hoodie_record_key|_hoodie_partition_path|   _hoodie_file_name|uid|ad_id|    fullname|             iconurl|        dt|      dn|           ts|uuid|      hudipartition|
+-------------------+--------------------+------------------+----------------------+--------------------+---+-----+------------+--------------------+----------+--------+-------------+----+-------------------+
|     20220307112306|  20220307112306_0_1|                 9|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  9|    7|spark_hudi_1|www.baidu_NobsixQ...|2021-03-04|dept_555|1646623382412|   9|2021-03-04/dept_555|
|     20220307112306|  20220307112306_0_2|                 4|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  4|    1|spark_hudi_0|www.baidu_poUl3kG...|2021-03-04|dept_555|1646623382412|   4|2021-03-04/dept_555|
|     20220307112306|  20220307112306_0_3|                 6|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  6|    5|spark_hudi_3|www.baidu_EToGOeF...|2021-03-04|dept_555|1646623382412|   6|2021-03-04/dept_555|
|     20220307112306|  20220307112306_0_4|                 1|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  1|    0|spark_hudi_3|www.baidu_jVe5qFR...|2021-03-04|dept_555|1646623382412|   1|2021-03-04/dept_555|
|     20220307112306|  20220307112306_0_5|                 8|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  8|    6|spark_hudi_3|www.baidu_3QIQkmT...|2021-03-04|dept_555|1646623382412|   8|2021-03-04/dept_555|
|     20220307112306|  20220307112306_0_6|                 3|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  3|    0|spark_hudi_1|www.baidu_y8Iy34C...|2021-03-04|dept_555|1646623382412|   3|2021-03-04/dept_555|
|     20220307112306|  20220307112306_0_7|                 5|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  5|    3|spark_hudi_0|www.baidu_805Kokn...|2021-03-04|dept_555|1646623382412|   5|2021-03-04/dept_555|
|     20220307112306|  20220307112306_0_8|                10|   2021-03-04/dept_555|c62c0c00-3690-4e6...| 10|    9|spark_hudi_3|www.baidu_JLTvL1M...|2021-03-04|dept_555|1646623382412|  10|2021-03-04/dept_555|
|     20220307112306|  20220307112306_0_9|                 7|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  7|    5|spark_hudi_1|www.baidu_qmvx6sB...|2021-03-04|dept_555|1646623382412|   7|2021-03-04/dept_555|
|     20220307112306| 20220307112306_0_10|                 2|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  2|    1|spark_hudi_2|www.baidu_n1tM4fJ...|2021-03-04|dept_555|1646623382412|   2|2021-03-04/dept_555|
+-------------------+--------------------+------------------+----------------------+--------------------+---+-----+------------+--------------------+----------+--------+-------------+----+-------------------+

6、修改hdfs上的hudi数据

另外生成10条数据，上传hdfs

def updateData(sparkSession: SparkSession) = {
    import org.apache.spark.sql.functions._
    import sparkSession.implicits._
    val commitTime = System.currentTimeMillis().toString //生成提交时间
    val df = sparkSession.read.text("/user/test/ods/member2.log")
      .mapPartitions(partitions => {
        val gson = new Gson
        partitions.map(item => {
          gson.fromJson(item.getString(0), classOf[DwsMember])
        })
      })
    val result = df.withColumn("ts", lit(commitTime)) //添加ts 时间戳列
      .withColumn("uuid", col("uid")) //添加uuid 列 如果数据中uuid相同hudi会进行去重
      .withColumn("hudipartition", concat_ws("/", col("dt"), col("dn"))) //增加hudi分区列

    result.write.format("org.apache.hudi")
      //      .options(org.apache.hudi.QuickstartUtils.getQuickstartWriteConfigs)
      .option("hoodie.insert.shuffle.parallelism", 12)
      .option("hoodie.upsert.shuffle.parallelism", 12)
      .option("PRECOMBINE_FIELD_OPT_KEY", "ts")  //指定提交时间列
      .option("RECORDKEY_FIELD_OPT_KEY", "uuid") //指定uuid唯一标示列
      .option("hoodie.table.name", "testTable")
      //      .option(DataSourceWriteOptions.DEFAULT_PARTITIONPATH_FIELD_OPT_VAL, "dt") //  发现api方式不起作用 分区列
      .option("hoodie.datasource.write.partitionpath.field", "hudipartition") //分区列
      .mode(SaveMode.Append)
      .save("/user/zyh/hudi")
  }

虽然代码操作和新增一样只是修改了插入模式为append, 但是hudi会根据 uuid 判断进行更新数据，操作完毕后，生成一份最新的修改后的数据，同时hdfs 路径上写入一份数据。

查询数据, 表中提交时间发生了变化:

+-------------------+--------------------+------------------+----------------------+--------------------+---+-----+------------+--------------------+----------+--------+-------------+----+-------------------+
|_hoodie_commit_time|_hoodie_commit_seqno|_hoodie_record_key|_hoodie_partition_path|   _hoodie_file_name|uid|ad_id|    fullname|             iconurl|        dt|      dn|           ts|uuid|      hudipartition|
+-------------------+--------------------+------------------+----------------------+--------------------+---+-----+------------+--------------------+----------+--------+-------------+----+-------------------+
|     20220307112631|  20220307112631_0_1|                 9|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  9|    8|spark_hudi_4|www.baidu_SRovjgs...|2021-03-04|dept_555|1646623586500|   9|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_2|                 4|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  4|    0|spark_hudi_1|www.baidu_jiSM0oC...|2021-03-04|dept_555|1646623586500|   4|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_3|                 6|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  6|    2|spark_hudi_1|www.baidu_O3S0YnZ...|2021-03-04|dept_555|1646623586500|   6|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_4|                 1|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  1|    0|spark_hudi_1|www.baidu_MqF7avB...|2021-03-04|dept_555|1646623586500|   1|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_5|                 8|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  8|    4|spark_hudi_4|www.baidu_HU0td3F...|2021-03-04|dept_555|1646623586500|   8|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_6|                 3|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  3|    1|spark_hudi_2|www.baidu_f8neGOp...|2021-03-04|dept_555|1646623586500|   3|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_7|                 5|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  5|    2|spark_hudi_1|www.baidu_BOYBqAQ...|2021-03-04|dept_555|1646623586500|   5|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_8|                10|   2021-03-04/dept_555|c62c0c00-3690-4e6...| 10|    6|spark_hudi_0|www.baidu_17CF5VH...|2021-03-04|dept_555|1646623586500|  10|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_9|                 7|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  7|    2|spark_hudi_2|www.baidu_f1Da431...|2021-03-04|dept_555|1646623586500|   7|2021-03-04/dept_555|
|     20220307112631| 20220307112631_0_10|                 2|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  2|    1|spark_hudi_1|www.baidu_4hZECat...|2021-03-04|dept_555|1646623586500|   2|2021-03-04/dept_555|
+-------------------+--------------------+------------------+----------------------+--------------------+---+-----+------------+--------------------+----------+--------+-------------+----+-------------------+

注: 只有同一个分区的uuid，数据才会被更新

7、增量查询

def incrementalQuery(sparkSession: SparkSession) = {
    val beginTime = 20220307104004L
    val df = sparkSession.read.format("org.apache.hudi")
      .option(DataSourceReadOptions.QUERY_TYPE_OPT_KEY, DataSourceReadOptions.QUERY_TYPE_INCREMENTAL_OPT_VAL) //指定模式为增量查询
      .option(DataSourceReadOptions.BEGIN_INSTANTTIME_OPT_KEY, beginTime) //设置开始查询的时间戳  不需要设置结束时间戳
      .load("/user/zyh/hudi")
    df.show()
    println(df.count())
  }

根据 _hoodie_commit_time 时间进行查询，查询增量修改数据，注意参数 beginTime 是和 _hoodie_commit_time 对比，而不是和ts对比。如果 beginTime 比 _hoodie_commit_time 大，就会过滤掉全部数据。

查询结果:

+-------------------+--------------------+------------------+----------------------+--------------------+---+-----+------------+--------------------+----------+--------+-------------+----+-------------------+
|_hoodie_commit_time|_hoodie_commit_seqno|_hoodie_record_key|_hoodie_partition_path|   _hoodie_file_name|uid|ad_id|    fullname|             iconurl|        dt|      dn|           ts|uuid|      hudipartition|
+-------------------+--------------------+------------------+----------------------+--------------------+---+-----+------------+--------------------+----------+--------+-------------+----+-------------------+
|     20220307112631|  20220307112631_0_1|                 9|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  9|    8|spark_hudi_4|www.baidu_SRovjgs...|2021-03-04|dept_555|1646623586500|   9|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_2|                 4|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  4|    0|spark_hudi_1|www.baidu_jiSM0oC...|2021-03-04|dept_555|1646623586500|   4|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_3|                 6|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  6|    2|spark_hudi_1|www.baidu_O3S0YnZ...|2021-03-04|dept_555|1646623586500|   6|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_4|                 1|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  1|    0|spark_hudi_1|www.baidu_MqF7avB...|2021-03-04|dept_555|1646623586500|   1|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_5|                 8|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  8|    4|spark_hudi_4|www.baidu_HU0td3F...|2021-03-04|dept_555|1646623586500|   8|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_6|                 3|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  3|    1|spark_hudi_2|www.baidu_f8neGOp...|2021-03-04|dept_555|1646623586500|   3|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_7|                 5|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  5|    2|spark_hudi_1|www.baidu_BOYBqAQ...|2021-03-04|dept_555|1646623586500|   5|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_8|                10|   2021-03-04/dept_555|c62c0c00-3690-4e6...| 10|    6|spark_hudi_0|www.baidu_17CF5VH...|2021-03-04|dept_555|1646623586500|  10|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_9|                 7|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  7|    2|spark_hudi_2|www.baidu_f1Da431...|2021-03-04|dept_555|1646623586500|   7|2021-03-04/dept_555|
|     20220307112631| 20220307112631_0_10|                 2|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  2|    1|spark_hudi_1|www.baidu_4hZECat...|2021-03-04|dept_555|1646623586500|   2|2021-03-04/dept_555|
+-------------------+--------------------+------------------+----------------------+--------------------+---+-----+------------+--------------------+----------+--------+-------------+----+-------------------+

10

8、指定特定时间查询

def pointInTimeQuery(sparkSession: SparkSession) = {
    val beginTime = 20220307103005L
    val endTime = 20220307112731L
    val df = sparkSession.read.format("org.apache.hudi")
      .option(DataSourceReadOptions.QUERY_TYPE_OPT_KEY, DataSourceReadOptions.QUERY_TYPE_INCREMENTAL_OPT_VAL) //指定模式为增量查询
      .option(DataSourceReadOptions.BEGIN_INSTANTTIME_OPT_KEY, beginTime) //设置开始查询的时间戳
      .option(DataSourceReadOptions.END_INSTANTTIME_OPT_KEY, endTime)
      .load("/user/zyh/hudi")

    df.show()
    println(df.count())
  }

查询结果:

+-------------------+--------------------+------------------+----------------------+--------------------+---+-----+------------+--------------------+----------+--------+-------------+----+-------------------+
|_hoodie_commit_time|_hoodie_commit_seqno|_hoodie_record_key|_hoodie_partition_path|   _hoodie_file_name|uid|ad_id|    fullname|             iconurl|        dt|      dn|           ts|uuid|      hudipartition|
+-------------------+--------------------+------------------+----------------------+--------------------+---+-----+------------+--------------------+----------+--------+-------------+----+-------------------+
|     20220307112631|  20220307112631_0_1|                 9|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  9|    8|spark_hudi_4|www.baidu_SRovjgs...|2021-03-04|dept_555|1646623586500|   9|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_2|                 4|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  4|    0|spark_hudi_1|www.baidu_jiSM0oC...|2021-03-04|dept_555|1646623586500|   4|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_3|                 6|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  6|    2|spark_hudi_1|www.baidu_O3S0YnZ...|2021-03-04|dept_555|1646623586500|   6|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_4|                 1|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  1|    0|spark_hudi_1|www.baidu_MqF7avB...|2021-03-04|dept_555|1646623586500|   1|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_5|                 8|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  8|    4|spark_hudi_4|www.baidu_HU0td3F...|2021-03-04|dept_555|1646623586500|   8|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_6|                 3|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  3|    1|spark_hudi_2|www.baidu_f8neGOp...|2021-03-04|dept_555|1646623586500|   3|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_7|                 5|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  5|    2|spark_hudi_1|www.baidu_BOYBqAQ...|2021-03-04|dept_555|1646623586500|   5|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_8|                10|   2021-03-04/dept_555|c62c0c00-3690-4e6...| 10|    6|spark_hudi_0|www.baidu_17CF5VH...|2021-03-04|dept_555|1646623586500|  10|2021-03-04/dept_555|
|     20220307112631|  20220307112631_0_9|                 7|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  7|    2|spark_hudi_2|www.baidu_f1Da431...|2021-03-04|dept_555|1646623586500|   7|2021-03-04/dept_555|
|     20220307112631| 20220307112631_0_10|                 2|   2021-03-04/dept_555|c62c0c00-3690-4e6...|  2|    1|spark_hudi_1|www.baidu_4hZECat...|2021-03-04|dept_555|1646623586500|   2|2021-03-04/dept_555|
+-------------------+--------------------+------------------+----------------------+--------------------+---+-----+------------+--------------------+----------+--------+-------------+----+-------------------+

10

WPF中的ComboBox控件几种数据绑定的方式互联网打工人no1 wpf c#
一、用字典给ItemsSource赋值（此绑定用的地方很多，建议熟练掌握）在XMAL中：在CS文件中privatevoidBindData(){DictionarydicItem=newDictionary();dicItem.add(1,"北京");dicItem.add(2,"上海");dicItem.add(3,"广州");cmb_list.ItemsSource=dicItem;cmb_l
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
Linux MariaDB使用OpenSSL安装SSL证书 Meta39 MySQL Oracle MariaDB Linux Windows ssl linux mariadb
进入到证书存放目录，批量删除.pem证书警告：确保已经进入到证书存放目录find.-typef-iname\*.pem-delete查看是否安装OpenSSLopensslversion没有则安装yuminstallopensslopenssl-devel开启SSL编辑/etc/my.cnf文件（没有的话就创建，但是要注意，在/etc/my.cnf.d/server.cnf配置了datadir的，
网络编程基础记得开心一点啊网络
目录♫什么是网络编程♫Socket套接字♪什么是Socket套接字♪数据报套接字♪流套接字♫数据报套接字通信模型♪数据报套接字通讯模型♪DatagramSocket♪DatagramPacket♪实现UDP的服务端代码♪实现UDP的客户端代码♫流套接字通信模型♪流套接字通讯模型♪ServerSocket♪Socket♪实现TCP的服务端代码♪实现TCP的客户端代码♫什么是网络编程网络编程，指网络上
K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习 K近邻
importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
4.C_数据结构_队列荣世蓥数据结构数据结构
概述什么是队列：队列是限定在两端进行插入操作和删除操作的线性表。具有先入先出(FIFO)的特点相关名词：队尾：写入数据的一段队头：读取数据的一段空队：队列中没有数据，队头指针=队尾指针满队：队列中存满了数据，队尾指针+1=队头指针循环队列1、基本内容循环队列是以数组形式构成的队列数据结构。循环队列的结构体如下：typedefintdata_t;//队列数据类型#defineN64//队列容量typ
vue项目element-ui的table表格单元格合并酋长哈哈 vue.js elementui javascript 前端
一、合并效果二全部代码exportdefault{name:'CellMerge',data(){return{tableData:[{id:'1',name:'王小虎',amount1:'165',amount2:'3.2',amount3:10},{id:'1',name:'王小虎',amount1:'162',amount2:'4.43',amount3:12},{id:'1',name:'
python tif转png Python与遥感 python 开发语言
importosfromosgeoimportgdalimportnumpyasnpfromPILimportImage#提取432三波段fromspectralimport*#输入文件夹路径defget_img(dataset_img):width=dataset_img.RasterXSize#获取行列数height=dataset_img.RasterYSizebands=dataset_i
MongoDB知识概括 GeorgeLin98 持久层 mongodb
MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
Vue中table合并单元格用法 weixin_30613343 javascript ViewUI
地名结果人名性别{{item.name}}已完成未完成{{item.groups[0].name}}{{item.groups[0].sex}}{{item.groups[son].name}}{{item.groups[son].sex}}exportdefault{data(){return{list:[{name:'地名1',result:'1',groups:[{name:'张三',sex
uniapp map组件自定义markers标记点以对_ uni-app学习记录 uni-app javascript 前端
需求是根据后端返回数据在地图上显示标记点，并且根据数据状态控制标记点颜色，标记点背景通过两张图片实现控制{{item.options.labelName}}exportdefault{data(){return{storeIndex:0,locaInfo:{longitude:120.445172,latitude:36.111387},markers:[//标点列表{id:1,//标记点idin
放松的一天 4da9b7687fa0
20190325总结起床07:20图片发自App睡觉:23:00天气:晴今日任务清单学习·信息·阅读•水滴阅读Day40Alice’sAdventuresinWonderlandChapter6.2图片发自App•BBC跟读训练营Day24图片发自App图片发自App图片发自App•潘多拉口语训练营Day6Wow.Whatabigboy!•文化知识学习今日无•阅读时间地狱健康·饮食·锻炼•饮食目标
博客网站制作教程 2401_85194651 java maven
首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
vue + Element UI table动态合并单元格我家媳妇儿萌哒哒 element UI vue.js 前端 javascript
一、功能需求1、根据名称相同的合并工作阶段和主要任务合并这两列，但主要任务内容一样，但要考虑主要任务一样，但工作阶段不一样的情况。（枞向合并）2、落实情况里的定量内容和定性内容值一样则合并。（横向合并）二、功能实现exportdefault{data(){return{tableData:[{name:'a',address:'1',age:'1',six:'2'},{name:'a',addre
Python实现TIFF 文件转换为 PNG 和 JPG 格式 sand&wich python 开发语言
在日常的图像处理工作中，可能会遇到需要将TIFF格式的图像转换为其他格式的情况，例如PNG和JPG。下面，本文将介绍如何使用Python和GDAL库实现这一功能。准备工作在开始之前，请确保已经安装了必要的库：GDAL（GeospatialDataAbstractionLibrary）可以使用以下命令安装GDAL：pipinstallgdal代码实现以下是一个将TIFF文件转换为PNG文件的示例代码
使用datepicker和uploadify的冲突解决（IE双击才能打开附件上传对话框） zhanglb12
在开发的过程当中，IE的兼容无疑是我们的一块绊脚石，在我们使用的如期的datepicker插件和使用上传附件的uploadify插件的时候，两者就产生冲突，只要点击过时间的插件，uploadify上传框要双才能打开ie浏览器提示错误Missinginstancedataforthisdatepicker解决方案//if(.browser.msie&&'9.0'===.browser.version
golang获取用户输入的几种方式余生逆风飞翔 golang 开发语言后端
一、定义结构体typeUserInfostruct{Namestring`json:"name"`Ageint`json:"age"`Addstring`json:"add"`}typeReturnDatastruct{Messagestring`json:"message"`Statusstring`json:"status"`DataUserInfo`json:"data"`}二、get请求的
【Java】已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException 屿小夏 java 开发语言
文章目录一、分析问题背景问题背景描述出现问题的场景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException在使用Spring框架进行开发时，数据源的配置和使用是非常关键的一环。然而，有时候我们可能会遇到org.springframewo
el-table实现全选整表，单元一页复选框功能周bro vue.js elementui javascript 前端
全选整表单选一页0":popper-append-to-body="false":total="tableData.length":page-size="pageObj.pagesize":page-sizes="[10,50,100]"layout="total,sizes,prev,pager,next"@size-change="handleSizeChange"@current-chang
Vue + Express实现一个表单提交九旬大爷的梦
最近在折腾一个cms系统，用的vue+express，但是就一个表单提交就弄了好久，记录一下。环境：Node10+前端：Vue服务端：Express依赖包：vueexpressaxiosexpress-formidableelement-ui（可选）前言：axiosget请求参数是：paramsaxiospost请求参数是：dataexpressget接受参数是req.queryexpresspo
Kubernetes部署MySQL数据持久化沫殇-MS Kubernetes MySQL数据库 kubernetes mysql 容器
一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
Hadoop架构 henan程序媛 hadoop 大数据分布式
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
使用input[type=file]遇上的一些问题刘圣凯
项目遇到一个需要，如下image.png功能大致就是添加图片，展示出来，然后在用户点击提交的时候把图片传给后台，在和后台交涉之后，决定在用户选择图片之后转成formdata传给后台，后台返回一个url，提交的时候将url返回给后台/**转formdata*/varformdata=newFormData();formdata.append("file1",$("#pic")[0].files[0]
详解mybatis的一二级缓存以及缓存失效原因仰望天花板缓存数据库 mybatis java mysql
数据库的大部分场景下是从磁盘读取，如果数据从内存进行读取，速度较比磁盘要快得多。但因为内存的容量有限，所以一般只会把使用和查询较多的数据缓存起来，以便快速反应，其他使用率不太多的继续存放在磁盘。mybatis分为一级缓存和二级缓存1.一级缓存一级缓存存放在SqlSqeeion上，默认开启1.1pojo@DatapublicclassRole{privateLongid;privateStringr
svg图片兼容性和用法优缺点独行侠_ef93
svg图片的使用方法第一次来认认真真的研究了下svg图片，之前只是在网上见过，但都是一晃而过也没当回事，最近网站改版看到同事有用到svg格式的图片，想想自己干了几年的重构也没用过，这些细节的知识是应该好好研究研究了。暂时还没研究得完全透切，先记下目前为止所看到的吧不然又给忘了。svg可缩放矢量图形（ScalableVectorGraphics），顾名思义就是任意改变其大小也不会变形，是基于可扩展标
小程序通过js控制页面字体颜色属性祈澈菇凉
需求：当电量少于百分之20的时候，显示电量的字体显示为红色。1：在wxml里面设置属性batStyle：style="{{item.batStyle}}"电量:{{item.battery}}%2：当复合逻辑条件的时候，在js里面carList[i].batStyle="color:red";success:function(res){constcarList=res.data.list;for(
Golang Channel PandaSkr golang
Channel解析1.Channel源码分析1.1Channel数据结构typehchanstruct{qcountuint//channel的元素数量dataqsizuint//channel循环队列长度bufunsafe.Pointer//指向循环队列的指针elemsizeuint16//元素大小closeduint32//channel是否关闭0-未关闭elemtype*_type//元素类
matlab游标标注移动,matlab实现图形窗口的数据游标莫白想 matlab游标标注移动
DatacursorsforfigurewindowSeveralrelatedfunctions:CreateCursorsetsupaverticalcursoronallaxesinafigure.Thecursorscanbemovedaroundusingthemouse.MultiplecursorsaresupportedineachfigureGetCursorLocationre
Kafka详细解析与应用分析芊言芊语 kafka 分布式
Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。如今，Kafka已经被Apache基金会纳入其项目体系，广泛应用于大数据实时处理领域。Kafka凭借其高吞吐量、持久化、分布式和可靠性的特点，成为构建实时流数据管道和流处理应用程序的重要工具。Kafka架构Kafka的架构主要由
Java实现的简单双向Map，支持重复Value superlxw1234 java 双向map
关键字：Java双向Map、DualHashBidiMap 有个需求，需要根据即时修改Map结构中的Value值，比如，将Map中所有value=V1的记录改成value=V2，key保持不变。数据量比较大，遍历Map性能太差，这就需要根据Value先找到Key，然后去修改。即：既要根据Key找Value，又要根据Value
PL/SQL触发器基础及例子百合不是茶 oracle数据库触发器 PL/SQL编程
触发器的简介; 触发器的定义就是说某个条件成立的时候，触发器里面所定义的语句就会被自动的执行。因此触发器不需要人为的去调用，也不能调用。触发器和过程函数类似过程函数必须要调用, 一个表中最多只能有12个触发器类型的,触发器和过程函数相似触发器不需要调用直接执行, 触发时间：指明触发器何时执行，该值可取： before：表示在数据库动作之前触发
[时空与探索]穿越时空的一些问题 comsci 问题
我们还没有进行过任何数学形式上的证明,仅仅是一个猜想..... 这个猜想就是; 任何有质量的物体(哪怕只有一微克)都不可能穿越时空,该物体强行穿越时空的时候,物体的质量会与时空粒子产生反应,物体会变成暗物质,也就是说,任何物体穿越时空会变成暗物质..(暗物质就我的理
easy ui datagrid上移下移一行商人shang js 上移下移 easyui datagrid
/** * 向上移动一行 * * @param dg * @param row */ function moveupRow(dg, row) { var datagrid = $(dg); var index = datagrid.datagrid("getRowIndex", row); if (isFirstRow(dg, row)) {
Java反射 oloz 反射
本人菜鸟，今天恰好有时间，写写博客，总结复习一下java反射方面的知识，欢迎大家探讨交流学习指教首先看看java中的Class package demo; public class ClassTest { /*先了解java中的Class*/ public static void main(String[] args) { //任何一个类都
springMVC 使用JSR-303 Validation验证杨白白 spring mvc
JSR-303是一个数据验证的规范，但是spring并没有对其进行实现，Hibernate Validator是实现了这一规范的，通过此这个实现来讲SpringMVC对JSR-303的支持。 JSR-303的校验是基于注解的，首先要把这些注解标记在需要验证的实体类的属性上或是其对应的get方法上。登录需要验证类 public class Login { @NotEmpty
log4j 香水浓 log4j
log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, HTML, DATABASE #log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, ROLLINGFILE, HTML #console log4j.appender.STDOUT=org.apache.log4j.ConsoleAppender log4
使用ajax和history.pushState无刷新改变页面URL agevs jquery 框架 Ajax html5 chrome
表现如果你使用chrome或者firefox等浏览器访问本博客、github.com、plus.google.com等网站时，细心的你会发现页面之间的点击是通过ajax异步请求的，同时页面的URL发生了了改变。并且能够很好的支持浏览器前进和后退。是什么有这么强大的功能呢？ HTML5里引用了新的API，history.pushState和history.replaceState，就是通过
centos中文乱码 AILIKES centos OS ssh
一、CentOS系统访问 g.cn ，发现中文乱码。于是用以前的方式：yum -y install fonts-chinese CentOS系统安装后，还是不能显示中文字体。我使用 gedit 编辑源码，其中文注释也为乱码。后来，终于找到以下方法可以解决，需要两个中文支持的包： fonts-chinese-3.02-12.
触发器 baalwolf 触发器
触发器(trigger)：监视某种情况，并触发某种操作。触发器创建语法四要素：1.监视地点(table) 2.监视事件(insert/update/delete) 3.触发时间(after/before) 4.触发事件(insert/update/delete) 语法： create trigger triggerName after/before
JS正则表达式的i m g bijian1013 JavaScript 正则表达式
g:表示全局（global)模式，即模式将被应用于所有字符串，而非在发现第一个匹配项时立即停止。 i:表示不区分大小写（case-insensitive）模式，即在确定匹配项时忽略模式与字符串的大小写。 m:表示
HTML5模式和Hashbang模式 bijian1013 JavaScript AngularJS Hashbang模式 HTML5模式
我们可以用$locationProvider来配置$location服务（可以采用注入的方式，就像AngularJS中其他所有东西一样）。这里provider的两个参数很有意思，介绍如下。 html5Mode 一个布尔值，标识$location服务是否运行在HTML5模式下。 ha
[Maven学习笔记六]Maven生命周期 bit1129 maven
从mvn test的输出开始说起当我们在user-core中执行mvn test时，执行的输出如下： /software/devsoftware/jdk1.7.0_55/bin/java -Dmaven.home=/software/devsoftware/apache-maven-3.2.1 -Dclassworlds.conf=/software/devs
【Hadoop七】基于Yarn的Hadoop Map Reduce容错 bit1129 hadoop
运行于Yarn的Map Reduce作业，可能发生失败的点包括 Task Failure Application Master Failure Node Manager Failure Resource Manager Failure 1. Task Failure 任务执行过程中产生的异常和JVM的意外终止会汇报给Application Master。僵死的任务也会被A
记一次数据推送的异常解决端口解决 ronin47 记一次数据推送的异常解决
　　需求：从db获取数据然后推送到B 程序开发完成，上jboss,刚开始报了很多错，逐一解决，可最后显示连接不到数据库。机房的同事说可以ping 通。　　自已画了个图，逐一排除，把linux 防火墙　和　setenforce　设置最低。　　　service iptables stop
巧用视错觉-UI更有趣 brotherlamp UI ui视频 ui教程 ui自学 ui资料
我们每个人在生活中都曾感受过视错觉（optical illusion）的魅力。视错觉现象是双眼跟我们开的一个玩笑，而我们往往还心甘情愿地接受我们看到的假象。其实不止如此，视觉错现象的背后还有一个重要的科学原理——格式塔原理。格式塔原理解释了人们如何以视觉方式感觉物体，以及图像的结构，视角，大小等要素是如何影响我们的视觉的。在下面这篇文章中，我们首先会简单介绍一下格式塔原理中的基本概念，
线段树-poj1177-N个矩形求边长（离散化+扫描线） bylijinnan 数据结构算法线段树
package com.ljn.base; import java.util.Arrays; import java.util.Comparator; import java.util.Set; import java.util.TreeSet; /** * POJ 1177 (线段树+离散化+扫描线)，题目链接为http://poj.org/problem?id=1177
HTTP协议详解 chicony http协议
引言
Scala设计模式 chenchao051 设计模式 scala
Scala设计模式我的话：在国外网站上看到一篇文章，里面详细描述了很多设计模式，并且用Java及Scala两种语言描述，清晰的让我们看到各种常规的设计模式，在Scala中是如何在语言特性层面直接支持的。基于文章很nice，我利用今天的空闲时间将其翻译，希望大家能一起学习，讨论。翻译
安装mysql daizj mysql 安装
安装mysql (1)删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx --nodeps (强制删除) 执行命令rpm -qa |grep mysql 检查是否删除干净 (2)执行命令 rpm -i MySQL-server-5.5.31-2.el
HTTP状态码大全 dcj3sjt126com http状态码
完整的 HTTP 1.1规范说明书来自于RFC 2616，你可以在http://www.talentdigger.cn/home/link.php?url=d3d3LnJmYy1lZGl0b3Iub3JnLw%3D%3D在线查阅。HTTP 1.1的状态码被标记为新特性，因为许多浏览器只支持 HTTP 1.0。你应只把状态码发送给支持 HTTP 1.1的客户端，支持协议版本可以通过调用request
asihttprequest上传图片 dcj3sjt126com ASIHTTPRequest
NSURL *url =@"yourURL"; ASIFormDataRequest*currentRequest =[ASIFormDataRequest requestWithURL:url]; [currentRequest setPostFormat:ASIMultipartFormDataPostFormat];[currentRequest se
C语言中，关键字static的作用 e200702084 C++c C#
在C语言中，关键字static有三个明显的作用： 1)在函数体，局部的static变量。生存期为程序的整个生命周期，（它存活多长时间）；作用域却在函数体内（它在什么地方能被访问（空间））。一个被声明为静态的变量在这一函数被调用过程中维持其值不变。因为它分配在静态存储区，函数调用结束后并不释放单元，但是在其它的作用域的无法访问。当再次调用这个函数时，这个局部的静态变量还存活，而且用在它的访
win7/8使用curl geeksun win7
1. WIN7/8下要使用curl，需要下载curl-7.20.0-win64-ssl-sspi.zip和Win64OpenSSL_Light-1_0_2d.exe。下载地址： http://curl.haxx.se/download.html 请选择不带SSL的版本，否则还需要安装SSL的支持包 2. 可以给Windows增加c
Creating a Shared Repository; Users Sharing The Repository hongtoushizi git
转载自： http://www.gitguys.com/topics/creating-a-shared-repository-users-sharing-the-repository/ Commands discussed in this section: git init –bare git clone git remote git pull git p
Java实现字符串反转的8种或9种方法 Josh_Persistence 异或反转递归反转二分交换反转 java字符串反转栈反转
注：对于第7种使用异或的方式来实现字符串的反转，如果不太看得明白的，可以参照另一篇博客： http://josh-persistence.iteye.com/blog/2205768 /** * */ package com.wsheng.aggregator.algorithm.string; import java.util.Stack; /**
代码实现任意容量倒水问题 home198979 PHP 算法倒水
形象化设计模式实战 HELLO!架构 redis命令源码解析倒水问题：有两个杯子，一个A升，一个B升，水有无限多，现要求利用这两杯子装C
Druid datasource zhb8015 druid
推荐大家使用数据库连接池 DruidDataSource. http://code.alibabatech.com/wiki/display/Druid/DruidDataSource DruidDataSource经过阿里巴巴数百个应用一年多生产环境运行验证，稳定可靠。它最重要的特点是：监控、扩展和性能。下载和Maven配置看这里： http
两种启动监听器ApplicationListener和ServletContextListener spjich java spring 框架
引言:有时候需要在项目初始化的时候进行一系列工作，比如初始化一个线程池，初始化配置文件，初始化缓存等等，这时候就需要用到启动监听器，下面分别介绍一下两种常用的项目启动监听器 ServletContextListener 特点: 依赖于sevlet容器，需要配置web.xml 使用方法: public class StartListener implements
JavaScript Rounding Methods of the Math object 何不笑 JavaScript Math
The next group of methods has to do with rounding decimal values into integers. Three methods — Math.ceil(), Math.floor(), and Math.round() — handle rounding in differen

使用Spark操作Hudi

1、pom文件

2、模拟数据工具类

3、配置文件

4、Hudi写Hdfs

5、查询hdfs上的hudi数据

6、修改hdfs上的hudi数据

7、增量查询

8、指定特定时间查询

你可能感兴趣的:(#,hudi,spark,big,data,scala)