第一次看海

第4节 hive spark 查询hudi 数据环境cdh6.3.2

使用hive带where条件查询发生错误

select uid,fullname from member_ro where uid >=0 and uid <20;

发现错误

java.io.IOException: cannot find class org.apache.hudi.hadoop.realtime.HoodieParquetRealtimeInputFormat
	at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getRecordReader(CombineHiveInputFormat.java:696)
	at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.(MapTask.java:175)

在源码中查询该类HoodieParquetRealtimeInputFormat是

应该是在第3节中引入到hive lib下的 hudi-hadoop-mr-bundle-0.9.0.jar

尝试在hive query中加入

add jar hdfs://nameservice1/tmp/hiveshare/hudi-hadoop-mr-bundle-0.9.0.jar

add jar 后 member_ro 可以根据条件查询，通过查询两个rt和ro的表的建表语句对比，发现

rt表存储输入格式的（merge on read 表就会出现rt与ro copy on write 表只会出现一个表名且不带rt/ro）

STORED AS INPUTFORMAT 'org.apache.hudi.hadoop.realtime.HoodieParquetRealtimeInputFormat'

ro表存储输入格式的

STORED AS INPUTFORMAT

'org.apache.hudi.hadoop.HoodieParquetInputFormat'

其实 add jar hudi-hadoop-mr-bundle-0.9.0.jar 包里面包含 HoodieParquetInputFormat 和 HoodieParquetRealtimeInputFormat 但是就是rt的时候报如下错误

Caused by: java.lang.IllegalArgumentException: HoodieRealtimeRecordReader can only work on RealtimeSplit and not with hdfs://nameservice1/tmp/hudi/hivetest/20200918/WebA/0ac945ef-b1f1-4a64-96b9-faa18d7c5563-0_7-34-123_20210918173310.parquet:0+3037944
	at org.apache.hudi.common.util.ValidationUtils.checkArgument(ValidationUtils.java:40)
	at org.apache.hudi.hadoop.realtime.HoodieParquetRealtimeInputFormat.getRecordReader(HoodieParquetRealtimeInputFormat.java:116)

查看源码

@Override
public RecordReader getRecordReader(final InputSplit split, final JobConf jobConf,
                                                                 final Reporter reporter) throws IOException {
  // sanity check 爆出的异常是如下检测这部分，将这个检测注释掉 重新编译
  ValidationUtils.checkArgument(split instanceof RealtimeSplit,
      "HoodieRealtimeRecordReader can only work on RealtimeSplit and not with " + split);
  RealtimeSplit realtimeSplit = (RealtimeSplit) split;
  addProjectionToJobConf(realtimeSplit, jobConf);
  LOG.info("Creating record reader with readCols :" + jobConf.get(ColumnProjectionUtils.READ_COLUMN_NAMES_CONF_STR)
      + ", Ids :" + jobConf.get(ColumnProjectionUtils.READ_COLUMN_IDS_CONF_STR));
  return new HoodieRealtimeRecordReader(realtimeSplit, jobConf,
      super.getRecordReader(split, jobConf, reporter));
}

找到linux中源码的位置

修改源码

/Hudi/hudi-hadoop-mr/src/main/java/org/apache/hudi/hadoop/realtime

rt 的 hive 表依旧无法读取，暂时不测试hive读，用spark读取,可能原因是不兼容问题，后面用apache 版本测试后再补充

使用spark-shell

[xxx@xxx Hudi]# spark-shell 
--master local[*] 
--jars packaging/hudi-spark-bundle/target/hudi-spark-bundle_2.11-0.9.0.jar 
--packages org.apache.spark:spark-avro_2.11:2.4.4,org.apache.spark:spark-sql_2.11:2.4.4    --conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer'

scala> spark.sql("select uid,fullname from member_rt limit where uid >=0  and uid <20").show();
21/09/23 11:28:24 WARN lineage.LineageWriter: Lineage directory /var/log/spark/lineage doesn't exist or is not writable. Lineage for this application will be disabled.
+---+--------+                                                                  
|uid|fullname|
+---+--------+
|  6|进行修改|
| 16|进行修改|
| 18|进行修改|
|  3|进行修改|
|  9|进行修改|
| 11|进行修改|
|  0|进行修改|
|  4|进行修改|
|  5|进行修改|
| 10|进行修改|
| 15|进行修改|
| 17|进行修改|
| 13|进行修改|
| 14|进行修改|
|  1|进行修改|
|  7|进行修改|
|  8|进行修改|
| 12|进行修改|
|  2|进行修改|
| 19|进行修改|
+---+--------+

使用spark sql就可以读取到member_rt表的变化

快照查询

使用 hudi 的快照方式查询，发现可以直接查询到最新的数据

（1）spark默认快照查询，也可以不指定类型

scala> import org.apache.hudi.DataSourceReadOptions
import org.apache.hudi.DataSourceReadOptions

scala> spark.read.format("hudi").option(DataSourceReadOptions.QUERY_TYPE_OPT_KEY, DataSourceReadOptions.QUERY_TYPE_SNAPSHOT_OPT_VAL).load("/tmp/hudi/hivetest/*/*").where("uid>=0 and uid<20").show();
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+
|_hoodie_commit_time|_hoodie_commit_seqno|_hoodie_record_key|_hoodie_partition_path|   _hoodie_file_name|ad_id|  dn|      dt|fullname|iconurl|uid|uuid|           ts|hudipartition|
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+
|     20210922204730| 20210922204730_7_17|                 6|         20200918/WebA|a0878fc7-7d6f-4ff...|    4|WebA|20200918|进行修改|      -|  6|   6|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_16|                16|         20200918/WebA|576debfb-4d83-4a8...|    6|WebA|20200918|进行修改|      -| 16|  16|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_18|                18|         20200918/WebA|576debfb-4d83-4a8...|    4|WebA|20200918|进行修改|      -| 18|  18|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_19|                 3|         20200918/WebA|576debfb-4d83-4a8...|    1|WebA|20200918|进行修改|      -|  3|   3|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_20|                 9|         20200918/WebA|576debfb-4d83-4a8...|    1|WebA|20200918|进行修改|      -|  9|   9|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_5_15|                11|         20200918/WebA|a5e5db4c-c190-450...|    7|WebA|20200918|进行修改|      -| 11|  11|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_4_7|                 0|         20200918/WebA|b0e74482-77e8-46c...|    5|WebA|20200918|进行修改|      -|  0|   0|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_4_10|                 4|         20200918/WebA|b0e74482-77e8-46c...|    8|WebA|20200918|进行修改|      -|  4|   4|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_3_8|                 5|         20200918/WebA|33024f1a-0f88-412...|    2|WebA|20200918|进行修改|      -|  5|   5|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_3_11|                10|         20200918/WebA|33024f1a-0f88-412...|    7|WebA|20200918|进行修改|      -| 10|  10|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_1_9|                15|         20200918/WebA|6a2c512b-4ab2-4c1...|    5|WebA|20200918|进行修改|      -| 15|  15|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_12|                17|         20200918/WebA|6a2c512b-4ab2-4c1...|    1|WebA|20200918|进行修改|      -| 17|  17|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_13|                13|         20200918/WebA|6a2c512b-4ab2-4c1...|    2|WebA|20200918|进行修改|      -| 13|  13|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_14|                14|         20200918/WebA|6a2c512b-4ab2-4c1...|    4|WebA|20200918|进行修改|      -| 14|  14|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_3|                 1|         20200918/WebA|38318074-4111-451...|    0|WebA|20200918|进行修改|      -|  1|   1|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_4|                 7|         20200918/WebA|38318074-4111-451...|    8|WebA|20200918|进行修改|      -|  7|   7|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_5|                 8|         20200918/WebA|38318074-4111-451...|    7|WebA|20200918|进行修改|      -|  8|   8|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_6|                12|         20200918/WebA|38318074-4111-451...|    3|WebA|20200918|进行修改|      -| 12|  12|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_0_1|                 2|         20200918/WebA|0ac945ef-b1f1-4a6...|    3|WebA|20200918|进行修改|      -|  2|   2|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_0_2|                19|         20200918/WebA|0ac945ef-b1f1-4a6...|    3|WebA|20200918|进行修改|      -| 19|  19|1632314847098|20200918/WebA|
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+

增量查询

（1）查询前40条数据，分别包含修改的20条数据和未修改的20条数据

scala> spark.sql("select * from member_rt order where uid>=0 and uid <40 order by uid").show(40);
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+
|_hoodie_commit_time|_hoodie_commit_seqno|_hoodie_record_key|_hoodie_partition_path|   _hoodie_file_name|ad_id|  dn|      dt|fullname|iconurl|uid|uuid|           ts|hudipartition|
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+
|     20210922204730|  20210922204730_4_7|                 0|         20200918/WebA|b0e74482-77e8-46c...|    5|WebA|20200918|进行修改|      -|  0|   0|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_3|                 1|         20200918/WebA|38318074-4111-451...|    0|WebA|20200918|进行修改|      -|  1|   1|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_0_1|                 2|         20200918/WebA|0ac945ef-b1f1-4a6...|    3|WebA|20200918|进行修改|      -|  2|   2|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_19|                 3|         20200918/WebA|576debfb-4d83-4a8...|    1|WebA|20200918|进行修改|      -|  3|   3|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_4_10|                 4|         20200918/WebA|b0e74482-77e8-46c...|    8|WebA|20200918|进行修改|      -|  4|   4|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_3_8|                 5|         20200918/WebA|33024f1a-0f88-412...|    2|WebA|20200918|进行修改|      -|  5|   5|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_7_17|                 6|         20200918/WebA|a0878fc7-7d6f-4ff...|    4|WebA|20200918|进行修改|      -|  6|   6|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_4|                 7|         20200918/WebA|38318074-4111-451...|    8|WebA|20200918|进行修改|      -|  7|   7|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_5|                 8|         20200918/WebA|38318074-4111-451...|    7|WebA|20200918|进行修改|      -|  8|   8|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_20|                 9|         20200918/WebA|576debfb-4d83-4a8...|    1|WebA|20200918|进行修改|      -|  9|   9|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_3_11|                10|         20200918/WebA|33024f1a-0f88-412...|    7|WebA|20200918|进行修改|      -| 10|  10|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_5_15|                11|         20200918/WebA|a5e5db4c-c190-450...|    7|WebA|20200918|进行修改|      -| 11|  11|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_6|                12|         20200918/WebA|38318074-4111-451...|    3|WebA|20200918|进行修改|      -| 12|  12|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_13|                13|         20200918/WebA|6a2c512b-4ab2-4c1...|    2|WebA|20200918|进行修改|      -| 13|  13|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_14|                14|         20200918/WebA|6a2c512b-4ab2-4c1...|    4|WebA|20200918|进行修改|      -| 14|  14|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_1_9|                15|         20200918/WebA|6a2c512b-4ab2-4c1...|    5|WebA|20200918|进行修改|      -| 15|  15|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_16|                16|         20200918/WebA|576debfb-4d83-4a8...|    6|WebA|20200918|进行修改|      -| 16|  16|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_12|                17|         20200918/WebA|6a2c512b-4ab2-4c1...|    1|WebA|20200918|进行修改|      -| 17|  17|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_18|                18|         20200918/WebA|576debfb-4d83-4a8...|    4|WebA|20200918|进行修改|      -| 18|  18|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_0_2|                19|         20200918/WebA|0ac945ef-b1f1-4a6...|    3|WebA|20200918|进行修改|      -| 19|  19|1632314847098|20200918/WebA|
|     20210918173310|20210918173310_7_...|                20|         20200918/WebA|0ac945ef-b1f1-4a6...|    6|WebA|20200918|    王20|      -| 20|  20|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_4_...|                21|         20200918/WebA|b0e74482-77e8-46c...|    6|WebA|20200918|    王21|      -| 21|  21|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_3_...|                22|         20200918/WebA|a5e5db4c-c190-450...|    8|WebA|20200918|    王22|      -| 22|  22|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_2_...|                23|         20200918/WebA|a0878fc7-7d6f-4ff...|    1|WebA|20200918|    王23|      -| 23|  23|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_1_...|                24|         20200918/WebA|576debfb-4d83-4a8...|    5|WebA|20200918|    王24|      -| 24|  24|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_4_...|                25|         20200918/WebA|b0e74482-77e8-46c...|    3|WebA|20200918|    王25|      -| 25|  25|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_4_...|                26|         20200918/WebA|b0e74482-77e8-46c...|    6|WebA|20200918|    王26|      -| 26|  26|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_2_...|                27|         20200918/WebA|a0878fc7-7d6f-4ff...|    1|WebA|20200918|    王27|      -| 27|  27|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_5_...|                28|         20200918/WebA|33024f1a-0f88-412...|    4|WebA|20200918|    王28|      -| 28|  28|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_7_...|                29|         20200918/WebA|0ac945ef-b1f1-4a6...|    4|WebA|20200918|    王29|      -| 29|  29|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_1_...|                30|         20200918/WebA|576debfb-4d83-4a8...|    8|WebA|20200918|    王30|      -| 30|  30|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_5_...|                31|         20200918/WebA|33024f1a-0f88-412...|    5|WebA|20200918|    王31|      -| 31|  31|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_3_...|                32|         20200918/WebA|a5e5db4c-c190-450...|    6|WebA|20200918|    王32|      -| 32|  32|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_3_...|                33|         20200918/WebA|a5e5db4c-c190-450...|    7|WebA|20200918|    王33|      -| 33|  33|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_7_...|                34|         20200918/WebA|0ac945ef-b1f1-4a6...|    0|WebA|20200918|    王34|      -| 34|  34|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_0_...|                35|         20200918/WebA|6a2c512b-4ab2-4c1...|    6|WebA|20200918|    王35|      -| 35|  35|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_3_...|                36|         20200918/WebA|a5e5db4c-c190-450...|    0|WebA|20200918|    王36|      -| 36|  36|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_7_...|                37|         20200918/WebA|0ac945ef-b1f1-4a6...|    2|WebA|20200918|    王37|      -| 37|  37|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_3_...|                38|         20200918/WebA|a5e5db4c-c190-450...|    6|WebA|20200918|    王38|      -| 38|  38|1631957586912|20200918/WebA|
|     20210918173310|20210918173310_7_...|                39|         20200918/WebA|0ac945ef-b1f1-4a6...|    4|WebA|20200918|    王39|      -| 39|  39|1631957586912|20200918/WebA|
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+

发现最新修改的数据的时间发生了变化，未修改的数据和修改的数据对比明显

（2）可以看到进行修改的数据和修改的数据commit时间戳是不一样的。那么hudi提供使用时间戳增量查询。指定查询类型为增量查询，并且传入时间戳，那么spark会查询时间戳以后的数据。

DataSourceReadOptions.QUERY_TYPE_INCREMENTAL_OPT_VAL

scala> import org.apache.hudi.DataSourceReadOptions
import org.apache.hudi.DataSourceReadOptions

scala> spark.read.format("hudi").option(DataSourceReadOptions.QUERY_TYPE_OPT_KEY, DataSourceReadOptions.QUERY_TYPE_INCREMENTAL_OPT_VAL).option(DataSourceReadOptions.BEGIN_INSTANTTIME_OPT_KEY,"20210922204730").load("/tmp/hudi/hivetest/").show(40);
21/09/23 11:46:34 WARN lineage.LineageWriter: Lineage directory /var/log/spark/lineage doesn't exist or is not writable. Lineage for this application will be disabled.
+-------------------+--------------------+------------------+----------------------+-----------------+-----+---+---+--------+-------+---+----+---+-------------+
|_hoodie_commit_time|_hoodie_commit_seqno|_hoodie_record_key|_hoodie_partition_path|_hoodie_file_name|ad_id| dn| dt|fullname|iconurl|uid|uuid| ts|hudipartition|
+-------------------+--------------------+------------------+----------------------+-----------------+-----+---+---+--------+-------+---+----+---+-------------+
+-------------------+--------------------+------------------+----------------------+-----------------+-----+---+---+--------+-------+---+----+---+-------------+


scala> spark.read.format("hudi").option(DataSourceReadOptions.QUERY_TYPE_OPT_KEY, DataSourceReadOptions.QUERY_TYPE_INCREMENTAL_OPT_VAL).option(DataSourceReadOptions.BEGIN_INSTANTTIME_OPT_KEY,"20210918173310").load("/tmp/hudi/hivetest/").show(40);
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+
|_hoodie_commit_time|_hoodie_commit_seqno|_hoodie_record_key|_hoodie_partition_path|   _hoodie_file_name|ad_id|  dn|      dt|fullname|iconurl|uid|uuid|           ts|hudipartition|
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+
|     20210922204730|  20210922204730_2_3|                 1|         20200918/WebA|38318074-4111-451...|    0|WebA|20200918|进行修改|      -|  1|   1|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_6|                12|         20200918/WebA|38318074-4111-451...|    3|WebA|20200918|进行修改|      -| 12|  12|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_4|                 7|         20200918/WebA|38318074-4111-451...|    8|WebA|20200918|进行修改|      -|  7|   7|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_2_5|                 8|         20200918/WebA|38318074-4111-451...|    7|WebA|20200918|进行修改|      -|  8|   8|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_7_17|                 6|         20200918/WebA|a0878fc7-7d6f-4ff...|    4|WebA|20200918|进行修改|      -|  6|   6|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_19|                 3|         20200918/WebA|576debfb-4d83-4a8...|    1|WebA|20200918|进行修改|      -|  3|   3|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_16|                16|         20200918/WebA|576debfb-4d83-4a8...|    6|WebA|20200918|进行修改|      -| 16|  16|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_18|                18|         20200918/WebA|576debfb-4d83-4a8...|    4|WebA|20200918|进行修改|      -| 18|  18|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_6_20|                 9|         20200918/WebA|576debfb-4d83-4a8...|    1|WebA|20200918|进行修改|      -|  9|   9|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_5_15|                11|         20200918/WebA|a5e5db4c-c190-450...|    7|WebA|20200918|进行修改|      -| 11|  11|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_0_1|                 2|         20200918/WebA|0ac945ef-b1f1-4a6...|    3|WebA|20200918|进行修改|      -|  2|   2|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_0_2|                19|         20200918/WebA|0ac945ef-b1f1-4a6...|    3|WebA|20200918|进行修改|      -| 19|  19|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_4_7|                 0|         20200918/WebA|b0e74482-77e8-46c...|    5|WebA|20200918|进行修改|      -|  0|   0|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_4_10|                 4|         20200918/WebA|b0e74482-77e8-46c...|    8|WebA|20200918|进行修改|      -|  4|   4|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_13|                13|         20200918/WebA|6a2c512b-4ab2-4c1...|    2|WebA|20200918|进行修改|      -| 13|  13|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_14|                14|         20200918/WebA|6a2c512b-4ab2-4c1...|    4|WebA|20200918|进行修改|      -| 14|  14|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_1_9|                15|         20200918/WebA|6a2c512b-4ab2-4c1...|    5|WebA|20200918|进行修改|      -| 15|  15|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_1_12|                17|         20200918/WebA|6a2c512b-4ab2-4c1...|    1|WebA|20200918|进行修改|      -| 17|  17|1632314847098|20200918/WebA|
|     20210922204730|  20210922204730_3_8|                 5|         20200918/WebA|33024f1a-0f88-412...|    2|WebA|20200918|进行修改|      -|  5|   5|1632314847098|20200918/WebA|
|     20210922204730| 20210922204730_3_11|                10|         20200918/WebA|33024f1a-0f88-412...|    7|WebA|20200918|进行修改|      -| 10|  10|1632314847098|20200918/WebA|
+-------------------+--------------------+------------------+----------------------+--------------------+-----+----+--------+--------+-------+---+----+-------------+-------------+

（3）DataSourceReadOptions.BEGIN_INSTANTTIME_OPT_KEY是开始时间戳，也对应有DataSourceReadOptions.END_INSTANTTIME_OPT_KEY结束时间戳，增量查询也可以给时间范围进行查询

WPF中的ComboBox控件几种数据绑定的方式互联网打工人no1 wpf c#
一、用字典给ItemsSource赋值（此绑定用的地方很多，建议熟练掌握）在XMAL中：在CS文件中privatevoidBindData(){DictionarydicItem=newDictionary();dicItem.add(1,"北京");dicItem.add(2,"上海");dicItem.add(3,"广州");cmb_list.ItemsSource=dicItem;cmb_l
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
Linux MariaDB使用OpenSSL安装SSL证书 Meta39 MySQL Oracle MariaDB Linux Windows ssl linux mariadb
进入到证书存放目录，批量删除.pem证书警告：确保已经进入到证书存放目录find.-typef-iname\*.pem-delete查看是否安装OpenSSLopensslversion没有则安装yuminstallopensslopenssl-devel开启SSL编辑/etc/my.cnf文件（没有的话就创建，但是要注意，在/etc/my.cnf.d/server.cnf配置了datadir的，
网络编程基础记得开心一点啊网络
目录♫什么是网络编程♫Socket套接字♪什么是Socket套接字♪数据报套接字♪流套接字♫数据报套接字通信模型♪数据报套接字通讯模型♪DatagramSocket♪DatagramPacket♪实现UDP的服务端代码♪实现UDP的客户端代码♫流套接字通信模型♪流套接字通讯模型♪ServerSocket♪Socket♪实现TCP的服务端代码♪实现TCP的客户端代码♫什么是网络编程网络编程，指网络上
K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习 K近邻
importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
4.C_数据结构_队列荣世蓥数据结构数据结构
概述什么是队列：队列是限定在两端进行插入操作和删除操作的线性表。具有先入先出(FIFO)的特点相关名词：队尾：写入数据的一段队头：读取数据的一段空队：队列中没有数据，队头指针=队尾指针满队：队列中存满了数据，队尾指针+1=队头指针循环队列1、基本内容循环队列是以数组形式构成的队列数据结构。循环队列的结构体如下：typedefintdata_t;//队列数据类型#defineN64//队列容量typ
vue项目element-ui的table表格单元格合并酋长哈哈 vue.js elementui javascript 前端
一、合并效果二全部代码exportdefault{name:'CellMerge',data(){return{tableData:[{id:'1',name:'王小虎',amount1:'165',amount2:'3.2',amount3:10},{id:'1',name:'王小虎',amount1:'162',amount2:'4.43',amount3:12},{id:'1',name:'
python tif转png Python与遥感 python 开发语言
importosfromosgeoimportgdalimportnumpyasnpfromPILimportImage#提取432三波段fromspectralimport*#输入文件夹路径defget_img(dataset_img):width=dataset_img.RasterXSize#获取行列数height=dataset_img.RasterYSizebands=dataset_i
MongoDB知识概括 GeorgeLin98 持久层 mongodb
MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
Vue中table合并单元格用法 weixin_30613343 javascript ViewUI
地名结果人名性别{{item.name}}已完成未完成{{item.groups[0].name}}{{item.groups[0].sex}}{{item.groups[son].name}}{{item.groups[son].sex}}exportdefault{data(){return{list:[{name:'地名1',result:'1',groups:[{name:'张三',sex
uniapp map组件自定义markers标记点以对_ uni-app学习记录 uni-app javascript 前端
需求是根据后端返回数据在地图上显示标记点，并且根据数据状态控制标记点颜色，标记点背景通过两张图片实现控制{{item.options.labelName}}exportdefault{data(){return{storeIndex:0,locaInfo:{longitude:120.445172,latitude:36.111387},markers:[//标点列表{id:1,//标记点idin
放松的一天 4da9b7687fa0
20190325总结起床07:20图片发自App睡觉:23:00天气:晴今日任务清单学习·信息·阅读•水滴阅读Day40Alice’sAdventuresinWonderlandChapter6.2图片发自App•BBC跟读训练营Day24图片发自App图片发自App图片发自App•潘多拉口语训练营Day6Wow.Whatabigboy!•文化知识学习今日无•阅读时间地狱健康·饮食·锻炼•饮食目标
博客网站制作教程 2401_85194651 java maven
首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
vue + Element UI table动态合并单元格我家媳妇儿萌哒哒 element UI vue.js 前端 javascript
一、功能需求1、根据名称相同的合并工作阶段和主要任务合并这两列，但主要任务内容一样，但要考虑主要任务一样，但工作阶段不一样的情况。（枞向合并）2、落实情况里的定量内容和定性内容值一样则合并。（横向合并）二、功能实现exportdefault{data(){return{tableData:[{name:'a',address:'1',age:'1',six:'2'},{name:'a',addre
Python实现TIFF 文件转换为 PNG 和 JPG 格式 sand&wich python 开发语言
在日常的图像处理工作中，可能会遇到需要将TIFF格式的图像转换为其他格式的情况，例如PNG和JPG。下面，本文将介绍如何使用Python和GDAL库实现这一功能。准备工作在开始之前，请确保已经安装了必要的库：GDAL（GeospatialDataAbstractionLibrary）可以使用以下命令安装GDAL：pipinstallgdal代码实现以下是一个将TIFF文件转换为PNG文件的示例代码
浅谈MapReduce Android路上的人 Hadoop 分布式计算 mapreduce 分布式框架 hadoop
从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
使用datepicker和uploadify的冲突解决（IE双击才能打开附件上传对话框） zhanglb12
在开发的过程当中，IE的兼容无疑是我们的一块绊脚石，在我们使用的如期的datepicker插件和使用上传附件的uploadify插件的时候，两者就产生冲突，只要点击过时间的插件，uploadify上传框要双才能打开ie浏览器提示错误Missinginstancedataforthisdatepicker解决方案//if(.browser.msie&&'9.0'===.browser.version
golang获取用户输入的几种方式余生逆风飞翔 golang 开发语言后端
一、定义结构体typeUserInfostruct{Namestring`json:"name"`Ageint`json:"age"`Addstring`json:"add"`}typeReturnDatastruct{Messagestring`json:"message"`Statusstring`json:"status"`DataUserInfo`json:"data"`}二、get请求的
【Java】已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException 屿小夏 java 开发语言
文章目录一、分析问题背景问题背景描述出现问题的场景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException在使用Spring框架进行开发时，数据源的配置和使用是非常关键的一环。然而，有时候我们可能会遇到org.springframewo
el-table实现全选整表，单元一页复选框功能周bro vue.js elementui javascript 前端
全选整表单选一页0":popper-append-to-body="false":total="tableData.length":page-size="pageObj.pagesize":page-sizes="[10,50,100]"layout="total,sizes,prev,pager,next"@size-change="handleSizeChange"@current-chang
Vue + Express实现一个表单提交九旬大爷的梦
最近在折腾一个cms系统，用的vue+express，但是就一个表单提交就弄了好久，记录一下。环境：Node10+前端：Vue服务端：Express依赖包：vueexpressaxiosexpress-formidableelement-ui（可选）前言：axiosget请求参数是：paramsaxiospost请求参数是：dataexpressget接受参数是req.queryexpresspo
Kubernetes部署MySQL数据持久化沫殇-MS Kubernetes MySQL数据库 kubernetes mysql 容器
一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
Hadoop架构 henan程序媛 hadoop 大数据分布式
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
使用input[type=file]遇上的一些问题刘圣凯
项目遇到一个需要，如下image.png功能大致就是添加图片，展示出来，然后在用户点击提交的时候把图片传给后台，在和后台交涉之后，决定在用户选择图片之后转成formdata传给后台，后台返回一个url，提交的时候将url返回给后台/**转formdata*/varformdata=newFormData();formdata.append("file1",$("#pic")[0].files[0]
详解mybatis的一二级缓存以及缓存失效原因仰望天花板缓存数据库 mybatis java mysql
数据库的大部分场景下是从磁盘读取，如果数据从内存进行读取，速度较比磁盘要快得多。但因为内存的容量有限，所以一般只会把使用和查询较多的数据缓存起来，以便快速反应，其他使用率不太多的继续存放在磁盘。mybatis分为一级缓存和二级缓存1.一级缓存一级缓存存放在SqlSqeeion上，默认开启1.1pojo@DatapublicclassRole{privateLongid;privateStringr
小程序通过js控制页面字体颜色属性祈澈菇凉
需求：当电量少于百分之20的时候，显示电量的字体显示为红色。1：在wxml里面设置属性batStyle：style="{{item.batStyle}}"电量:{{item.battery}}%2：当复合逻辑条件的时候，在js里面carList[i].batStyle="color:red";success:function(res){constcarList=res.data.list;for(
Golang Channel PandaSkr golang
Channel解析1.Channel源码分析1.1Channel数据结构typehchanstruct{qcountuint//channel的元素数量dataqsizuint//channel循环队列长度bufunsafe.Pointer//指向循环队列的指针elemsizeuint16//元素大小closeduint32//channel是否关闭0-未关闭elemtype*_type//元素类
matlab游标标注移动,matlab实现图形窗口的数据游标莫白想 matlab游标标注移动
DatacursorsforfigurewindowSeveralrelatedfunctions:CreateCursorsetsupaverticalcursoronallaxesinafigure.Thecursorscanbemovedaroundusingthemouse.MultiplecursorsaresupportedineachfigureGetCursorLocationre
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
异常的核心类Throwable 无量 java 源码异常处理 exception
java异常的核心是Throwable，其他的如Error和Exception都是继承的这个类里面有个核心参数是detailMessage，记录异常信息，getMessage核心方法，获取这个参数的值，我们可以自己定义自己的异常类，去继承这个Exception就可以了，方法基本上，用父类的构造方法就OK，所以这么看异常是不是很easy package com.natsu;
mongoDB 游标（cursor）实现分页迭代开窍的石头 mongodb
上篇中我们讲了mongoDB 中的查询函数，现在我们讲mongo中如何做分页查询如何声明一个游标 var mycursor = db.user.find({_id:{$lte:5}}); 迭代显示游标数
MySQL数据库INNODB 表损坏修复处理过程 0624chenhong tomcat mysql
最近mysql数据库经常死掉，用命令net stop mysql命令也无法停掉，关闭Tomcat的时候，出现Waiting for N instance(s) to be deallocated 信息。查了下，大概就是程序没有对数据库连接释放，导致Connection泄露了。因为用的是开元集成的平台，内部程序也不可能一下子给改掉的，就验证一下咯。启动Tomcat,用户登录系统，用netstat -
剖析如何与设计人员沟通不懂事的小屁孩工作
最近做图烦死了，不停的改图，改图……。烦，倒不是因为改，而是反反复复的改，人都会死。很多需求人员不知该如何与设计人员沟通，不明白如何使设计人员知道他所要的效果，结果只能是沟通变成了扯淡，改图变成了应付。那应该如何与设计人员沟通呢？我认为设计人员与需求人员先天就存在语言障碍。对一个合格的设计人员来说，整天玩的都是点、线、面、配色，哪种构图看起来协调；哪种配色看起来合理心里跟明镜似的，
qq空间刷评论工具换个号韩国红果果 JavaScript
var a=document.getElementsByClassName('textinput'); var b=[]; for(var m=0;m<a.length;m++){ if(a[m].getAttribute('placeholder')!=null) b.push(a[m]) } var l
S2SH整合之session 灵静志远 spring AOP struts session
错误信息： Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'cartService': Scope 'session' is not active for the current thread; consider defining a scoped
xmp标签 a-john 标签
今天在处理数据的显示上遇到一个问题： var html = '<li><div class="pl-nr"><span class="user-name">' + user + '</span>' + text + '</div></li>'; ulComme
Ajax的常用技巧（2）---实现Web页面中的级联菜单 aijuans Ajax
在网络上显示数据，往往只显示数据中的一部分信息，如文章标题，产品名称等。如果浏览器要查看所有信息，只需点击相关链接即可。在web技术中，可以采用级联菜单完成上述操作。根据用户的选择，动态展开，并显示出对应选项子菜单的内容。在传统的web实现方式中，一般是在页面初始化时动态获取到服务端数据库中对应的所有子菜单中的信息，放置到页面中对应的位置，然后再结合CSS层叠样式表动态控制对应子菜单的显示或者隐
天-安-门，好高 atongyeye 情感
我是85后，北漂一族，之前房租1100，因为租房合同到期，再续，房租就要涨150。最近网上新闻，地铁也要涨价。算了一下，涨价之后，每次坐地铁由原来2块变成6块。仅坐地铁费用，一个月就要涨200。内心苦痛。晚上躺在床上一个人想了很久，很久。我生在农
android 动画百合不是茶 android 透明度平移缩放旋转
android的动画有两种 tween动画和Frame动画 tween动画;,透明度,缩放,旋转,平移效果 Animation 动画 AlphaAnimation 渐变透明度 RotateAnimation 画面旋转 ScaleAnimation 渐变尺寸缩放 TranslateAnimation 位置移动 Animation
查看本机网络信息的cmd脚本 bijian1013 cmd
@echo 您的用户名是：%USERDOMAIN%\%username%>"%userprofile%\网络参数.txt" @echo 您的机器名是：%COMPUTERNAME%>>"%userprofile%\网络参数.txt" @echo ___________________>>"%userprofile%\
plsql 清除登录过的用户征客丶 plsql
tools---preferences----logon history---history 把你想要删除的删除 -------------------------------------------------------------------- 若有其他凝问或文中有错误，请及时向我指出，我好及时改正，同时也让我们一起进步。 email ： binary_spac
【Pig一】Pig入门 bit1129 pig
Pig安装 1.下载pig wget http://mirror.bit.edu.cn/apache/pig/pig-0.14.0/pig-0.14.0.tar.gz 2. 解压配置环境变量如果Pig使用Map/Reduce模式，那么需要在环境变量中，配置HADOOP_HOME环境变量 expor
Java 线程同步几种方式 BlueSkator volatile synchronized ThredLocal ReenTranLock Concurrent
为何要使用同步？ java允许多线程并发控制，当多个线程同时操作一个可共享的资源变量时（如数据的增删改查），将会导致数据不准确，相互之间产生冲突，因此加入同步锁以避免在该线程没有完成操作之前，被其他线程的调用，从而保证了该变量的唯一性和准确性。 1.同步方法&
StringUtils判断字符串是否为空的方法（转帖） BreakingBad null StringUtils “”
转帖地址：http://www.cnblogs.com/shangxiaofei/p/4313111.html public static boolean isEmpty(String str) 　　判断某字符串是否为空，为空的标准是 str== null 或 str.length()== 0
编程之美-分层遍历二叉树 bylijinnan java 数据结构算法编程之美
import java.util.ArrayList; import java.util.LinkedList; import java.util.List; public class LevelTraverseBinaryTree { /** * 编程之美分层遍历二叉树 * 之前已经用队列实现过二叉树的层次遍历，但这次要求输出换行，因此要
jquery取值和ajax提交复习记录 chengxuyuancsdn jquery取值 ajax提交
// 取值 // alert($("input[name='username']").val()); // alert($("input[name='password']").val()); // alert($("input[name='sex']:checked").val()); // alert($("
推荐国产工作流引擎嵌入式公式语法解析器-IK Expression comsci java 应用服务器工作 Excel 嵌入式
这个开源软件包是国内的一位高手自行研制开发的，正如他所说的一样，我觉得它可以使一个工作流引擎上一个台阶。。。。。。欢迎大家使用，并提出意见和建议。。。 ----------转帖--------------------------------------------------- IK Expression是一个开源的（OpenSource），可扩展的（Extensible），基于java语言
关于系统中使用多个PropertyPlaceholderConfigurer的配置及PropertyOverrideConfigurer daizj spring
1、PropertyPlaceholderConfigurer Spring中PropertyPlaceholderConfigurer这个类，它是用来解析Java Properties属性文件值，并提供在spring配置期间替换使用属性值。接下来让我们逐渐的深入其配置。基本的使用方法是：(1) <bean id="propertyConfigurerForWZ&q
二叉树:二叉搜索树 dieslrae 二叉树
所谓二叉树,就是一个节点最多只能有两个子节点,而二叉搜索树就是一个经典并简单的二叉树.规则是一个节点的左子节点一定比自己小,右子节点一定大于等于自己(当然也可以反过来).在树基本平衡的时候插入,搜索和删除速度都很快,时间复杂度为O(logN).但是,如果插入的是有序的数据,那效率就会变成O(N),在这个时候,树其实变成了一个链表. tree代码:
C语言字符串函数大全 dcj3sjt126com c function
C语言字符串函数大全函数名: stpcpy 功能: 拷贝一个字符串到另一个用法: char *stpcpy(char *destin, char *source); 程序例: #include <stdio.h> #include <string.h> int main
友盟统计页面技巧 dcj3sjt126com 技巧
在基类调用就可以了, 基类ViewController示例代码 -(void)viewWillAppear:(BOOL)animated { [super viewWillAppear:animated]; [MobClick beginLogPageView:[NSString stringWithFormat:@"%@",self.class]];
window下在同一台机器上安装多个版本jdk，修改环境变量不生效问题处理办法 flyvszhb java jdk
window下在同一台机器上安装多个版本jdk，修改环境变量不生效问题处理办法本机已经安装了jdk1.7，而比较早期的项目需要依赖jdk1.6，于是同时在本机安装了jdk1.6和jdk1.7. 安装jdk1.6前，执行java -version得到 C:\Users\liuxiang2>java -version java version "1.7.0_21&quo
Java在创建子类对象的同时会不会创建父类对象 happyqing java 创建子类对象父类对象
1.在thingking in java 的第四版第六章中明确的说了，子类对象中封装了父类对象， 2."When you create an object of the derived class, it contains within it a subobject of the base class. This subobject is the sam
跟我学spring3 目录贴及电子书下载 jinnianshilongnian spring
一、《跟我学spring3》电子书下载地址：《跟我学spring3》（1-7 和 8-13） http://jinnianshilongnian.iteye.com/blog/pdf 跟我学spring3系列 word原版下载二、源代码下载最新依
第12章 Ajax（上） onestopweb Ajax
index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
BI and EIM 4.0 at a glance blueoxygen BO
http://www.sap.com/corporate-en/press.epx?PressID=14787 有机会研究下EIM家族的两个新产品~~~~ New features of the 4.0 releases of BI and EIM solutions include: Real-time in-memory computing –
Java线程中yield与join方法的区别 tomcat_oracle java
长期以来，多线程问题颇为受到面试官的青睐。虽然我个人认为我们当中很少有人能真正获得机会开发复杂的多线程应用(在过去的七年中，我得到了一个机会)，但是理解多线程对增加你的信心很有用。之前，我讨论了一个wait()和sleep()方法区别的问题，这一次，我将会讨论join()和yield()方法的区别。坦白的说，实际上我并没有用过其中任何一个方法，所以，如果你感觉有不恰当的地方，请提出讨论。 &nb
android Manifest.xml选项阿尔萨斯 Manifest
结构继承关系 public final class Manifest extends Objectjava.lang.Objectandroid.Manifest 内部类 class Manifest.permission权限 class Manifest.permission_group权限组构造函数 public Manifest () 详细 androi
Oracle实现类split函数的方 zhaoshijie oracle
关键字：Oracle实现类split函数的方项目里需要保存结构数据，批量传到后他进行保存，为了减小数据量，子集拼装的格式，使用存储过程进行保存。保存的过程中需要对数据解析。但是oracle没有Java中split类似的函数。从网上找了一个，也补全了一下。 CREATE OR REPLACE TYPE t_split_100 IS TABLE OF VARCHAR2(100); cr

第4节 hive spark 查询hudi 数据 环境cdh6.3.2

快照查询

增量查询

你可能感兴趣的:(hudi,hive,spark,big,data)

第4节 hive spark 查询hudi 数据环境cdh6.3.2