skaljdakdjw

Apache Hudi使用简介

目录
Apache Hudi使用简介
数据实时处理和实时的数据
业务场景和技术选型
Apache hudi简介
使用Aapche Hudi整体思路
Hudi表数据结构
数据文件
.hoodie文件
Hudi记录Id
COW和MOR
Copy On Write Table
Merge On Read Table
基于hudi的代码实现
binlog数据写入Hudi表
历史数据同步以及表元数据同步至hive
同步历史数据至hudi表
同步hudi表结构至hive meta
一些踩坑
hive相关配置
spark streaming的一些调优
未来改进
参考资料
数据实时处理和实时的数据#
实时分为处理的实时和数据的实时
即席分析是要求对数据实时的处理，马上要得到对应的结果
Flink、Spark Streaming是用来对实时数据的实时处理，数据要求实时，处理也要迅速
数据不实时，处理也不及时的场景则是我们的数仓T+1数据

而本文探讨的Apache Hudi，对应的场景是数据的实时，而非处理的实时。它旨在将Mysql中的时候以近实时的方式映射到大数据平台，比如Hive中。

业务场景和技术选型#
传统的离线数仓，通常数据是T+1的，不能满足对当日数据分析的需求
而流式计算一般是基于窗口，并且窗口逻辑相对比较固定。
而笔者所在的公司有一类特殊的需求，业务分析比较熟悉现有事务数据库的数据结构，并且希望有很多即席分析，这些分析包含当日比较实时的数据。惯常他们是基于Mysql从库，直接通过Sql做相应的分析计算。但很多时候会遇到如下障碍

数据量较大、分析逻辑较为复杂时，Mysql从库耗时较长
一些跨库的分析无法实现
因此，一些弥合在OLTP和OLAP之间的技术框架出现，典型有TiDB。它能同时支持OLTP和OLAP。而诸如Apache Hudi和Apache Kudu则相当于现有OLTP和OLAP技术的桥梁。他们能够以现有OLTP中的数据结构存储数据，支持CRUD，同时提供跟现有OLAP框架的整合(如Hive，Impala)，以实现OLAP分析

Apache Kudu，需要单独部署集群。而Apache Hudi则不需要，它可以利用现有的大数据集群比如HDFS做数据文件存储，然后通过Hive做数据分析，相对来说更适合资源受限的环境

Apache hudi简介#
使用Aapche Hudi整体思路#
Hudi 提供了Hudi 表的概念，这些表支持CRUD操作。我们可以基于这个特点，将Mysql Binlog的数据重放至Hudi表，然后基于Hive对Hudi表进行查询分析。数据流向架构如下
file

Hudi表数据结构#
Hudi表的数据文件，可以使用操作系统的文件系统存储，也可以使用HDFS这种分布式的文件系统存储。为了后续分析性能和数据的可靠性，一般使用HDFS进行存储。以HDFS存储来看，一个Hudi表的存储文件分为两类。

file

包含_partition_key相关的路径是实际的数据文件，按分区存储，当然分区的路径key是可以指定的，我这里使用的是_partition_key
.hoodie 由于CRUD的零散性，每一次的操作都会生成一个文件，这些小文件越来越多后，会严重影响HDFS的性能，Hudi设计了一套文件合并机制。 .hoodie文件夹中存放了对应的文件合并操作相关的日志文件。
数据文件
Hudi真实的数据文件使用Parquet文件格式存储
file

.hoodie文件
Hudi把随着时间流逝，对表的一系列CRUD操作叫做Timeline。Timeline中某一次的操作，叫做Instant。Instant包含以下信息

Instant Action 记录本次操作是一次数据提交（COMMITS），还是文件合并（COMPACTION），或者是文件清理（CLEANS）
Instant Time 本次操作发生的时间
state 操作的状态，发起(REQUESTED)，进行中(INFLIGHT)，还是已完成(COMPLETED)
.hoodie文件夹中存放对应操作的状态记录
file

Hudi记录Id#
hudi为了实现数据的CRUD，需要能够唯一标识一条记录。hudi将把数据集中的唯一字段(record key ) + 数据所在分区 (partitionPath) 联合起来当做数据的唯一键

COW和MOR#
基于上述基础概念之上，Hudi提供了两类表格式COW和MOR。他们会在数据的写入和查询性能上有一些不同

Copy On Write Table
简称COW。顾名思义，他是在数据写入的时候，复制一份原来的拷贝，在其基础上添加新数据。正在读数据的请求，读取的是是近的完整副本，这类似Mysql 的MVCC的思想。

上图中，每一个颜色都包含了截至到其所在时间的所有数据。老的数据副本在超过一定的个数限制后，将被删除。这种类型的表，没有compact instant，因为写入时相当于已经compact了。

优点读取时，只读取对应分区的一个数据文件即可，较为高效
缺点数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后
Merge On Read Table
简称MOR。新插入的数据存储在delta log 中。定期再将delta log合并进行parquet数据文件。读取数据时，会将delta log跟老的数据文件做merge，得到完整的数据返回。当然，MOR表也可以像COW表一样，忽略delta log，只读取最近的完整数据文件。下图演示了MOR的两种数据读写方式

优点由于写入数据先写delta log，且delta log较小，所以写入成本较低
缺点需要定期合并整理compact，否则碎片文件较多。读取性能较差，因为需要将delta log 和老数据文件合并
基于hudi的代码实现#
我在github上放置了基于Hudi的封装实现，对应的源码地址为 https://github.com/wanqiufeng/hudi-learn。

binlog数据写入Hudi表#
binlog-consumer分支使用Spark streaming消费kafka中的Binlog数据，并写入Hudi表。Kafka中的binlog是通过阿里的Canal工具同步拉取的。程序入口是CanalKafkaImport2Hudi，它提供了一系列参数，配置程序的执行行为
参数名含义是否必填默认值
–base-save-path hudi表存放在HDFS的基础路径，比如hdfs://192.168.16.181:8020/hudi_data/ 是无
–mapping-mysql-db-name 指定处理的Mysql库名是无
–mapping-mysql-table-name 指定处理的Mysql表名是无
–store-table-name 指定Hudi的表名否默认会根据–mapping-mysql-db-name和–mapping-mysql-table-name自动生成。假设–mapping-mysql-db-name 为crm，–mapping-mysql-table-name为order。那么最终的hudi表名为crm__order
–real-save-path 指定hudi表最终存储的hdfs路径否默认根据–base-save-path和–store-table-name自动生成，生成格式为’–base-save-path’+’/’+’–store-table-name’ ，推荐默认
–primary-key 指定同步的mysql表中能唯一标识记录的字段名否默认id
–partition-key 指定mysql表中可以用于分区的时间字段，字段必须是timestamp 或dateime类型是无
–precombine-key 最终用于配置hudi的hoodie.datasource.write.precombine.field 否默认id
–kafka-server 指定Kafka 集群地址是无
–kafka-topic 指定消费kafka的队列是无
–kafka-group 指定消费kafka的group 否默认在存储表名前加’hudi’前缀，比如’hudi_crm__order’
–duration-seconds 由于本程序使用Spark streaming开发，这里指定Spark streaming微批的时长否默认10秒
一个使用的demo如下

Copy
/data/opt/spark-2.4.4-bin-hadoop2.6/bin/spark-submit --class com.niceshot.hudi.CanalKafkaImport2Hudi
–name hudi__goods
–master yarn
–deploy-mode cluster
–driver-memory 512m
–executor-memory 512m
–executor-cores 1
–num-executors 1
–queue hudi
–conf spark.executor.memoryOverhead=2048
–conf “spark.executor.extraJavaOptions=-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=\tmp\hudi-debug”
–conf spark.core.connection.ack.wait.timeout=300
–conf spark.locality.wait=100
–conf spark.streaming.backpressure.enabled=true
–conf spark.streaming.receiver.maxRate=500
–conf spark.streaming.kafka.maxRatePerPartition=200
–conf spark.ui.retainedJobs=10
–conf spark.ui.retainedStages=10
–conf spark.ui.retainedTasks=10
–conf spark.worker.ui.retainedExecutors=10
–conf spark.worker.ui.retainedDrivers=10
–conf spark.sql.ui.retainedExecutions=10
–conf spark.yarn.submit.waitAppCompletion=false
–conf spark.yarn.maxAppAttempts=4
–conf spark.yarn.am.attemptFailuresValidityInterval=1h
–conf spark.yarn.max.executor.failures=20
–conf spark.yarn.executor.failuresValidityInterval=1h
–conf spark.task.maxFailures=8
/data/opt/spark-applications/hudi_canal_consumer/hudi-canal-import-1.0-SNAPSHOT-jar-with-dependencies.jar --kafka-server local:9092 --kafka-topic dt_streaming_canal_xxx --base-save-path hdfs://192.168.2.1:8020/hudi_table/ --mapping-mysql-db-name crm --mapping-mysql-table-name order --primary-key id --partition-key createDate --duration-seconds 1200
历史数据同步以及表元数据同步至hive#
history_import_and_meta_sync 分支提供了将历史数据同步至hudi表，以及将hudi表数据结构同步至hive meta的操作

同步历史数据至hudi表
这里采用的思路是

将mysql全量数据通过注入sqoop等工具，导入到hive表。
然后采用分支代码中的工具HiveImport2HudiConfig，将数据导入Hudi表
HiveImport2HudiConfig提供了如下一些参数，用于配置程序执行行为

参数名含义是否必填默认值
–base-save-path hudi表存放在HDFS的基础路径，比如hdfs://192.168.16.181:8020/hudi_data/ 是无
–mapping-mysql-db-name 指定处理的Mysql库名是无
–mapping-mysql-table-name 指定处理的Mysql表名是无
–store-table-name 指定Hudi的表名否默认会根据–mapping-mysql-db-name和–mapping-mysql-table-name自动生成。假设–mapping-mysql-db-name 为crm，–mapping-mysql-table-name为order。那么最终的hudi表名为crm__order
–real-save-path 指定hudi表最终存储的hdfs路径否默认根据–base-save-path和–store-table-name自动生成，生成格式为’–base-save-path’+’/’+’–store-table-name’ ，推荐默认
–primary-key 指定同步的hive历史表中能唯一标识记录的字段名否默认id
–partition-key 指定hive历史表中可以用于分区的时间字段，字段必须是timestamp 或dateime类型是无
–precombine-key 最终用于配置hudi的hoodie.datasource.write.precombine.field 否默认id
–sync-hive-db-name 全量历史数据所在hive的库名是无
–sync-hive-table-name 全量历史数据所在hive的表名是无
–hive-base-path hive的所有数据文件存放地址，需要参看具体的hive配置否 /user/hive/warehouse
–hive-site-path hive-site.xml配置文件所在的地址是无
–tmp-data-path 程序执行过程中临时文件存放路径。一般默认路径是/tmp。有可能出现/tmp所在磁盘太小，而导致历史程序执行失败的情况。当出现该情况时，可以通过该参数自定义执行路径否默认操作系统临时目录
一个程序执行demo

Copy
nohup java -jar hudi-learn-1.0-SNAPSHOT.jar --sync-hive-db-name hudi_temp --sync-hive-table-name crm__wx_user_info --base-save-path hdfs://192.168.2.2:8020/hudi_table/ --mapping-mysql-db-name crm --mapping-mysql-table-name “order” --primary-key “id” --partition-key created_date --hive-site-path /etc/lib/hive/conf/hive-site.xml --tmp-data-path /data/tmp > order.log &
同步hudi表结构至hive meta
需要将hudi的数据结构和分区，以hive外表的形式同步至Hive meta，才能是Hive感知到hudi数据，并通过sql进行查询分析。Hudi本身在消费Binlog进行存储时，可以顺带将相关表元数据信息同步至hive。但考虑到每条写入Apache Hudi表的数据，都要读写Hive Meta ，对Hive的性能可能影响很大。所以我单独开发了HiveMetaSyncConfig工具，用于同步hudi表元数据至Hive。考虑到目前程序只支持按天分区，所以同步工具可以一天执行一次即可。参数配置如下

参数名含义是否必填默认值
–hive-db-name 指定hudi表同步至哪个hive数据库是无
–hive-table-name 指定hudi表同步至哪个hive表是无
–hive-jdbc-url 指定hive meta的jdbc链接地址，例如jdbc:hive2://192.168.16.181:10000 是无
–hive-user-name 指定hive meta的链接用户名否默认hive
–hive-pwd 指定hive meta的链接密码否默认hive
–hudi-table-path 指定hudi表所在hdfs的文件路径是无
–hive-site-path 指定hive的hive-site.xml路径是无
一个程序执行demo

Copy
java -jar hudi-learn-1.0-SNAPSHOT.jar --hive-db-name streaming --hive-table-name crm__order --hive-user-name hive --hive-pwd hive --hive-jdbc-url jdbc:hive2://192.168.16.181:10000 --hudi-table-path hdfs://192.168.16.181:8020/hudi_table/crm__order --hive-site-path /lib/hive/conf/hive-site.xml
一些踩坑#
hive相关配置#
有些hive集群的hive.input.format配置，默认是org.apache.hadoop.hive.ql.io.CombineHiveInputFormat，这会导致挂载Hudi数据的Hive外表读取到所有Hudi的Parquet数据，从而导致最终的读取结果重复。需要将hive的format改为org.apache.hadoop.hive.ql.io.HiveInputFormat，为了避免在整个集群层面上更改对其余离线Hive Sql造成不必要的影响，建议只对当前hive session设置set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/1
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/1
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/2
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/2
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/3
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/3
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/4
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/4
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/5
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/5
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/6
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/6
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/7
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/7
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/8
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/8
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/9
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/9
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/10
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/10
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/11
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/11
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/12
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/12
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/13
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/13
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/14
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/14
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/15
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/15
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/16
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/16
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/17
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/17
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/18
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/18
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/19
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/19
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/20
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/20
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/21
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/21
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/22
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/22
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/23
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/23
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/24
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/24
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/25
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/25
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/26
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/26
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/27
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/27
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/28
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/28
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/29
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/29
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/30
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/30
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/31
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/31
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/32
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/32
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/33
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/33
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/34
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/34
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/35
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/35
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/36
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/36
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/37
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/37
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/38
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/38
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/39
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/39
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/40
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/40
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/41
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/41
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/42
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/42
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/43
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/43
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/44
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/44
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/45
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/45
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/46
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/46
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/47
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/47
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/48
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/48
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/49
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/49
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/50
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/51
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/50
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/52
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/51
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/53
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/52
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/54
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/53
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/55
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/54
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/55
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/56
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/56
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/57
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/57
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/58
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/58
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/59
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/60
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/59
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/61
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/60
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/62
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/61
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/62
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/63
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/63
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/64
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/64
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/65
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/66
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/65
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/67
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/66
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/68
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/67
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/69
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/68
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/70
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/69
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/71
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/70
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/72
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/73
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/71
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/74
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/72
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/75
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/73
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/76
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/74
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/77
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/75
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/78
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/76
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/79
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/77
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/80
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/78
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/81
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/79
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/82
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/80
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/83
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/84
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/81
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/85
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/82
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/86
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/83
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/87
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/84
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/88
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/85
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/89
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/86
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/90
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/91
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/87
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/92
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/88
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/89
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/93
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/90
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/94
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/91
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/95
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/92
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/96
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/93
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/97
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/94
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/98
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/95
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/99
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/96
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/100
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/101
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/97
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/98
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/102
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/103
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/99
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/100
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/104
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/101
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/105
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/102
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/106
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/103
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/107
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/104
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/108
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/105
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/106
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/107
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/109
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/108
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/110
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/109
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/111
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/110
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/112
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/111
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/113
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/112
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/114
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/113
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/115
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/114
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/116
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/115
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/117
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/116
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/118
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/117
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/119
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/118
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/120
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/119
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/121
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/120
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/122
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/121
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/123
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/122
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/124
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/123
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/125
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/124
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/126
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/125
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/127
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/126
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/128
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/127
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/128
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/129
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/129
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/130
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/130
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/131
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/131
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/132
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/132
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/133
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/133
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/134
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/134
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/135
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/135
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/136
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/137
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/136
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/138
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/137
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/139
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/138
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/140
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/139
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/141
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/140
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/142
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/141
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/143
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/142
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/144
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/143
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/145
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/144
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/146
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/145
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/147
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/148
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/146
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/149
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/147
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/150
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/148
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/151
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/149
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/152
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/150
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/153
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/151
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/154
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/152
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/155
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/153
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/156
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/154
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/157
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/158
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/155
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/159
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/156
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/157
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/160
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/158
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/161
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/162
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/159
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/163
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/160
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/164
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/161
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/165
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/162
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/166
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/163
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/167
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/168
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/164
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/169
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/165
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/170
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/166
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/171
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/167
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/172
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/168
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/173
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/169
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/174
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/170
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/175
ｈｔｔｐｓ：／／github.com/l32nyw20/syloxqfyhh/discussions/171
ｈｔｔｐｓ：／／github.com/91sipp68/evvwlksyci/discussions/176
spark streaming的一些调优#
由于binlog写入Hudi表的是基于Spark streaming实现的，这里给出了一些spark 和spark streaming层面的配置，它能使整个程序工作更稳定

配置含义
spark.streaming.backpressure.enabled=true 启动背压，该配置能使Spark Streaming消费速率，基于上一次的消费情况，进行调整，避免程序崩溃
spark.ui.retainedJobs=10
spark.ui.retainedStages=10
spark.ui.retainedTasks=10
spark.worker.ui.retainedExecutors=10
spark.worker.ui.retainedDrivers=10
spark.sql.ui.retainedExecutions=10 默认情况下，spark 会在driver中存储一些spark 程序执行过程中各stage和task的历史信息，当driver内存过小时，可能使driver崩溃，通过上述参数，调节这些历史数据存储的条数，从而减小对内层使用
spark.yarn.maxAppAttempts=4 配置当driver崩溃后，尝试重启的次数
spark.yarn.am.attemptFailuresValidityInterval=1h 假若driver执行一周才崩溃一次，那我们更希望每次都能重启，而上述配置在累计到重启4次后，driver就再也不会被重启，该配置则用于重置maxAppAttempts的时间间隔
spark.yarn.max.executor.failures=20 executor执行也可能失败，失败后集群会自动分配新的executor, 该配置用于配置允许executor失败的次数，超过次数后程序会报(reason: Max number of executor failures (400) reached)，并退出
spark.yarn.executor.failuresValidityInterval=1h 指定executor失败重分配次数重置的时间间隔
spark.task.maxFailures=8 允许任务执行失败的次数
未来改进#
支持无分区，或非日期分区表。目前只支持日期分区表
多数据类型支持，目前为了程序的稳定性，会将Mysql中的字段全部以String类型存储至Hudi

你可能感兴趣的:(Apache Hudi使用简介)

Java：爬虫框架 dingcho Java java 爬虫
一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
最简单将静态网页挂载到服务器上(不用nginx) 全能全知者服务器 nginx 运维前端 html 笔记
最简单将静态网页挂载到服务器上(不用nginx)如果随便弄个静态网页挂在服务器都要用nignx就太麻烦了，所以直接使用Apache来搭建一些简单前端静态网页会相对方便很多检查Web服务器服务状态：sudosystemctlstatushttpd#ApacheWeb服务器如果发现没有安装web服务器：安装Apache：sudoyuminstallhttpd启动Apache：sudosystemctl
浅谈MapReduce Android路上的人 Hadoop 分布式计算 mapreduce 分布式框架 hadoop
从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
Hadoop 傲雪凌霜，松柏长青后端大数据 hadoop 大数据分布式
ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
maven-assembly-plugin 打包实例带着二娃去遛弯
1.先在pom.xml文件中添加assembly打包插件org.apache.maven.pluginsmaven-assembly-plugin2.6assembly/assembly.xmlmake-assemblypackagesingle说明:1.需要修改的可能就是descriptors标签下面的打包配置文件目录,指定assembly.xml的路径.2.可以添加多个打包配置文件,进行多种形
Kafka详细解析与应用分析芊言芊语 kafka 分布式
Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。如今，Kafka已经被Apache基金会纳入其项目体系，广泛应用于大数据实时处理领域。Kafka凭借其高吞吐量、持久化、分布式和可靠性的特点，成为构建实时流数据管道和流处理应用程序的重要工具。Kafka架构Kafka的架构主要由
java 技术架构相关文档圣心 java 架构开发语言
在Java中，有许多不同的技术和架构，这里我将列举一些常见的Java技术和架构，并提供一些相关的文档资源。SpringFrameworkSpring是一个开源的Java/JavaEE全功能框架，以Apache许可证形式发布，提供了一种实现企业级应用的方法。官方文档：SpringFrameworkSpringBootSpringBoot是Spring的一个子项目，旨在简化创建生产级的Spring应用
Apache Shiro安全框架(2)-用户认证 heyrian Java shiro
身份认证在shiro中用户需要提供用户的principals（身份）和credentials（证明）来证明该用户属于当前系统用户。常见的认证方式即用户名/密码。在解释身份认证之前，我们先来看看shiro中的Subject和Realm,这是身份认证的两个关键的概念。Subjectsubject代表当前用户，内部主要维护当前用户信息。shiro中所有的subject都交给SecurityManager
Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell） May--J--Oldhu HBase HBase shell hbase物理架构 hbase逻辑架构 hbase
NoSQL综述及ApacheHBase基础一.HBase1.HBase概述2.HBase发展历史3.HBase应用场景3.1增量数据-时间序列数据3.2信息交换-消息传递3.3内容服务-Web后端应用程序3.4HBase应用场景示例4.ApacheHBase生态圈5.HBase物理架构5.1HMaster5.2RegionServer5.3Region和Table6.HBase逻辑架构-Row7.
Flume：大规模日志收集与数据传输的利器傲雪凌霜，松柏长青后端大数据 flume 大数据
Flume：大规模日志收集与数据传输的利器在大数据时代，随着各类应用的不断增长，产生了海量的日志和数据。这些数据不仅对业务的健康监控至关重要，还可以通过深入分析，帮助企业做出更好的决策。那么，如何高效地收集、传输和存储这些海量数据，成为了一项重要的挑战。今天我们将深入探讨ApacheFlume，它是如何帮助我们应对这些挑战的。一、Flume概述ApacheFlume是一个分布式、可靠、可扩展的日志
Superset二次开发之源码DependencyList.tsx 分析 aimmon Superset二次开发 Superset BI 二次开发 typescript 前端
功能点路径superset-frontend\src\dashboard\components\nativeFilters\FiltersConfigModal\FiltersConfigForm\DependencyList.tsx/***LicensedtotheApacheSoftwareFoundation(ASF)underone*ormorecontributorlicenseagre
史上最全的maven的pom.xml文件详解 Meta999 Maven
注：详解文件中，用红色进行标注的是平常项目中常用的配置节点。要详细学习！转载的，太经典了、、、、欢迎收藏xxxxxxxxxxxx4.0.0xxxxxxjar1.0-SNAPSHOTxxx-mavenhttp://maven.apache.orgAmavenprojecttostudymaven.jirahttp://jira.baidu.com/[email protected]
利用apache-pdfbox库修改pdf文件模板，进行信息替换区块链攻城狮 pdf 合同模板 pdf生成合同生成
publicStringcreateSignFile(Longid)throwsIOException{//1.验证企业信息CompanyDOcompany=validateCompanyExists(id);//2.验证签约状态if(company.getSignStatus()!=0){throwexception(COMPANY_SIGN_STATUS_NOT_ZERO);}//3.获取合同
Apache DataFusion Python 绑定教程柏赢安Simona
ApacheDataFusionPython绑定教程datafusion-pythonApacheDataFusionPythonBindings项目地址:https://gitcode.com/gh_mirrors/data/datafusion-python项目介绍ApacheDataFusion是一个基于ApacheArrow的内存查询引擎，提供了高性能的查询处理能力。DataFusion的
压测服务器并使用 Grafana 进行可视化豆瑞瑞 grafana
简介仓库代码GitCode-全球开发者的开源社区,开源代码托管平台参考Welcome!-TheApacheHTTPServerProjectGrafana|查询、可视化、警报观测平台https://prometheus.io/docs/introduction/overview/
2.Jmeter安装配置，核心目录详情，组件和作用域 XXX-17 Jmeter jmeter 软件测试接口测试
一、Jmeter安装配置以及核心目录详情Jmeter基于java语言来开发，java需要jdk环境。1.安装jdk并且配置jdk的环境变量。2.jmeter只需要解压就可以使用了。3.在D:\apache-jmeter-5.5\bin目录下双击jmeter.bat文件就可以启动使用了backups：自动备份的目录bin：启动文件、配置文件（jmeter.bat是启动问题，jmeter.propti
BindingException: Invalid bound statement (not found) 小卡车555 MyBatis mybatis java mysql
Mybatis出现绑定异常问题的解决org.apache.ibatis.binding.BindingException:Invalidboundstatement(notfound)一般的原因是Mapperinterface和xml文件的定义对应不上，需要检查包名，namespace，函数名称等能否对应上，需要比较细致的对比，我经常就是写错了一两个字母搞的很长时间找不到错误按以下步骤一一执行：1
Java中的大数据处理框架对比分析省赚客app开发者 java 开发语言
Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
NoClassDefFoundError: org.apache.poi.POIXMLDocument问题排查解决 qinmingjun718 apache
java.lang.NoClassDefFoundError:org/apache/poi/POIXMLDocumentPart这错很明显就是没找到这个类POIXMLDocumentPart就是找不到类问题原因是大概是因为poi从3.1.X低版本版本升级到pio4.1.2高版本的后与org.apache.poi.xwpf.converter.core-1.0.6.jar不兼容问题，导致这个情况的主
使用poi替换XWPFTableCell内容，并设置行间距 RR369_yyh javaUtil java poi
使用poi读取word文档（docx类型），进行数据替换。另外，为了记录poi设置行间距的api，真是找了好几十分钟才找到啊啊啊啊！！！importorg.apache.poi.xwpf.usermodel.*;importorg.springframework.util.StringUtils;importjava.io.File;importjava.io.FileInputStream;im
揭秘OozieBundle：架构组件与核心概念光剑书架上的书计算大数据AI人工智能计算科学神经计算深度学习神经网络大数据人工智能大型语言模型 AI AGI LLM Java Python 架构设计 Agent RPA
揭秘OozieBundle：架构、组件与核心概念1.背景介绍在大数据领域，数据处理工作流程通常由多个复杂的作业组成,这些作业之间存在着依赖关系。ApacheOozie作为一个工作流调度系统,可以有效管理这些复杂的工作流程。OozieBundle是Oozie提供的一种特殊的工作流程,用于协调和控制多个相关的工作流程。OozieBundle的主要目的是将多个相关的工作流程组织在一起,并根据它们之间的依
Apache POI用法 JH3073 apache
一、ApachePOI是什么ApachePOI是用Java编写的免费开源的跨平台的JavaAPI，ApachePOI提供API给Java程序对MicrosoftOffice格式档案读和写的功能，其中使用最多的就是使用POI操作Excel文件。二、POI结构HSSF－提供读写MicrosoftExcelXLS格式档案的功能XSSF－提供读写MicrosoftExcelOOXMLXLSX格式档案的功能
【LINUX】在ubuntu中安装tomcat 缘起性本空 linux 运维服务器
#instaljdkaptinstallopenjdk-8-jdk-y#enterinstallpathcd/home/a/#copytomcatpackagecp/mnt/hgfs/Share/apache-tomcat-9.0.93.tar.gz.#unpresstomcatpackagetar-xfapache-tomcat-9.0.93.tar.gz#enterbinpathcdapach
最好用的e2e框架，使用 Cypress 让产品持续稳定交付 Node全栈 java python 编程语言软件测试 html
以前我们经常使用nightwatch，现在都已经切换到cypress了，可以说cypress目前最好用的e2e框架。具体原因和对比，就是本文要讲的内容。背景ApacheAPISIXDashboard的设计是为了让用户通过前端界面尽可能方便地操作ApacheAPISIX。从项目初始化到现在，已经有552commits、发布了10个版本。在如此之快的产品迭代过程中，确保开源产品质量显的尤为重要。为此，
Linux下apache的安装轴儿
1.获取软件：http://httpd.apache.org/httpd-2.4.25.tar.gz并上传至服务器。运行以上命令时，可能会出现“APRnotfound.”的错误。此时需要下载依赖包。2.下载安装依赖包：创建文件夹：mkdir/usr/httpd-refercd/usr/httpd-refer/下载依赖包：wgethttp://p5osdejt4.bkt.clouddn.com/ap
使用 Apache Cassandra 实现 LLM 缓存：提升 AI 应用性能的实用指南 afTFODguAKBF apache 缓存人工智能 python
使用ApacheCassandra实现LLM缓存：提升AI应用性能的实用指南引言在当今的AI驱动的应用程序中，大语言模型（LLM）扮演着越来越重要的角色。然而，频繁调用LLMAPI不仅会增加延迟，还会导致高昂的成本。为了解决这个问题，实现有效的缓存策略变得至关重要。本文将介绍如何使用ApacheCassandra®或AstraDB来实现LLM缓存，从而显著提升您的AI应用性能和成本效率。为什么选择
CentOS下php安装mcrypt扩展天咋哭了
（以下步骤均为本人实际操作，可能与你的安装方法有所区别，但我会尽量排除疑惑）大致步骤（1）安装mcrypt，（2）安装php对mcrypt的扩展，（3）重启apache（1）、确认你的linux没有安装mcrypt库，如果已安装，跳过安装步骤[root@test-206~]#yumlistinstalled|grepmcryptlibmcrypt.x86_642.5.8-4.el5.centosi
javaweb基于ssm框架学生信息管理(成绩)系统设计与实现 ancen_73bd
开发平台、开发工具、应用服务器的介绍开发平台：Windows开发工具：idea+mySql应用服务器：ApacheTomcat8.0学生成绩管理系统主要用于学校学生成绩信息管理，能实现学生、老师、院系、班级、课程的增删改查操作，同时学生能进行选课和退课操作，老师能对学生的成绩录入和修改操作。系统流程图功能结构图部分截图免费源码获得：扫码关注微信公众号：ancenok，然后回复：013
ASP.NET Core 入门教学二十八 linux打包部署充值内卷 asp.net linux 后端
在Linux上打包和部署ASP.NETCore应用程序涉及几个步骤。以下是一个详细的指南，帮助你在Linux系统上完成这一过程。1.准备工作确保你的Linux系统已经安装了以下软件：.NETSDK（用于构建应用程序）.NETRuntime（用于运行应用程序）Apache或Nginx（作为反向代理服务器）你可以使用以下命令安装.NETSDK和Runtime：sudoaptupdatesudoapti
Hadoop学习第三课（HDFS架构--读、写流程）小小程序员呀~ 数据库 hadoop 架构 big data
1.块概念举例1：一桶水1000ml，瓶子的规格100ml=>需要10个瓶子装完一桶水1010ml，瓶子的规格100ml=>需要11个瓶子装完一桶水1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org/docs/r3.
Linux的Initrd机制被触发 linux
Linux 的 initrd 技术是一个非常普遍使用的机制，linux2.6 内核的 initrd 的文件格式由原来的文件系统镜像文件转变成了 cpio 格式，变化不仅反映在文件格式上， linux 内核对这两种格式的 initrd 的处理有着截然的不同。本文首先介绍了什么是 initrd 技术，然后分别介绍了 Linux2.4 内核和 2.6 内核的 initrd 的处理流程。最后通过对 Lin
maven本地仓库路径修改 bitcarter maven
默认maven本地仓库路径：C:\Users\Administrator\.m2 修改maven本地仓库路径方法： 1.打开E:\maven\apache-maven-2.2.1\conf\settings.xml 2.找到
XSD和XML中的命名空间 darrenzhu xml xsd schema namespace 命名空间
http://www.360doc.com/content/12/0418/10/9437165_204585479.shtml http://blog.csdn.net/wanghuan203/article/details/9203621 http://blog.csdn.net/wanghuan203/article/details/9204337 http://www.cn
Java 求素数运算周凡杨 java 算法素数
网络上对求素数之解数不胜数，我在此总结归纳一下，同时对一些编码，加以改进，效率有成倍热提高。第一种：原理: 6N(+-)1法任何一个自然数，总可以表示成为如下的形式之一： 6N，6N+1，6N+2，6N+3，6N+4，6N+5 (N=0，1，2，…)
java 单例模式 g21121 java
想必单例模式大家都不会陌生，有如下两种方式来实现单例模式： class Singleton { private static Singleton instance=new Singleton(); private Singleton(){} static Singleton getInstance() { return instance; }
Linux下Mysql源码安装 510888780 mysql
1.假设已经有mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz (1)创建mysql的安装目录及数据库存放目录解压缩下载的源码包，目录结构，特殊指定的目录除外：
32位和64位操作系统墙头上一根草 32位和64位操作系统
32位和64位操作系统是指：CPU一次处理数据的能力是32位还是64位。现在市场上的CPU一般都是64位的，但是这些CPU并不是真正意义上的64 位CPU，里面依然保留了大部分32位的技术，只是进行了部分64位的改进。32位和64位的区别还涉及了内存的寻址方面，32位系统的最大寻址空间是2 的32次方= 4294967296（bit）= 4（GB）左右，而64位系统的最大寻址空间的寻址空间则达到了
我的spring学习笔记10-轻量级_Spring框架 aijuans Spring 3
一、问题提问： → 请简单介绍一下什么是轻量级？轻量级（Leightweight）是相对于一些重量级的容器来说的，比如Spring的核心是一个轻量级的容器，Spring的核心包在文件容量上只有不到1M大小，使用Spring核心包所需要的资源也是很少的，您甚至可以在小型设备中使用Spring。
mongodb 环境搭建及简单CURD antlove Web Install curd NoSQL mongo
一搭建mongodb环境 1. 在mongo官网下载mongodb 2. 在本地创建目录 "D:\Program Files\mongodb-win32-i386-2.6.4\data\db" 3. 运行mongodb服务 [mongod.exe --dbpath "D:\Program Files\mongodb-win32-i386-2.6.4\data\
数据字典和动态视图百合不是茶 oracle 数据字典动态视图系统和对象权限
数据字典（data dictionary）是 Oracle 数据库的一个重要组成部分，这是一组用于记录数据库信息的只读（read-only）表。随着数据库的启动而启动,数据库关闭时数据字典也关闭数据字典中包含数据库中所有方案对象（schema object）的定义(包括表，视图，索引，簇，同义词，序列，过程，函数，包，触发器等等) 数据库为一
多线程编程一般规则 bijian1013 java thread 多线程 java多线程
如果两个工两个以上的线程都修改一个对象，那么把执行修改的方法定义为被同步的，如果对象更新影响到只读方法，那么只读方法也要定义成同步的。不要滥用同步。如果在一个对象内的不同的方法访问的不是同一个数据，就不要将方法设置为synchronized的。
将文件或目录拷贝到另一个Linux系统的命令scp bijian1013 linux unix scp
一.功能说明 scp就是security copy，用于将文件或者目录从一个Linux系统拷贝到另一个Linux系统下。scp传输数据用的是SSH协议，保证了数据传输的安全，其格式如下： scp 远程用户名@IP地址：文件的绝对路径
【持久化框架MyBatis3五】MyBatis3一对多关联查询 bit1129 Mybatis3
以教员和课程为例介绍一对多关联关系，在这里认为一个教员可以叫多门课程，而一门课程只有1个教员教，这种关系在实际中不太常见，通过教员和课程是多对多的关系。示例数据：地址表： CREATE TABLE ADDRESSES ( ADDR_ID INT(11) NOT NULL AUTO_INCREMENT, STREET VAR
cookie状态判断引发的查找问题 bitcarter form cgi
先说一下我们的业务背景： 1.前台将图片和文本通过form表单提交到后台，图片我们都做了base64的编码，并且前台图片进行了压缩 2.form中action是一个cgi服务 3.后台cgi服务同时供PC，H5，APP 4.后台cgi中调用公共的cookie状态判断方法（公共的，大家都用，几年了没有问题）问题：（折腾两天。。。。） 1.PC端cgi服务正常调用，cookie判断没
通过Nginx,Tomcat访问日志(access log)记录请求耗时 ronin47
一、Nginx通过$upstream_response_time $request_time统计请求和后台服务响应时间 nginx.conf使用配置方式： log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_r
java-67- n个骰子的点数。把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 bylijinnan java
public class ProbabilityOfDice { /** * Q67 n个骰子的点数 * 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 * 在以下求解过程中，我们把骰子看作是有序的。 * 例如当n=2时，我们认为（1，2）和（2，1）是两种不同的情况 */ private stati
看别人的博客，觉得心情很好 Cb123456 博客心情
以为写博客，就是总结，就和日记一样吧，同时也在督促自己。今天看了好长时间博客: 职业规划: http://www.iteye.com/blogs/subjects/zhiyeguihua android学习: 1.http://byandby.i
[JWFD开源工作流]尝试用原生代码引擎实现循环反馈拓扑分析 comsci 工作流
我们已经不满足于仅仅跳跃一次，通过对引擎的升级，今天我测试了一下循环反馈模式，大概跑了200圈，引擎报一个溢出错误在一个流程图的结束节点中嵌入一段方程，每次引擎运行到这个节点的时候，通过实时编译器GM模块，计算这个方程，计算结果与预设值进行比较，符合条件则跳跃到开始节点，继续新一轮拓扑分析，直到遇到
JS常用的事件及方法 cwqcwqmax9 js
事件描述 onactivate 当对象设置为活动元素时触发。 onafterupdate 当成功更新数据源对象中的关联对象后在数据绑定对象上触发。 onbeforeactivate 对象要被设置为当前元素前立即触发。 onbeforecut 当选中区从文档中删除之前在源对象触发。 onbeforedeactivate 在 activeElement 从当前对象变为父文档其它对象之前立即
正则表达式验证日期格式 dashuaifu 正则表达式 IT其它 java其它
正则表达式验证日期格式 function isDate(d){ var v = d.match(/^(\d{4})-(\d{1,2})-(\d{1,2})$/i); if(!v) { this.focus(); return false; } } <input value="2000-8-8" onblu
Yii CModel.rules() 方法、validate预定义完整列表、以及说说验证 dcj3sjt126com yii
public array rules () {return} array 要调用 validate() 时应用的有效性规则。返回属性的有效性规则。声明验证规则，应重写此方法。每个规则是数组具有以下结构：array('attribute list', 'validator name', 'on'=>'scenario name', ...validation
UITextAttributeTextColor = deprecated in iOS 7.0 dcj3sjt126com ios
In this lesson we used the key "UITextAttributeTextColor" to change the color of the UINavigationBar appearance to white. This prompts a warning "first deprecated in iOS 7.0." Ins
判断一个数是质数的几种方法 EmmaZhao Math python
质数也叫素数，是只能被1和它本身整除的正整数，最小的质数是2，目前发现的最大的质数是p=2^57885161-1【注1】。判断一个数是质数的最简单的方法如下： def isPrime1(n): for i in range(2, n): if n % i == 0: return False return True 但是在上面的方法中有一些冗余的计算，所以
SpringSecurity工作原理小解读坏我一锅粥 SpringSecurity
SecurityContextPersistenceFilter ConcurrentSessionFilter WebAsyncManagerIntegrationFilter HeaderWriterFilter CsrfFilter LogoutFilter Use
JS实现自适应宽度的Tag切换 ini JavaScript html Web css html5
效果体验：http://hovertree.com/texiao/js/3.htm 该效果使用纯JavaScript代码，实现TAB页切换效果，TAB标签根据内容自适应宽度，点击TAB标签切换内容页。 HTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"
Hbase Rest API : 数据查询 kane_xie REST hbase
hbase（hadoop）是用java编写的，有些语言（例如python）能够对它提供良好的支持，但也有很多语言使用起来并不是那么方便，比如c#只能通过thrift访问。Rest就能很好的解决这个问题。Hbase的org.apache.hadoop.hbase.rest包提供了rest接口，它内嵌了jetty作为servlet容器。启动命令：./bin/hbase rest s
JQuery实现鼠标拖动元素移动位置（源码+注释）明子健 jquery js 源码拖动鼠标
欢迎讨论指正！ print.html代码： <!DOCTYPE html> <html> <head> <meta http-equiv=Content-Type content="text/html;charset=utf-8"> <title>发票打印</title> &l
Postgresql 连表更新字段语法 update qifeifei PostgreSQL
下面这段sql本来目的是想更新条件下的数据，可是这段sql却更新了整个表的数据。sql如下： UPDATE tops_visa.visa_order SET op_audit_abort_pass_date = now() FROM tops_visa.visa_order as t1 INNER JOIN tops_visa.visa_visitor as t2 ON t1.
将redis,memcache结合使用的方案? tcrct redis cache
公司架构上使用了阿里云的服务，由于阿里的kvstore收费相当高，打算自建，自建后就需要自己维护，所以就有了一个想法，针对kvstore(redis)及ocs(memcache)的特点，想自己开发一个cache层，将需要用到list，set，map等redis方法的继续使用redis来完成，将整条记录放在memcache下，即findbyid，save等时就memcache，其它就对应使用redi
开发中遇到的诡异的bug wudixiaotie bug
今天我们服务器组遇到个问题：我们的服务是从Kafka里面取出数据，然后把offset存储到ssdb中，每个topic和partition都对应ssdb中不同的key，服务启动之后，每次kafka数据更新我们这边收到消息，然后存储之后就发现ssdb的值偶尔是-2,这就奇怪了，最开始我们是在代码中打印存储的日志，发现没什么问题，后来去查看ssdb的日志，才发现里面每次set的时候都会对同一个key