Hudi编译

编译hudi

首先安装maven，修改仓库为aliyun，准备进行maven编译。

<mirror>
    <id>aliyunmavenid>
    <mirrorOf>*mirrorOf>
    <name>阿里云公共仓库name>
    <url>https://maven.aliyun.com/repository/publicurl>
mirror>

再安装git，通过git拉取代码。

// 拉取代码
git clone https://github.com/apache/hudi.git && cd hudi

// 修改hudi/pom.xml

	nexus-aliyun
	nexus-aliyun
	http://maven.aliyun.com/nexus/content/groups/public/
	
		true
	
	
		false
	


// 修改hudi-utilities/pom.xml
vi hudi-utilities/pom.xml


	io.confluent
	kafka-avro-serializer
	6.1.1


	io.confluent
	common-config
	6.1.1


	io.confluent
	common-utils
	6.1.1


	io.confluent
	kafka-schema-registry-client
	6.1.1



// 编译
mvn clean package -DskipTests -DskipITs

编译的时候有几个jar包无法从国内maven仓库拉取，https://download.csdn.net/download/qq_41106844/18167168我做了一个资源下载，需要的可以私信。

在只有数仓的时代中，人们将精力留在处理结构化数据上，把非结构化数据解析后存储为结构化数据。但是随着发展，人们不再局限于处理结构化数据，开始将非结构化数据（图片，视频，音频，json，XML等）直接存储到数据湖中，对非结构化数据进行处理。

优点

• 支持较快upsert/delete
• 支持增量拉取
• 具有Table Schema
• 对小文件的合并管理
• ACID语义保证
• 支持多种分析引擎

hudi的特性

• 快速upsert，可插入索引
• 以原子方式操作数据并具有回滚功能
• 写入器之间的快照隔离
• savepoint用户数据恢复的保存点
• 管理文件大小、使用统计数据布局
• 数据行的异步压缩和柱状数据
• 时间轴数据跟踪血统