开源项目观察8月报

前言

总结8月份自己关注的一些项目/语言的新版本

本文公众号地址

大数据

hue

1月19: 4.11
https://docs.gethue.com/releases/release-notes-4.11.0/

• 支持 iceberg 数据源

• 通过缓存 Livy session 中的信息来加速 SparkSQL，并适配 Spark UDF

• 支持 HPL/SQL: hive sql 的高级语法，支持中间结果保存、循环等

总结: 基本是小改进，界面样式和4.10一致

starrocks

8月25: 3.1.2

3.1 版本相关的新特性（部分）

• 存算分离: 支持主键模型

• 存算分离: 抽象 存储卷（Storage Volume） 概念，方便在不重启集群的情况下，对对象存储的配置进行修改

• Catalog: 支持 ES、Paimon

• 物化视图: 可以通过ALTER手动重新激活物化视图（用于解决 base 表重建后，物化视图将失效的问题）

• 物化视图: 通过 swap 可进行视图语句替换

• 物化视图: 支持随机分桶（Random Bucketing）

• 物化视图: 支持通过 ORDER BY 指定排序键

• 建表: 支持自增列属性 AUTO_INCREMENT，提供表内全局唯一 ID

• 建表: 通过分区表达式自动创建分区，比如 day 表示按天分区

• 建表: 支持随机分桶（仅支持明细表）

• 建表: 支持使用 colocate_group、storage_medium（存储介质 如：SSD）、storage_cooldown_time 等属性

• 建表: 支持生成列（generated column），自动计算表达式结果，提升查询性能

• 导入数据: 通过 insert into 导入数据的时候支持 files 函数，不需要先建 catalog

总结: starrocks 作为目前比较流行的实时数仓服务，3.0 版本在物化视图的改进还是很足的，非常建议尝试

airflow

8月18: 2.7.0

• python基础版本: 不再支持 3.7, 支持 3.8, 3.9, 3.10, 3.11

• UI: 新 graph 界面

• smtp: 默认使用 ssl.create_default_context 创建 ssl 客户端，可通过 email-ssl_context 配置其他校验级别

• UI：出于安全性考虑，默认禁用在界面、API 和 CLI 侧对 connection 触发测试，可通过 test_connection 选项配置
  可选值: Disabled, Enabled, Hidden

之前版本的dag界面:

新版本dag界面:

总结: 基本功能改动不大，有两个主要特性都和安全性相关

presto

8月8: 0.283

0.276 ~ 0.283 的部分改进

• JDBC: 增加 metadata 的缓存，通过三个配置控制: metadata-cache-ttl, metadata-cache-refresh-interval 和 metadata-cache-size
  参考 hive 配置

• ES: 支持配置用户密码校验，参数将透传给ES

jupyter

4.0

快速使用:

docker run -it --rm -p 8888:8888 jupyter/datascience-notebook:lab-4.0.5

• code editor: 使用新版 codemirror 6，配置更有效和方便，比如只隐藏 markdown 格式的左侧行数

• extension: 可以直接引用通过 pip 安装的依赖，不再需要本地再把 extension 项目重新 build 的过程

• 基本操作: 优化搜索功能，支持选中搜索、多行搜索

• UI: 增加 ctrl + shift + H 快捷键查看热键，在 notebook 底部增加创建新代码块按钮等

• 协作: 通过 jupyter-collaboration 支持多用户协作编辑同个 notebook

总结: 4.0 版本之后界面样式和 3 差不多，不过还是能看到很明显的一些细节改进，值得尝试

seatunnel

2.3.3

参考: Apache SeaTunnel 2.3.3 版本发布，CDC 支持 Schema Evolution！
Apache SeaTunnel 2.3.3 Released with CDC Support for Schema Evolution!

• 实时同步: flink cdc 支持表结构同步（DDL）

• 实时同步: flink cdc 支持对无主键表的唯一索引列进行 split 拆分

• mongo: 支持 mongo cdc

编程语言

golang

1.21

Go 1.21 is released!(8月8日)

Go1.21 那些事：泛型库、for 语义变更、统一 log/slog、WASI 等新特性，你知道多少？

Is Go 1.21 already on your upgrade list? It should be!

• 日志: 标准库新增 slog，支持格式化日志输出、自定义 handler 和 日志等级
  reddit 上的讨论: 大部分开发者都很欢迎 go 官方支持了slog

• 内置函数: 新增 max、min、clear。不再需要通过 math.Max 调用，且通过泛型支持不同基础类型传参

• 内置函数: cmp 支持泛型

• 基础类型: map、slice 支持泛型，并提供支持泛型的 maps、slices 工具库
  常用方法: slices.Sort、maps.Equal 等

• 泛型: 性能提升
  Understanding Go 1.21 generics type inference

• 基本语法: for 循环变量赋值语义变更，可通过添加 GOEXPERIMENT=loopvar 参数控制让局部变量每次赋予新值，避免在循环内开启协程、使用指针时出现不符预期的结果，参考: Using reference to loop iterator variable

• 编译: PGO（Profile Guided Optimization） 正式发布，通过在 main 代码目录放置 default.pgo（可通过 /debug/pprof/profile 接口生成的 profile）文件来开启 PGO build，将对程序性能有 2% - 7% 的提升

• 命令行和工具: go tool 支持向前（旧版本）兼容和向后（新版本）兼容
  向前: 如设置 GODEBUG=http2client=0,http2server=0 可禁用 net/http 库的 http2 功能，参考
  向后: 如通过 GOTOOLCHAIN=go1.21rc3 go test 参数设定 go tool 使用的版本，参考

• Context: context 新增 WithoutCancel 、WithDeadlineCause 、 WithTimeoutCause、AfterFunc 等方法

• 其他特性等: 支持 WASI；增加全局的 $GOROOT/go.env 配置解析（优先级: 系统环境变量 > 用户路径下的 go.env，即 $HOME/.config/go/env > $GOROOT/go.env）等

总结: 相比泛型，像日志库、一些内置函数和 context 新增方法反而更让笔者眼前一亮，这些是在旧功能上进行的添彩功能，可能在平时更能用上

c++

10分钟速览 C++20 新增特性

新版 C++ 特性(c++11)

What Is Modern C++ in 2023?

The most notable changes in C++20 are

官方-C++20

注意: 使用 gcc 编译需要先升级到 10 以上版本 - 参考

• 模块管理: 通过模块进行依赖引用，减小编译后文件大小
  扩展: C++20 新特性: modules 及实现现状
  扩展: C++ 之父 Bjarne Stroustrup 对模块功能的介绍
  C++20 新特性: modules 及实现现状

• 基础语法: 支持 coroutine（协程）

• 基础语法: 支持 concepts+requires 语法，可以更方便地使用泛型，参考

• 基础语法: Ranges: 更方便地编写迭代器、过滤器的语法
  – 但是对 ranges 的看法五花八门，参考一篇知乎

• 基础语法: 支持条件约束（Contract Programming）: 可定义前置条件、后置条件、错误、断言和不变量等，可以更早地在编译阶段发现程序问题
  – 如: nodiscard: 规定方法返回值要获取，invariant: 规定方法内部不对入参进行修改
  – 注意: 只是在编译产生警告，不会直接导致编译错误

• 基础类型: 原子类型，操作方法有 store、load、fetch_add 等

总结: 更新虽然很多，但是 coroutine 使用起来需要引入相关的如此多的关键字，着实让我敬而远之。类似的吐槽，其中有人建议使用封装后的库 如 cppcoro，以及对比 Rust 语言的 Async 和 Await 用法: Async/Await for AVR with Rust