后端开源库手册

Excel

easyexcel

快速、简洁、解决大文件内存溢出的java处理Excel工具

GitHub - alibaba/easyexcel: 快速、简洁、解决大文件内存溢出的java处理Excel工具

com.alibaba

easyexcel

3.3.3

POI

老牌、内存占用稍大

<dependency>
             <groupId>org.apache.poigroupId>
             <artifactId>poiartifactId>
             <version>3.17version>
dependency>
<dependency>
             <groupId>org.apache.poigroupId>
             <artifactId>poi-ooxmlartifactId>
             <version>3.17version>
dependency>

BI

CBoard

国内BI版本很多年不更新，但是DAO部分可以借鉴

GitHub - TuiQiao/CBoard: An easy to use, self-service open BI reporting and BI dashboard platform.

数据清洗

OpenRefine

老牌，前后端不分离没有restapi，前段是jquery

OpenRefine

机器学习

smile

Smile is a fast and comprehensive machine learning engine.

Smile - Statistical Machine Intelligence and Learning Engine 

SQL分析

Calcite

Apache Calcite 是一个动态数据管理框架，提供了：SQL 解析、SQL 校验、SQL 查询优化、SQL 生成以及数据连接查询等典型数据库管理功能

SQL分析，大数据基本上都用

Apache Calcite • Dynamic data management framework

Q: Calcite 支持哪些数据源？ A: Calcite 支持多种数据源，如关系数据库（如 MySQL、PostgreSQL、Oracle 等）、NoSQL 数据库（如 HBase、Cassandra 等）、Hadoop 集群等。

Q: Calcite 如何处理缺失值？ A: Calcite 可以通过使用填充缺失值的函数来处理缺失值，如使用 AVG()、MEDIAN()、MODE() 等聚合函数来填充缺失值。

Q: Calcite 如何处理数据类型转换？ A: Calcite 可以通过使用类型转换函数来实现数据类型转换，如使用 CAST()、CONVERT() 等函数来转换数据类型。

Algebra

Q: Calcite 如何处理数据归一化？ A: Calcite 可以通过使用数据归一化函数来实现数据归一化，如使用 MIN-MAX 归一化、Z-Score 归一化等方法来归一化数据。

Q: Calcite 如何处理数据质量检查？ A: Calcite 可以通过使用数据质量检查函数来实现数据质量检查，如使用 CHECKSUM()、COUNT()、DISTINCT() 等函数来检查数据质量。

Q: Calcite 如何处理噪声去除？ A: Calcite 可以通过使用噪声去除函数来实现噪声去除，如使用 FILTER()、WHERE() 等函数来去除噪声。