数据治理平台之数据采集细节

计算HDFS系统中分区文件的大小

利用递归对树形结构遍历

1. 准备阶段
   • 递归起点
   • 访问工具
   • 收集数据的容器
2. 遍历阶段
   • 中间节点：根据需要处理计算，收集数据，继续递归
   • 叶子节点：收集数据

写代码注意事项

1. 不要反复连接数据库，尤其不要把对数据库的操作写在循环中
2. 提前设置list容量大小，避免反复扩容

搭建前端页面

1. 前端页面拷贝到resources
2. web服务端口80
3. host把127.0.0.1映射为dg.gmall.com

意识

1. 思考需求的弹性
2. 如果必须使用循环创建多次连接查询才能满足需求，则建议直接使用join操作

查看端口的linux命令

netstat -anp|grep 9083， 使用该命令可以查看特定端口号的占用情况。

@TableField(exist=false)注解

声明bean对象的某个字段没有对应的数据库字段，让mybatis-plus不要去生成对应的SQL语句。