重构之前的数据统计,用于数据归档,要考虑数据迁移

前言

平台应用重构之后,那么就必须考虑的一件事情特别重要的就是数据归档,针对历史数据如何处理,特别是我这个平台应用的历史数据已经突破天际,已经过千万,而且还有几张历史很重要的表数据已经超过亿级的量级,真的很考验能力!下面就开始我在做重构前提的种种准备工作记录:

  1. 统计重要表数据,历史总量,季度,年度,月度区间的数据量

  2. 针对历史数据归档设计

  3. 历年的数据统计

  4. 最终考虑如何进行

  5. 考虑每天,每周,每月的书增量

1、统计数据

1.1统计目前全部数据表总数

select  '详细说明' ,'统计条数(条)'     from information_schema.tables where table_name = 'tbm_news_info' and table_schema = 'tbm' union all 
select  'tbm_news_info信息表总数(重点)'                  , table_rows                from information_schema.tables where table_name = 'tbm_news_info' and table_schema = 'tbm' union all 
select  'tbm_news_tags主表标签表总数(重点)'              , table_rows                    from information

你可能感兴趣的:(2022年-目前工作,java工作经验贴,big,data,大数据)