数据仓库之建设

背景篇

  • 目前所在项目中,人员配置:
    1. 项目经理(4)
    2. 业务分析师
    3. 报表开发工程师(2,4)
    4. etl工程师
    5. 大数据开发工程师(4)

    人员压缩可参考括号内

分析篇

  • 从人员配置可知,现在企业对人员的要求比较高,恨不得你啥都会
  • 每个人最好了解业务,会提升做事效率(知道别人的需求)

理念篇

  • 会写代码会提高效率(python解析Excel、批量执行存储过程、日志解析)
  • 初期业务分析占比很大,需要需求方和解决方共同出力,打好数仓根基
  • 数据质量由双方共同验证
  • 前期写SQL可以不考虑效率问题(团队不是每个人都知道怎么写会比较快,多数人只要结果的)
  • 团队领导最好有分布式思想(大数据计算的设计理念就是分散计算、结果汇总):这样好接受大数据工程师的优化建议

创建篇

  • 数仓架构
    • 组件
    • 存储
    • ……
  • 业务分析
    • 系统
    • ……
  • 数据建模
    • ……
  • 数据计算
  • 任务工作流
  • 数据可视化(报表)

使用篇

  • ……
  • 运维

扩展篇

  • 对接外部数据
    • ……
  • 对外供数
    • 提供数据接口
    • FTP
    • Excel

后续补充,想到什么写什么

你可能感兴趣的:(数据仓库之建设)