机器学习-系统设计

框架

1. 理解和理清需求requirements和问题
   1. 系统的目标、主要功能
   2. 用户及场景use cases
   3. 清晰的边界
   4. 抽象问题转化为机器学习问题
2. 定义评价指标（离线与在线）
3. 系统架构
   1. 非ML部分
   2. ML部分
4. 数据收集与准备
5. 特征工程
6. 模型开发与离线评测
7. 推理服务
   1. 推理模式：batch, online, hybrid
   2. 模型压缩：量化、剪枝、蒸馏
8. 在线测试与部署
   1. AB测试
9. 扩展、监控、更新
   1. 扩展
      1. 软件系统：分布式，负载均衡
      2. 机器学习部分：分布式训练，分布式数据收集
10. 监控
    1. 监控日志
    2. 监控指标
11. 更新：持续训练
    1. 自动更新模型
    2. Human in the loop