【华为数据之道学习笔记】5-11 算法模型设计

      算法是指训练、学习模型的具体计算方法，也就是如何求解全局最优解，并使得这个过程高效且准确，其本质上是求数学问题的最优化解，即算法是利用样本数据生成模型的方法。算法模型是根据业务需求，运用数学方法对数据进行建模，得到业务最优解，主要用于业务智能分析。

        算法模型在数据分析流程中产生，算法模型管理框架包括建模、模型资产管理和模型消费。公司各领域已相继开发出大量基于算法模型的分析应用，通过对算法模型资产注册逐步打造公司级的算法模型地图。

        算法模型的设计步骤主要有需求评估、数据准备、方案设计和建模与验证。

     （1）需求评估

        1）业务驱动的分析需求识别

• 如果要识别与业务运营优化相关的分析需求，就需要梳理业务需求的背景、现状与目标。
• 若由战略或变革提出可能的分析需求，则应进行战略目标解耦，识别分析需求，了解业务现状与制定目标。
• 初步识别分析结果的应用场景。

2）数据驱动的分析需求识别

• 在集成的数据环境中进行数据挖掘，探索可能的分析应用。
• 识别分析需求和确认应用领域。
• 初步识别分析结果的应用场景。

3）价值与可行性评估

• 确定数据分析主题。
• 分析需求的业务价值评估，包括业务基线、分析主题的业务影响与可增进的效益。
• 分析前提与可行性，包括识别目前业务流程与可能的影响因素，探讨业务现状因素，并制定对应的分析解決方案，呈现出对应解决方案可提升的效益，对方案所需资源和数据的可行性进行评估。
• 根据相关的历史数据，进行假设和分析，并明确业务范围。

（2）数据准备

• 深入探索数据资产目录，识别与分析主题可能相关的数据。
• 提供数据源、数据标准、数据流等信息。
• 收集与整合原始数据，生成分析数据集。
• 根据分析需求进行数据筛选和质量分析。

（3）方案设计

• 明确要分析的业务目标与相关假设。
• 定义数据集中的分析目标、样本与筛选条件。
• 设计所需变量、指标、可能的分析方法和产出。 规划分析的应用场景。

（4）建模与验证

        1） 决定是否需要分析建模： 根据技术复杂度、业务效益和资源评估该分析需求是否需要分析建模。若需要分析建模且通过项目评审，则应进行高阶分析；若不需要建模分析，则运用BI分析。

        2） 建模与验证： 根据数据分析方案创建模型，对模型的参数和变量进行调整，根据应用场景选择适用的模型，并与业务分析师确认模型成效与应用，并进行优化，进行模型相关验证（如准确度和稳定度评估）及效益评估。

        3） 试算分析： 对数据分析方案中不需分析建模的场景和应用，根据数据分析方案进行分析结果的计算，并选择合适的展示方式。

        4） 编写数据分析线下验证报告：

• 记录分析结果与发现。
• 根据洞察发现，建议业务应用场景。
• 建议模型监测方式。

        5） 决定是否需要IT开发： 根据模型验证成果（分析建模）、预估业务效益、IT开发所需的成本和资源来评估分析结果是否需要IT开发。若需要，则通过评审后转入IT开发流程；若不需要，则进入业务应用并结束流程

        6） 模型线上验证：

• 设定线上验证范围与场景。
• 进行线上验证，制定模型监控机制（含监控频次和监控要素），
• 生成分析模型线上验证报告。
• 进行业务试运行与推广。

        7） 转运营： 与数据分析模型所属领域的业务代表确认转正式运营计划，启动业务正式运营。