人工智能时代的危机_如何解决AI的再现性危机

人工智能时代的危机

在追求结果的过程中，可重复性经常被踩在脚下。 转向敏捷方法论只会加剧AI的可再现性危机 。 没有可重复性，您就无法真正知道您的AI系统在做什么或将要做什么，而当您使用AI进行任何关键工作时，这将带来巨大的风险，从诊断医疗状况到驾驶卡车到筛查安全威胁再到管理准入时间的生产流程。

数据科学家的自然倾向是在开发，培训和迭代机器学习，深度学习和其他AI模型时为了速度而跳过文档。 但是可重复性取决于知道产生特定数据驱动的AI模型，过程或决策的步骤顺序。

[在InfoWorld上深入学习机器学习： 11种必备的机器学习工具 。 • 掌握机器学习的13个框架 • 揭秘了机器学习的管道 •回顾： 6个机器学习云 • 您应使用哪个Spark机器学习API？ ]

如果构建AI模型的数据科学家未能遵循可重复的方法来进行工作或精确记录其实际操作，则可重复性就会崩溃。 在这些情况下，无论是AI模型的原始开发者还是任何其他人，都无法确信自己发现的内容可以在以后由他们自己或任何其他人复制。

由于底层的AI管道平台（包括建模框架，硬件加速器和分布式数据湖）在各个级别上都在不断发展，因此可再现性问题成倍增加，从而降低了为任何后续的交叉验证建立原始平台的精确副本的可行性。 。

共享的devops平台可以确保可重复性

为确保敏捷方法不会损害可重复性，数据科学团队应在共享devops平台上执行所有工作。 这些平台（现在由数十个供应商提供）使AI开发团队能够对数据科学专业人员开发其AI可交付成果所使用的特定过程进行可信赖的审计跟踪。 数据科学开发人员工具使用丰富的关联元数据存储库，以及精确记录特定数据，模型，元数据，代码和其他工件在特定过程或决策中如何执行的日志。 它们还自动执行以下AI管道功能：

• 记录获取，操作，建模和部署数据驱动的分析过程中的每个步骤。
• 在开发流程/的所有阶段对所有数据，模型，超参数，元数据和其他工件进行版本控制
• 保留在建模过程的每次迭代中使用的所有数据集，图，脚本，工具，随机种子和其他工件的档案副本。
• 生成详细的叙述，说明每个步骤如何促进每次迭代中获得的分析结果。
• 每个脚本，运行和结果的独立方在项目级别的可访问性和自省。

为什么还需要遵循神经网络标准实践

但是，即使他们在工作中严格采用devops平台和实践，数据科学家也可能会无意间损害结果的可重复性。 即使当两个数据科学家使用相同的训练数据和机器学习模型版本进行工作时，开发人员也可能会通过以下标准的神经网络建模实践无意间引入了运行间的可变性，从而损害了可重复性。

• 初始化 ：当模型的输出收敛于特定的目标值时，它们会接近有用的结果。 为了加快此过程，通常需要通过从特定数据分布中采样来设置模型初始权重值。 这通常会提高将初始权重设置为零时的收敛速度。 但这也会在每次运行的初始化中引入随机性。 结果是，当研究人员试图验证别人的发现时，可能会无意中偏离严格的可重复性。
• 排序 ：模型学习数据集中潜在模式的能力可能会因训练期间所暴露的观察结果的顺序而降低。 因此，数据科学家已经了解到，在每次训练之前随机地随机整理数据集通常是一个好习惯。 但是，这种做法也有悖于严格的重复性。
• 分层 ：模型可以包括具有固有随机性的层和节点，例如dropouts ，它们通过从任何特定的训练运行中排除一些隐藏的和可见的神经网络输入节点来减少过度拟合。 这通常会导致同一输入样品在每次运行之间产生不同的层激活，这与严格的可重复性背道而驰。
• 迁移 ：即使模型从一个框架迁移到另一个框架时，即使前端API和训练数据集保持不变，模型库在各个版本之间的行为也可能有所不同。 如果后续的机器学习开发人员无法回滚到用于生成特定结果的后端建模框架，则这可能会损害可重复性。
• 执行 ：如果未在相同版本和配置的后端硬件加速器（例如GPU）上执行相同的模型和代码，则由于任何给定操作（例如卷积处理）的硬件实现发生变化，因此模型代码可能不会在运行中产生一致的计算结果。 这可能会破坏随后的研究人员的可重复性，这些研究人员不了解这些硬件依赖性，因此无法在不影响测试范围的情况下关闭更改的操作。

不要忽略审计线索

如果数据科学家确保他们的工作符合透明性，可审核性和可访问性的一致标准，那么他们将使其他人更容易发现这些可重复性问题。 由于所有这些原因，数据科学家应始终确保敏捷方法留下足够的审计线索以进行独立验证，即使其同行（或合规性专家）从不选择应对挑战。

但是，正如我刚刚阐明的那样，其中一些问题可能是由于建模，培训，跨框架可移植性和后端硬件依赖性等方面的细微差别所致。 因此，除非其他评论包括您可以找到的最怪异的算法，框架和硬件专家，否则其他数据科学家可能不会轻易在同行评审中发现它们。 在民主化的AI开发世界中，无论何时不惜一切代价，找到这样的人将变得越来越困难。

对于AI专业人员而言，可再现性仍然是一项艰巨的挑战。 但这将继续重新出现并在所有AI利益相关者中变得越来越重要，因为社会将永远不会完全信任这些嵌入式智能资产所采取的自动化行动，除非能够证明这些嵌入式智慧资产产生与开发人员要求的合理可重复的结果。

翻译自: https://www.infoworld.com/article/3307103/how-to-solve-ais-reproducibility-crisis.html

人工智能时代的危机