Gartner发布2024 年技术提供商热门趋势：人工智能安全

GenAI 的采用有望带来商业收益，但也敲响了对其可能造成的危害的警报。产品领导者需要在透明度和安全性方面进行投资，以应对不断关注人工智能安全的监管和市场力量。

机会

• 随着人工智能产品在企业解决方案中的激增，负责任和安全的人工智能将越来越多地与输入和输出的透明度以及信任和安全的需求联系在一起。可解释性和透明度是促进采用和提供安全护栏的关键要素。

• 为模型创建提供数据安全措施有助于保护人工智能产品，并为客户、监管机构和其他利益相关者提供清晰的审计跟踪。模型安全性正在制定明确的指南，指导如何获取训练数据以实现平衡和权限使用。

• 提供商可以根据增强的专有信息安全性来实现差异化。机遇包括推出新服务或安全产品来保护客户，以及通过解决正在出现的人工智能安全要求来强化价值主张。为了确保保护客户的专有信息，他们可以将数据相关的安全性和其他风险缓解措施内置到具有嵌入式人工智能的企业和基础设施应用程序中。

• 提供商可以通过与相关组织合作来影响政策制定，并预先确定与技术和服务提供商 (TSP) 的业务和运营模式密切相关的领域。

建议

负责人工智能模型和应用的产品负责人应该：

• 为模型开发人员构建包含安全原则（例如负责任的人工智能）的解决方案。通过确保输入训练数据具有明确的使用权限、记录的模型审计跟踪以及遵守安全和身份管理的要求，推进安全目标。

• 通过加入行业联盟、遵守人工智能安全承诺以及在自己的模型上实施红队来投资自治活动。经常公开谈论您对安全相关行业团体的参与以及为确保人工智能安全所做的努力。

• 通过培训和提高员工技能以及获取具有相关安全护栏的解决方案来保护专有的组织和客户资产。

• 通过部署人工智能信任、风险和安全管理 (TRiSM) 原则来管理技术和业务要求，预防监管和合规性问题。保持领先地位至关重要，因为监管规定因司法管辖区而异。

需要知道什么

这项研究重点关注人工智能安全，这是2024 年技术提供商热门趋势中的 10 个突出趋势之一。

人工智能具有其他技术无法比拟的推动业务发展和创造价值的潜力。人工智能可以帮助医学领域进行药物发现，提高生产力并推动创新。预计到 2027 年，仅人工智能服务的市场规模就将达到 4430 亿美元，2023 年至 2027 年的复合年增长率 (CAGR) 为 16.9%。到2027 年，人工智能软件支出预计将增长至 2980 亿美元，复合年增长率为 19.1% 。

与此同时，生成式人工智能（GenAI）的主流到来也带来了新的挑战。因此，一些公众和媒体对人工智能安全的兴趣是由于对存在风险的担忧（例如，“人工智能会毁灭世界吗？”）以及对失业和就业岗位增加造成的社会破坏的担忧而激发的。政府和企业需要考虑这些风险和干扰。

对于部署人工智能的产品领导者来说，安全问题是必须解决的务实问题。这些问题影响产品路线图、跨业务功能采用人工智能用例的速度、企业竞争力以及捕捉可用市场机会的能力。与此同时，人工智能的广泛采用正在促使社会、科技界和政府要求这项技术的部署是为了造福人类，同时保持高度关注减轻潜在风险。

人工智能安全考虑正在推动产品领导者的决策，并将在未来几年继续如此。特别是，他们应该考虑人工智能安全问题的影响：

• 构建者：该群体由技术提供商组成，他们正在构建人工智能模型来驱动其应用程序，然后将其直接转售给客户。人工智能构建者将这些模型投入商业环境中的生产，或者将系统提供给最终客户，最终客户又在这些模型上构建应用程序。

• 用户：人工智能客户是一个极其广泛的群体。发达国家几乎所有公司都是人工智能技术的最终用户，并且通常使用提供商设计的应用程序构建自己的模型。因此，这是一种以民主化为理念构建的技术，可以满足广泛的业务功能（例如，营销、销售、供应链、财务、非 IT 和 IT）的需求。

• 监管机构：政府机构解决公共安全问题并评估人工智能的成本/收益以及最终对社会的影响。道德因素会影响这些考虑因素，反映社会的价值观。由于源自不同地区的规则的分散性，这反过来又给产品领导者带来了进一步的挑战。

随着政府开始了解人工智能的潜力及其对社会造成的危害，人工智能安全成为趋势。与此同时，人工智能建设者和研究人员正在呼吁监管，政府和企业领导人正在询问有关该技术的道德问题。鉴于这些力量，企业必须为负责任和安全的人工智能不断变化的需求做好准备。这些要求来自那些寻求通过这种先进技术提供保障的人：政府、非政府组织 (NGO) 和行业联盟以及一些试图以身作则的科技公司。

简介：人工智能安全

描述：

人工智能安全包括基于人工智能的工具和功能提供商为解决人工智能相关问题而采取的一系列步骤，同时继续刺激采用和创新。这些步骤解决了以下问题：

• 追踪个人行为

• 模型中的偏差

• 模型生成的输出陈述虚假信息，但似乎来自合法来源（幻觉）

• 通过深度伪造（文本、音频、图像、视频或组合）削弱对信息的信任

• 国家和非国家行为体造成的全球安全威胁

其他问题包括需要保护公司专有数据，希望利用一流的训练数据，同时对该数据拥有明确的所有权，确保人工智能不会损害品牌声誉，以及为模型实施一套强大的安全措施及其支持计算基础设施。

技术提供商为缓解这些问题而采取的措施包括：

• 提高模型输出和输入透明度的方法

• 制定保证并保证其产品的使用受到保护

• 为开发模型的 AI 工程师实施安全措施（例如 Microsoft Azure AI 内容安全产品和其他可解释的 AI 产品）

• 培训员工成为公司知识产权的全面管理者，无论是构建还是使用人工智能

工作的根本力量是负责任的人工智能，它是组织采用人工智能时做出正确的商业和道德选择的许多方面的总称。

为什么热门：

负责任且安全的人工智能是一种影响许多角色的趋势。这对于产品领导者来说尤其重要，因为根据我们的产品管理调查，AI/GenAI 是未来 12 个月内影响产品管理团队的最具影响力的趋势。目前，人工智能安全对于产品领导者来说意义重大，因为有四种驱动力影响着组织中负责人工智能的产品领导者（见图 1）。

图 1：推动人工智能安全趋势的力量

1.    隐私权。人工智能非常擅长识别和预测个人行为模式，或通过面部识别系统进行个人图像识别。虽然通过此类使用可以增强便利性和个性化，但也存在一个重大问题，即以这些方式使用个人数据也可能很容易被操纵用于邪恶目的。用户协议必须反映最终用户数据的使用方式以及获得的明确许可。

2.    保护数据和知识产权 (IP)。某些人工智能模型是在未经原始数据源明确同意的情况下使用网络抓取等技术进行训练的。公司正在注意到并制定策略，通过协商数据协议来保护其知识产权和/或正在寻求法律追索。此外，企业正在寻求使用不会泄露到公共领域的专有训练数据来构建特定模型。

3.    政策法规。世界各地的政府领导人已经注意到人工智能的变革性，并希望在不妨碍创新或潜在社会效益的同时制定保障措施。与在源代码中定义的维度集合内运行的其他技术不同，人工智能输出可能无法提供预定义和预期的结果。人工智能拥有的自主性以及模型和算法的黑箱性质，使这对监管机构来说是一个独特的挑战。

4.    商业需要。企业正在采用人工智能产品，因为这种变革性技术涉及企业内部的多种功能，创造新的收入机会和生产力提升。根据 2023 年 Gartner CIO 和技术高管调查，在 ChatGPT 成为头条新闻之前，32% 的 CIO 和技术高管表示，他们的企业将在 2023 年将最大数额的新资金或额外资金花在人工智能/机器学习上（例如，不仅仅是生成式人工智能）。人工智能产品商业兴趣的另一个指标是风险投资（VC）市场的活跃程度。自2020年以来，风险投资对GenAI的投资增加了425% 。

由于对深度造假、错误信息传播的容易程度以及损害公司知识产权的可能性的担忧，利用大语言模型 (LLM) 的人工智能解决方案的最新进展引起了高度关注，正在加速人工智能安全趋势。根据 2023 年 Gartner IT 高管网络研讨会民意调查，GenAI 最令人担忧的风险包括数据隐私 (42%)、幻觉 (14%)、滥用 (12%)、安全 (13%)、偏见和不公平 (10%)、和黑盒反应（7%）。虽然一些人工智能产品已经成熟并已投入生产多年，但随着组织寻求收益，其他新兴的 GenAI 用例正在带来一系列挑战和风险。

产品领导者现在和未来几年需要了解的关键人工智能安全主题包括：

• 最终用户什么时候了解他们正在与机器人或人工智能交互很重要？公共选举中的 Deepfakes 一方面是一种极端情况，另一方面，人工智能透明度的理念也会对与用户体验、内容制作、模拟和搜索营销相关的业务用例产生影响。

• 技术提供商及其客户需要采取哪些措施才能享受人工智能的好处，同时保护公司和客户信息不作为培训数据泄露？

• 技术提供商的员工需要如何接受培训，才能最大限度地发挥人工智能的优势并降低公司专有信息无意泄露的风险？

• 当技术提供商构建人工智能模型时，无论是以开源、特定领域还是私人运营的方式公开提供的人工智能模型，开发人员是否有权在未经所有者同意的情况下使用可用的训练数据？

• 可以采取哪些措施来确保平等和算法问责？在开发人工智能模型时，训练数据本质上可能会在输出中引入偏差。最近的社交媒体平台、信用贷款人工智能系统和其他用例的历史表明了该技术的缺点。

• 用户如何理解人工智能的输出？就LLM而言，人工智能构建者在解释神经网络如何得出答案的尝试中将受到阻碍。随着模型能力随着计算、参数大小和模型效率的提高而扩展，可解释性将很难甚至不可能跟上。

• 技术提供商应如何安全地使用人工智能？提供商需要确保人工智能生成或辅助的代码不会引入新形式的漏洞。

影响：

人工智能安全正在推动政府监管

许多国家已经开始制定人工智能相关法规。例如，欧盟成员国正在对一项人工智能法案草案进行评论，并可能在 2023 年底之前将该法案采纳为法律。该法案是一个基于风险的系统，将人工智能系统分为四个级别：禁止的、受监管的、高风险的、透明的有限风险、低且最小的风险。禁止的系统是那些操纵人类行为或利用漏洞的系统。高风险人工智能系统是用于生物识别、招聘、信用评分、教育或医疗保健的系统。高风险的人工智能系统必须遵守数据质量、透明度、准确性、稳健性和安全性方面的严格规则。它们在投放市场之前还必须经过合格评定。

欧盟的人工智能法案还旨在建立一个治理结构，即欧洲人工智能委员会（EAIB），以执行其规则。对违规行为的制裁和补救措施可能包括高达全球年营业额 6% 的罚款或严重违规的 3000 万欧元（以较高者为准）。同样，美国国会正在讨论人工智能权利法案，并寻求在短期内将其纳入法律，拜登总统已发布了一项包含指导方针的行政命令。中国的《人工智能生成服务暂行管理办法》于 2023 年 8 月生效。这些进展标志着政府组织更加关注人工智能的影响和风险。

先前的隐私技术安全举措导致了广泛的措施的实施（例如，《通用数据保护条例》和《加州消费者隐私法》）。但其他寻求监管技术（例如社交媒体）的举措已经停滞。这是因为监管机构在实现言论自由与限制潜在有害算法、释放创新和竞争与考虑新技术对社会的影响之间寻求平衡。

在人工智能安全领域，监管可能会迟早出台。首先，立法者对“未知的未知数”感到恐惧。与此同时，人工智能工程领域的主要声音要求政府监管或暂停该行业的发展。此类法规意味着某些模型开发商需要获得许可证，并且需要负责监管这些模型的制裁机构的安全批准。人工智能构建者需要在其开发和上市 (GTM) 时间表中考虑这些批准。对于关键的人工智能基础设施，出口管制将限制向某些国家出售先进计算技术。

虽然各国政府正在准备制定规则，阐明人工智能安全合规的最低要求，但行业联盟和非政府组织也在推动确保道德和安全发展的措施（见图 2）。

图 2：政府和非政府组织针对人工智能安全的举措

人工智能安全将推动数据和知识产权保护的透明度

备受瞩目的人工智能构建者一直受到关注，因为他们的LLM在未经原始创建者明确许可的情况下接受了数据培训。为了消除这种担忧，培训数据将越来越多地通过收费或合作方式获得许可。人工智能构建者还必须承认并记录培训数据，并且在某些情况下，合作伙伴支付这些输入的明确权利。用户必须调查输入源以了解输出和潜在风险。为了进一步提高透明度，人工智能构建者将在内容中加入数字水印，以区分人类和机器生成的输出。

如果安全措施没有到位，人工智能系统还可能会获取公司数据并公开暴露该信息。企业需要实施 AI TRiSM和员工培训计划，以确保员工安全地使用系统。使用人工智能产品的任何员工都需要进一步提高技能，以确保合规性和管理风险。

人工智能安全将进一步推动隐私权

人工智能构建者必须认识到，在使用个人信息进行训练模型时，必须有明确的选择退出和使用相关规定。提供监控或识别系统的系统需要确保参与者的书面同意。使用算法进行决策或增强人类决策的人工智能系统将需要广泛可用的训练输入来以公平和平衡的方式代表市场。此类系统的技术提供商将需要记录输入和培训数据，以回应算法问责制的要求。

人工智能安全不会妨碍商业需求

引导企业寻求利润率提高和/或收入增长的潜在力量将继续推动企业获得部署人工智能的好处。自动化和生产力提升是加速人工智能产品采用的商业必要条件。来自人工智能产品和服务的新收入来源也是推动人工智能产品的商业必要条件。

这些要求中的每一项都与负责任和安全的人工智能有着内在的联系。当被问及 GenAI 的好处是否大于风险时，68% 的高管领导者表示，他们认为好处多于风险。通过采用各种人工智能用例，企业将寻求获得商业收益和竞争优势。在实现这些战略收益并保持创新和竞争力的竞争中，技术提供商还必须注意潜在的风险。市场领导者将主动将安全措施融入产品中，以尽可能充分地分享利益。

对技术和服务提供商业务运营的影响：

顶级趋势的定义属性之一是它对 TSP 业务运营的不同部分的多方面影响。人工智能安全也是如此，表 1 总结了人工智能安全对所分析的六个领域的影响。

表1 ：人工智能安全对TSP业务运营的影响

商业运作	影响规模	影响范围
产品与服务	高的	人工智能被注入到整个企业的功能应用程序中，因此对构建安全性和合规性所需方面的担忧将越来越多地影响技术提供商。 产品和服务提供商的消息传递和 GTM 策略将需要调整，以确保潜在买家遵守人工智能安全原则。
客户和买家	很高	客户越来越意识到人工智能的各种风险，并将寻求诸如赔偿条款、模型透明度和经过验证的使用权保证等保证。 提供商将制定价值主张，以满足买家对负责任和安全的人工智能的行为和期望。 如果人工智能出现问题，买家将评估潜在声誉和品牌损害的风险与回报。
运营和流程	很高	建立不同程度的可解释性和透明度将缓解一些人工智能担忧，同时也有助于加速采用。 提供商将被要求更新其运营模式，以适应日益严格的审查并调动必要的资源。
竞争格局	高的	较大的提供商和前沿模型开发商将在人工智能安全规定的分配和资源方面拥有竞争优势。 解决了安全问题的应用和特定领域产品的新进入者将比通用解决方案获得优势。 人工智能安全领域将出现利基提供商，推出专注于人工智能安全的产品和服务。
合作伙伴和生态系统	中等的	产品领导者将与行业联盟和非政府组织建立新的合作伙伴关系，以保持与行业规范的一致。 寻求在产品中建立领先的人工智能安全措施的 TSP 将需要与透明度、可解释性以及相关负责任和道德的人工智能开发方法方面的专业专家合作。
人才与资源	很高	对员工进行人工智能安全培训将是不稳定的，因为规则会因地区而异，政策会因公司而异，知识库也会因员工而异。 寻找和聘请能够确保合规性的数据和安全专家将很困难。
影响规模的定义： 非常高 = 所有技术提供商 75% 以上的业务运营受到影响 高 = 所有技术提供商 50% 到 75% 的业务运营受到影响 中 = 所有技术提供商 30% 到 50% 的业务运营受到影响 低 = 所有技术提供商受影响的业务运营低于 30%

资料来源：Gartner（2023 年 12 月）

行动：

• 监控主要地理区域的监管环境：欧盟、美国和中国。确保合规和法律团队跟踪人工智能规则的出现和发展。违规行为将受到严厉处罚，人工智能提供商需要遵守其运营市场的最新规则。

• 支持和/或跟踪前沿模型论坛、AI 治理联盟、Responsible AI Institute 和 AI Now Institute 等自治活动。

• 制定相关输入和输出透明度的策略。在 GenAI 中，输出透明度可能意味着内容交付物的数字水印。早期的例子包括来自 Google Cloud 和 DeepMind 的SynthID 。 

• 投资于可解释性、透明度和可解释性功能，以提供与安全问题相关的保证并加快最终用户的采用。探索对神经网络模型实际执行的操作进行逆向工程，并进一步提高解释输出的能力。

• 从模型透明度、可追溯性、可解释性和可解释性方面评估人工智能的安全价值主张。

• 在全面上市之前，通过积极的红队对模型和应用程序进行压力测试。遵循 AI TRiSM 中的最佳实践安全流程。

• 制定在实践中可操作且可编码的道德人工智能指导原则。这方面的例子包括 Google 的 AI Princ iples 7和 Anthropic 的 Constitutional AI。

• 提供数据保护保证，让客户确信模型输入是安全的。早期的例子包括Microsoft Copilot 版权承诺和 Adobe Firefly 的版权侵权保护。