Gartner发布风险和安全管理领域的生成式人工智能创新指南

生成式人工智能带来了三类新风险：内容异常、数据保护和人工智能应用安全。使用或构建 GenAI 应用程序的 IT 领导者可以利用这项研究来了解市场动态并评估新兴的 GenAI TRiSM 技术和解决新风险的提供商。

主要发现

• 在企业应用中集成大型语言模型（LLM ）和其他生成人工智能（GenAI）模型会带来三类新风险：内容异常、数据保护和人工智能应用安全。

• 托管 GenAI 模型的供应商没有提供一套完整的控制措施来减轻这些风险。相反，用户需要获取解决方案来增强托管供应商的有限控制。

• IT 领导者必须信任大多数托管 LLM 供应商能够保护其数据，但无法验证其安全和隐私控制。

• GenAI TRiSM 解决方案的市场仍然很小，新兴解决方案在很大程度上尚未经过测试。目前它的目标是保护LLM的使用，而不是保护多模式模型的使用。

建议

• 设置概念验证来测试类别中的新兴 GenAI TRiSM 产品，以增强您的传统安全控制，并在其按要求运行后将其应用到生产应用程序。

• 使用内容异常检测产品来减轻输入和输出风险，以实施可接受的使用策略，并防止不需要或其他非法的模型完成和响应，从而损害组织的决策、安全和安保。

• 评估AI 应用安全产品的使用情况，以保护您的组织免受黑客利用新的 GenAI 威胁向量损害您的组织及其资产的侵害。

• 继续使用已知的安全控制来保护敏感信息、应用程序堆栈和资产，但认识到它们不能减轻LLMLLM特有的风险，例如响应中不准确、煽动性或受版权保护的输出。

GenAI TRiSM市场仍然是整个 AI TRiSM 市场的一个非常早期的市场子集。我们定义了这个市场及其功能，并在本首份创新指南中注明了一些支持该市场的供应商。

市场定义

GenAI TRiSM 市场由多个软件和服务部分组成，为 GenAI 应用程序和模型交互的采用者提供安全、数据保护和风险缓解支持。GenAI TRiSM 工具包括以下解决方案：

• 内容异常检测

• 数据保护

• 人工智能应用安全

这些工具补充了 GenAI 模型、应用程序和代理的构建者或所有者实施的相关措施，因此代表了“共同责任”。

GenAI TRiSM 市场是更大的AI TRiSM 市场的一个子集，该市场还包括只能由人工智能模型、应用程序或代理的构建者或所有者实施的多个软件细分市场。这些建造者或所有者创建、维护和管理这些实体。对于本地 AI 模型，这些 AI 模型的所有者是使用这些相同 AI 模型或与这些相同 AI模型交互的相同实体。

市场地图

图 1：信任、风险和安全生成式人工智能 (TRiSM) 概览

我们于 2023 年更新了 AI TRiSM 架构，以反映 AI模型、应用程序和代理的构建者或所有者以及集成和使用它们的所有其他方的不同 TRiSM 责任。图 2 标识了这两方用于管理 AI 模型、应用程序和代理的这些方面的技术组件。

图2：AI TRiSM架构

本研究详细阐述了“共同责任”行中支持 GenAI 的三个 TRISM 技术组件，并列出了每个类别中的代表性供应商。分析了功能，并包括 AI TRiSM 架构行“建造者/所有者专有的责任”中三个技术类别的代表性供应商。

市场动态

使用托管的 LLM 和 GenAI 模型可以带来许多好处，但用户还必须应对三个主要类别的新的独特风险：

1.    内容异常检测

o   不可接受或恶意使用

o   通过提示或其他方法传输不受管理的企业内容，导致机密数据输入受到损害

o   幻觉或不准确、非法、侵犯版权和其他损害企业决策的不需要的输出

2.    数据保护

o   托管供应商环境中的数据泄露和机密性受损

o   无法在外部托管环境中管理隐私和数据保护策略

o   由于第三方模型的黑匣子性质，并且几乎不可能按照隐私立法要求正式与这些模型提供商签订合同作为数据处理者，因此难以进行隐私影响评估并遵守各种地区法规

3.    人工智能应用安全

o   对抗性提示攻击

o   矢量数据库攻击

o   黑客访问模型状态和参数

我们最近对 700 多名网络研讨会与会者进行了调查，了解他们最关心的 GenAI 风险，验证了这些风险类别，并强调数据隐私是用户最关心的第一大风险。

当使用外部托管的 LLM 和其他 GenAI 模型时，这些风险会加剧，因为企业缺乏直接控制其应用程序流程以及数据处理和存储的能力。但由企业托管和直接控制的本地模型仍然存在风险，特别是在缺乏安全和风险控制的情况下。

用户在人工智能应用程序和模型运行时面临这三类风险。请参阅图 3，了解它们在 AI 模型生命周期中的表现，并注意影响 GenAI 用户的相关运行时攻击和危害面。这些新的攻击面正在推动新的 GenAI TRiSM 市场的发展。

图 3：GenAI 生命周期和攻击面

对这些攻击和妥协面实施缓解控制的责任分为两个主要参与方，根据他们在人工智能模型、应用程序或代理方面的角色来定义：

1.    AI 模型、应用程序或代理的构建者或所有者

o   这些是参与生命周期前三个组成部分的实体，如上图浅蓝色所示。

2.    与人工智能模型、应用程序或代理集成的用户（人或机器）

o   这些是参与生命周期的运行时组件的实体，如上图所示为深蓝色。

通常，建造者/所有者和用户是同一实体。

市场演变

AI TRiSM 市场已经分散，并且没有产生供应商预期的收入。为了寻求更多的收入来源，AI TRiSM 供应商通过扩展到相邻的 GenAI TRiSM 类别（例如，AI 应用程序安全或异常检测）来继续开发功能。

此外，他们继续尝试向数据科学家和人工智能工程师展示AI TRiSM产品的价值，希望向他们推销在人工智能项目生命周期的早期使用这些产品，而不是仅在项目投入生产时才部署它们。他们的卖点是，从一开始就将 TRiSM 构建到 AI 项目中可以带来更好的 AI 项目性能。

尽管如此，TRiSM 产品的使用仍然有限。我们预计 2022 年 AI TRiSM 市场收入将达到或低于每年 1.5 亿美元。尽管如此，自2023 年初开始的 ChatGPT 和 GenAI 的快速采用加速了企业对 AI TRiSM 产品的需求，因为最终用户组织现在更迫切地寻求实施具体措施和控制来减轻各种风险。因此，许多提供异常检测、模型监控和AI应用安全的AI TRiSM供应商已迅速转向扩展其产品线以支持GenAI TRiSM功能。这些供应商包含在我们下面的供应商表中。

我们相信，许多企业最初将获得通过异常检测或安全人工智能应用程序来减轻输入/输出风险的解决方案，以了解企业对 GenAI 应用程序和模型的使用情况。这包括使用现成的应用程序（例如 ChatGPT）或通过其他集成点（例如插件、提示或 API）进行交互。对于组织来说，加强与 GenAI 的企业交互是首要任务，这些产品可以提供这些交互的良好地图。地图建立后，可以逐步部署缓解风险和安全威胁的核心功能。

我们保守预计到 2025 年底GenAI TRiSM 市场收入将达到1.5 亿美元。我们还预计，到 2026 年底，供应商将使用数据和内容异常检测来缓解输入/输出风险与人工智能应用程序安全相结合，该市场将大幅巩固。此外，我们预计大型现有安全供应商，特别是在安全服务边缘和数据丢失防护业务领域，将收购 GenAI 初创公司，以扩大他们为客户提供的保护。

我们还预计，一旦托管大型公共 GenAI 模型的供应商实现数据保护方法（例如加密）标准化并向需要此附加功能的客户提供这些标准方法，GenAI 隐私和数据保护类别中将出现一些赢家。

随着时间的推移，我们预计 GenAI TRiSM 供应商将扩展其产品，以保护多模式模型的使用，而不仅仅是LLM。随着企业对多式联运模式的使用增加，这种情况自然会在未来几年内发生。

商业价值（用例）

遗留控制不足以减轻与使用托管 GenAI（例如 LLM）模型相关的风险。用户在三个共同责任类别中遇到风险，创业型第三方供应商正在帮助解决三个不同用例的这些漏洞。

使用内容异常检测来管理输入和输出风险

• 输入风险：提交给 GenAI 模型的信息和数据如果发送到没有充分安全和保护的环境（例如，如果在传输过程中未加密，并且在存储时未加密），可能会导致数据泄露。GenAI 模型的输入也必须经过筛选，以确保它们符合企业可接受的使用策略。如今，大多数输入都采用交互式提示的形式，但安全领导者必须解决利用更自动化的输入形式的应用程序的输入和输出风险，例如来自其他应用程序的 API 调用，以及直接传输到软件代理的输出。

• 输出风险：鉴于事实错误和幻觉的发生率不可预测，GenAI 模型的输出并不可靠。输出也可能存在偏见，并可能包含版权材料或其他不需要的、恶意的、非法的或不合法的信息。这使得企业面临因非法使用模型输出的专有材料或做出错误决策而被起诉的风险。

o   在本地托管模型时，企业可以减轻因向第三方环境提交数据而产生的数据泄露风险。然而，企业仍然必须保护他们托管的数据。

此类供应商通常旨在减轻LLM的输入和输出风险。（其他类型的 GenAI 模型目前不在其范围内）。他们通过提供异常检测和内容过滤来实现这一点，根据预设的企业策略筛选输入和输出，这些策略体现在基于规则的系统或位于企业和托管LLM之间的小型人工智能模型中。这些异常检测器和内容过滤器调解并验证针对它们的信息流。我们尚未发现此类别中的供应商可以根据特定的企业定义的偏见和公平政策筛选输出。

管理数据保护风险，尤其是外部环境固有的风险

• 使用私人、专有、敏感或机密信息作为托管 GenAI 模型的输入会带来数据泄露和潜在违反现有法规的风险。组织必须在托管这些供应商模型的环境中监控和实施隐私、数据机密性和治理。

o   在本地托管模型时，企业会自动降低第三方环境中的数据泄露风险，因为它们并未被使用。

• 然而，他们仍然必须考虑使用中的（个人）数据的合法性，并保护所有处理和托管的数据——特别是当应用程序可供外部各方（客户、合作伙伴）使用时。

针对这一类别的新兴供应商仍然很少；事实上，我们只识别出其中两个。之所以没有出现更多的原因是因为，一般来说，托管LLM模型只接受明文查询，除非它们配备了专门的数据保护软件，可以“解读”或解释用户提交的受保护、加扰或加密的提交内容。我们建议领导者监控提供隐私增强技术的数据保护供应商的工作以及《人工智能信任、风险和安全管理市场指南》隐私类别中列出的技术。

外部托管LLM 供应商实际上无法支持现阶段市场上所有各种潜在的数据保护方法。然而，未来一些标准方法可能会得到供应商的认可，前提是用户需要它们并且它们不会影响性能。此外，大多数企业在查询时不希望将合成数据发送给 LLM 或其他 GenAI 模型，因为合成数据可能会使响应的用处大大降低。（将合成数据发送到托管的LLM将是保护敏感真实数据的好方法，这些数据随后将保留在企业中，但同样，这对于大多数用例来说是不切实际的）。

数据保护领域的供应商提供工具来加密和/或转换发送到托管矢量数据库或LLM服务等的数据。

通过保护新的 GenAI 攻击向量来管理AI 应用程序安全风险

随着研究工作和新概念证明的不断发布，围绕 LLM 模型的应用程序组件的这些新攻击面的范围仍未确定。人工智能应用程序包括用于协调模型使用的新组件。这引入了传统应用程序安全控制尚未解决的安全威胁。

• 对抗性提示包括提示护栏“劫持”和提示注入攻击。这些攻击需要通过测试 GenAI 应用程序对这些对抗性提示的抵抗力来采用“红队”方法来确保 GenAI 应用程序安全。不断出现的工具可以支持更好地自动化测试这些提示。

• 矢量数据库泄露。

• 恶意黑客访问模型状态和参数。

• 通过 API 调用和其他 IT 供应链风险，与“作为服务”提供的第三方模型进行不受管理和不受监控的集成。

• 此外，组织可以调整现有基础设施和应用程序安全控制的使用。许多组织正在利用其现有的安全服务边缘提供商来过滤对 GenAI Web 应用程序的访问。他们还使用 SIEM 创建“生成式 AI 仪表板”，以发现正在使用的新应用程序，并更好地了解哪些团队在使用它们。

此外，攻击者本身还可以利用 GenAI 来实施企业尚未做好准备的黑客技术。当企业拥有更多可见性和控制力时，这些风险也存在。

此类供应商使用一系列技术来扫描和预防网络安全风险，这些风险是嵌入 GenAI 和托管LLM并与之交互的应用程序特有的。

试点和评估供应商

在选择 GenAI TRiSM 供应商之前，您必须首先决定您的部署方法（请参阅如何选择部署生成式 AI 的方法）以及您所需的 TRiSM 功能。

一旦您清楚了成功实施所需的 GenAI 使用案例和 GenAI TRiSM 业务优势，请考虑适用于您的部署方法的第三方供应商。例如，如果您使用即时工程来限制模型完成仅使用您的私有验证数据，那么您可能会降低对供应商的需求以减轻输出风险。

此外，您的组织可能会使用多个 GenAI 模型和应用程序，如果您将各种 AI 模型和应用程序替换为更适合您需求的其他模型和应用程序，第三方供应商应该随时支持此类使用并消除摩擦。

一旦您确定了对第三方 GenAI TRiSM 供应商的需求，请在为您的试点和用例选择供应商时考虑表 1 中的五个标准。

表1 ：生成式 AI 试点的供应商标准

标准	描述
表现	并非所有产品都是一样的。评估和比较底层产品的性能，确保供应商拥有您的用例所需的功能类型（异常检测、API、插件、其他接口功能、策略定义和筛选）。
可定制性	根据所选的产品和功能，检查是否可以为您的企业策略和流程自定义应用程序。例如：是否可以创建定制的工作流程？是否可以专门筛选可接受的使用政策？供应商解决方案能否轻松与您自己的系统集成？
隐私、安全和数据保留	在与提供 GenAI TRiSM 功能的供应商的许可协议中建立具有法律约束力的数据保护/隐私保证。一些供应商将您的交互存储在自己的服务中，或者可以访问您的系统架构图，以便他们可以映射和监控您的人工智能集成点。有些可能使用加密或其他数据加扰方法提供数据保护，并有权访问解密或解扰数据的密钥。您必须检查供应商的安全策略是否符合您自己企业的安全策略。
价格	考虑不同的定价模型（例如订阅、API 即用即付定价）以及额外成本（例如云和人工智能基础设施、实施成本）。成本将根据试点的用例、规模和要求而有所不同。
其他长期考虑因素	其他考虑因素对于试点来说不太重要，但对于长期参与来说更为重要，例如提供的维护和支持以及您选择合作的供应商的长期生存能力。

资料来源：Gartner（2023 年 9 月）

试点不是供应商做出长期决策的时刻；这是一个更长的过程。这只是一个使用外部功能运行小型概念验证的机会。

管理风险

与新兴市场中的新兴初创公司或小型供应商合作时，供应商生存能力风险是固有的，从长远来看，这些供应商可能无法在财务上维持下去。为了管理此风险，请确保您拥有自己的数据，并且在供应商的情况发生变化时可以轻松地从供应商的平台中提取数据。还要确保您彻底了解供应商提供的功能，以便您可以更轻松地过渡到类似的供应商，同时最大限度地减少业务中断。

持续监控供应商在市场中的地位及其增长和盈利能力，并在出现危险信号时准备“B 计划”。

为“市场演变”部分中所述的市场整合做好准备，如果您的企业更愿意使用更少、更成熟且财务稳定的供应商，请使用扩展其产品组合的大型现有安全供应商来管理 GenAI TRiSM 。

最后，通过支持在本地实施产品来管理供应商无意（或故意）泄露或损害您的数据的风险，您可以直接管理他们的安全状况。仔细检查本地产品是否存在安全漏洞，并通过合同规定供应商只有在获得您明确批准的情况下才能访问您的数据。确保技术控制到位，以默认配置禁止供应商访问您的数据，无论产品是在本地还是在云中运行。