AI大模型专题：OWASP大语言模型应用程序十大风险V1.0

今天分享的是AI大模型系列深度研究报告：《AI大模型专题：OWASP大语言模型应用程序十大风险V1.0》。

（报告出品方：OWASP）

报告共计：14页

LM01:2023_ 提示词注入

描述：提示词注入包括绕过过滤器或者通过精心构造的提示词来操控大语言模型（LLM）使得该模 型忽略先前的指令或者执行意外操作。这些漏洞导致数据泄漏、未经授权的访问或者其他安全漏 洞等意想不到的后果。

常见提示词注入漏洞：精心构造能够操纵大语言模型以暴露敏感数据的提示词。利用特定的语言模式或者词元来绕过过滤器或者限制。利用大语言模型的分词或者编码机制的弱点。利用误导性上下文来误导大语言模型执行意外操作。

如何防范：对用户提供的提示词进行严格的输入校验和净化。使用上下文感知过滤器和输出编码来防止提示词操作。定期更新和微调大语言模型以提高其对于恶意输入和边界用例的理解能力。监视和记录大语言模型的交互以检测和分析潜在的提示词注入尝试。

攻击场景示例 ：

场景 1-攻击者精心构造一个提示词发起请求，并让模型认为该请求是合法的，从而欺骗大语言 模型包括用户凭证或者内部系统详细信息等敏感信息。

场景 2 -恶意用户通过利用特定的语言模式、词元或者编码机制来绕过内容过滤器，从而允许该 用户执行那些本应被阻止的操作。

LLM02:2023_ 数据泄漏

描述：当大语言模型通过响应恶意请求意外泄漏敏感信息、专有算法或者其他机密细节时，就会发 生数据泄漏。这可能导致未经授权访问敏感数据、窃取知识产品、侵犯隐私或其他安全漏洞。

常见不完善沙盒隔离漏洞 ：在大语言模型的响应中的敏感数据过滤不完全或者不恰当。在大语言模型的训练过程中过度拟合或者记忆敏感数据。由于大语言模型的误解或者错误而意外泄漏机密数据。

如何防范：实行严格的输出过滤和上下文感知机制来防止大语言模型泄漏敏感数据。在大语言模型的训练过程中使用差分隐私技术或者其他数据匿名化方法来降低过度拟合或者记忆风险。 定期审核和检查大语言模型的响应内容来确保不会无意中泄漏敏感信息。监视和记录大语言模型的交互来检测和分析潜在的数据泄漏事件。

攻击场景示例 ：

场景 1-用户无意中向大语言模型提了一个可能导致敏感信息泄漏的问题。大语言模型缺乏恰当的输出过滤，响应内容中包括了敏感数据而导致敏感数据泄漏。

场景 2-攻击者故意利用精心构造的提示词来探测大语言模型，试图从大语言模型的训练数据中提取记忆来的敏感信息。 通过了解和定义数据泄漏相关的风险，开发人员可以更好地保护自己的大语言模型和确保系统的安全性。

报告共计：14页