第17期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

GPT-4 Is Too Smart to be Safe: Stealthy Chat With LLMS Via Cipher

简介：在这项研究中，我们发现密码聊天可以绕过LLM的安全对齐技术，这些技术主要以自然语言进行。我们提出了一个新颖的框架CipherChat来系统地检查安全对齐对非自然语言（密码）的普遍性。

链接：

https://arxiv.org/pdf/2302.01215.pdf

Fixing Hardware Security Bugs with Large Language Models

简介：本研究中，我们考虑如何利用LLM来自动修复硬件设计中存在的与安全相关的错误。我们专注于用硬件描述语言Verilog编写的代码中的bug修复。研究的结果表明，LLM可以修复硬件安全漏洞，该框架是朝着自动化端到端bug修复框架的最终目标迈出的重要一步。

链接：

https://arxiv.org/pdf/2302.01215.pdf

ChatGPT for Software Security: Exploring the Strengths and Limitations of ChatGPT in the Security Applications

简介：在本文中，我们深入研究了ChatGPT在面向安全的程序分析方面的能力，重点关注攻击者和安全分析师的观点。我们展示了一个涉及几个面向安全的程序分析任务的案例研究，同时有意引入挑战来评估ChatGPT的响应。通过对ChatGPT提供的答案质量的检查，我们更清楚地了解了它在面向安全的程序分析领域的优势和局限性。

链接：

https://arxiv.org/abs/2307.12488

Security Tools

InferFix: End-to-End Program Repair with LLMs overRetrieval-Augmented Prompts

简介：在本文中，我们提出了InferFix：一个基于变压器的程序修复框架，与最先进的静态分析器配对，以修复关键的安全性和性能错误。InferFix结合了一个通过对比学习目标预训练的检索器-变压器编码器模型，旨在搜索语义等效的错误和相应的修复；和一个生成器-一个大型语言模型（120亿参数Codex Cushman模型），该模型对监督bug修复数据进行了微调，并通过添加bug类型注释和从外部非参数内存中检索到的语义相似的修复来增强提示。

链接：

https://arxiv.org/pdf/2303.07263.pdf

A LLM Assisted Exploitation of AI-Guardian

简介：本文研究了GPT-4是否能够帮助对抗性机器学习领域的研究人员。我们评估了AI-Guardian的稳健性，这是最近在顶级计算机安全会议IEEE S&P 2023上发表的对抗性示例的防御。我们完全打破了这种防御：与不设防的基线相比，所提出的方案并没有增加稳健性。我们没有编写任何代码来攻击这个模型，而是提示GPT-4按照我们的指令和指导实施所有攻击算法。这个过程令人惊讶地有效和高效，语言模型有时会从模糊的指令中生成代码——比本文作者可能做的要快。

链接：

https://arxiv.org/pdf/2307.15008.pdf

Can we generate shellcodes via natural language? An empirical study

简介：在这项研究中，我们通过提出一种基于神经机器翻译（NMT）的方法来解决自动生成shellcode的任务，而且纯粹从自然语言的描述开始。

链接：

https://link.springer.com/article/10.1007/s10515-022-00331-3