第12期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

Meta发布类ChatGPT开源模型Llama 2，允许商业化

链接：https://mp.weixin.qq.com/s/v-APDqlLUH-NNT2qYU0Bvw

用ChatGPT方式开发代码，GitHub Copilot Chat正式公测

链接： https://github.blog/category/product/

大语言模型的七大应用风险

链接： https://mp.weixin.qq.com/s/lyoG5U31ZEtI_6m5SleQWQ

Security Tools

garak检查大语言模型是否存在特定的脆弱性，这些脆弱性的探测可以由如下框架实现

简介：garak可以集成模型幻觉、数据泄露、提示词注入、错误信息、越狱等脆弱性的探测。

链接：https://github.com/agencyenterprise/promptinject

Callisto是一款智能的自动化二进制漏洞挖掘工具

简介：Callisto是一款智能的自动化二进制漏洞挖掘工具。在Semgrep SAST工具分析源码漏洞的基础上，它使用GPT-3.5-Turbo模型对Semgrep的检测结果进行验证、并且探索并识别更多可能的漏洞。

链接：https://github.com/JetP1ane/Callisto