DetectGPT(斯坦福大学):利用概率曲率检测文本是否大模型生成

论文标题:《DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature》

论文链接:https://arxiv.org/abs/2301.11305

代码数据:https://ericmitchell.ai/detectgpt/

作者通过分析超大模型生成文章与人类文章的logp分布特点,发现大模型生成的文章倾向于在logp分布较小的区域,而人类写的则无明显倾向性,于是提出了DetectGPT来侦测文档是否有超大模型生成(比如ChatGPT)

DetectGPT(斯坦福大学):利用概率曲率检测文本是否大模型生成_第1张图片

DetectGPT(斯坦福大学):利用概率曲率检测文本是否大模型生成_第2张图片

从以下实验可以看出效果非常不错

DetectGPT(斯坦福大学):利用概率曲率检测文本是否大模型生成_第3张图片

下面是DetectGPT的实现原理和算法伪代码

DetectGPT(斯坦福大学):利用概率曲率检测文本是否大模型生成_第4张图片

DetectGPT(斯坦福大学):利用概率曲率检测文本是否大模型生成_第5张图片

你可能感兴趣的:(NLP,人工智能)