ChatGPT在社工攻击和反钓鱼中的应用
概述
ChatGPT是一种基于神经网络的自然语言处理模型，可以生成自然流畅的文本或对话。在钓鱼攻击中，攻击者可以使用ChatGPT生成虚假电子邮件或消息，更好地伪装成受害者所信任的个人或组织，从而获取受害者的个人信息。这种行为对个人和组织的信息安全构成威胁。因此防止ChatGPT被滥用以进行网络钓鱼攻击是非常重要的。
在反钓鱼方面，需要ChatGPT有对应文本检测能力，可以用于监控电子邮件和消息，以检测语言模式的异常，并警示用户注意避免钓鱼攻击,并提示用户不要输入任何敏感信息。如果使用ChatGPT文本生成检测的专用工具可以大大提高钓鱼攻击的识别率和准确性，更好地保护用户的信息和隐私。
尽管ChatGPT在钓鱼攻击中有危险性，但在反钓鱼方面的应用可以提高网络安全性。在当今数字时代，个人和组织都存储着大量敏感信息，如个人身份密码、企业财务信息和知识产权。因此，保护这些信息对于个人和组织来说至关重要。ChatGPT可以用于监控文本和消息内容本身，自动化检测机器生成内容，保护用户的信息和隐私，采取措施来限制ChatGPT的滥用，以确保其在网络安全领域的积极作用。
ChatGPT被用于社工攻击
威胁者不仅将ChatGPT作为编写恶意代码的一种简单方法，他们也在利用它进行社会工程攻击。ChatGPT模型可以用于生成虚假的信息，由于模仿人类语言，区分人工智能社论和人类撰写的内容面临挑战。大学生用ChatGPT写学期论文最担心的是抄袭和造假，ChatGPT可以写学术论文，那么创建一个钓鱼邮件就会容易得多。事实上，ChatGPT制作的邮件将比现在充斥我们收件箱的大多数钓鱼邮件更有说服力，这将使骗局更难被发现。
ChaGPT被用来编写巧妙的网络钓鱼邮件。钓鱼本就是一种非常危险的社交工程攻击，欺骗受害者提供个人信息，如密码、信用卡号码等。我们从钓鱼攻击的准备过程的不同阶段来测试分析。
情报分析
攻击者通过伪装成可信的来源，例如银行、社交媒体、在线零售商等，向受害者发送欺诈性信息。攻击者首先需要进行情报的获取和分析。ChatGPT可以通过自然语言处理技术从大量文本中提取有用的信息，包括关键字、短语、命名实体等，并将它们整理成结构化数据以供进一步分析。
ChatGPT对文本内容进行实体识别、关系抽取、关系对称，辅助筛选可用的情报信息，并进行格式化输出、密码组合猜测。如下图给出对姓名的信息分析处理过程。
图 1 姓名信息提取
图 2 姓名信息的格式化
诱饵生成
ChatGPT能够快速生成诱饵文案、甚至是假新闻。如下图根据目标招聘信息，生成符合要求的高质量简历。
图 3 伪造简历生成
如下图给ChatGPT指定图片，不仅可以生成诱饵文案、甚至是图文并茂的假新闻。
图 4 图文并茂假新闻生成
鱼叉式钓鱼邮件生成
我们进行如下测试，试图让ChatGPT生成冒充信息安全部的紧急通知邮件。如下图，ChatGPT近期更新内容策略后，阻止了比较敏感的内容输出，让它写钓鱼邮件被阻止。
图 5 冒充信息安全部的紧急通知邮件被阻止
通过 “吸猫邮件“进行概念替换钓鱼邮件，如下图，依旧受到ChatGPT内容审核的限制。
图 6 替换概念测试受内容审核
再进行逐步诱导让ChatGPT学习到“吸猫邮件“的新概念。如下图所示ChatGPT可以通过对话进行新概念的学习，理解新概念的语义。
图 7 新概念的学习
学习完毕的新概念可以直接用于后续内容生成。如下图直接可以生成“吸猫邮件“的内容。
图 8“吸猫邮件“的内容生成
可见，ChatGPT已经有一定的措施，防止它输出一些特别有悖伦理和危害社会的内容。然而，这些是可能被使用者绕过的。
与手动编写钓鱼攻击相比，ChatGPT可以自动化地生成大量的钓鱼攻击文本，通过针对受害者的个人信息和兴趣爱好等生成专门的且类似于真实人类写作的钓鱼攻击文本。这使得攻击者能够更快地创建更多的钓鱼攻击，从而提高攻击成功率，这种攻击更加具有欺骗性和危险性。
社工安全威胁分析
从钓鱼扩展到整个社工安全领域，ChatGPT的文本生成能力可以被用于生成虚假的信息，从而欺骗公众、影响舆论和破坏网络安全。ChatGPT生成虚假信息对社会工程安全构成多种威胁，如下：
- 社交工程：通过生成虚假的信息，攻击者可以欺骗个人或企业，从而获取机密信息或进行网络钓鱼攻击。例如，攻击者可以使用ChatGPT生成虚假的电子邮件或消息，伪装成受害者所信任的个人或组织，从而要求受害者提供敏感信息，如账号密码、信用卡信息、社会保险号等，造成财产损失或身份盗窃。
- 舆论影响：通过使用ChatGPT生成虚假的文章、评论或推文，攻击者可以欺骗公众，影响舆论，制造假新闻和谣言，从而干扰社会稳定和破坏社会和谐。
- 诈骗和欺诈：通过使用ChatGPT生成虚假的股票交易预测、彩票号码等信息，攻击者可以欺骗投资者，影响股票市场，从而造成经济损失。
- 盗窃知识产权：通过使用ChatGPT生成虚假的文章或报告，攻击者可以窃取知识产权，例如专利、商业机密、技术细节等。
总的来说，ChatGPT生成虚假信息可以使攻击更加隐蔽、更具欺骗性，从而对网络安全构成重大威胁。保护个人和企业免受这些威胁的关键是提高公众对这种威胁的认识，以及采取适当的措施，例如网络安全培训、加强安全控制和限制ChatGPT模型的滥用等。所以有必要采取措施限制ChatGPT模型的滥用，以确保其在安全领域的积极作用。
ChatGPT在反钓鱼中的应用
在社工安全领域，识别钓鱼工具通常是指通过技术手段检测和分析可能被用于网络钓鱼攻击的工具或软件。
ChatGPT可以自动化地分析和识别钓鱼攻击文本，提供个性化的识别和预防措施，以及捕获新的钓鱼攻击模式和趋势。这些特性使ChatGPT成为一种强大的反钓鱼工具。对ChatGPT进行识别是指识别ChatGPT生成的文本或对话是否可能被用于网络钓鱼攻击。
- 通过分析ChatGPT生成的文本或对话的语言模式，可以检测到是否存在钓鱼攻击的风险。例如，一些钓鱼信息可能会包含具有催促性的词汇或语言模式，以诱骗受害者提供个人信息。
- 同时通过使用ChatGPT模型生成虚假信息并与真实信息进行比较，可以发现虚假信息的特征和模式。这种方法可以帮助识别使用ChatGPT生成的虚假信息。
通过这些方法，可以检测和识别可能被用于网络钓鱼攻击的ChatGPT生成内容。这种识别方法有助于提高网络安全性，保护用户和组织的信息和隐私。
下面我们从钓鱼邮件的不同维度段来测试分析。
钓鱼链接和重定向检测
链接和重定向检测技术可以帮助识别和防范钓鱼攻击，包括识别恶意链接、防止重定向、分析链接地址和识别伪装链接等。钓鱼邮件链接和重定向检测是一种检测和分析电子邮件中链接和重定向的技术，旨在发现和防范钓鱼攻击。钓鱼邮件中可能包含指向恶意网站或下载恶意软件的链接。链接和重定向检测技术可以帮助识别这些链接，并及时防范钓鱼攻击。如下图，ChatGPT识别常见钓鱼域名伪造形式：
图 9 识别常见钓鱼域名伪造形式
钓鱼邮件中的链接可能会重定向到另一个网站，以隐藏攻击者的真实目的。链接和重定向检测技术可以检测到重定向，从而帮助用户避免受到钓鱼攻击。如下图，ChatGPT能够识别常见钓鱼重定向链接形式：
图 10 识别常见钓鱼重定向链接形式
攻击者可能会伪装链接，以使其看起来与真实链接相同。链接和重定向检测技术可以分析链接地址，以确定链接的目标地址和域名是否可信，可以帮助用户识别和防范钓鱼攻击，并避免点击不信任的链接。
钓鱼文本检测
钓鱼文本检测是一种检测和分析文本中潜在的钓鱼攻击特征的技术，用于发现和防范钓鱼攻击。这种技术可以应用于多种文本形式，包括电子邮件、社交媒体、即时通讯等等。
在钓鱼文本检测中，ChatGPT可以利用其语言理解能力，分析和识别文本中的潜在钓鱼攻击特征，从而帮助识别和预防钓鱼攻击。如下图，ChatGPT正确识别钓鱼邮件的文本内容：
图 11 ChatGPT 检验钓鱼邮件内容
从多次不同测试结果分析，ChatGPT会学习如何识别和区分钓鱼文本和正常文本，通过分析分析文本中的链接、附件、域名等信息，以确定是否存在钓鱼攻击的风险。但一旦去掉检测的关键词等信息，如下图，ChatGPT很可能无法正确检测文本内容是否为伪造生成内容。
图 12 ChatGPT文本内容检测
社工伪造文本检测
对于前面ChatGPT的文本生成虚假的信息，从而欺骗公众、影响舆论和破坏网络安全的风险，需要有专门的ChatGPT生成内容的检测工具。社工伪造文本检测可以利用多种技术来实现，包括自然语言处理、机器学习和人工智能等。这些技术可以分析文本中的语言结构、词汇使用、句法和语义等特征，从而确定文本是否是社工伪造文本。
使用文本分类器、语言学特征和OpenAI官方推出的模型进行ChatGPT生成内容的检测测试，并给出各自的置信度。如下图，测试文本来自ChatGPT生成内容且未做任何修改，可以看出除了语言特征的模型外，其他两个模型的检测置信度都很高。
图 13 ChatGPT生成文本未修改检测
在本次实验的检测文本内容加入链接地址后，OpenAI官方推出的模型检测的置信度受到影响最大。
图 14 ChatGPT生成文本加入链接地址检测
本次实验再加入更多修改内容后，语言特征模型的检测置信度反而提升了。可以看出要检测ChatGPT生成文本的原始性，不建议使用语言特征模型；如果基于ChatGPT生成文本进行修改，语言特征模型会有些优势。
图 15 ChatGPT生成文本修改部分内容检测
对ChatGPT生成的文本内容进行检测和过滤，可以防止不当内容的传播，维护社会稳定和健康。目前检测模型和测试实验并不完善，需要收集更多测试数据来进一步分析。除了ChatGPT,我们希望有更多研究者投入对人工智能生成内容的检测，保护用户安全和隐私，防止不当内容传播，对社会造成不良影响。
总结
ChatGPT在网络安全领域的发展前景是非常广阔的。它可以帮助识别和应对钓鱼攻击，防范虚假信息的传播，并保护用户和组织的信息和隐私。随着技术的不断发展和改进，ChatGPT将在网络安全领域中发挥更加重要的作用，为用户和组织提供更安全的网络环境。
未来，ChatGPT在网络安全领域将会发挥越来越重要的作用。随着人工智能技术的不断发展，ChatGPT模型将会变得更加高效和精确，从而更好地帮助用户识别和应对网络安全威胁。一方面，ChatGPT可以被用于识别和分析钓鱼攻击的新趋势和漏洞。通过分析和预测攻击者的行为，ChatGPT可以发现新的攻击技术和漏洞，从而及早采取措施防范。这种使用方式将会在保护用户免受网络攻击方面发挥重要作用。另一方面，ChatGPT可以被用于虚假信息的识别和防范。通过训练ChatGPT模型，可以识别出生成的虚假信息，这将有助于提高网络安全性。除此之外，ChatGPT还可以帮助识别不正当的网络行为和保护知识产权，从而维护商业和创新的稳定和安全。
网络安全学习路线
