GPT-4 Plugins插件的介绍与使用

OpenAI公司近期给ChatGPT PLUS用户推送了广受期待的插件(plugin)的功能，本文为对于各插件的功能进行总结，包括OpenAI自主托管的两款插件（网页浏览器web browser与代码解释器code interpreter）和一些第三方插件。

ChatGPT PLUS用户可以在GPT-4 Default / GPT-4 Browsing / GPT-4 Plugins 中选择一个进行使用。其中，GPT-4 Default为原GPT-4模型，GPT-4 Browsing为具备联网功能的GPT-4模型，而GPT-4 Plugins为有更多第三方插件的模型。

1. GPT-4 Browsing模型

笔者写作本文的日期是2023年5月17日，天气预报今天有大雨，因此在计划旅行时需要考虑天气情况，使用以下Prompt：

请根据今天上海的天气，安排游玩的计划。

 GPT-4 Browsing模型轻松查找到了天气状况，并安排了没有室外活动的一日游：

2.  GPT-4 Plugins模型分类介绍

下图为OpenAI官网列举的部分插件，其中插件数量还在不断增长。可以看出，部分插件调用了一些商业网站的内部检索数据，例如Spotify、Trip等商业公司开发的插件。

用户每一组对话可以使用三个不同的Plugins，在New Chat中选定Plugins后，一系列的与GPT-4的对话都将分别使用选定的Plugins进行分析。如果想使用其他的Plugins，需要新建另一个New Chat。

各插件宣传页介绍如下，笔者简单分成了几类：

a）增强网页搜索类插件

1. Wolfram: 通过 WolframAlpha 和 Wolfram 语言访问计算、数学、精选知识和实时数据
2. DEV Community: 用于从 DEV 社区推荐文章或用户的插件。
3. Metaphor: 访问互联网上最高质量的内容。由神经搜索提供支持。
4. KeyMate.AI Search: 使用带有 AI 驱动的 Web 搜索引擎 。
5. edX: 查找一流大学的课程和内容，以扩展您在任何级别的知识。
6. World News: 总结新闻标题。可以从世界各地的各种来源询问最新消息。

b）工具类

1. Prompt Perfect: 每次都键入“perfect”以制作完美的Prompt。
2. Show Me: 直接在聊天中创建和编辑图表。
3. Creatuity Stores: 允许您在 Yay 上创建 AI 驱动的表单、调查、测验或问卷！
4. CreditYelp: 访问各种必要的财务计算器，了解详细的还款时间表和还款期限。
5. Giga Tutor: Giga是您AI驱动的个性化导师，它可以使您的问题的答案个性化。

c）AI算法检索类插件

1. There's An AI For That:从AI全球最大的 AI 工具数据库中查找适合任何用例的 AI 工具。
2. ScholarAI: 通过触手可及的快速、可靠和同行评审的数据释放科学知识的力量。
3. Noteable: 在 Python、SQL 和 Markdown 中创建笔记本，以探索数据、可视化和共享。

d）文件链接阅读类插件

1. Link Reader: 阅读各种链接的内容，如网页，PDF，PPT，图像，Word和其他文档。
2. ChatWithPDF: 只需提供 PDF URL 即可提出问题、分析和解析 PDF 文档的插件
3. AskYourPDF: 释放 PDF 的强大功能！深入了解您的文档，查找答案，并将信息带到您的指尖。
4. WebPilot: 浏览和QA网页/从一个或多个URL生成文章.
5. Penrose Analyst: 搜索全球新闻和研究论文。汇总 Arxiv.org 链接。向我询问最新消息！

e) 商业金融与投资顾问类插件

1. Public: 获取实时和历史市场数据，包括资产价格、新闻、研究和全面的财务分析。
2. BizToc: 在BizToc上搜索商业和金融新闻。
3. AITickerChat: 从 SEC 文件以及收益电话会议记录中检索美国股票见解。
4. PortfolioPilot: 人工智能投资指南：投资组合评估、建议、所有财务问题的答案。
5. Options Pro: 期权专业版是您的个人期权交易助手，可帮助您了解市场状况。
6. Savvy Trader AI: 实时股票、加密货币和其他投资数据。
7. Redfin: 对房地产市场有疑问？找到帮助您在当今市场中取胜的答案。

f) 生活饮食、出行、住房、购物类插件

1. Trip.com: 探索终极旅行伴侣 - 简化您的航班和酒店预订。享受您的轻松旅行！
2. Tasty Recipes: 从Tasty的数百万用户那里发现食谱创意，膳食计划和烹饪技巧！
3. Bohita: 使用您可以描述的任何图像创建服装！
4. Weather Report Data: 使用 METAR 航空馈送的城市和机场的当前天气数据。
5. OwlJourney提供住宿和活动建议，确保旅程引人入胜且用户友好。
6. GetYourGuide: 查找您可以在GetYourGuide上预订的旅游，短途旅行和其他旅行活动。
7. Lexi Shopper: 从您当地的亚马逊商城获取商品推荐。
8. Shimmer: Nutrition: 跟踪膳食并从1M+餐厅和杂货店获得更健康生活方式的见解。
9. KAYAK: 搜索航班，住宿和租车或获取预算范围内的建议。
10. C3 Glide: 获取飞行员的实时航空数据。
11. Tomorrow.io Weath: 通过基于情境化的聊天见解预测、规划和适应天气预报。

g）音乐、娱乐类插件

1. PlaylistAI: 为prompt创建Spotify歌单。
2. Algorithma: 在这个身临其境的生活模拟器游戏中塑造你的虚拟生活。
3. Keyplays Live So: 最新的足球直播排名、结果、评论。
4. Likewise: 您的媒体和娱乐伴侣。获取电视、电影、图书和播客推荐。
5. MixerBox OnePlayer: 各种类型的无限音乐、播客和视频。享受我们丰富的播放列表的无尽聆听！
6. Polarr: 搜索 Polarr 的大量用户生成的过滤器，使您的照片和视频完美无缺。
7. Video Insights: 与Youtube或Daily Motion等在线视频平台互动。
8. ChatWithVideo: 分析和解析 YouTube 视频
9. Speak: 将文本转换为即用型音频的最简单方法 - 下载链接、音频播放器页面或嵌入！

h）Chat小游戏类

1. Creature Generator: 创建一个随机生物和一个图像，用于角色扮演游戏。
2. Chess: 通过这种互动国际象棋体验释放您内心的国际象棋大师！您可以与新手或宗师对战！
3. Tic Tac Toe: 玩不同棋盘大小的井字游戏。
4. Crafty Clues: 猜猜AI狡猾地为你提供线索的单词。添加限制，让游戏更有趣！
5. I Am Rich: 自豪地宣布“我很富有”。

3.  GPT-4 Plugins在不同应用场景中的使用表现

下面将分为网页搜索、AI算法类、文件阅读与分析、生活与出行相关Plugins等四个场景，使用不同的Plugins组合。由于Plugins接入的网站大多为英文网站，因此如果使用中文Prompt可能会报错。

1）网页搜索类，选择Metaphor、KeyMate.AI Search、DEV Community等插件，最近对于自由潜和水肺比较感兴趣，因此使用以下Prompt试用：

How to improve the level of freediving?如何提高自由潜的水平?

首先， GPT-4做出了回答：

接着调用了Metaphor进行检索，但似乎KeyMate.AI Search 和DEV Community两个插件没有响应。

2）AI算法类，选择There's An AI For That、ScholarAI等插件，使用以下Prompt试用：

How to introduce GAN algorithms in reinforcement learning? 如何将GAN算法引入强化学习中？

对于这个问题首先由GPT-4回答了一个段落：

并在第二轮交流中调用了Plugins进行搜索：

回答中所给链接已经失效，但是回答的还是非常全面的。

3）文件阅读与分析类，选择ChatWithPDF、AskYourPDF、WebPilot等插件，使用以下Prompt试用，链接所给文章为著名的Attention Is All You Need：

Please try to interpret the main points of the paper from the following link: https://arxiv.org/pdf/1706.03762.pdf. 请尝试归纳链接所述论文的要点。

使用以上三个插件分析PDF后获得的回答如下图，还是比较凝练准确的：

4）生活类，选择Trip.com、OwlJourney、MixerBox OnePlayer等插件，使用以下Prompt试用：

I'm traveling to Ottawa, Canada in August, what are the best places to see and stay in? What music can be recommended to listen to on a long flight?我8月份将前往加拿大渥太华市，有什么景点和住宿的酒店推荐的？有什么音乐可以推荐在长途飞行中聆听？

首先由GPT-4推荐了几个当地的景点。

又调用第三方Plugins推荐了歌曲：

我继续询问：

I wanted to live in a quiet location and not too far from Capitol Hill. 我想居住于安静的地点，并且离国会山不要太远。

调用插件给出的回答如下：

可以发现，GPT-4 Plugins是在第二次对话及之后自动调用Plugins以检索信息，Plugins成为了网络检索与GPT模型之间的桥梁，并且会特别检索每个Plugins领域内的相关网站，在结果中给出相应信息的链接。虽然链接可能会失效，但大部分Plugins推荐的网页链接是可以打开的。

4. 总结

GPT-4 Plugins着重提升了网页链接的检索与分析能力。虽然GPT-4语言模型在许多任务上表现良好，但GPT-4由于数据集限制只能学习到训练数据中可能过时的信息，并且只能生成文本。Plugins可以被看作是语言模型的“眼睛和耳朵”，让GPT模型获取最新的、个性化的信息，并按用户的请求执行特定的操作，在GPT模型训练的非最新的数据库上引入新的资料，从而极大提高了日常生活中的可用性。OpenAI已在ChatGPT中初步支持插件，开发者也可以自行根据开发文档为ChatGPT构建插件。

总结使用GPT-4 Plugins下来的整体感觉，确实极大地提升了即时信息的检索能力，具备广阔的扩展性，体现了OpenAI希望成为AI基础系统的野心。