20240109 大模型应用快讯

聚焦学术界产业界应用前沿，探索大模型提效赋能现状

1. ​大模型应用开发框架 LangChain

   构建基于大模型的应用需要引入诸多模块和工具，LangChain作为一个开源框架，提供了这些通用功能。

   利用LangChain开发的一类典型大模型应用是和自身私有数据进行交互，LangChain为此提供了两个不同的组件——提取和检索。数据提取的重要步骤就是数据切块，检索主要由学术界和行业界的一些策略。

   LangChain还有一个重要应用——智能体，包括了工具使用和推理两个方面。工具使用涉及到集成第三方工具，对齐LLM的响应和工具的输入，定义调用工具的方式；推理指的是设计工具调用路径和方式。

2. 多模态大模型Unified-IO 2

   由艾伦人工智能研究所提出，Unified-IO 2模型大小只有7B，但是第一个可以处理文本、图像、音视频和动作序列的模型。

   原文：Unified-IO 2: Scaling Autoregressive Multimodal Models with Vision, Language, Audio, and Action

   论文来源：https://arxiv.org/pdf/2312.17172.pdf
    

3. 全学科智适应教育大模型

   由松鼠Ai提出，通过大模型寻找每个学生独特的大脑认知方式和学习方法等“暗逻辑”。

4. 钉钉超级助理AI Agent

   由钉钉推出对标GPTs的AI助理，可以通过自然语言的方式完成上网购物、订酒店机票和工作签到打卡等工作。智能体的核心基础在于环境感知、数据记忆、推理规划和行动系统，钉钉超级助理不仅在这四个领域取得显著优化，在用户自定义创建方面也提供了交互友好的界面。