程序员节特别献礼-中国电信Telechat大模型设计经验一二

 大模型问答UI

1）对话框与输入框：右侧的对话框用于显示与 TeleChat 的实时对话内容，而下方的输入框则是用户输入消息的地方。

2）点赞点踩：可点击‘点赞’/‘点踩’按钮，对回答内容进行评价，评价结果可反馈给TeleChat进行优化。

3）反馈弹窗：点击‘点赞’/‘点踩’按钮，弹出反馈窗口，用户可选择预置的反馈内容（支持多选），也可以输入其他反馈意见。

4）重新生成：如果对单次生成的答案不满意，可以在回答生成结束后，点击按钮可重新生成回答

5）停止生成：在回答生成过程中，可点击按钮终止回答的生成

6）导入聊天记录：支持将聊天记录导出为pdf或者是word文件

上传文件UI

"点击按钮，可上传文件（文件大小不超过10MB，同时上传文件数不超过2个），上传文件后，文件名显示在输入框下方，可点击“删除”按钮，删除上传的临时文件；上传文件后大模型可以基于文件内容回答相关问题，保证大模型回复的准确率和领域专业性"。

知识库挂载UI

1）选择知识库插件后，右侧显示按钮，点击按钮右侧出现侧拉窗选择知识点。

2）通过点击知识点名称进行选择，如果单独选择知识点则不超过两个，选知识点可以跨知识库

 API管理UI

1）API使用指南：点击“API使用指南”，查看API具体使用教程

2）API密钥列表：展示名称、密钥、创建人、创建时间；

3）API管理：提供“编辑”和“删除”操作，点击“编辑”可修改API密钥名称和提示词内容，点击“删除”弹窗提示；

数据回流UI

支持将用户反馈、用户问答后的数据的结果保存回数据集，经人工筛选、调整以及处理后，用于下一次的模型优化训练。

 大模型知识中台

仅依靠传统大模型进行知识问题无法避免大模型幻觉问题，所谓大模型幻觉指的是人工智能模型生成的内容，不是基于任何现实世界的数据，而是大模型自己想象的产物。例如，面对用户的提问，ChatGPT以及谷歌的Bard等工具会杜撰出一些看上去像是权威正确的虚假信息。这些虚假信息以文本、图像、音频、视频等形式存在，创造出不存在的书籍和研究报告，假的学术论文，假的法律援引等。

传统大模型在知识更新需要耗费大量资源，为保证大模型回复内容能够相应最新的知识点，传统情况下需要实时的不间断进行大模型预训练，此过程对资源和数据的依赖极高。此外，由于模型本身参数及神经元不可见，造成了黑盒效应，最终导致无法精准控制模型输出的内容，及同一个问题的两次回复不可控，以及无法做到实时信息隔离而进行的精准权限控制，特别是针对政府行业对应答准确性、权限控制的强烈诉求。

因此通过打通传统大模型和大模型知识中台，解决大模型幻觉问题、数据更新问题和权限控制问题。通过大模型挂载知识中台，大模型在知识中台中进行知识召回后，将润色后的知识统一输出，保证回复知识内容安全可控，且结果溯源；通过在知识中台采编、更新、迭代知识，实现大模型回复内容快速更新；通过在知识中台设置访问权限的方式，实现回复内容分级分类，精准控制内容权限。

平台具体功能点如下：

大模型知识采编

支持创建知识分类、一问一答知识、多轮知识、意图知识、文章知识、模板知识，流程知识。同时支持通过大模型自动抽取文章中的问答知识。

大模型知识权限管理

支持对已采编的知识设置访问权限，如只读权限、可编辑权限、无可见权限等，同时支持设置部门权限并批量复用在个体用户。

大模型知识管理

支持对已采编的知识进行基本的知识维护管理，包括业务知识，多轮知识，闲聊知识，应急知识和意图知识等。

1）知识分类/知识点管理：展示了知识库中的全部业务知识，包括一问一答、多轮知识以及意图知识。可以对知识进行分类以及筛选查看。

2）知识点导入/导出：支持将外部知识文件导入到系统中，同时支持直接导出成excel文件。

3）知识批量管理：支持批量管理知识，批量导入导出，增删改查。

4）相似问生成：支持调用大模型API将问题泛化生成相似问。

5）大模型知识生成：创建知识时支持使用大模型生成内容。

6）大模型知识优化：创建知识时支持使用大模型优化内容。

7）问答对抽取：支持通过大模型从文章知识中抽取问答知识。

8）意图导入：支持通过模板批量导入意图知识

9）知识搜索：搜索知识，查看知识，热门知识。

 大模型知识向量化

针对知识中台中维护的知识内容，为保证大模型调取知识点输出内容，需在知识中台中实现知识向量化操作。包括知识编码、知识元数据化、向量编码、向量解码等操作，所有操作在知识中台后端自动操作，以便大模型处理和检索，可以实现对知识的快速、准确检索，提高知识利用效率

大模型知识统计运营

支持对知识中台中的知识进行统计运营分析，具体功能包括以下：

1. 访问量统计：支持展示租户在知识中台的访问量统计
2. 编辑量统计：支持展示租户在知识中台的编辑知识统计
3. 热门知识排行：支持展示当前大模型调取的热门知识点，并支持将热门知识导出。
4. 检索热度排行：支持展示当前知识中台中的知识检索排行
5. 采编工作量统计：支持展示当前采编知识的工作量统计

大模型知识展示中心

1）知识中心首页：搜索知识，查看全部知识，高频知识，最近更新知识等

2）知识点语义检索：支持语义搜索知识点

3）首页分享：访问首页对外分享页，支持知识库可以生成无登录即可访问的知识库首页链接。

4）知识分类：支持查看不同分类下知识，进行知识搜索。