立哥尖端科研-中国电信TeleChat大模型系统开发总结（三）

避免重复建设

为避免重复建设，建设方案将平台分成5层，同一层提供不同的功能模块辅助向上输出，不同层间互相调用避免重复。5层分为：IaaS层、模型层、SaaS层、MaaS层和运营层。

IaaS层

该层为整个系统提供基于云服务、私有服务器的基础设施服务，由大模型算力管理中心提供支撑。为整个平台系统提供链接基础算力资源的设施服务，并提供算力管理完成算力调度。

模型层

该层为整个系统提供全局模型能力，由通用Telechat（语翼）大语言模型支撑。提供百亿参数（12.7B）通用TeleChat（语翼）大语言模型输出基础问答识别能力和基本应答能力。

SaaS层

该层为整个系统提供平台功能组件，丰富大模型使用效果，由大模型交互中心，大模型知识中台提供支撑。大模型交互中心为用户提供了与大模型做问答交互的基础UI界面，同时通过关联知识中台提供精准应答内容展示。

通过打通传统大模型和大模型知识中台，解决大模型幻觉问题、数据更新问题和权限控制问题。

MaaS层

该层为整个系统提供对内的模型管理服务和对外的模型输出服务，由大模型服务管理中心，大模型推理服务平台支撑。

大模型服务平台提供了一个集模型管理、部署、监控于一体的一站式解决方案，帮助用户快速管理大模型和服务，通过统一管理模型文件或镜像，平台能够实现高效的模型管理和版本控制，避免了模型混乱或丢失的情况。此外，监控告警功能还可以实时监测模型服务的运行状态，及时发现并解决潜在问题，确保了企业业务的稳定运行。

大模型推理服务平台用于高效快速部署和运行大模型并完成推理服务，支持将大模型通过AI框架封装后，将大模型推理服务部署在推理服务器上，从而完成高性能推理服务。支持将大模型以API输出并结合业务逻辑进行推理判断，支持将不同版本大模型推理在不同业务系统中，完成业务赋能。

大模型运营层

该层提供大模型基础运营管理服务，由大模型租户运营管理中心支撑。大模型租户运营管理中心用于为大模型服务创建多租户，并完成租户运营管理能力，具体功能如下：

​​​​​​​能力开放

基于TeleChat（语翼）大语言模型的推理服务平台充分考虑网络能力、平台能力、IT能力和数据能力等方面的因素，制定合理的开放策略和安全保障措施，确保能力开放的安全性和稳定性。同时，该平台提供完善的开发文档和技术支持，帮助第三方开发者更好地利用大模型平台的能力和资源，实现更加个性化和高效的应用和服务。具体如下：

3.8.1网络能力开放

基于TeleChat（语翼）大语言模型的推理服务平台可以通过网络接口、API等方式，将网络能力开放给第三方开发者。开发者可以通过这些接口和API，实现远程调用大模型平台提供的网络服务，从而拓展大模型平台的应用范围和服务能力。

3.8.2 平台能力开放

基于TeleChat（语翼）大语言模型的推理服务平台可以提供开放的开发环境和工具，支持第三方开发者在大模型平台上进行二次开发，实现个性化的应用和服务。同时，大模型平台还可以提供开放的算法库和模型库，支持开发者进行算法研究和模型训练，提高开发效率和应用质量。

3.8.3 IT能力开放

基于TeleChat（语翼）大语言模型的推理服务平台可以通过云计算、大数据等技术，将IT能力开放给第三方开发者。开发者可以利用这些IT能力，实现数据存储、处理、分析等方面的应用，提高开发效率和应用效果。

3.8.4 数据能力开放

基于TeleChat（语翼）大语言模型的推理服务平台可以通过数据接口、API等方式，将数据能力开放给第三方开发者。开发者可以通过这些接口和API，获取大模型平台上的数据资源，从而进行深入的数据分析和应用开发。同时，大模型平台还可以提供数据共享服务，促进数据资源的流通和利用。

​​​​​​​核心优势

技术优势

自主可控是保障网络安全、信息安全的前提，同时也是实现“数字中国”的基石和保障，我们只有确保关键能力、关键零部件、各类核心软件实现安全可控，我国的数字经济发展才能不受制于人。

自主可控不仅仅是关于经济问题，更多的是关于安全问题。如果我们没有自主知识产权的软件，我们可能需要购买他人的软件，这可能会带来高昂的代价，并且我们可能时时受制于人。而“可控”则更多地强调安全，强调对信息和系统实施安全监控管理，防止非法利用信息和信息系统。在特殊情况下，如果信息系统失控，后果可能是不堪设想的。

核心底座大模型TeleChat，完全自研，自主可控。TeleChat是以中文为核心的新一代认知智能大模型，能够在与人自然的对话互动过程中，同时提供以下多种能力：

1）内容生成能力：可以进行多风格多任务长文本生成，例如邮件、文案、公文、作文、对话等；

2）语言理解能力：可以进行多层次跨语种语言理解，实现语法检查、要素抽取、语篇归整、文本摘要、情感分析、多语言翻译等；

3）知识问答能力：可以回答各种各样的问题，包括生活知识、工作技能、医学知识等；

4）推理能力：拥有基于思维链的推理能力，能够进行科学推理、常识推理等；

5）多题型步骤级数学能力：具备数学思维，能理解数学问题，覆盖多种题型，并能给出解题步骤；

6）代码理解与生成能力：不仅可以进行代码理解、代码修改以及代码生成等工作，还具备对话游戏、角色扮演等特色能力，同时还可以对多元能力实现融合统一，对真实场景下的需求，具备提出问题、规划问题、解决问题的闭环能力。

数据优势

电信拥有在基础数据沉淀、数据流转通道和数据标注三个方面的核心数据优势。这些基础数据覆盖了全国的海量主流网站、百科、书籍、论坛、党政军媒体、GitHub代码以及部分行业数据等。更为重要的是，所有这些数据都经过了严格的清洗和预处理，以确保数据质量的高度可靠性，从而为 TeleChat 大模型的算法训练提供了坚实的基础。

架构优势

平台建设具有提高工作效率、优化决策支持、加强数据分析能力、推动信息化建设和支持智能化决策和预测等重要意义，平台架构上具有可扩展、可复制、可推广、可集成和被集成等5大优势。

（1） 可扩展

系统的可扩展性是指系统在面临不断增长的需求时，能够轻松地进行扩展和升级，以满足新的需求。在当今快速发展的信息时代，系统的可扩展性具有重要的应用价值。

首先，可扩展性有助于降低系统升级和扩展的成本。当系统具备良好的可扩展性时，可以在不需要对现有架构进行大规模改动的情况下进行升级和扩展。这样，可以避免因为系统升级和扩展而产生的高昂成本，提高企业的竞争力。

其次，可扩展性有助于提高系统的适应性和灵活性。随着市场和业务的不断变化，需要不断地调整和优化自身的信息系统。具备良好可扩展性的系统能够快速地适应这些变化，为企业提供灵活的信息支持。

第三，可扩展性有助于提高系统的安全性和稳定性。随着系统规模的不断扩大，系统的安全性和稳定性面临着越来越大的挑战。通过提高系统的可扩展性，可以有效地分散系统的压力，降低系统出现故障的风险，从而保证系统的安全和稳定运行。

（2） 可复制

系统的可复制性是指系统能够在不同环境和条件下进行快速复制和部署，以满足多样化的需求。在当今信息化社会，系统的可复制性具有重要的应用价值。

（3） 可推广

TeleChat（语翼）大语言模型可通过结合大模型推理平台，完成通用大模型向多个行业进行能力赋能，同时私有化部署大模型后，本地可根据多行业数据完成通用大模型的二次微调，并输出行业领域大模型，快速推行全面、精准、高效的AI能力。

（4） 可集成

系统应能够与其他系统和服务进行无缝集成，以实现数据共享和功能互补。

系统集成可以实现数据共享。系统和服务在运行过程中会产生大量的数据，这些数据对于企业和用户具有重要的价值。通过系统集成，可以实现数据的无障碍传递和共享，使得企业和用户能够更加全面地了解业务运行情况，为决策提供有力的数据支持。

系统集成可以实现功能互补。不同的系统和服务具有各自的特点和功能，通过集成可以实现功能优势的互补，使得企业和用户能够更加灵活地选择和使用系统，满足多样化的业务需求。例如，通过将客户关系管理系统与市场营销系统进行集成，可以实现客户数据的共享和市场策略的协同制定，从而提高企业的市场竞争力。

系统集成可以提高系统的稳定性和安全性。通过集成，可以实现对不同系统和服务的集中管理和监控，从而降低系统出现故障的风险。同时，集成可以实现统一的安全策略和管理，提高系统的安全性能。

为了实现系统间的无缝集成，需要采用一系列的技术和方法，如接口标准化、数据交换协议、服务总线等。通过这些技术和方法，可以确保不同系统和服务之间的顺畅沟通，实现数据的高效共享和功能的协同发挥。

（5） 被集成

系统应能够重复利用已有的组件和模块，以减少开发时间和成本。基于行业微调实现不同行业的应用，如公安、法院、教育等行业或领域。实现系统应用的快速集成。