首个中文版ChatGPT来了：大模型的中国元“Yuan”
关注并星标
从此不迷路
计算机视觉研究院
公众号ID｜ComputerVisionGzq
学习群｜扫码在主页获取加入方式
计算机视觉研究院专栏
作者：Edison_G
国内某公司的功能型对话大模型ChatYuan「既泛又专」，除了问答、上下文对话以及创意性写作等各类自然语言理解和生成任务之外，还能回答法律、医疗等专业领域的问答，并且写代码功能也已经在内测中，不久即将发布。特别提醒，本文中有部分文本由「ChatYuan」生成，请君细心分辨。
转自《机器之心》
ChatGPT 到底有多火？它已成为史上最快传播的应用，发布两个月后就有了 1 亿用户。实现同样的用户量，TikTok 需要近九个月，而 Instagram 用了两年多。
未来几年，微软将继续增加投资 ChatGPT 背后的公司 OpenAI 100 亿美金，而 Google 也于近日投资了另外一个同类公司 Anthropic 将近 4 亿美金，在硅谷科技圈和资本市场成为了 2023 年最令人兴奋的科技进展。微软联合创始人比尔盖茨判断，ChatGPT 的历史意义重大，不亚于 PC 或互联网诞生。
国内在这次 AI 变革的浪潮中同样反应热烈，其中就推出国内首个基于大模型的功能型对话产品 ChatYuan。
ChatYuan 产品样例
PromptCLUE 全中文任务零样本学习模型
在正式介绍元语智能的功能型对话大模型 ChatYuan 之前，我们先了解一下大规模多任务 Prompt 预训练中文开源模型——PromptCLUE，它实现了中文上的三大统一：统一模型框架、统一任务形式和统一应用方式。
PromptCLUE 在千亿中文 token 上大规模预训练，累计学习 1.5 万亿中文 token，在亿级中文任务数据上完成训练，并训练数百种任务集。它具有更好的理解、生成和抽取能力，并且支持文本改写、纠错、知识图谱问答等。
PromptCLUE 支持几十个不同类型的任务，具有较好的零样本学习能力和少样本学习能力。针对理解类任务，如分类、情感分析、抽取等，可以自定义标签体系；针对生成任务，可以进行采样自由生成。
技术亮点
首个全中文任务支持的零样本学习的开源模型；
自动化高质量数据处理算法，产出海量高质量无监督和有监督数据用于训练；
基于高质量数据构建更加符合中文习惯的字典并从零训练中文大模型，模型性能效果更有保证；
融合多种训练策略训练大模型，具备在中文上强大的泛化、迁移和生成能力。
ChatYuan 功能对话开源大模型
就其功能而言，ChatYuan 可以用于问答、结合上下文做对话、做各种生成任务（包括创意性写作），也能回答一些像法律、医疗等领域问题。ChatYuan 线上服务是基于百亿参数大模型，目前已开源了 7.7 亿的参数模型，显存 6G 左右，一张民用显卡即可加载使用。后续会陆续开源更多、更大参数量的版本。
ChatYuan 基于 PromptCLUE 结合数亿条功能对话多轮对话数据进一步训练得到，它去掉了文本理解、信息抽取类任务，加强了问答、对话和各种生成式任务的学习和训练；针对多轮对话容易受到上下文的干扰，加入了抗干扰数据使得模型可以在必要时忽略无关的上下文；加入了用户反馈数据的学习，对齐人类意图，使得模型不仅具有一定的通用语言理解能力、特定任务上的生成能力，也能更好地响应用户的意图。
技术亮点
基于从零训练的全中文任务支持零样本学习模型 PromptCLUE 进一步迭代获取。
在中文领域首创了功能对话形式支持全中文任务，支持自由输入。
结合人类反馈的方法进行学习，对齐人类意图。
文本创作能力
上下文关联能力
该公司认为目前公司发布的大模型中还有很多可以优化的方向，比如在某些场景下效果不稳定；在对齐人类意图、复杂推理和代码生成上还需要持续优化。
在未来，该公司将在多个方向上持续精进，比如模型 size 上将推出千亿级别参数模型、在对齐人类意图层面实现关键突破，并且提升至少 50% 模型的覆盖场景，并且今年在国内实现行业通用人工智能的落地应用。
通用人工智能（AGI）的坚定信仰者 — 中国 “Yuan”
该公司是一家致力于提供通用人工智能技术（AGI）的初创公司，坚定通用人工智能信仰，持续不断在全球范围内，为实现可靠、有效、无害的通用人工智能贡献中国力量，让人类受益。目前已经提供了支持功能型对话的开源中文大模型免费下载及 API 服务，以及基于网页、小程序的类「ChatGPT」的机器人交互产品等。
该公司认为，通用人工智能（AGI）是下一代计算机基础设施，代表了人类未来主要人机交互和生活方式，并在不久的将来会使大部分行业广泛受益。
团队进展
截止目前，主要在以下方面取得了有效进展：
2022 年 10 月 1 日发布 PromptCLUE1.0 模型 & API — 首个中文支持的零样本开源模型。目前全平台下载量：4.4W+，API 调用量：10w+/ 天。
2022 年 11 月发布 PromptCLUE1.5 模型 & API — 支持更多任务的零样本开源模型。
2022 年 12 月 20 日发布 ChatYuan— 国内首个基于百亿参数大模型的功能对话产品，支持小程序和网页。
2023 年 1 月 12 日发布 ChatYuan 大模型 — 首个功能对话开源模型供免费下载，全平台已有数万下载量。
2023 年 2 月 3 日发布 ChatYuan API— 可供 API 调用的功能对话模型。
国内 AGI 困境
其实包括该公司在内，国内无论是大型科技公司还是创业公司，目前都面临着各式各样的挑战，很难有像 OpenAI 的资源和人才密度。国内创业公司或许在一段时间内可以专心技术研发，但很快就会受到盈利压力的挑战，而不断调整战略方向。大型科技公司虽然看起来资源充足，但是很少能在未有落地成效的情况下，坚定信念进行长期持续投入基础设施建设。
这样看来，国内目前主要有以下多方面的问题：
人力、算力方面的资源瓶颈。国内行业内相对来说更缺乏耐心，在未见到明确收益前持续投入不足，资本也同时缺乏耐心。
中文高质量的数据积累不足，国内开源开放的生态相对薄弱。
对 AI 未来趋势的前瞻性判断不足，缺少具有坚定信仰的引领者。
行业对 AGI 创业公司信心不足，对于 AGI 价值的共识不够。
未来愿景
因此，该公司作为国内第一个勇敢前行的初创公司，并坚定通用人工智能（AGI）将普惠人类的信仰，给了国内通用人工智能行业从业者非常大的信心。
同时强烈呼吁：国内从事人工智能研究的同行、长期关注科技行业的资本以及各行各业对 AGI 感兴趣的朋友，要共同有耐心、有信心的坚持下去。他山之石，可以攻玉，但我山之石将会持之以恒。
© The Ending
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入！
计算机视觉研究院主要涉及深度学习领域，主要致力于人脸检测、人脸识别，多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架，我们这次改革不同点就是，我们要着重”研究“。之后我们会针对相应领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！
扫码关注
计算机视觉研究院
公众号ID｜ComputerVisionGzq
学习群｜扫码在主页获取加入方式
往期推荐
用于吸烟行为检测的可解释特征学习框架（附论文下载）
图像自适应YOLO：恶劣天气下的目标检测（附源代码）
新冠状病毒自动口罩检测：方法的比较分析（附源代码）
NÜWA：女娲算法，多模态预训练模型，大杀四方！（附源代码下载）
实用教程详解：模型部署，用DNN模块部署YOLOv5目标检测（附源代码）
LCCL网络：相互指导博弈来提升目标检测精度（附源代码）
Poly-YOLO：更快，更精确的检测（主要解决Yolov3两大问题，附源代码）
ResNet超强变体：京东AI新开源的计算机视觉模块！（附源代码）
Double-Head:重新思考检测头，提升精度（附原论文下载）