[AI笔记]-LLM中的3种架构:Encoder-Only、Decoder-Only、Encoder-Decoder
一、概述架构描述特点案例Encoder-Only仅包含编码器部分这类模型主要专注输入数据中提取特征或上下文信息,通常不需要生成新内容、只需要理解输入的任务,如:分类(文本分类、情感分析等)、信息抽取、序列标注等。在这种架构中,所有的注意力机制和网络层都集中在编码输入数据上,其输出通常是关于输入的复杂语义表示。谷歌的BERT、智谱AI发布的第四代基座大语言模型GLM4Decoder-Only也被称为