如何使用Hugging Face：对Transformer和pipelines的介绍

一、transformer介绍

众所周知，transformer模型（如GPT-3、LLaMa和ChatGPT）已经彻底改变了人工智能领域。它们不仅被用于自然语言处理，还被应用于计算机视觉、语音处理和其他任务中。Hugging Face是一个以变换器为核心的Python深度学习库。因此，在我们深入了解其工作原理之前，我们将探讨什么是transformer，以及为什么它们能够支持如此强大的模型。

1.递归神经网络Recurrent Neural Networks (RNNs)

在我们继续之前，有必要简要回顾一下序列模型的基础。对于常规数据而言，前馈神经网络(feedforward neural networks)极为有效，但对于序列型数据（如文本、语音或某些视频资料）来说，理解其上下文信息同样重要。

以这个句子为例：“我们走向了村庄，我哥哥戴着一个黑色的渔夫帽，手里还拿着一个装满水的瓶子。”在建立起这些词汇之间的联系之前，我们无法确定谁在拿瓶子，或是谁在陪伴叙述者，或者他穿着什么。这种联系的建立依赖于循环神经网络（RNNs），它们能够保持当前输入的上下文和历史信息。这里的“输入”可以指一个词或一幕电影画面等，但为了泛化讨论，我会统称之为“数据”。通过构建双向神经网络，我们甚至能够保留未来数据的历史信息。

2.梯度消失Vanishing gradients

传统RNN的一个主要问题是梯度消失。当应用反向传播时，我们使用链式法则将任何层与输出层连接（用于计算偏导数）。随着层数的增加，通常在反向传播过程中梯度会变得很小。

由于链式法则包含导数的乘积，它导致许多相关项的梯度变小或消失。即使你不理解任何微积分，这里的关键点是我们的神经网络学习/训练相当慢，因此我们需要确保有最佳的层数。因此，传统的（通常称为普通的）RNN无法包含太多上下文信息。

正是Sepp Hochreiter识别了这个问题，并提出了一种更好的模型，称为长短期记忆（LSTM）。LSTM由于较少受梯度消失问题的影响，能够包含更多上下文信息，并且与传统RNN相比显示出显著的改进。

3.注意力模型

LSTMs 在90年代中期被发现，对那个时代来说是非凡的成就。后来，它们作为一种更简单、更快速的版本得到了改进，GRU（门控循环单元）被引入。然而，鉴于对更大模型的迫切需求，需要能够承载更多上下文信息的更好的模型。在2014/15年，注意力机制被引入，以解决现有模型的局限性。

注意力模型非常简单直观。它们通过为不同的单词分配不同的权重，来关注文本的相关性。

历史视角：大多数文章将2014年视为transformers的起点，但这个故事实际上可以追溯到更早。早在1960年代，Watson和Nadaraya就提出了一种原始形式的注意力模型。

4.什么是transformers？

使用这种注意力机制，谷歌的研究人员发表了一篇标志性的论文，题为《All You Need》。他们利用注意力机制创建了一种被称为transformers的新模型。虽然在这里无法详细介绍其架构，但我们可以认识到它的强大能力。transformers具有许多优势，比如：

1. 并行化
2. 长距离上下文能力
3. 可扩展性

transformers是一种依赖于“注意力机制”的深度学习架构，它允许解码器以灵活的方式使用输入序列中最相关的部分。transformers被用于大型语言模型，因为它们不像其他神经结构那样需要那么多的训练时间。

二、Hugging Face介绍

正如我们在开头提到的，Hugging Face是一个以transformers为中心的深度学习库。这个表情符号的使用和它的命名可能会让人感到困惑，这是可以理解的。我的第一印象是：“这是一个机器学习库还是一本漫画书？”但是，这个库的强大不容小觑。它在不断发展，并在最近的D轮融资中成功筹集了2.35亿美元。根据2023年Stackoverflow调查，Hugging Face是“其他”类别中第二受欢迎的技术。

那么，让我们来探索一下这个库的魔力

transformers库

Hugging Face围绕transformers库展开。transformers库背后的核心理念是：

1.尽可能简单快速地使用

2.提供接近原始模型性能的最先进模型

1.安装

pip install transformers

2.Hugging Face pipelines

我们调用pipelines来对不同的任务执行推理。这些任务不仅仅局限于自然语言处理，还支持计算机视觉、强化学习和其他领域。

让我们从翻译pipelines开始。首先，我们导入pipelines模块。

from transformers import pipeline

为了使用特定的pipelines，比如英语到汉语，我们需要指定它。

chineseTranslator = pipeline("translation_en_to_zh")

现在我们可以用它把一个给定的英语句子翻译成中文。例如:

# 尼采的名言
nietzscheQuote = "Our vanity is hardest to wound precisely when our pride has just been wounded."

# 执行翻译
translated_text = chineseTranslator(nietzscheQuote)

print(translated_text)

它将下载模型(大多数模型的大小在 GB 左右) ，由于我们没有指定模型，因此它将默认为 T5。如果我们想指定一个特定的模型，我们可以这样做:

<model> = pipeline(<pipeline name>,model=<model name>

chineseTranslatorSmall = pipeline("translation_en_to_zh",model="t5-small")

这只是冰山一角。截至2023年9月，Hugging Face已经支持超过30种任务，而且这个列表还将继续增长，这要归功于社区的贡献。