Hugging

使用 Docker 和 HuggingFace 实现 NLP 文本情感分析应用

写在前面本篇内容，作为后续内容的前置内容（工具），我们来聊聊如何将Hugging
soulteary·2022-12-14 09:31

抱抱脸（hugging face）教程-中文翻译-分享一个模型

分享一个模型最后两个教程展示了如何使用PyTorch、Keras和Accelerate优化分布式设置的模型。下一步就是把你的模型公之于众！我们相信公开分享知识和资源，使人工智能大众化。我们鼓励你考虑与社区分享你的模式，以帮助其他人节省时间和资源。在本教程中，您将学习在ModelHub上共享经过训练或调优的模型的两种方法:以编程方式将文件推送到Hub。通过web界面将文件拖放到Hub。要与社区共享一
wwlsm_zql·2022-12-12 22:43

陈丹琦带队全员女将发新论文！提出AI消除性别偏见新方法，适用于任何模型 | EMNLP 2022...

在Hugging
QbitAl·2022-12-10 11:48

抱抱脸（hugging face）教程-中文翻译-对预先训练过的模特进行微调

对预先训练过的模特进行微调使用预先训练过的模型有很大的好处。它降低了计算成本，你的碳足印，并允许你使用最先进的模型，而不必从头开始训练一个。Transformer提供了数以千计的预先训练的模型，广泛的任务。当你使用一个预先训练好的模型时，你会在一个特定于你任务的数据集上训练它。他的作品被称为微调，一种非常强大的训练技巧。在本教程中，您将使用自己选择的深度学习框架对一个预先训练好的模型进行微调:微调
wwlsm_zql·2022-12-10 01:06

抱抱脸（hugging face）教程-中文翻译-文本分类

文本分类文本分类是一个常见的自然语言处理任务，它为文本分配一个标签或类。有许多实际应用的文本分类广泛应用于生产的一些今天的最大的公司。最流行的文本分类形式之一是情感分析，它为一系列文本分配一个标签，如正面、负面或中性。本指南将向您展示如何对IMDb数据集上的DistilBERT进行微调，以确定电影评论是正面的还是负面的。有关其他形式的文本分类及其相关模型、数据集和度量的更多信息，请参见文本分类任务
wwlsm_zql·2022-12-10 01:06

Hugging Face的BERT模型进行文本嵌入内存爆炸的解决方法

huggingface中很多预训练好的transformer模型，可以直接下载使用，节省大量时间与算力。昨天使用BERT模型进行文本嵌入。其实很简单，核心代码就几行（text是文本，batch_size是500，总共三万条文本，只取每条文本的[CLS]作文本的整体表示）：encoded_input=tokenizer(text[start*500:min(start*500+500,len(tex
sanananana·2022-12-10 01:34

Hugging Face教程 - 1、transformers模型库

参考Introduction-HuggingFaceCourse参考HuggingFace教程-1、transformers模型库-知乎(zhihu.com)，建议大家直接去看这篇。本文是参照这一篇将自己想要学习的地方记录下来了。HuggingFace主要内容目录HuggingFace主要内容Transformer模型架构编码器模型解码器模型序列到序列模型架构和检查点1到4章介绍Transform
是妖怪啊·2022-12-10 01:01

使用Hugging Face管道轻松应用NLP预训练模型

RobinvanMerle编译|VK来源|TowardsDataScience原文链接：https://towardsdatascience.com/effortless-nlp-using-pre-trained-hugging-face-pipelines-with-just
javastart·2022-12-10 01:30

基于Hugging Face的transformers包的微调模型训练

transformersAPI参考链接：https://huggingface.co/docs/transformers/v4.21.2/en/trainingtrain.pyfromdatasetsimportload_datasetfromtransformersimportAutoTokenizer,AutoConfigfromtransformersimportDataCollatorWi
morein2008·2022-12-10 01:00

4.0 基于Hugging Face -Transformers的预训练模型微调.md

本文参考资料是HuggingFace主页Resources下的课程,节选部分内容并注释（加粗斜体），也加了Trainer和args的主要参数介绍。感兴趣的同学可以去查看原文。本章节主要内容包含两部分内容：pipeline工具演示NLP任务处理构建Trainer微调模型目录1.简介Transformers的历史Architectures和checkpointsTheInferenceAPI2.用pi
gbchen99·2022-12-10 01:58

hugging face模型微调（1）新闻文本分类

本文借鉴：[1]https://blog.csdn.net/sinat_28931055/article/details/119560054[2]https://zhuanlan.zhihu.com/p/5372718871、huggingface介绍huggingface总部位于纽约，是一家专注于自然语言处理、人工智能和分布式系统的创业公司。他们所提供的聊天机器人技术一直颇受欢迎，但更出名的是他
可乐加冰呀·2022-12-10 01:27

Hugging face 模型微调系列2—— 实战transfomers实体识别finetun

前言上一篇文章中（Huggingface模型微调系列1——实战transfomers文本分类finetune），我们学会如何利用huggingface中的预训练模型训练一个文本分类的任务，接下来我们尝试利用huggingface的AutoModelForTokenClassification的api完成一个实体识别的任务。其中transfomers包的安装和huggingface的下载这一步，笔者
javastart·2022-12-09 23:18

Hugging Face主页课程第一篇《Transformer models》

HuggingFace主页课程第二篇《UsingTransformers》HuggingFace主页课程第三篇《Fine-tuningapretrainedmodel》HuggingFace主页课程部分解析文章目录Chapters1Transformermodels1.IntroductionWhattoexpect?Whoarewe?2.NLP为什么它具有挑战性？Transformers,wha
神洛华·2022-12-03 07:35

Hugging Face Course-Introduction学习小记 (part1)

1.Transformermodels首先介绍了-whatisNLP？Classifyingwholesentences:Gettingthesentimentofareview,detectingifanemailisspam,determiningifasentenceisgrammaticallycorrectorwhethertwosentencesarelogicallyrelatedo
爱睡觉的Raki·2022-12-02 01:08

hugging-face Transformer tokenization_bert.py

tokenizationbert.py函数load_vocabwhitespace_tokenize类BasicTokenizer类(继承自Object)_tokenize_chinese_chars函数_is_chinese_char函数_run_strip_accents函数_is_punctuation函数_run_split_on_punc函数_is_control函数_is_whites
桃汽宝·2022-12-01 03:52

hugging face的预训练模型下载慢的问题（使用BertModel.from_pretrained()等下载慢）

下面步骤以手动下载代替代码自动下载预训练模型。 在代码中用如下from_pretrained()函数下载bert等预训练模型时下载巨慢：fromtransformersimportBertTokenizer,BertModel,BertConfigtokenizer=BertTokenizer.from_pretrained('bert-base-uncased')config=BertConfi
#苦行僧·2022-11-28 07:48

[译文]Faster and smaller quantized NLP with Hugging Face and ONNX Runtime

和ONNXRuntime更快更小得量化NLP模型原文地址https://medium.com/microsoftazure/faster-and-smaller-quantized-nlp-with-hugging-face-and-onnx-runtime-ec5525473bb7https
choose_c·2022-11-27 09:47

Hugging Face快速入门（重点讲解模型(Transformers)和数据集部分(Datasets)）

文章目录本文内容HuggingFace简介HuggingFace模型讲解Transforms简介Transformers安装使用Transformers进行推理查找HuggingFace模型使用HuggingFace模型迁移学习HuggingFace数据集讲解安装Datasets类库查找数据集加载数据集本文内容本文主要包括如下内容：HuggingFace是什么，提供了哪些内容HuggingFace
iioSnail·2022-11-24 13:55

抱抱脸（hugging face）教程-中文翻译-任务总结

任务总结任务摘要此页面显示了使用库时最常见的用例。可用的模型允许许多不同的配置，并且在用例中有很大的通用性。这里展示了最简单的方法，展示了问题回答、序列分类、命名实体识别等任务的用法。这些示例利用auto-models，这些类将根据给定的检查点实例化一个模型，并自动选择正确的模型体系结构。有关更多信息，请查看AutoModel文档。您可以随意修改代码，使其更加具体，并根据您的具体用例对其进行调整。
wwlsm_zql·2022-11-24 13:24

Hugging Face——MLM预训练掩码语言模型方法

对于许多涉及Transformer模型的NLP程序,我们可以简单地从HuggingFaceHub中获取一个预训练的模型,然后直接在你的数据上对其进行微调,以完成手头的任务。只要用于预训练的语料库与用于微调的语料库没有太大区别,迁移学习通常会产生很好的结果。但是,在某些情况下,你需要先微调数据上的语言模型,然后再训练特定于任务的head。这种在域内数据上微调预训练语言模型的过程通常称为领域适应。它于
Charon_HN·2022-11-24 12:43

【NLP】使用 PyTorch 通过 Hugging Face 使用 BERT 和 Transformers 进行情感分析

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录
Sonhhxg_柒·2022-11-21 12:51

Hugging Face 模型下载方法一览。

huggingface可谓是深度学习里最重要的社区之一了。里面有无数个我们需要的模型和代码。近年来，知名的模型都会在huggingFace里先放一份代码和模型参数。我们要做的就是下载这些模型。以Bert为例。bert-base-chineseatmain这是bert的网址。截图可以看到有这些文件都是代码和模型权重，还有其他文件。如果想下载，点击图中的那个文件大小后的小小的下载箭头就可以下载对应文件
亮子李·2022-11-19 15:28

Hugging Face主页课程第二篇《 Using Transformers》

UsingTransformers文章目录UsingTransformers本章简介1.Transformers简介2.管道背后的故事tokenizer预处理Goingthroughthemodel高维向量Modelheads:Makingsenseoutofnumbers3.Models创建一个transformer不同的加载方式保存模型使用Transformer模型进行推理4.Tokenize
神洛华·2022-11-12 17:07

抱抱脸（hugging face）教程-中文翻译-模型概要

模型概要这是一个总结的模型可在Transformers。假设您熟悉最初的Transformers模型。或者温柔的介绍，看看有注释的Transformers。在我们关注模特之间的高度差异之前。你可以在他们各自的文件中，更详细地检查他们。查看ModelHub，在这里可以根据模型体系结构查看checkpoints。Eachoneofthemodelsinthelibraryfallsintooneoft
wwlsm_zql·2022-10-28 10:27

利用hugging face的Transformers实现多标签文本分类

多标签分类文本分类是自然语言处理的基本任务之一。大部分文本分类是多分类，即数据有多个标签。实际工作或者项目中会遇到多标签的文本。笔者利用huggingface的Transformers实现多标签文本分类。笔者的tensorflow版本为2.4.0，transformers的版本为4.2.0数据处理利用transformers中的BertTokenizer对数据进行Tokenizer。代码如下：de
xuanningmeng·2022-10-28 10:55

Hugging Face Transformers 模型下载地址（以Pytorch Bert为例）

下载地址可以在transformers库对应的../site-packages/transformers/中找到pytorch_model.bin,config.json,vocab.txt分别在configuration_bert.py，modeling_bert.py，tokenization_bert.py中关于如何找到库在本地的路径，可以查看另一篇博客https://blog.csdn.n
sdywtzymy·2022-10-28 10:54

Hugging Face 中文预训练模型使用介绍及情感分析项目实战

HuggingFace中文预训练模型使用介绍及情感分析项目实战HuggingFace一直致力于自然语言处理NLP技术的平民化(democratize),希望每个人都能用上最先进(SOTA,state-of-the-art)的NLP技术,而非困窘于训练资源的匮乏"其中，transformer库提供了NLP领域大量预训练语言模型和调用框架，方便根据自己的需求快速进行语言模型搭建，这里为自己学习做下简单
想考个研·2022-10-28 09:50

Hugging Face——QA

问答模型可以从给定文本中检索问题的答案，这对于在文档中搜索答案很有用。一些问答模型可以在没有上下文的情况下生成答案！使用场景：常见问题解答：可以使用问答(QA)模型通过使用知识库（文档）作为上下文来自动回答常见问题。客户问题的答案可以从这些文件中得出。如果您想节省推理时间，您可以首先使用段落排名模型来查看哪个文档可能包含问题的答案，然后使用QA模型迭代该文档。任务变体：基于输入和输出有不同的QA变
gbchen99·2022-10-28 09:19

Hugging Face Bert模型结构

BertEmbeddingsmodeling_bert主要包含内容：1.如何实现BertBERTTokenization分词模型（BertTokenizer）BERTModel本体模型（BertModel）BertEmbeddingsclassBertEmbeding(nn.Module)BertEncoderBertLayerBertAttentionBertSelfAttentionBertS
gbchen99·2022-10-28 09:19

hugging face 模型库的使用及加载 Bert 预训练模型

一、huggingface模型库Huggingface是一个专注于NLP的公司，拥有一个开源的预训练模型库Transformers，里面囊括了非常多的模型例如BERT、GPT、GPT2、ToBERTa、T5等。官网的模型库的地址如下：Huggingface模型库官网Huggingface提供的transformers库主要用于预训练模型的载入，需要载入三个基本对象：fromtransformers
IT__learning·2022-10-28 09:19

Hugging Face（1）——Transformer Models

文章目录1.Introduction2.NaturalLanguageProcessing2.1什么是NLP2.2NLP为何很难3.Transformers可以做什么3.1Workingwithpipelines3.2Zero-shotclassification（零样本分类）3.3Textgeneration3.4在pipeline中使用来自Hub的模型3.5Maskfilling3.6NER3
AcceptGo·2022-10-28 09:48

NLP冻手之路(5)——中文情感分类(以BERT为基础，由Hugging Face库支持，代码实践)

✅NLP研0选手的学习笔记文章目录一、需要的环境二、模型搭建2.1项目环境2.2整体调用函数main()2.3整体模型classModel()2.4训练函数train()2.5测试函数test()2.6打包函数collate_fn()三、完整代码四、运行结果五、小结六、补充说明●上一篇文章链接:NLP冻手之路(4)——pipeline管道函数的使用●本文的代码由小编认真改写和函数封装过，并附加必要
一支王同学·2022-10-28 09:17

基于Hugging Face -Transformers的预训练模型微调

本文参考资料是HuggingFace主页Resources下的课程,节选部分内容并注释（加粗斜体），也加了Trainer和args的主要参数介绍。感兴趣的同学可以去查看原文。本章节主要内容包含两部分内容：pipeline工具演示NLP任务处理构建Trainer微调模型文章目录1.简介Transformers的历史Architectures和checkpointsTheInferenceAPI2.用
神洛华·2022-09-26 07:22

Hugging Face 预训练模型的下载及使用

以bert-base-chinese为例，首先到huggingface的model页，搜索需要的模型，进到该模型界面。在本地建个文件夹：mkdir-fmodel/bert/bert-base-chinese将config.json、pytorch_model.bin(与tf_model.h5二选一，用什么框架选什么)、tokenizer.json、vocab.txt下载到刚才新建的文件夹中。（对于
cxxx17·2022-09-24 21:45

Hugging Face：成为机器学习界的“GitHub”

来源｜TheRobotBrainsPodcast翻译｜程浩源、胡燕君、许涵如、董文文五年前，AI领域的知名研究者AndrejKarpathy发文称，传统人工编程属于“软件1.0”，“软件2.0”时代将以神经网络来编程，在这个过渡过程中，将涌现像GitHub这样的重量级平台。AI届网红公司“抱抱脸（HuggingFace）”有志于成为“软件2.0”时代的GitHub。在HuggingFace上，用户
OneFlow深度学习框架·2022-09-15 07:45

Hugging Face：成为机器学习界的“GitHub”

来源｜TheRobotBrainsPodcast翻译｜程浩源、胡燕君、许涵如、董文文五年前，AI领域的知名研究者AndrejKarpathy发文称，传统人工编程属于“软件1.0”，“软件2.0”时代将以神经网络来编程，在这个过渡过程中，将涌现像GitHub这样的重量级平台。AI届网红公司“抱抱脸（HuggingFace）”有志于成为“软件2.0”时代的GitHub。在HuggingFace上，用户
·2022-09-07 11:37

利用Hugging Face中的模型进行句子相似性实践

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统HuggingFace是什么？它作为一个GitHub史上增长最快的AI项目，创始人将它的成功归功于弥补了科学与生产之间的鸿
qq_43479892·2022-09-02 12:44

利用Hugging Face中的模型进行句子相似性实践

  HuggingFace是什么？它作为一个GitHub史上增长最快的AI项目，创始人将它的成功归功于弥补了科学与生产之间的鸿沟。什么意思呢？因为现在很多AI研究者写了大量的论文和开源了大量的代码，但是AI工程师又不能直接很好的使用，而HuggingFace将这些AI模型进行了更好的封装，满足了AI工程师的生产实践需要，大大降低了AI模型使用的门槛。HuggingFace已经共享了超100,000
·2022-08-31 10:00

利用Hugging Face中的模型进行句子相似性实践

HuggingFace是什么？它作为一个GitHub史上增长最快的AI项目，创始人将它的成功归功于弥补了科学与生产之间的鸿沟。什么意思呢？因为现在很多AI研究者写了大量的论文和开源了大量的代码，但是AI工程师又不能直接很好的使用，而HuggingFace将这些AI模型进行了更好的封装，满足了AI
阿升1990·2022-08-31 09:00

hugging face 官方文档——datasets、optimizer

文章目录一、Loaddataset1.1HuggingFaceHub1.2本地和远程文件1.2.1CSV1.2.2JSON1.2.3text1.2.4Parquet1.2.5内存数据（python字典和DataFrame）1.2.6Offline离线（见原文）1.3切片拆分（Slicesplits）1.3.1字符串拆分（包括交叉验证）1.4Troubleshooting故障排除1.4.1手动下载1
神洛华·2022-05-20 07:53

Hugging Face创始人亲述：一个GitHub史上增长最快的AI项目

来源｜GradientDissent翻译｜贾川、胡燕君HuggingFace，这家以emoji“抱抱脸”命名的开源创业公司，以一种连创始团队不曾预料的速度成为了AI开源社区的顶级“网红”。目前，HuggingFace模型库在Github上获得了超过62,000个Star，14,000次forks，代码贡献者超1200人，每月被安装超100万次。就在5月10日，HuggingFace宣布C轮融资筹集
OneFlow深度学习框架·2022-05-13 13:17

Hugging Face创始人亲述：一个GitHub史上增长最快的AI项目

来源｜GradientDissent翻译｜贾川、胡燕君HuggingFace，这家以emoji“抱抱脸”命名的开源创业公司，以一种连创始团队不曾预料的速度成为了AI开源社区的顶级“网红”。目前，HuggingFace模型库在Github上获得了超过62,000个Star，14,000次forks，代码贡献者超1200人，每月被安装超100万次。就在5月10日，HuggingFace宣布C轮融资筹集
·2022-05-11 15:07

调试hugging face的transformers框架

使用pycharm，远程调试服务骑上的代码时，transformer的代码跳转不进去，会失败，为了详细研究transformer的代码，可以把transformer源码下下来，在进行调试即可。对huggingface的transformer框架进行详细调试。1.安装transformerspipinstalltransformers2.卸载transformers，装了在卸，为了留下除transf
我乐飞·2022-05-11 09:36

Hugging face快速入门

HuggingfaceIntroductionHuggingface是一家总部位于纽约的聊天机器人初创服务商，开发的应用在青少年中颇受欢迎，相比于其他公司，HuggingFace更加注重产品带来的情感以及环境因素。官网链接在此https://huggingface.co/。但更令它广为人知的是HuggingFace专注于NLP技术，拥有大型的开源社区。尤其是在github上开源的自然语言处理，预训
JermeryBesian·2022-05-11 09:05

机器学习界的GitHub：估值20亿美元的Hugging Face为何受到资本青睐？

整理|彭慧中责编|屠敏出品|CSDN（ID：CSDNnews）备受瞩目的开源创业公司HuggingFace一周之内完成了价值1亿美元的C轮融资。在完成此轮融资之后，HuggingFace估值将达到20亿美元。本轮融资仍由LuxCapital领投，红杉资本和Coatue首次参与跟投，其他跟投的投资方包括Addition、Betaworks、AIXVentures、CygniCapital、Kevin
CSDN资讯·2022-05-11 09:35

Hugging Face Course-Introduction学习小记 (part2)

3.Fine-tuningapretrainedmodel在第2章中，我们探讨了如何使用分词器和预训练模型进行预测。但是，如果您想为自己的数据集微调预训练模型怎么办？这就是本章的主题！您将学习：如何从Hub准备大型数据集如何使用高级TrainerAPI对模型进行微调如何使用自定义训练循环如何利用Accelerate库在任何分布式设置上轻松运行该自定义训练循环（我暂时用不上…流下没有设备的泪水）Pr
爱睡觉的Raki·2022-03-14 07:39

Autolayout-UILabel的Hugging&Compression Resistance

ContentHuggingPriority这里的Hugging字面意思有（v.拥抱；抱紧；紧贴；缠紧（某物）；和……保持接近等）的意思。这段文字有人翻译成内容吸附优先级，也有翻译成抗拉伸优先级。其
希尔罗斯沃德_董·2022-01-11 22:27

iOS 详解intrinsicContentSize 及 约束优先级／content Hugging／content Compression Resistance

在了解intrinsicContentSize之前，我们需要先了解2个概念：AutoLayout在做什么约束优先级是什么意思。如果不了解这两个概念，看intinsiccontentsize没有任何意义。注：由于上面这几个概念都是针对UIView或其子类(UILabel，UIImageView等等)来说的。所以下文中都用UIView指代。AutoLayout在做什么–一个UIView想要显示在屏幕中
恋空K·2021-07-02 14:55

[AutoLayout] Content Hugging & Content Compression Resistance 应用case

AutoLayout是苹果大力推广的view布局方法，但是做过Android的人都会感觉iOS的AutoLayout简直弱爆了。实际上，iOS的AutoLayout还是有它独特的优势，可以轻松实现某些特定的布局。今天我们讨论ContentHugging和ContentCompressionResistance这两个优先级。前段时间面试过很多iOS开发，问到自动布局的时候，很多人只会简单使用，甚至都
joshualiyz·2021-05-10 12:07

Cocoa Autolayout: content hugging vs content compression resistance priority

Quicksummaryoftheconcepts:Hugging=>contentdoesnotwanttogrowCompressionResistance=>contentdoesnotwanttoshrinkandanexample
_浅墨_·2021-05-01 01:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他