Huggingface

[AI] 在 huggingface transformers新增自定义token

为什么要向词汇表添加token？在大多数情况下，您不会从头开始训练一个大型语言模型，而是在新数据上微调现有模型。通常，新数据集和自然语言任务使用新的或不同的领域特定词汇。例如，法律或医疗文件。虽然目前模型一起使用的子词tokenizers能够处理基本上任意的token，但这并不是最优的。这些tokenizers一般是透过切分更小的subtoken来处理未知的新词。这样可以处理文本，但以这种方式一些
AlgorithmWillBeFine·2023-12-02 10:35

[AI]如何让语言模型LLMs流式输出：HuggingFace Transformers实现

HugginFaceTransforms是一个非常方便的库，集成了非常多SOTA的模型，包含：LLAMA,GPT,ChatGLMMoss，等。目前基本上主流的方案都是基于HugginFaceTransforms这个框架实现的。以前如果要流式输出需要自己去改模型底层的推理逻辑。如ChatGLM，自己实现的流式输出如下：#chatglm-6bmodel/modeling_chatglm.py@torc
AlgorithmWillBeFine·2023-12-02 10:58

解决git与huggingface项目下载速度慢或者失败的问题

gitclone项目报错比如使用gitclone下载项目：gitclonehttps://github.com/ChuRuaNh0/FastSam_Awsome_TensorRT.git有时候会报以下错误：fatal:unabletoaccess‘https://github.com/xxx.git/’:Failedtoconnecttogithub.comport443after21085ms:
知来者逆·2023-12-02 05:28

什么是GPT模型,GPT下载和国内镜像

一、GPT怎么下载要下载GPT模型，可以按照以下步骤进行操作：打开相应的GPT模型下载页面，如HuggingFace等，选择需要下
denzel1234·2023-12-01 02:23

AI模型训练——入门篇（一）

前言一文了解NLP，并搭建一个简单的Transformers模型（含环境配置）一、HuggingFace与NLP自从ChatGPT3问世以来的普及性使用，大家或许才真正觉察AI离我们已经越来越近了，自那之后大家也渐渐的开始接触
MonsterQy·2023-11-30 19:25

AI模型训练——入门篇（二）

导语：本文主要介绍了基于BERT的文本分类方法，通过使用huggingface的transformers库实现自定义模型和任务。
MonsterQy·2023-11-30 19:52

从零构建属于自己的GPT系列1：文本数据预处理、文本数据tokenizer、逐行代码解读

HuggingFace实战系列总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在PyCharm中进行本篇文章配套的代码资源已经上传从零构建属于自己的GPT系列1：文本数据预处理从零构建属于自己的GPT
机器学习杨卓越·2023-11-30 13:50

HuggingFace学习笔记--Tokenizer的使用

1--AutoTokenizer的使用官方文档AutoTokenizer()常用于分词，其可调用现成的模型来对输入句子进行分词。1-1--简单Demo测试代码：#分词器测试DemofromtransformersimportAutoTokenizerif__name__=="__main__":checkpoint="distilbert-base-uncased-finetuned-sst-2-
晓晓纳兰容若·2023-11-30 03:27

通义千问 Qwen-7B-Chat-Int4 模型本地化部署

如需在本地或离线环境下运行本项目，需要首先将项目所需的模型下载至本地，通常开源LLM与Embedding模型可以从HuggingFace下载。
wangqiaowq·2023-11-29 16:46

Huggingface 超详细介绍

Huggingface起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来，但是他们的这个库在机器学习社区迅速大火起来
WitsMakeMen·2023-11-29 11:20

不用多模态GPT4，HuggingFace+LangChain实现“看图说话”

目前最热门的“闭源”人工智能是OpenAI，称得上是如日中天（遥遥领先？这个词最近听得太多，总感觉像是讽刺，对于真正的王者来说），然而其很多功能却没那么容易体验到，如多模态，暂时就无法通过API调用。那么要实现一个简单的“看图说话”，要如何做呢？可以分两步：通过开源的模型，让开源模型识别图片的内容，生成一句话文本描述；让大语言模型针对文本描述生成一个简短的小故事。提到开源模型，那就不能不提Hugg
fireshort·2023-11-29 04:30

HuggingFace学习笔记--利用API实现简单的NLP任务

目录1--中文分类1-1--使用预训练模型推理1-2--基于预训练模型实现下游任务2--中文填空3--中文句子关系推断1--中文分类1-1--使用预训练模型推理代码实例：importtorchfromdatasetsimportload_datasetfromtransformersimportBertTokenizer,BertModel#定义全局分词工具tokenizer=BertTokeni
晓晓纳兰容若·2023-11-29 01:34

HuggingFace学习笔记--datasets的使用

目录1--datasets的使用1-1--加载数据集1-2--查看数据集1-3--打乱和排序数据集1-4--选择和筛选数据集1-5--划分数据集1-6--修改数据集1-7--导出数据集1--datasets的使用1-1--加载数据集代码：fromdatasetsimportload_dataset,load_from_diskif__name__=="__main__":#加载数据集dataset
晓晓纳兰容若·2023-11-29 01:04

HuggingFace学习笔记--metrics和pipeline的使用

1--metrics的使用metrics意为指标，通过API可以快速使用内置的评价指标。代码：fromdatasetsimportlist_metrics,load_metricif__name__=="__main__":#列出所有评价指标metrics_list=list_metrics()print(len(metrics_list))print(metrics_list)#加载一个评价指标
晓晓纳兰容若·2023-11-29 01:04

HuggingFace模型训练以及推理相关

tokenizer用法（encode、encode_plus、batch_encode_plus等等）_hj_caas的博客-CSDN博客transformers教程-知乎【学习笔记】Transformers库笔记HuggingFace
handsome_new·2023-11-29 01:32

2023.10DataWhale扩散模型学习笔记——Week2

项目地址：DocsNotebook地址（推荐使用googlecolab打开）：https://github.com/huggingface/diffusion-models-class/tree/main
godlikesun97·2023-11-29 01:31

HuggingFace学习笔记-零碎记录

如果只填task，会自动下载一个默认的模型model，下载地址在\.cache\huggingface\hub（这个地
gimlet_·2023-11-29 01:01

HuggingFace学习笔记--AutoModel的使用

1--AutoModel的使用官方文档AutoModel用于加载模型；1-1--简单Demo测试代码：fromtransformersimportAutoTokenizer,AutoModelif__name__=="__main__":checkpoint="distilbert-base-uncased-finetuned-sst-2-english"tokenlizer=AutoTokeni
晓晓纳兰容若·2023-11-29 01:29

LangChain 12调用模型HuggingFace中的Llama2和Google Flan t5

LangChain系列文章LangChain实现给动物取名字，LangChain2模块化prompttemplate并用streamlit生成网站实现给动物取名字LangChain3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain4用向量数据库Faiss存储，读取YouTube的视频文本搜索IndexesforinformationretrieveLangC
AI架构师易筋·2023-11-28 15:51

AI 视频 | Stable Video Diffusion 来了！（附体验地址）

目前StabilityAI已经在GitHub上开源了StableVideoDiffusion的代码，在HuggingFace上也可以找到模型本地运行所需要的weights。
程序员X小鹿·2023-11-28 15:17

ChatGLM 6B 部署及微调 【干货】

github.com/THUDM/ChatGLM2-6B1.2下载模型将模型下载后放到项目文件夹内gitlfsinstall#确认安装了lfs，或者直接到项目地址点击下载gitclonehttps://huggingface.co
isSamle·2023-11-28 06:23

huggingface模型的默认下载/加载位置

huggingface模型的默认下载/加载位置/root/.cache/huggingface/hub/models--THUDM--chatglm-6b/*设置使用显卡个数cd~/.cache/huggingface
计算机视觉-Archer·2023-11-28 03:15

accelerate的使用说明

1多卡(GPU)使用方法终端输入指令，生成问答页面accelerateconfig这个方法也是可以的2后面修改直接找到这个yaml文件进行修改即可cd~/.cache/huggingface/acceleratevimdefault_config.yaml
计算机视觉-Archer·2023-11-28 02:38

pytorch版本的timm库

timm库官网文档huggingface文档介绍githubtimm是一个PyTorch原生实现的计算机视觉模型库。
u013308709·2023-11-28 01:17

HuggingFace 国内下载 阿里云盘下载速度20MB/s

文章目录效果展示思路阿里云盘API工具aligo安装aligoaligo教程实战保存模型到阿里云盘海外服务器下载模型装包aligo的上传代码国内下载其他方式效果展示Huggingface被屏蔽了，根本下载不了
jieshenai·2023-11-27 00:14

huggingface HF_HOME 更换缓存目录

默认情况下，下载数据集并缓存到~/.cache/huggingface/dataset.您可以通过设置HF_HOME环境变量来自定义缓存的文件夹。【注意】：重启电脑！！！
jieshenai·2023-11-27 00:13

推荐九大类实用的AI工具网站 | 最实用的AI工具网站推荐大全（建议收藏！！！）

一、写作WriteWithTransformer（https://transformer.huggingface.co/）：基于GPT系列模型的自动写作工具，可以帮助用户完成各
JOKERCDD·2023-11-26 17:49

3款免费的语音&视频转文本AI神器

我亲测了好几款软件之后，最终评选留下了三款剪映huggingface飞书妙记接下来一一给大家讲解1.剪映剪映其实是一款视频剪辑工具，其中它拥有一个智能语音识别功能非常强大，只需将音频或视频导入剪映添加到编辑轨道
赤辰AI实操记·2023-11-26 17:00

Huggingface

1介绍HuggingFace是一个开源模型社区。目前已经共享300k+模型，100k+应用，50k+数据集（截至231114数据），可视为AI界的github。
xieyan0811·2023-11-26 06:20

每日学术速递4.1

Subjects:cs.CL1.HuggingGPT:SolvingAITaskswithChatGPTanditsFriendsinHuggingFace标题：HuggingGPT：使用ChatGPT及其在HuggingFace
AiCharm·2023-11-26 05:00

midjourney过时了？如何使用基于LCM的绘图技术画出你心中的画卷。

近日，中国清华大学和AI代码共享平台HuggingFace联合开发了一项新的机器学习技术LCM-LoRA，该技术实现了实时生成AI艺术。
winfredzhang·2023-11-25 20:10

LLM FLAN-UL2

相关链接huggingface主页arxiv论文这是一篇来自google的工作。
duoyasong5907·2023-11-25 14:34

HuggingFace文档中文翻译

其实学习的过程不过就是查文档，学习文档的过程，不可能什么事情都需要我们自己去造轮子呀，但是如果不读文档，你就不知道有哪些功能，不记得API可以去查，但是，不知道功能，怎么去查呢？英文文档真的会降低速度，所以自己翻译过来就好了。阅读文档的过程其实就是一个知识扩展累计的过程，提高认知很重要。这篇文档是我在学习的过程中顺带翻译，以便后续继续阅读。大模型和pytorch为主，keras和其他领域写的翻译的
小鸡不简单·2023-11-25 09:24

【HuggingFace Transformer库学习笔记】基础组件学习：pipeline

一、Transformer基础知识pipinstalltransformersdatasetsevaluatepeftaccelerategradiooptimumsentencepiecepipinstalljupyterlabscikit-learnpandasmatplotlibtensorboardnltkrouge在host文件里添加途中信息，可以避免运行代码下载模型时候报错。Trans
辰阳星宇·2023-11-25 09:50

NLP实践——VQA/Caption生成模型BLIP-2的应用介绍

很久很久之前我写过一个简单的imagecaption项目的介绍，那个模型原理比较简单，就是encode-decode模式，但是项目却不怎么好运行，而现在，随着技术的迭代升级，还有huggingface社区的加持
常鸿宇·2023-11-25 06:01

LangChain 6根据图片生成推广文案HuggingFace中的image-caption模型

根据图片生成推广文案，用的HuggingFace中的image-caption模型LangChain实现给动物取名字，LangChain2模块化prompttemplate并用streamlit生成网站实现给动物取名字
AI架构师易筋·2023-11-25 06:47

transformers中的data_collator

前言使用huggingface的Dataset加载数据集，然后使用过tokenizer对文本数据进行编码，但是此时的特征数据还不是tensor，需要转换为深度学习框架所需的tensor类型。
凯子要面包·2023-11-25 04:31

HuggingFace-利用BERT预训练模型实现中文情感分类（下游任务）

准备数据集使用编码工具首先需要加载编码工具，编码工具可以将抽象的文字转成数字，便于神经网络后续的处理，其代码如下：#定义数据集fromtransformersimportBertTokenizer,BertModel,AdamW#加载tokenizertoken=BertTokenizer.from_pretrained('bert-base-chinese')print('token',toke
♡Coisíní♡·2023-11-25 03:19

FinGPT：金融垂类大模型架构

Overview动机架构底座模型：Llama2Chatglm2Lora训练技术路径自动收集数据并整理指令微调舆情分析搜新闻然后相似搜索检索增强架构智能投顾Huggingface地址学术成果及未来方向参考资料
uncle_ll·2023-11-25 01:30

最强TTS（文本转语音）模型Bark发布 - 支持带有情感的语音，歌曲生成 -体验声音克隆功能

ElevenLabsSunoBark（TTS模型）Githublink:https://github.com/suno-ai/barkSpaces:https://huggingface.co/spaces
没错我就是张老师·2023-11-24 12:10

使用 Authing 快速实现一套类似 OpenAI 的认证、API Key 商业权益授权机制

如果你有经常使用OpenAI或者HuggingFace这一类面向开发者的SaaS服务，对于APIKey肯定不会陌生。
Authing·2023-11-23 20:07

C#使用whisper.net实现语音识别（语音转文本）

github.com/sandrohanea/whisper.netWhisper.net.SpeechtotextmadesimpleusingWhisperModels模型下载地址：https://huggingface.co
天天代码码天天·2023-11-23 11:37

ChatGLM2 大模型微调过程中遇到的一些坑及解决方法(更新中)

1.模型下载问题OSError:Wecouldn'tconnectto'https://huggingface.co'toloadthisfile,couldn'tfinditinthecachedfilesanditlookslikebert-base-uncasedisnotthepathtoadirectorycontainingafilenamedconfig.json.Checkouty
tortorish·2023-11-22 20:15

HuggingFace——Tokenizer的简单记录

Tokenizer[中文Course|API|详述文档]下载使用针对AutoTokenizer来说，如果是从在线仓库中下载，其是要访问：commit_hash=kwargs.get("_commit_hash",None)resolved_config_file=cached_file(pretrained_model_name_or_path,TOKENIZER_CONFIG_FILE,cach
Charon_HN·2023-11-21 23:19

【论文复现】QAFactEval: 《QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization》

ImprovedQA-BasedFactualConsistencyEvaluationforSummarization》（NAACL2022）代码https://github.com/salesforce/QAFactEval本人的服务器：学校实验室服务器，不支持正常访问huggingface
一饭名厨姚鲲鲲·2023-11-20 08:31

inceptionnext代码及其分层输出

InceptionNeXtimplementation,paper:https://arxiv.org/abs/2303.16900Somecodeisborrowedfromtimm:https://github.com/huggingface
一休哥※·2023-11-19 23:27

huggingface transfromers基于预训练模型进行调优

以Resnet为例，找到了一个微软的resnet-50的预训练模型fromtransformersimportAutoImageProcessor,ResNetForImageClassification#加载前处理处理器，自动构建；功能：输入图片，输出Tenser(1,3,224,224)processor=AutoImageProcessor.from_pretrained("microsof
onmeiei·2023-11-19 22:22

huggingface离线模式及默认保存路径

T5Tokenizer.from_pretrained()函数会在线下载huggingface上的模型，并自动保存在C盘的.cache路径下：C:\Users\xxxxx\.cache\huggingface
dataloading·2023-11-19 18:48

大模型之十二十-中英双语开源大语言模型选型

当前（2023年11月17日)开源的大语言模型如下：模型所属公司发布时间开放模型许可词表大小语料Huggingface下载量模型结构位置编码激活函数隐变量维度dimension自注意力头的个数nheads
shichaog·2023-11-19 03:06

利用ONNX runtime对transformer模型进行推理加速

AccelerateyourNLPpipelinesusingHuggingFaceTransformersandONNXRuntime_choose_c的博客-CSDN博客我们将分享ONNXRuntime团队和HuggingFace
choose_c·2023-11-17 06:59
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他