HuggingFace

pytorch bert实现文本分类

以imdb公开数据集为例，bert模型可以在huggingface上自行挑选1.导入必要的库importosimporttorchfromtorch.utils.dataimportDataLoader
骑单车的王小二·2023-12-05 14:13

LLM部署-Fastllm

fastllm使用#这是原来的程序，通过huggingface接口创建模型fromtransformersimportAutoTokenizer,AutoModeltokenizer=AutoTokenizer.from_pretrained
银晗·2023-12-05 10:19

LangChain简单使用教程之搭建本地知识库AI问答

LangChain提供通用的接口访问LLM，支持OpenAI,HuggingFace,自定义api等多种LLM。听起来很复杂，但其实它很容易上手。
陌北v1·2023-12-05 00:56

文字转语音、语音转文字！ AI视频生成神器！

Whisper语音转文字Whisper开源项目：https://github.com/Const-me/Whisper/releases/tag/1.8.1ggml-medium语音模型：https://huggingface.co
希尔贝壳AISHELL·2023-12-04 16:39

从零构建属于自己的GPT系列3：模型训练2（训练函数解读、模型训练函数解读、代码逐行解读）

HuggingFace实战系列总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在PyCharm中进行本篇文章配套的代码资源已经上传从零构建属于自己的GPT系列1：文本数据预处理从零构建属于自己的GPT
机器学习杨卓越·2023-12-04 13:35

Stable Diffusion web UI 运行报错 Error while deserializing header: MetadataIncompleteBuffer

==============================================================================Downloading:"https://huggingface.co
盖码范·2023-12-04 09:01

【深度学习】Adversarial Diffusion Distillation，SDXL-Turbo 一步出图

代码：https://huggingface.co/stabilityai/sdxl-turbo使用SDXL-Turbo是SDXL1.0的精炼版本，经过实时合成训练。
XD742971636·2023-12-04 08:07

动手制作个人电脑对话机器人transformers+DialoGPT

在运行代码之前，请确保已经安装了HuggingFace的Transforme
玩转测试开发·2023-12-04 06:29

文档向量化工具（二）：text2vec介绍

目录前言text2vec开源项目核心能力文本向量表示模型本地试用安装依赖下载模型到本地（如果你的网络能直接从huggingface上拉取文件，可跳过）运行试验代码前言在上一篇文章中介绍了，如何从不同格式的文件里提取文本信息
Hugo Lei·2023-12-04 05:10

终极解决Hugging Face 模型推理 HTTPSConnectionPool(host=‘huggingface.co‘, port=443): Max retries...

大陆地区由于网络的问题,在使用HuggingFace进行模型下载或推理时总会遇到类似这样的问题.原因在于需要比较频繁的访问HuggingFace网页.模型下载时有时确实没有办法,但模型推理时,有时候为了验证模型的正确性
微凉的衣柜·2023-12-04 00:07

HuggingFace学习笔记--Trainer的使用

1--Trainer的使用利用Trainer可以快速进行模型训练的配置，一般需要设置训练的模型以及训练相关参数等；1-1--简单Demo代码importevaluatefromdatasetsimportload_datasetfromtransformersimportAutoTokenizer,AutoModelForSequenceClassification,Trainer,Trainin
晓晓纳兰容若·2023-12-03 15:42

HuggingFace学习笔记--Prompt-Tuning高效微调

1--Prompt-Tuning介绍Prompt-Tuning高效微调只会训练新增的Prompt的表示层，模型的其余参数全部固定；新增的Prompt内容可以分为HardPrompt和SoftPrompt两类；Softprompt通常指的是一种较为宽泛或模糊的提示，允许模型在生成结果时有更大的自由度，通常用于启发模型进行创造性的生成；Hardprompt是一种更为具体和明确的提示，要求模型按照给定的
晓晓纳兰容若·2023-12-03 15:42

HuggingFace学习笔记--BitFit高效微调

1--BitFit高效微调BitFit，全称是bias-termfine-tuning，其高效微调只去微调带有bias的参数，其余参数全部固定；2--实例代码fromdatasetsimportload_from_diskfromtransformersimportAutoTokenizer,AutoModelForCausalLM,DataCollatorForSeq2Seqfromtransf
晓晓纳兰容若·2023-12-03 15:39

假期get新技能？低代码模型应用工具HuggingFists

HuggingFists是一款研究和使用HuggingFace模型和数据集的AI应用工具。
colorknight·2023-12-03 14:05

Hugging “Hugging Face“

2016年，两位怀揣梦想的法国人ClemDelangue和JulienChaumond在巴黎创立了HuggingFace公司。最初致力于研发聊天机器人，为青少年找点乐子，打发下时间。
colorknight·2023-12-03 14:05

pytorch+huggingface+bert实现一个文本分类

pytorch+huggingface+bert实现一个文本分类1，下载模型bert模型的目前方便的有两种：一种是huggingface_hub以及/AutoModel.load,一种torch.hub
wenjurongyu·2023-12-03 13:17

huggingface使用预训练模型入门

huggingface使用预训练模型入门huggingface的官方文档的地址：https://huggingface.co/docs/transformers/quicktour。
wenjurongyu·2023-12-03 13:47

阿里千问Qwen-72 b在中文测试中击败了GPT-3.5

2023.11.30我们在ModelScope和HuggingFace上发布了Qwen-72B和Qwen-72B-Chat，它们在3T令牌上进行训练并支持32k上下文，以及Qwen-1.8B和Qwen-
极道Jdon·2023-12-03 08:00

elasticsearch 内网下如何以离线的方式上传任意的huggingFace上的NLP模型（国内闭坑指南）

我们可以使用es官方提供的工具eland，将huggingface上的NLP模型，上传到es集群中。利用es的机器学习模块，来运维部署管理模型。配合es的管道处理，来更加便捷的处理数据。
水的精神·2023-12-03 07:09

从零构建属于自己的GPT系列2：预训练中文模型加载、中文语言模型训练、逐行代码解读

HuggingFace实战系列总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在PyCharm中进行本篇文章配套的代码资源已经上传从零构建属于自己的GPT系列1：文本数据预处理从零构建属于自己的GPT
机器学习杨卓越·2023-12-02 22:30

国内高速下载huggingface上的模型

modelscopehuggingface安装Windows设置环境变量Linux设置环境变量设置国内镜像Windows（cmd.exe）当前窗口有效永久生效Linux当前窗口有效永久生效下载模型前言国内优先使用modelscope，huggingface
寂夜江潮·2023-12-02 19:31

【项目部署调试】 AnimateDiff

基本大模型stable-diffusion-v1-5作者在readme中使用gitclone我在huggingface.co将runwayml
_bh·2023-12-02 17:08

支持中文，性能超GPT-4！为开发人员而生的 AI 搜索引擎

CodeLlama-34BV2在huggingface（笑脸）的代码大模型排行榜中位居第一名，这也是首个击败GPT-4的开源代码项目。
richerg85·2023-12-02 16:16

在服务器的Docker容器上部署ChatGLM2-6B

在https://huggingface.co/THUDM/chatglm2-6b上进行模型实践的下载。
大多_C·2023-12-02 12:20

支持中文，性能超GPT-4！笑脸排名第一的纯代码模型

CodeLlama-34BV2在huggingface（笑脸）的代码大模型排行榜中位居第一名，这也是首个击败GPT-4的开源代码项目。
RPA中国·2023-12-02 11:33

[AI] 在 huggingface transformers新增自定义token

为什么要向词汇表添加token？在大多数情况下，您不会从头开始训练一个大型语言模型，而是在新数据上微调现有模型。通常，新数据集和自然语言任务使用新的或不同的领域特定词汇。例如，法律或医疗文件。虽然目前模型一起使用的子词tokenizers能够处理基本上任意的token，但这并不是最优的。这些tokenizers一般是透过切分更小的subtoken来处理未知的新词。这样可以处理文本，但以这种方式一些
AlgorithmWillBeFine·2023-12-02 10:35

[AI]如何让语言模型LLMs流式输出：HuggingFace Transformers实现

HugginFaceTransforms是一个非常方便的库，集成了非常多SOTA的模型，包含：LLAMA,GPT,ChatGLMMoss，等。目前基本上主流的方案都是基于HugginFaceTransforms这个框架实现的。以前如果要流式输出需要自己去改模型底层的推理逻辑。如ChatGLM，自己实现的流式输出如下：#chatglm-6bmodel/modeling_chatglm.py@torc
AlgorithmWillBeFine·2023-12-02 10:58

解决git与huggingface项目下载速度慢或者失败的问题

gitclone项目报错比如使用gitclone下载项目：gitclonehttps://github.com/ChuRuaNh0/FastSam_Awsome_TensorRT.git有时候会报以下错误：fatal:unabletoaccess‘https://github.com/xxx.git/’:Failedtoconnecttogithub.comport443after21085ms:
知来者逆·2023-12-02 05:28

什么是GPT模型,GPT下载和国内镜像

一、GPT怎么下载要下载GPT模型，可以按照以下步骤进行操作：打开相应的GPT模型下载页面，如HuggingFace等，选择需要下
denzel1234·2023-12-01 02:23

AI模型训练——入门篇（一）

前言一文了解NLP，并搭建一个简单的Transformers模型（含环境配置）一、HuggingFace与NLP自从ChatGPT3问世以来的普及性使用，大家或许才真正觉察AI离我们已经越来越近了，自那之后大家也渐渐的开始接触
MonsterQy·2023-11-30 19:25

AI模型训练——入门篇（二）

导语：本文主要介绍了基于BERT的文本分类方法，通过使用huggingface的transformers库实现自定义模型和任务。
MonsterQy·2023-11-30 19:52

从零构建属于自己的GPT系列1：文本数据预处理、文本数据tokenizer、逐行代码解读

HuggingFace实战系列总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在PyCharm中进行本篇文章配套的代码资源已经上传从零构建属于自己的GPT系列1：文本数据预处理从零构建属于自己的GPT
机器学习杨卓越·2023-11-30 13:50

HuggingFace学习笔记--Tokenizer的使用

1--AutoTokenizer的使用官方文档AutoTokenizer()常用于分词，其可调用现成的模型来对输入句子进行分词。1-1--简单Demo测试代码：#分词器测试DemofromtransformersimportAutoTokenizerif__name__=="__main__":checkpoint="distilbert-base-uncased-finetuned-sst-2-
晓晓纳兰容若·2023-11-30 03:27

通义千问 Qwen-7B-Chat-Int4 模型本地化部署

如需在本地或离线环境下运行本项目，需要首先将项目所需的模型下载至本地，通常开源LLM与Embedding模型可以从HuggingFace下载。
wangqiaowq·2023-11-29 16:46

Huggingface 超详细介绍

Huggingface起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来，但是他们的这个库在机器学习社区迅速大火起来
WitsMakeMen·2023-11-29 11:20

不用多模态GPT4，HuggingFace+LangChain实现“看图说话”

目前最热门的“闭源”人工智能是OpenAI，称得上是如日中天（遥遥领先？这个词最近听得太多，总感觉像是讽刺，对于真正的王者来说），然而其很多功能却没那么容易体验到，如多模态，暂时就无法通过API调用。那么要实现一个简单的“看图说话”，要如何做呢？可以分两步：通过开源的模型，让开源模型识别图片的内容，生成一句话文本描述；让大语言模型针对文本描述生成一个简短的小故事。提到开源模型，那就不能不提Hugg
fireshort·2023-11-29 04:30

HuggingFace学习笔记--利用API实现简单的NLP任务

目录1--中文分类1-1--使用预训练模型推理1-2--基于预训练模型实现下游任务2--中文填空3--中文句子关系推断1--中文分类1-1--使用预训练模型推理代码实例：importtorchfromdatasetsimportload_datasetfromtransformersimportBertTokenizer,BertModel#定义全局分词工具tokenizer=BertTokeni
晓晓纳兰容若·2023-11-29 01:34

HuggingFace学习笔记--datasets的使用

目录1--datasets的使用1-1--加载数据集1-2--查看数据集1-3--打乱和排序数据集1-4--选择和筛选数据集1-5--划分数据集1-6--修改数据集1-7--导出数据集1--datasets的使用1-1--加载数据集代码：fromdatasetsimportload_dataset,load_from_diskif__name__=="__main__":#加载数据集dataset
晓晓纳兰容若·2023-11-29 01:04

HuggingFace学习笔记--metrics和pipeline的使用

1--metrics的使用metrics意为指标，通过API可以快速使用内置的评价指标。代码：fromdatasetsimportlist_metrics,load_metricif__name__=="__main__":#列出所有评价指标metrics_list=list_metrics()print(len(metrics_list))print(metrics_list)#加载一个评价指标
晓晓纳兰容若·2023-11-29 01:04

HuggingFace模型训练以及推理相关

tokenizer用法（encode、encode_plus、batch_encode_plus等等）_hj_caas的博客-CSDN博客transformers教程-知乎【学习笔记】Transformers库笔记HuggingFace
handsome_new·2023-11-29 01:32

2023.10DataWhale扩散模型学习笔记——Week2

项目地址：DocsNotebook地址（推荐使用googlecolab打开）：https://github.com/huggingface/diffusion-models-class/tree/main
godlikesun97·2023-11-29 01:31

HuggingFace学习笔记-零碎记录

如果只填task，会自动下载一个默认的模型model，下载地址在\.cache\huggingface\hub（这个地
gimlet_·2023-11-29 01:01

HuggingFace学习笔记--AutoModel的使用

1--AutoModel的使用官方文档AutoModel用于加载模型；1-1--简单Demo测试代码：fromtransformersimportAutoTokenizer,AutoModelif__name__=="__main__":checkpoint="distilbert-base-uncased-finetuned-sst-2-english"tokenlizer=AutoTokeni
晓晓纳兰容若·2023-11-29 01:29

LangChain 12调用模型HuggingFace中的Llama2和Google Flan t5

LangChain系列文章LangChain实现给动物取名字，LangChain2模块化prompttemplate并用streamlit生成网站实现给动物取名字LangChain3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain4用向量数据库Faiss存储，读取YouTube的视频文本搜索IndexesforinformationretrieveLangC
AI架构师易筋·2023-11-28 15:51

AI 视频 | Stable Video Diffusion 来了！（附体验地址）

目前StabilityAI已经在GitHub上开源了StableVideoDiffusion的代码，在HuggingFace上也可以找到模型本地运行所需要的weights。
程序员X小鹿·2023-11-28 15:17

ChatGLM 6B 部署及微调 【干货】

github.com/THUDM/ChatGLM2-6B1.2下载模型将模型下载后放到项目文件夹内gitlfsinstall#确认安装了lfs，或者直接到项目地址点击下载gitclonehttps://huggingface.co
isSamle·2023-11-28 06:23

huggingface模型的默认下载/加载位置

huggingface模型的默认下载/加载位置/root/.cache/huggingface/hub/models--THUDM--chatglm-6b/*设置使用显卡个数cd~/.cache/huggingface
计算机视觉-Archer·2023-11-28 03:15

accelerate的使用说明

1多卡(GPU)使用方法终端输入指令，生成问答页面accelerateconfig这个方法也是可以的2后面修改直接找到这个yaml文件进行修改即可cd~/.cache/huggingface/acceleratevimdefault_config.yaml
计算机视觉-Archer·2023-11-28 02:38

pytorch版本的timm库

timm库官网文档huggingface文档介绍githubtimm是一个PyTorch原生实现的计算机视觉模型库。
u013308709·2023-11-28 01:17

HuggingFace 国内下载 阿里云盘下载速度20MB/s

文章目录效果展示思路阿里云盘API工具aligo安装aligoaligo教程实战保存模型到阿里云盘海外服务器下载模型装包aligo的上传代码国内下载其他方式效果展示Huggingface被屏蔽了，根本下载不了
jieshenai·2023-11-27 00:14
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他