Huggingface

大模型部署手记（11）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+llama.cpp+中文对话

GitHub-facebookresearch/llama:InferencecodeforLLaMAmodels模型：LIama-2-7b-hf、Chinese-LLaMA-Plus-2-7B下载：使用huggingface.co
张小白TWO·2023-12-06 13:44

LLama2 CPU Windows 部署-小白踩坑合集

https://ai.meta.com/llama/申请的时候注意一定要点击下一步，我在这个上面踩过坑，申请过九九八十一次，一直没有收到邮件，结果就是因为…没有点击下一步（没文化真可怕，对英语单词不敏感）2、huggingface
λ+μ=1·2023-12-06 13:42

使用Huggingface创建大语言模型RLHF训练流程的完整教程

ChatGPT已经成为家喻户晓的名字，而大语言模型在ChatGPT刺激下也得到了快速发展，这使得我们可以基于这些技术来改进我们的业务。但是大语言模型像所有机器/深度学习模型一样，从数据中学习。因此也会有garbageingarbageout的规则。也就是说如果我们在低质量的数据上训练模型，那么在推理时输出的质量也会同样低。这就是为什么在与LLM的对话中，会出现带有偏见(或幻觉)的回答的主要原因。有
deephub·2023-12-06 08:05

InST论文复现

论文git：https://github.com/zyxElsa/InST遇到的问题：1.requests.exceptions.SSLError:HTTPSConnectionPool(host='huggingface.co
52Tiramisu·2023-12-06 00:47

AI：LangChain

它提供了一种方式，通过这种方法，开发者可以利用像OpenAI的GPT-3或GPT-3.5这样的模型，以及HuggingFace提供的其他开源模型，如Google的flan-t5。
AnyaPapa·2023-12-05 21:55

LLM之Agent（三）：HuggingGPT根据用户需求自动调用Huggingface合适的模型

浙大和微软亚洲研究院开源的HuggingGPT，又名JARVIS，它可以根据用户的自然语言描述的需求就可以自动分析需要哪些AI模型，然后去Huggingface上直接调用对应的模型，最终给出用户的解决方案
wshzd·2023-12-05 21:35

下载Huggingface Transformer 在苹果M1芯片上 （保姆教程，我可以，你也可以）

v=17gDhXU55oU和https://medium.com/@faizififita1/huggingface-installation-on-apple-silicon-2022-m1-pro-max
小张儿zandau·2023-12-05 19:39

pytorch bert实现文本分类

以imdb公开数据集为例，bert模型可以在huggingface上自行挑选1.导入必要的库importosimporttorchfromtorch.utils.dataimportDataLoader
骑单车的王小二·2023-12-05 14:13

LLM部署-Fastllm

fastllm使用#这是原来的程序，通过huggingface接口创建模型fromtransformersimportAutoTokenizer,AutoModeltokenizer=AutoTokenizer.from_pretrained
银晗·2023-12-05 10:19

LangChain简单使用教程之搭建本地知识库AI问答

LangChain提供通用的接口访问LLM，支持OpenAI,HuggingFace,自定义api等多种LLM。听起来很复杂，但其实它很容易上手。
陌北v1·2023-12-05 00:56

文字转语音、语音转文字！ AI视频生成神器！

Whisper语音转文字Whisper开源项目：https://github.com/Const-me/Whisper/releases/tag/1.8.1ggml-medium语音模型：https://huggingface.co
希尔贝壳AISHELL·2023-12-04 16:39

从零构建属于自己的GPT系列3：模型训练2（训练函数解读、模型训练函数解读、代码逐行解读）

HuggingFace实战系列总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在PyCharm中进行本篇文章配套的代码资源已经上传从零构建属于自己的GPT系列1：文本数据预处理从零构建属于自己的GPT
机器学习杨卓越·2023-12-04 13:35

Stable Diffusion web UI 运行报错 Error while deserializing header: MetadataIncompleteBuffer

==============================================================================Downloading:"https://huggingface.co
盖码范·2023-12-04 09:01

【深度学习】Adversarial Diffusion Distillation，SDXL-Turbo 一步出图

代码：https://huggingface.co/stabilityai/sdxl-turbo使用SDXL-Turbo是SDXL1.0的精炼版本，经过实时合成训练。
XD742971636·2023-12-04 08:07

动手制作个人电脑对话机器人transformers+DialoGPT

在运行代码之前，请确保已经安装了HuggingFace的Transforme
玩转测试开发·2023-12-04 06:29

文档向量化工具（二）：text2vec介绍

目录前言text2vec开源项目核心能力文本向量表示模型本地试用安装依赖下载模型到本地（如果你的网络能直接从huggingface上拉取文件，可跳过）运行试验代码前言在上一篇文章中介绍了，如何从不同格式的文件里提取文本信息
Hugo Lei·2023-12-04 05:10

终极解决Hugging Face 模型推理 HTTPSConnectionPool(host=‘huggingface.co‘, port=443): Max retries...

大陆地区由于网络的问题,在使用HuggingFace进行模型下载或推理时总会遇到类似这样的问题.原因在于需要比较频繁的访问HuggingFace网页.模型下载时有时确实没有办法,但模型推理时,有时候为了验证模型的正确性
微凉的衣柜·2023-12-04 00:07

HuggingFace学习笔记--Trainer的使用

1--Trainer的使用利用Trainer可以快速进行模型训练的配置，一般需要设置训练的模型以及训练相关参数等；1-1--简单Demo代码importevaluatefromdatasetsimportload_datasetfromtransformersimportAutoTokenizer,AutoModelForSequenceClassification,Trainer,Trainin
晓晓纳兰容若·2023-12-03 15:42

HuggingFace学习笔记--Prompt-Tuning高效微调

1--Prompt-Tuning介绍Prompt-Tuning高效微调只会训练新增的Prompt的表示层，模型的其余参数全部固定；新增的Prompt内容可以分为HardPrompt和SoftPrompt两类；Softprompt通常指的是一种较为宽泛或模糊的提示，允许模型在生成结果时有更大的自由度，通常用于启发模型进行创造性的生成；Hardprompt是一种更为具体和明确的提示，要求模型按照给定的
晓晓纳兰容若·2023-12-03 15:42

HuggingFace学习笔记--BitFit高效微调

1--BitFit高效微调BitFit，全称是bias-termfine-tuning，其高效微调只去微调带有bias的参数，其余参数全部固定；2--实例代码fromdatasetsimportload_from_diskfromtransformersimportAutoTokenizer,AutoModelForCausalLM,DataCollatorForSeq2Seqfromtransf
晓晓纳兰容若·2023-12-03 15:39

假期get新技能？低代码模型应用工具HuggingFists

HuggingFists是一款研究和使用HuggingFace模型和数据集的AI应用工具。
colorknight·2023-12-03 14:05

Hugging “Hugging Face“

2016年，两位怀揣梦想的法国人ClemDelangue和JulienChaumond在巴黎创立了HuggingFace公司。最初致力于研发聊天机器人，为青少年找点乐子，打发下时间。
colorknight·2023-12-03 14:05

pytorch+huggingface+bert实现一个文本分类

pytorch+huggingface+bert实现一个文本分类1，下载模型bert模型的目前方便的有两种：一种是huggingface_hub以及/AutoModel.load,一种torch.hub
wenjurongyu·2023-12-03 13:17

huggingface使用预训练模型入门

huggingface使用预训练模型入门huggingface的官方文档的地址：https://huggingface.co/docs/transformers/quicktour。
wenjurongyu·2023-12-03 13:47

阿里千问Qwen-72 b在中文测试中击败了GPT-3.5

2023.11.30我们在ModelScope和HuggingFace上发布了Qwen-72B和Qwen-72B-Chat，它们在3T令牌上进行训练并支持32k上下文，以及Qwen-1.8B和Qwen-
极道Jdon·2023-12-03 08:00

elasticsearch 内网下如何以离线的方式上传任意的huggingFace上的NLP模型（国内闭坑指南）

我们可以使用es官方提供的工具eland，将huggingface上的NLP模型，上传到es集群中。利用es的机器学习模块，来运维部署管理模型。配合es的管道处理，来更加便捷的处理数据。
水的精神·2023-12-03 07:09

从零构建属于自己的GPT系列2：预训练中文模型加载、中文语言模型训练、逐行代码解读

HuggingFace实战系列总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在PyCharm中进行本篇文章配套的代码资源已经上传从零构建属于自己的GPT系列1：文本数据预处理从零构建属于自己的GPT
机器学习杨卓越·2023-12-02 22:30

国内高速下载huggingface上的模型

modelscopehuggingface安装Windows设置环境变量Linux设置环境变量设置国内镜像Windows（cmd.exe）当前窗口有效永久生效Linux当前窗口有效永久生效下载模型前言国内优先使用modelscope，huggingface
寂夜江潮·2023-12-02 19:31

【项目部署调试】 AnimateDiff

基本大模型stable-diffusion-v1-5作者在readme中使用gitclone我在huggingface.co将runwayml
_bh·2023-12-02 17:08

支持中文，性能超GPT-4！为开发人员而生的 AI 搜索引擎

CodeLlama-34BV2在huggingface（笑脸）的代码大模型排行榜中位居第一名，这也是首个击败GPT-4的开源代码项目。
richerg85·2023-12-02 16:16

在服务器的Docker容器上部署ChatGLM2-6B

在https://huggingface.co/THUDM/chatglm2-6b上进行模型实践的下载。
大多_C·2023-12-02 12:20

支持中文，性能超GPT-4！笑脸排名第一的纯代码模型

CodeLlama-34BV2在huggingface（笑脸）的代码大模型排行榜中位居第一名，这也是首个击败GPT-4的开源代码项目。
RPA中国·2023-12-02 11:33

[AI] 在 huggingface transformers新增自定义token

为什么要向词汇表添加token？在大多数情况下，您不会从头开始训练一个大型语言模型，而是在新数据上微调现有模型。通常，新数据集和自然语言任务使用新的或不同的领域特定词汇。例如，法律或医疗文件。虽然目前模型一起使用的子词tokenizers能够处理基本上任意的token，但这并不是最优的。这些tokenizers一般是透过切分更小的subtoken来处理未知的新词。这样可以处理文本，但以这种方式一些
AlgorithmWillBeFine·2023-12-02 10:35

[AI]如何让语言模型LLMs流式输出：HuggingFace Transformers实现

HugginFaceTransforms是一个非常方便的库，集成了非常多SOTA的模型，包含：LLAMA,GPT,ChatGLMMoss，等。目前基本上主流的方案都是基于HugginFaceTransforms这个框架实现的。以前如果要流式输出需要自己去改模型底层的推理逻辑。如ChatGLM，自己实现的流式输出如下：#chatglm-6bmodel/modeling_chatglm.py@torc
AlgorithmWillBeFine·2023-12-02 10:58

解决git与huggingface项目下载速度慢或者失败的问题

gitclone项目报错比如使用gitclone下载项目：gitclonehttps://github.com/ChuRuaNh0/FastSam_Awsome_TensorRT.git有时候会报以下错误：fatal:unabletoaccess‘https://github.com/xxx.git/’:Failedtoconnecttogithub.comport443after21085ms:
知来者逆·2023-12-02 05:28

什么是GPT模型,GPT下载和国内镜像

一、GPT怎么下载要下载GPT模型，可以按照以下步骤进行操作：打开相应的GPT模型下载页面，如HuggingFace等，选择需要下
denzel1234·2023-12-01 02:23

AI模型训练——入门篇（一）

前言一文了解NLP，并搭建一个简单的Transformers模型（含环境配置）一、HuggingFace与NLP自从ChatGPT3问世以来的普及性使用，大家或许才真正觉察AI离我们已经越来越近了，自那之后大家也渐渐的开始接触
MonsterQy·2023-11-30 19:25

AI模型训练——入门篇（二）

导语：本文主要介绍了基于BERT的文本分类方法，通过使用huggingface的transformers库实现自定义模型和任务。
MonsterQy·2023-11-30 19:52

从零构建属于自己的GPT系列1：文本数据预处理、文本数据tokenizer、逐行代码解读

HuggingFace实战系列总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在PyCharm中进行本篇文章配套的代码资源已经上传从零构建属于自己的GPT系列1：文本数据预处理从零构建属于自己的GPT
机器学习杨卓越·2023-11-30 13:50

HuggingFace学习笔记--Tokenizer的使用

1--AutoTokenizer的使用官方文档AutoTokenizer()常用于分词，其可调用现成的模型来对输入句子进行分词。1-1--简单Demo测试代码：#分词器测试DemofromtransformersimportAutoTokenizerif__name__=="__main__":checkpoint="distilbert-base-uncased-finetuned-sst-2-
晓晓纳兰容若·2023-11-30 03:27

通义千问 Qwen-7B-Chat-Int4 模型本地化部署

如需在本地或离线环境下运行本项目，需要首先将项目所需的模型下载至本地，通常开源LLM与Embedding模型可以从HuggingFace下载。
wangqiaowq·2023-11-29 16:46

Huggingface 超详细介绍

Huggingface起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来，但是他们的这个库在机器学习社区迅速大火起来
WitsMakeMen·2023-11-29 11:20

不用多模态GPT4，HuggingFace+LangChain实现“看图说话”

目前最热门的“闭源”人工智能是OpenAI，称得上是如日中天（遥遥领先？这个词最近听得太多，总感觉像是讽刺，对于真正的王者来说），然而其很多功能却没那么容易体验到，如多模态，暂时就无法通过API调用。那么要实现一个简单的“看图说话”，要如何做呢？可以分两步：通过开源的模型，让开源模型识别图片的内容，生成一句话文本描述；让大语言模型针对文本描述生成一个简短的小故事。提到开源模型，那就不能不提Hugg
fireshort·2023-11-29 04:30

HuggingFace学习笔记--利用API实现简单的NLP任务

目录1--中文分类1-1--使用预训练模型推理1-2--基于预训练模型实现下游任务2--中文填空3--中文句子关系推断1--中文分类1-1--使用预训练模型推理代码实例：importtorchfromdatasetsimportload_datasetfromtransformersimportBertTokenizer,BertModel#定义全局分词工具tokenizer=BertTokeni
晓晓纳兰容若·2023-11-29 01:34

HuggingFace学习笔记--datasets的使用

目录1--datasets的使用1-1--加载数据集1-2--查看数据集1-3--打乱和排序数据集1-4--选择和筛选数据集1-5--划分数据集1-6--修改数据集1-7--导出数据集1--datasets的使用1-1--加载数据集代码：fromdatasetsimportload_dataset,load_from_diskif__name__=="__main__":#加载数据集dataset
晓晓纳兰容若·2023-11-29 01:04

HuggingFace学习笔记--metrics和pipeline的使用

1--metrics的使用metrics意为指标，通过API可以快速使用内置的评价指标。代码：fromdatasetsimportlist_metrics,load_metricif__name__=="__main__":#列出所有评价指标metrics_list=list_metrics()print(len(metrics_list))print(metrics_list)#加载一个评价指标
晓晓纳兰容若·2023-11-29 01:04

HuggingFace模型训练以及推理相关

tokenizer用法（encode、encode_plus、batch_encode_plus等等）_hj_caas的博客-CSDN博客transformers教程-知乎【学习笔记】Transformers库笔记HuggingFace
handsome_new·2023-11-29 01:32

2023.10DataWhale扩散模型学习笔记——Week2

项目地址：DocsNotebook地址（推荐使用googlecolab打开）：https://github.com/huggingface/diffusion-models-class/tree/main
godlikesun97·2023-11-29 01:31

HuggingFace学习笔记-零碎记录

如果只填task，会自动下载一个默认的模型model，下载地址在\.cache\huggingface\hub（这个地
gimlet_·2023-11-29 01:01

HuggingFace学习笔记--AutoModel的使用

1--AutoModel的使用官方文档AutoModel用于加载模型；1-1--简单Demo测试代码：fromtransformersimportAutoTokenizer,AutoModelif__name__=="__main__":checkpoint="distilbert-base-uncased-finetuned-sst-2-english"tokenlizer=AutoTokeni
晓晓纳兰容若·2023-11-29 01:29
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他