Huggingface 第10页

HuggingFace NLLB模型使用

yuQnY·2023-10-25 11:35

Huggingface开源模型使用学习

1、Tokenizer词表一致！使用的tokenizer必须和对应的模型在预训练时的tokenizer保持一致。可以直接指定模型的checkpoint的名字，然后自动下载对应词表。使用方法：fromtransformersimportAutoTokenizertokenizer=AutoTokenizer.from_pretrained(XXX)#XXX为想要使用的模型tokenizer()的主要

Quinn-ntmy·2023-10-25 11:24

【大模型系列 01】ChatGLM-6B 昇腾迁移

在昇腾上的生成速度约为0.1s/token鸡兔同笼问题：虽然错误，但过程很接近二、下载Huggingface地址：https://huggingface.co/THUDM/chatglm-6b（提供模型

hiascend·2023-10-25 07:12

如何将 huggingface上的模型文件下载到本地

写在前面缘由：国内的GPU服务器直接调取huggingface上模型经常会失败，因此下载到本地就能免去许多麻烦。

畅游星辰大海·2023-10-25 03:52

decapoda-research/llama-7b-hf 的踩坑记录

ValueError:TokenizerclassLLaMATokenizerdoesnotexistorisnotcurrentlyimported.解决办法：https://github.com/huggingface

夏离·2023-10-25 02:38

深度学习系列51：hugging face加速库optimum

huggingface目前是被墙的状态，在使用示例代码时，需要将模型离线下载下来使用。如下图，模型离

IE06·2023-10-24 16:09

【Git LFS】huggingface 断点续传

这里有个很好的介绍：https://stackoverflow.com/questions/72610494/what-is-the-difference-between-git-lfs-fetch-git-lfs-fetch-all-and-git提供的信息是关于如何作为普通用户使用GitLFS（LargeFileStorage），涵盖了各种GitLFS命令以及它们的解释。以下是关键要点的总结：

XD742971636·2023-10-24 10:36

Stable diffusion的一些参数意义及常规设置

在线stabelDiffusion模型https://huggingface.co/spaces/stabilityai/stable-diffusion随机种子seed如果想要同一个文本提示，生成多次都是同一图像

Sayello·2023-10-24 08:17

修改huggingface的缓存路径

最近查了一下C盘爆满的原因，发现了huggingface的缓存文件这个罪魁祸首。

一饭名厨姚鲲鲲·2023-10-24 06:23

自然语言处理---迁移学习实践

1微调脚本介绍指定任务类型的微调脚本:huggingface研究机构提供了针对GLUE数据集合任务类型的微调脚本,这些微调脚本的核心都是微调模型的最后一个全连接层。

lichunericli·2023-10-23 10:55

《向量数据库》——向量数据库Milvus Cloud 和Dify比较

ZillizCloudv.s.DifyDify作为开源的LLMsApp技术栈，在此前已支持丰富多元的大型语言模型的接入，除了OpenAI、Anthropic、AzureOpenAI、Huggingface

LCHub低代码社区·2023-10-23 08:28

【diffusion model】扩散模型入门

参考资料：HuggingFace开源diffusion-models-class1.扩散模型介绍2.调用模型生成一张赛博风格的猫咪图片2.1安装依赖包%pipinstall-qq-Udiffusersdatasetstransformersaccelerateftfypyarrow

宏辉·2023-10-23 05:05

【safetensor】介绍和基础代码

HuggingFace,EleutherAI,StabilityAI用的多介绍文件形式header，体现其特性。如果强行将pickle或者空软连接打开，会出现报错。

prinTao·2023-10-22 22:32

自然语言处理---huggingface平台使用指南

1huggingface介绍Huggingface总部位于纽约，是一家专注于自然语言处理、人工智能和分布式系统的创业公司。

lichunericli·2023-10-22 12:47

python 深度学习解决遇到的报错问题6

目录一、解决报错'HTTPSConnectionPool(host='huggingface.co',port=443):Maxretriesexceededwithurl:/bert-base-uncased

水w·2023-10-22 04:01

huggingface 模型推理几个重要到类

pipeline它可以让您方便地使用预训练的模型进行各种任务¹。当您用pipeline函数创建一个图像分割的pipeline时，它会自动加载和初始化一个SegformerForSemanticSegmentation的实例，并且封装了一些预处理和后处理的逻辑，例如将图像转换为张量，将输出转换为分割图等²。您可以直接用pipeline函数对图像或图像列表进行分割，而不需要关心模型的细节。Segfor

子燕若水·2023-10-22 01:44

【LLM】大模型微调，压缩，量化，部署（还在缓慢更新

weixin_50862344·2023-10-21 18:21

微调llama2模型教程：创建自己的Python代码生成器

微调llama2模型教程：创建自己的Python代码生成器deephub本文将演示如何使用PEFT、QLoRa和Huggingface对新的lama-2进行微调，生成自己的代码生成器。

学习3人组·2023-10-21 16:46

不写代码、构建一个开源的 ChatGPT，总共需要几步？｜Hugging News #1020

每一周，我们的同事都会向社区的成员们发布一些关于HuggingFace相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「HuggingNews」。

Hugging Face·2023-10-21 11:35

运行stable-diffusion-xl-refiner-1.0遇到version `GLIBCXX_3.4.29‘ not found的问题

一、问题背景https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0在运行示例程序时候遇到GLIBCXX_3.4.29‘notfounddiffusersto

君臣Andy·2023-10-21 09:31

01_introduction_to_diffusers_CN

Diffusers介绍来源：https://github.com/huggingface/diffusion-models-class/blob/main/unit1/01_introduction_to_diffusers.ipynb

Mr_yuekitty·2023-10-21 07:08

在m1芯片的mac os上安装huggingface tokenizers报错

报错在m1芯片的macos上安装huggingfacetokenizers报错：Buildingwheelsforcollectedpackages:pyyaml,tokenizersBuildingwheelforpyyaml(pyproject.toml)...doneCreatedwheelforpyyaml:filename=PyYAML-6.0-cp38-cp38-macosx_11_0

风吹草地现牛羊的马·2023-10-21 00:35

【debug】安装diffusion的bug解决合集

CLIPImageProcessor’from‘transformers’(D:\Python\lib\site-packages\transformers_init_.py)https://github.com/huggingface

prinTao·2023-10-20 19:42

如何使用 Disco 将黑白照片彩色化

访问https://huggingface.co/spaces/menghanxia/disco上传一个黑白图像点击"提交"Disco将生成一个彩色图像。您也可以使用Disco在自

winfredzhang·2023-10-19 17:28

pip install huggingface_hub时报错

pipinstallhuggingface_hub时报错：可以尝试：pipinstall--upgradehuggingface_hub进行安装方法参考了：https://blog.csdn.net/m0_72295867/article/details/132060750

Immortal stars·2023-10-19 05:52

【计算机视觉 | 自然语言处理】Hugging Face 超详细介绍和使用教程

三、入门实践3.1帮助文档3.2安装3.3模型的组成3.4BERT模型的使用3.4.1导入模型3.4.2使用模型3.4.2.1tokenizer3.5model3.6后处理一、前言HuggingFace

旅途中的宽~·2023-10-19 03:15

Generative AI 新世界 | 大模型参数高效微调和量化原理概述

接下来的两期文章，我们将探讨如何利用HuggingFace的参数高效微调(PEFT)库和QLoRA量化技术，使用单个实例对大型

亚马逊云开发者·2023-10-19 00:59

RAG:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 论文阅读

2020NeuralPS文章地址：https://arxiv.org/abs/2005.11401源码地址：GitHub-huggingface/transformers:Transformers:State-of-the-artMachineLearningforPytorch

小白的咆哮·2023-10-18 14:54

如何通过SK集成chatGPT实现DotNet项目工程化？

SemanticKernel是一个SDK，它将OpenAI、AzureOpenAI和HuggingFace等大型语言模型（LLMs）与传统的编程语言如C＃、Python和Jav

token-go·2023-10-18 12:12

LLM 系列 | 21 : Code Llama实战(上篇) : 模型简介与评测

上篇主要介绍CodeLlama的基本情况并基于HuggingFace上部署的Demo快速体验下CodeLlama的实战效果，下篇则主要介绍如何在本地部署CodeLlama。感兴趣的小

JasonLiu1919·2023-10-18 01:56

【扩散模型从原理到实战】Chapter2 Hugging Face简介

文章目录HuggingFace的核心功能介绍HuggingFace开源库HuggingFace开源库Gradio工具介绍参考资料HuggingFace是机器学习从业者协作和交流的平台，成立于2016年，

自律版光追·2023-10-18 00:29

LangChain与大型语言模型(LLMs)应用基础教程:神奇的Agent

应用基础教程:神奇的Agent-CSDN博客LangChain是大型语言模型(LLM)的应用框架,LangChain可以直接与OpenAI的text-davinci-003、gpt-3.5-turbo模型以及HuggingFace

javastart·2023-10-17 14:41

GPT learning

MiniGPT-4:DEMO:https://huggingface.co/spaces/Vision-CAIR/minigpt4LLaVA:DEMO:LLaVAhttps://github.com/haotian-liu

qq_478377515·2023-10-16 07:45

cpu部署chatglm 报错No compiled kernel found.

Nocompiledkernelfound.Compilingkernels:C:\Users\admin.cache\huggingface\modules\transformers_modules\

像夏天一样热·2023-10-16 05:12

PVIT：利用位置信息增强多模态模型理解用户意图的能力

论文链接：https://arxiv.org/abs/2308.13437代码链接：https://github.com/PVIT-official/PVITDemo：https://huggingface.co

TechBeat人工智能社区·2023-10-16 02:31

HuggingFace transformers 中文文档

本项目为HuggingFacetransformers库的中文文档，仅仅针对英文文档进行了翻译工作，版权归HuggingFace团队所有。

liuzard·2023-10-16 00:30

【RWKV】如何新增一个自定义的Tokenizer和模型到HuggingFace

0x0.前言RWKV社区在Huggingface上放了rwkv-4-world和rwkv-5-world相关的一系列模型，见：https://huggingface.co/BlinkDL/rwkv-4-

just_sort·2023-10-16 00:26

基于MindSpore的llama微调在OpenI平台上运行

基于MindSpore的llama微调在OpenI平台上运行克隆预训练模型克隆chatglm-6b代码仓，下载分布式的模型文件gitlfsinstallgitclonehttps://huggingface.co

JeffDingAI·2023-10-15 20:27

python transformers_Transformers2.0让你三行代码调用语言模型，兼容TF2.0和PyTorch

近日HuggingFace公司开源了最新的Transformer2.0模型库，用户可非常方便地调用现在非常流行的8种语言模型进行微调和应用，且同时兼容TensorFlow2.0和PyTorch两大框架，

weixin_39873456·2023-10-15 11:25

【HuggingFace文档学习】Bert的token分类与句分类

BERT特性：BERT的嵌入是位置绝对（positionabsolute）的。BERT擅长于预测掩码token和NLU，但是不擅长下一文本生成。1.BertForTokenClassification一个用于token级分类的模型，可用于命名实体识别(NER)、部分语音标记(POS)等。对于给定的输入序列，模型将为每个标记/词产生一个标签。输出的维度是[batch_size,sequence_le

一饭名厨姚鲲鲲·2023-10-15 05:45

阿里云/腾讯云国际站账号：私服游戏服务器:阿里云CTO周靖人：AI时代，为什么阿里云一定要做开源

一个例子是，上个月HuggingFace得到了谷歌、亚马逊、英伟达、Salesforce、AMD、英特尔、IBM和高通的共同投资。

TG_xiaohaitun01·2023-10-15 01:19

下载并处理【T0】指令微调数据集--手把手教程

P3数据集可以在huggingface上找到：链接然而我们下载之后会发现，所有数据文件都以.tfrecord，而且打开之后的内容非常怪异：如

Reza.·2023-10-14 17:06

linux更换常用软件的默认缓存路径（.conda, .huggingface等）

在使用linux的过程中，我们往往会使用软件安装很多packages，其中的大多数软件（例如conda）会把当前安装的packages缓存起来，以加速之后的相同package的安装。而很多软件的默认缓存路径是user自己的home路径。下面罗列几个常见的软件的缓存路径更改方法。1.condavim~/.condarc在condarc中增加下面这行pkgs_dirs:-/scratch/XXX将上述

Reza.·2023-10-14 17:23

acclerator和tensorboard共同使用采坑记录

acclerator和tensorboard共同使用采坑记录问题描述可采用的方案可采用的方案1可采用的方案2其他可采用方案可采用方案的总结建议的最终方案问题描述最近在做用多个GPU训练，我选择的是huggingface

EstrangedZ·2023-10-14 12:14

使用hugging face开源库accelerate进行多GPU（单机多卡）训练卡死问题

目录问题描述及配置网上资料查找1.tqdm问题2.dataloader问题3.model(input)写法问题4.环境变量问题我的卡死问题解决方法问题描述及配置在使用huggingface开源库accelerate

EstrangedZ·2023-10-14 12:41

Unity关键词语音识别

不过，我是想，先找一个免费且可以离线的方案的，从huggingface上倒是可以找到一些开源的模型可以做到，包

阴沉的怪咖·2023-10-14 10:17

在torch.hub加载bert-base-chinese模型的时候出错rate limit exceeded

参考：https://github.com/pytorch/vision/issues/4156一、问题1：ratelimitexceeded问题的产生代码model=torch.hub.load('huggingface

你的橙子·2023-10-14 00:51

minigpt-4 本地部署

笔者参考了深度学习笔记–本地部署Mini-GPT4，使用了http链接，huggingface下载llama和vicuna权重的download.txt分别如下：http://huggingface.co

duoyasong5907·2023-10-13 21:07

好用且免费的ChatGPT工具

在线地址ChatGPT工具点我使用当提到免费的ChatGPT工具时，我想给你推荐两个很棒的选择：OpenAIPlayground和HuggingFace’sTransformers。

一个小浪吴啊·2023-10-13 13:17

基于MindSpore的ChatGLM微调

基于MindSpore的ChatGLM微调克隆HuggingFace模型克隆chatglm-6b代码仓，下载分布式的模型文件gitlfsinstallgitclonehttps://huggingface.co

JeffDingAI·2023-10-13 13:46

推荐频道

Huggingface