huggingFace

huggingface下大模型最好的方案

一、背景：搞模型应用，看看别家的模型，huggingface模型大市场，国际明星企业都在上发布开源大模型，一般5G，甚至10G更大，怎么下载呢？
君臣Andy·2023-10-12 20:36

GPT实战系列-Baichuan2本地化部署实战方案

目录一、百川2（Baichuan2）模型介绍二、资源需求模型文件类型推理的GPU资源要求模型获取途径国外:Huggingface国内：ModelScope三、部署安装配置环境安装过程
Alex_StarSky·2023-10-12 10:10

读书笔记：多Transformer的双向编码器表示法(Bert)-3

BidirectionalEncoderRepresentationsfromTransformers，即Bert；第3章Bert实战学习如何使用预训练的BERT模型：如何使用预训练的BERT模型作为特征提取器；探究HuggingFace
baby_hua·2023-10-11 23:30

“开启中文智能之旅：探秘超乎想象的 Llama2-Chinese 大模型世界”

“开启中文智能之旅：探秘超乎想象的Llama2-Chinese大模型世界”1.国内Llama2最新下载地址本仓库中的代码示例主要是基于HuggingFace版本参数进行调用，我们提供了脚本将Meta官网发布的模型参数转换为
汀、人工智能·2023-10-11 20:41

虚拟桌宠模拟器(VPet)使用ChatGLM替代ChatGPT

cdProjectgitclonehttps://github.com/THUDM/ChatGLM2-6B.git2.下载模型实现GIT_LFS_SKIP_SMUDGE=1gitclonehttps://huggingface.co
人工智能护发素·2023-10-11 20:09

Smaller, faster, cheaper, lighter: Introducing DistilBERT, a distilled version of BERT 翻译

paper:https://arxiv.org/pdf/1910.01108v2.pdfcode:https://github.com/huggingface/transformersTime:2019.10
睡熊猛醒·2023-10-11 06:00

TensorFlow的transformer类模型文件转换为pytorch

在进行transformer类模型的训练或开发时，我们会在GitHub、huggingface等平台上下载已有的模型文件。
一饭名厨姚鲲鲲·2023-10-11 04:51

【LLM系列之BLOOM】BLOOM: A 176B-Parameter Open-Access Multilingual Language Model

A176B-ParameterOpen-AccessMultilingualLanguageModel》论文链接：https://arxiv.org/abs/2211.05100github链接：https://github.com/huggingface
致Great·2023-10-11 01:23

【Hugging Face】管理 huggingface_hub 缓存系统

摘要这篇文档介绍了HuggingFaceHub的缓存系统。该系统旨在提供一个中央缓存，以便不同版本的文件可以被下载和缓存。缓存系统将文件组织成模型、数据集和空间等不同的目录，每个目录包含特定类型的文件。系统确保如果文件已经下载并更新，除非明确要求，否则不会再次下载。这篇文档还提到了一些关于缓存系统的具体信息，例如缓存目录的结构、文件夹中包含的文件类型以及如何检查和删除缓存。此外，文档还介绍了如何使
大表哥汽车人·2023-10-11 01:30

Elasticsearch：使用 huggingface 模型的 NLP 文本搜索

本博文使用由Elastic博客title组成的简单数据集在Elasticsearch中实现NLP文本搜索。你将为博客文档建立索引，并使用摄取管道生成文本嵌入。通过使用NLP模型，你将使用自然语言在博客文档上查询文档。安装Elasticsearch及Kibana如果你还没有安装好自己的Elasticsearch及Kibana，请参考如下的链接来进行安装：如何在Linux，MacOS及Windows上
Elastic 中国社区官方博客·2023-10-09 16:19

都在喂大规模互联网文本，有人把著名的 C4 语料库“读”透了

在这项工作中，来自HuggingFace和艾伦人工智能研究所等机构的研究人员，对当今最大的网络文本语料
数据派THU·2023-10-09 12:53

hugging face inference API返回内容太短的问题

huggingface的inferenceapi返回的内容默认很短，可以通过参数max_new_tokens进行设置：DetailedparametersWhensendingyourrequest,youshouldsendaJSONencodedpayload.HerearealltheoptionsAllparametersinputs
taoyuanforrest·2023-10-09 05:19

（三）ChatGLM-6B 的 DeepSpeed/P-Tuning v2微调

文章目录模型文件和相关代码准备ChatGLM6B部署解决`ninja`报错训练开始模型文件和相关代码准备安装日期：2023-04-19模型文件地址：https://huggingface.co/THUDM
sawyes·2023-10-09 04:05

【HuggingFace】Transformers（V4.34.0 稳定）支持的模型

Transformer4.43.40版本是自然语言处理领域的一个重要工具包，为开发者提供了丰富的预训练模型资源，可以用于各种文本处理任务。在这个版本中，Transformer支持了众多模型，每个模型都具有不同的优势和适用领域。下面是一个Transformer4.43.40版本所支持的所有模型的目录，让您能够更好地了解这一工具包的功能和用途。ALBERT（来自Google研究和芝加哥丰田技术研究所）
大表哥汽车人·2023-10-09 01:28

【通义千问】Qwen从本地加载分词器报错‘‘tokenizer class not exist‘‘

问题描述：将模型文件下载到本地，模型文件==>https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main通过【from_pretrained】去加载本地磁盘上的分词器
大表哥汽车人·2023-10-08 15:00

Transformers包中BERT类预训练模型下载链接备份

modeling_bert.pyBERT_PRETRAINED_MODEL_ARCHIVE_MAP={"bert-base-uncased":"https://s3.amazonaws.com/models.huggingface.co
天才小呵呵·2023-10-08 10:00

使用密集预测变压器的图像语义分割--附源码下载

虽然这听起来很复杂，但我们将逐步分解它，并且我们将引入图像语义分割的一个令人兴奋的概念，这是一种使用来自HuggingFace集合的密集预测变换器或简称DPT的实现。
TD程序员·2023-10-08 10:45

运行huggingface Kosmos2报错 nameerror: name ‘kosmos2tokenizer‘ is not defined

尝试运行huggingface上的Kosmos，https://huggingface.co/ydshieh/kosmos-2-patch14-224失败，报错：nameerror:name'kosmos2tokenizer'isnotdefined
duoyasong5907·2023-10-08 05:13

开源大模型正在“杀死”闭源？

彼时HuggingFace创始人ClemDelangue的一句预言，正在迅速成为现实。ChatGPT横空出世7个多月后，7月19日，Llama2宣布开源，并且可直接商用。
光锥智能·2023-10-07 20:12

（StackOverflow）使用Huggingface Transformers从磁盘加载预训练模型

问题描述：根据from_pretrained的文档，我了解到我不必每次都下载预训练向量(权重数据)，我可以使用以下语法将它们保存并从磁盘加载：-apathtoa`directory`containingvocabularyfilesrequiredbythetokenizer,forinstancesavedusingthe:func:`~transformers.PreTrainedTokeni
大表哥汽车人·2023-10-07 05:54

HuggingFace Transformers教程（1）--使用AutoClass加载预训练实例

:*☆【传送门==>原文链接:】https://huggingface.co/docs/transformers/autoclass_tutorial由于存在许多不同的Transformer架构，因此为您的检查点
大表哥汽车人·2023-10-06 23:02

一图拆解RLHF中TRL的PPO

仔细看了看TRL的code(https://github.com/huggingface/trl/blob/main/trl/trainer/ppo_trainer.py)，step大致流程为先batched_forward_pass
taoqick·2023-10-06 10:36

大模型部署手记（1）ChatGLM2+Windows GPU

1.简介：组织机构：智谱/清华代码仓：https://github.com/THUDM/ChatGLM2-6B模型：THUDM/chatglm2-6b下载：https://huggingface.co/
张小白TWO·2023-10-05 13:03

大模型部署手记（2）baichuan2+Windows GPU

AseriesoflargelanguagemodelsdevelopedbyBaichuanIntelligentTechnology模型：baichuan-inc/Baichuan2-7B-Chat-4bits下载：https://huggingface.co
张小白TWO·2023-10-05 13:32

【问题解决】load_dataset报错An error occurred while generating the dataset

问题描述：使用load_dataset读取在HuggingFace上的数据集，代码如下fromdatasetsimportload_datasetdataset=load_dataset(path="openclimatefix
chari克里·2023-10-05 02:55

DeepSpeed官方教程（huggingface DeepSpeed文档翻译）

DeepSpeedgithub地址、DeepSpeed官网、DeepSpeedAPI文档、huggingfaceDeepSpeed文档、知乎deepspeed入门教程、微软deepspeed博客示例代码：《UsingDeepSpeedwithHFTrainer》、BLOOM_LORA（运行示例见《Running_Deepspeed》）、DeepSpeedExamples文章目录一、DeepSpee
神洛华·2023-10-04 20:04

报错解决MaxRetryError(“HTTPSConnectionPool(host=‘huggingface.co‘, port=443

'(MaxRetryError("HTTPSConnectionPool(host='huggingface.co',port=443):Maxretriesexceededwithurl:/bert-base-uncased
HumbleSwage·2023-10-03 22:39

通过aliendao进行HF模型和数据集下载

1.概述因为HuggingFace的无法访问（2023年9月期间，有VPN仍然不行，不知道原因），很多模型和数据集无法下载，搜索终于找到aliendao的HF镜像站，可以下载。
James506·2023-10-02 06:27

chatGPT 本地知识库问答原理实践

参考https://huggingface.co/spaces/ChallengeHub/Chinese-LangChainhttps://huggingface.co/spaces/thomas-yanxin
Mr.Lee jack·2023-10-01 21:39

Hugging Face 预训练模型的快速下载方法

HuggingFace中的预训练模型可以通过两种方式获取和使用：（1）在HuggingFace网站上下载对应的预训练模型的文件，本地加载；（2）在代码中指定预训练模型名进行加载。
ZZTGO·2023-10-01 03:46

手动搭建Bert模型并实现与训练参数加载和微调

参考《动手学深度学习》搭建BERT语言模型，并加载huggingface上的预训练参数。
动力澎湃·2023-09-30 13:02

大语言模型之十三 LLama2中文推理

此处可以选择输出PyTorch版本权重（.pth文件）或者输出HuggingFace版本权重（.bin文件）。执行以下命令：$pytho
shichaog·2023-09-29 16:52

huggingface_hub v0.17 现已发布

InferenceClient现在支持所有任务！，感谢社区的巨大努力，新添加的任务包括：对象检测文本分类Token分类翻译问题回答表格问题回答填充掩码表格分类表格回归文档问题回答视觉问题回答零样本分类这些方法还支持使用AsyncInferenceClient进行异步调用。获取InferenceAPI状态list_deployed_models旨在帮助用户发现哪些模型当前已部署，按任务列出。get_
Hugging Face·2023-09-29 12:28

【深度学习 AIGC 绘画】Robert001/UniControl-Demo docker

https://huggingface.co/spaces/Robert001/UniControl-DemoFROMkevinchina/deeplearning:sd_base_cuda116clip4RUN
XD742971636·2023-09-29 04:30

Elasticsearch：与多个 PDF 聊天 | LangChain Python 应用教程（免费 LLMs 和嵌入）

在本博客中，你将学习创建一个LangChain应用程序，以使用ChatGPTAPI和Huggingface语言模型与多个PDF文件聊天。
Elastic 中国社区官方博客·2023-09-29 03:03

使用Git下载大语言模型

在下载Huggingface和ModelScope上面的大语言预训练模型的时候，经常会因为网页无法访问或者文件太大无法下载的情况，是大家常常比较苦恼的事情，下面给出用Git下载模型到本地的方法，可以轻松解决上述问题
Dr.sky_·2023-09-28 08:48

huggingface下载文件，可以看下载进度

1、背景：想下载huggingface上的模型，有些文件又大有多余，怎么下载呢？
君臣Andy·2023-09-28 07:22

Hugging News #0925: 一览近期的新功能发布

每一周，我们的同事都会向社区的成员们发布一些关于HuggingFace相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「HuggingNews」。
·2023-09-27 15:45

HuggingFace Transformer

NLP简介HuggingFace简介huggingface在NLP领域最出名，其提供的模型大多都是基于Transformer的。
Yuezero_·2023-09-27 14:51

融资1亿美元的类ChatGPT模型开源啦！可商用，8个模型

目前，Writer在huggingface上开源了其使用的大语言模型Palmyra，有8个型号分别是small、base、20b-chat、Instru
RPA中国·2023-09-27 04:41

huggingface加载预训练模型部分API笔记

1.加载预训练模型的词表和tokenizer#huggingface使用fromtransformersimportBertTokenizer#加载预训练字典和分词方法，本地路径tokenizer=BertTokenizer.from_pretrained
失眠的树亚·2023-09-26 23:30

Hugging News #0925: 一览近期的新功能发布

每一周，我们的同事都会向社区的成员们发布一些关于HuggingFace相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「HuggingNews」。
Hugging Face·2023-09-26 22:59

stable diffusion for AMD

注册好了HuggingFace账号，用于下载模型。安装python环境建议先切换到清华源，
魂狩·2023-09-26 13:02

AI-Toolbox

HuggingFace：开源SD模型下载。VEGA：国内免费AI绘画工具。DALL·E2：OpenAI出品的绘画工具。niji·jour
安全大哥·2023-09-26 05:45

【转载】Huggingface NLP笔记

https://zhuanlan.zhihu.com/p/412290925笔记1：直接使用pipeline，是个人就能玩NLP直接使用Pipeline工具做NLP任务Pipeline是Huggingface
mwcxz·2023-09-25 19:56

Pytorch模型转ONNX遇到Unexpected node type: onnx:: Sub

参考GPTDoubleHeadsModelUnexpectednodetype:onnx::Sub·Issue#4950·huggingface/transformers(github.com)此问题相关文档较少
Chunming-Li·2023-09-25 18:03

代码生成优化：微调Falcon40b

Falcon-40b-Instruct模型基于Falcon40b模型进行微调，用于指令接收和对话任务，在HuggingFace的LLM基准测试中名列前茅，仅次于基于Meta的非开源Llama系列的模型。
·2023-09-25 18:55

AI AIgents时代 - (四.) HuggingGPT & MetaGPT

HuggingGPTHuggingGPT是一个多模型调用的Agent框架，利用ChatGPT作为任务规划器，根据每个模型的描述来选择HuggingFace平台上可用的模型，最后根据模型的执行结果生成总结性的响应
NaiveCode·2023-09-25 00:30

deepspeed训练模型报错：磁盘空间不够

解决方法：#修改huggingface缓存路径，让数据存到其它分区上，不和目录“~/.cache”在同一分区即可。
880露露088·2023-09-24 22:28

Hugging News #0918: Hub 加入分类整理功能、科普文本生成中的流式传输

每一周，我们的同事都会向社区的成员们发布一些关于HuggingFace相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「HuggingNews」。
·2023-09-24 11:52
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他