Huggingface

【LangChain学习之旅】—（7） 调用模型：使用OpenAI API还是微调开源Llama2/ChatGLM？

大语言模型发展史预训练+微调的模式用HuggingFace跑开源模型申请使用Meta的Llama2模型通过HuggingFace调用LlamaLangChain和HuggingFace的接口通过HuggingFaceHubReference
之墨_·2024-01-13 19:47

【HuggingFace Transformer库学习笔记】基础组件学习：Trainer

基础组件学习——Trainer导入包fromtransformersimportAutoTokenizer,AutoModelForSequenceClassification,Trainer,TrainingArgumentsfromdatasetsimportload_dataset加载数据集dataset=load_dataset("csv",data_files="./ChnSentiCo
辰阳星宇·2024-01-13 19:14

【HuggingFace Transformer库学习笔记】基础组件学习：Model

gitclone"https://huggingface.c
辰阳星宇·2024-01-13 19:44

【HuggingFace Transformer库学习笔记】基础组件学习：Datasets

基础组件——Datasetsdatasets基本使用导入包fromdatasetsimport*加载数据datasets=load_dataset("madao33/new-title-chinese")datasetsDatasetDict({train:Dataset({features:['title','content'],num_rows:5850})validation:Dataset
辰阳星宇·2024-01-13 19:44

【HuggingFace Transformer库学习笔记】基础组件学习：Evaluate

基础组件学习——EvaluateEvaluate使用指南查看支持的评估函数#include_community：是否添加社区实现的部分#with_details：是否展示更多细节evaluate.list_evaluation_modules(include_community=False,with_details=True)加载评估函数accuracy=evaluate.load("accura
辰阳星宇·2024-01-13 19:39

huggingface 连不上 from_pretrained from_single_file

huggingface的缓存目录~/.cachcd~/.cache#pwd后展示/home/fxbox/.cachepwdpipe:StableDiffusionPipeline=StableDiffusionPipeline.from_pretrained
linzhiji·2024-01-13 14:28

LLM_InterLM-Demo学习

referenceGithub:https://github.com/InternLM/tutorial/blob/main/helloworld/hello_world.md1-环境配置之前都是用科学上网在huggingFace
Scc_hy·2024-01-13 10:21

【第二课课后作业】书生·浦语大模型实战营-轻松玩转书生·浦语大模型趣味Demo

目录轻松玩转书生·浦语大模型趣味Demo课后作业1.基础作业1.1使用InternLM-Chat-7B模型生成300字的小故事：1.2熟悉huggingface下载功能，使用huggingface_hubpython
Kinno酱·2024-01-13 06:21

LLaMA-Factory添加adalora

/tsingcoo/LLaMA-Efficient-Tuning/commit/f3a532f56b4aa7d4200f24d93fade4b2c9042736和https://github.com/huggingface
wozwdaqian·2024-01-13 04:36

无代码DIY图像检索

如下图：HuggingFace账号准备HuggingFist
colorknight·2024-01-13 03:46

神奇网站1

有良心的up会留下地址：1.depix：https://github.com/spipm/Depix2.amphion：https://huggingface.co/spaces/amphion/singing_voice_conversion3
Jarvis000·2024-01-13 02:19

实战案例：chatglm3 基础模型多轮对话微调

base模型https://huggingface.co/THUDM/chatglm3-6b-base由于模型较大，建议离线下载后放在代码目录，以".
机器学习社区·2024-01-13 02:46

从Hugging Face上手动下载并加载预训练模型

0.说明：从HuggingFace上下手动载预训练的蛋白质语言模型（以ProstT5为例），用模型中的encoder部分对蛋白质进行编码，得到embeddingfeatures，用于下游的任务。
@ZyuanZhang·2024-01-12 21:41

大模型学习与实践笔记（五）

一、环境配置1.huggingface镜像下载sentence-transformers开源词向量模型importos#设置环境变量os.environ['HF_ENDPOINT']='https://
AllYoung_362·2024-01-12 20:14

大语言模型下载，huggingface和modelscope加速

huggingface下载模型如果服务器了，不用租机器如果服务器没，可以建议使用下面的方式可以租一台**autodl**不用显卡的机器，一小时只有1毛钱，启动学术加速，然后下载，下载完之后，用scp拷贝到目标机器
随时学丫·2024-01-12 19:15

Huggingface的Trainer类无法将日志写到logging文件中

在训练时想把这个信息也写到logging文件中在training_args中设置参数：training_args=transformers.TrainingArguments(logging_steps=2,eval_steps=2,logging_dir='logs/training.log',logging_strategy='steps',logging_first_step=True)在t
cpopttt·2024-01-12 14:44

hugging face官网打不开，bert-large-uncased-whole-word-masking-finetuned-squad模型无法下载到本地

最近在用bert预训练模型做问答任务时，想要下载bert-large-uncased-whole-word-masking-finetuned-squad模型，但是打不开huggingface官网，下载不了该模型
小白冲鸭·2024-01-12 08:44

2024年1月11日最热CV论文：PIXART-δ: FAST AND CONTROLLABLE IMAGE GENERATION WITH LATENT CONSISTENCY MODELS

清华&HuggingFace联手打造PIXART-δ，图像生成速度提升7倍，开源界的StableDiffusion杀手引言：图像合成的新纪元——PIXART-δ模型的介绍在数字图像处理和合成的领域中，模型的进步不仅推动了技术的发展
夕小瑶·2024-01-12 05:45

大模型学习第二课作业

2，熟悉huggingface下载功能，使用huggingface_hubpython包，下载InternLM-20B的config.json文件到本地（需截图下载过程）。
敲键盘的喵桑·2024-01-11 21:11

2024年AIGC趋势展望：视频生成的“百模大战”

2023年底发布的svd(stabilityai/stable-video-diffusion-img2vid·HuggingFace)、EMU(https://ai.meta.com/blog/emu-text-to-video-generation-image-editing-research
沉迷单车的追风少年·2024-01-11 15:50

在Hugging Face上下载并使用Bert-base-Chinese

huggingface的官方网站：http://ww
little pierce·2024-01-11 14:59

InternLM第2节课作业

基础作业使用InternLM-Chat-7B模型生成300字的小故事熟悉huggingface下载功能，使用huggingface_hubpython包，下载InternLM-20B的config.json
Jamiechoi·2024-01-11 05:35

InternLM第1节课笔记

预训练InternLM-Train高可扩展：8卡-千卡兼容主流：支持HuggingFace微调XTuner：自动优化加速、适配多种开源生态，显存优化增量续训有监督微调部署LMDeploy接口：Python
Jamiechoi·2024-01-11 05:34

conda新建、配置python3.8虚拟环境，torch-cuda1.8，torchtext0.9.0，huggingface安装transformers库

起因是我在用bert的时候，导包报错Python环境缺少importlib.metadata模块。importlib.metadata是Python3.8引入的模块，而我的环境中使用的Python版本为3.7。所以我得重新配置一个python3.8的环境准备工作在开始菜单找到anacondaprompt(anaconda3)，进入查看已有的虚拟环境命令：condaenvlist1.conda创建虚
LinlyZhai·2024-01-10 12:06

【huggingface】【pytorch-image-models】timm框架中使用albumentations库数据增广

文章目录一、前言二、实操2.1声明库2.2定义你的数据增广算子2.3加入其中一、前言问题是这样的，在使用timm框架训练时，发现数据增广不够，想用Albumentations库的数据增广，怎么把后者嵌入到前者的训练中。其实也是比较简单的，这里笔者也是做个笔记以往忘记，需要的童鞋自取。二、实操我们知道训练才需要数据增广，原始的数据增广是在：其实也就是用XXX_tfl来收集数据增广的算子，那么要加入A
Thomas_Cai·2024-01-10 10:30

关于git使用的tips

常见指令常见问题处理1、使用gitclone下载【huggingface.co】资源超时或无法请求问题绝大多数情况是网络问题，首先如果是比较大的资源，你需要按照资源clone里的备注来执行，例如：gitlfsinstall
EelBarb·2024-01-10 08:28

封神榜大模型

文章目录封神榜大模型姜子牙系列模型huggingface:https://huggingface.co/IDEA-CCNLgithub:https://github.com/IDEA-CCNL/Fengshenbang-LM
小田_·2024-01-10 07:02

书生·浦语大模型全链路开源体系 学习笔记 第三课

huggingface-cli:commandnotfound按照该文档解决即可https://github.com/huggingface/huggingface_hub/issues/1079具体如下
JonesZon·2024-01-10 07:22

Hugging Face Datasets文本质量分析，识别低质量内容、垃圾数据、偏见内容、识别毒性内容、检测重复文档、识别测试集污染数据、识别过短的内容

HuggingFace提供了大量的文本数据集，但是如何评估这些数据集的质量呢？这篇文章将介绍如何使用XorbitsDataFrame和Streamlit对HuggingFace上的文本数据集进行
代码讲故事·2024-01-10 07:24

大模型实战作业01

2、熟悉huggingface下载功能，使用huggingface_hubpython包，下载InternLM-20B的config.json文件到本地（需截图下载过程）。
等风来随风飘·2024-01-09 23:37

huggingface实战bert-base-chinese模型(训练+预测)

文章目录前言一、bert模型词汇映射说明二、bert模型输入解读1、input_ids说明2、attention_mask说明3、token_type_ids说明4、模型输入与vocab映射内容二、huggingface
tangjunjun-owen·2024-01-09 11:50

书生·浦语大模型全链路开源体系 学习笔记 第二课

熟悉huggingface下载功能，使用huggingface_hubpython包，下载InternLM-20B的config.json文件到本地（需截图下载过程）。
JonesZon·2024-01-09 05:46

轻松玩转书生·浦语大模型趣味Demo

Demo课程笔记大模型及InternLM模型介绍InternLM-Chat-7BLagent智能体工具调用浦语·灵笔图文创作理解作业基础作业使用InternLM-Chat-7B模型生成300字的小故事熟悉huggingface
狗狗熊学AI·2024-01-09 05:15

diffusers笔记

#https://github.com/huggingface/diffusers#pipinstalltorchtorchvisiontorchaudio--index-urlhttps://download.pytorch.org
pyc_666666·2024-01-08 16:00

机器学习周刊 第4期：动手实战人工智能、计算机科学热门论文、免费的基于ChatGPT API的安卓端语音助手、每日数学、检索增强 (RAG) 生成技术综述

目录：1、动手实战人工智能Hands-onAl2、huggingface的NLP、深度强化学习、语音课3、AwesomeJupyter4、计算机科学热门论文5、LLM开发者必读论文:检索增强(RAG)生成技术综述
机器学习算法与Python实战·2024-01-08 13:50

用通俗易懂的方式讲解：使用 Mistral-7B 和 Langchain 搭建基于PDF文件的聊天机器人

在本文中，使用LangChain、HuggingFaceEmbeddings和HuggingFace的Mistral-7BLLM创建一个简单的Python程序，可以从任何pdf文件中回答问题。
Python算法实战·2024-01-08 11:50

conda安装transformers、wordcloud库

conda安装transformers库使用conda自Transformers4.0.0版始，我们有了一个conda频道：huggingface。
LinlyZhai·2024-01-08 05:44

迁移学习是什么

还是借用《huggingface自然语言处理详解》中的简单定义（P36）huggingface中提供巨大的模型库，虽然其中的很多模型性能表现的非常出色，但这些模型往往在广义的数据集上训练的，缺乏针对特定数据集的优化
不当菜鸡的程序媛·2024-01-07 12:07

Zero-Shot Learning

借用huggingface一本书里面的一段话：huggingface有一个巨大的模型库，其中一些事已经非常成熟的经典模型，这些模型即使不进行任何训练也能直接得出比较好的预测结果，也就是常说的zeroshotlearning
不当菜鸡的程序媛·2024-01-07 12:36

backbone

还是借用huggingface书里面的一句话：在BERT,GPT,Transformers模型被提出之前，被广泛使用的自然语言处理网络结构式RNN。
不当菜鸡的程序媛·2024-01-07 12:03

0-自然语言处理基础知识

优点缺点使用场景1transformers1.1什么是transformerstransformers是由HuggingFace团队开发的一个非常流行的开源库，它为自然语言处理（NLP）提供了大量预训练的模型
赵孝正·2024-01-07 06:13

[ComfyUI进阶教程] 使用IPAdapater FaceID换脸

模型下载：https://huggingface.co/h94/IP-Adapter-
细节控-AI先行者·2024-01-07 04:11

【每日论文阅读】图像修复模型

badcasehttps://huggingface.co/runwayml/stable-diffusion-inpainting/discussions/31论文MAT论文：MAT:Mask-AwareTransformerforLargeHoleImageInpainting
prinTao·2024-01-06 13:24

Stable Diffusion Webui在Linux服务器第一次运行不能连接huggingface

第一次运行stable-diffusion-webui出现了如下错误'(MaxRetryError("HTTPSConnectionPool(host='huggingface.co',port=443
Moriton·2024-01-05 21:35

ControlNet报错 RuntimeError: mat1 and mat2 shapes cannot be multiplied (154x2048 and 768x320)

mat1andmat2shapescannotbemultiplied(154x2048and768x320)解决办法：大模型是XL的话，网站下载ControlNet的XL版本，是SD1.5的话就默认的可以https://huggingface.co
mhack5200·2024-01-05 21:31

自然语言处理HuggingFace | pipeline

HuggingFace简介HuggingFace是一家美国公司，专门开发用于构建机器学习应用的工具。
Yvhong1·2024-01-05 15:28

docker 部署来自Hugging Face下机器翻译模型

机器翻译模型(HuggingFace官网)模型翻译api服务代码#离线翻译服务代码#-*-coding:utf-8-*-importosimportjsonimportloggingfromlogging.handlersimportRotatingFileHandlerfromdatetimeimportdatetimefromflaskimportFlask
搬砖的工人·2024-01-05 12:44

花了一小时，拿python手搓了一个考研背单词软件

其中，数据是存放在sqlite中，形近词跳转是根据jarowinkler距离得到最近单词的，近义词跳转是使用huggingface上的bert-base-uncased模型得到的词嵌入向量，然后计算cosine
薛钦亮·2024-01-05 10:10

20、Finetuning

PEFT（Parameter-EfficientFine-Tuning）是huggingface开源的一个参数高效微调大模型的工具，里面集成了4种微调大模型的方法，可以通过微调少量参数就达到接近微调全量参数的效果
C--G·2024-01-04 20:47

7、InternVL

权重huggingface地址模型搭建github地址下载源码gitclonehttps://github.com/OpenGVLab/InternVL.git创建环境condacreate-ninternvlpython
C--G·2024-01-03 18:16
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他