pretrained 第2页

CogVLM大模推理代码详细解读

库模型构建函数(base_model.py)3、模型类构建模型(self.add_mixin)4、整体结构5、模型运行结果三、CogVLM推理源码解读1、推理整体代码2、CogVLMModel.from_pretrained3

tangjunjun-owen·2023-12-15 01:52

2022-05-08 基于卷积神经网络ResNet的车型识别（实验）

尝试对比pretrained分别为false和true的情况。（注意内存或者显存小的话，把输入图片大小、批大小减小）在第12次训练中得到最高正确率为0.9259。三、实验分析和总结Res

Luo_淳·2023-12-06 10:52

学习pytorch17 pytorch模型保存及加载

pytorch模型保存及加载代码importtorchimporttorchvisionvgg16=torchvision.models.vgg16(pretrained=False)#1.savemodel1

陌上阳光·2023-12-05 12:27

LLM部署-Fastllm

这是原来的程序，通过huggingface接口创建模型fromtransformersimportAutoTokenizer,AutoModeltokenizer=AutoTokenizer.from_pretrained

银晗·2023-12-05 10:19

Transformer的一点理解，附一个简单例子理解attention中的QKV

self.backbone=nn.Sequential(*list(resnet50(pretrained=True).children())[:-2])经过一次卷积加上

河北一帆·2023-12-03 16:22

人群计数CSRNet的pytorch实现

DilatedConvolutionalNeuralNetworksforUnderstandingtheHighlyCongestedScenes（CVPR2018）中的模型进行pytorch实现importtorch;importtorch.nnasnnfromtorchvision.modelsimportvgg16vgg=vgg16(pretrained

墨骅·2023-12-01 15:22

faster_rcnn_r50_fpn_1x-dahua

#modelsettingsmodel=dict(type='FasterRCNN',pretrained='torchvision://resnet50',backbone=dict(type='ResNet

shishengle1024·2023-12-01 09:53

如何使用.pth训练模型

使用.pth训练模型的步骤如下：1.导入必要的库和模型importtorchimporttorchvision.modelsasmodels#加载预训练模型model=models.resnet50(pretrained

无妄无望·2023-11-29 03:41

BioBERT: a pre-trained biomedical language representation model for biomedical text mining

apre-trainedbiomedicallanguagerepresentationmodelforbiomedicaltextminingPaper：https://arxiv.org/abs/1901.08746Code:https://github.com/naver/biobert-pretrained

发呆的比目鱼·2023-11-28 10:13

Fine tuning 和 Pretrained

Finetuning和PretrainedFinetuning模型微调Pretrainedmodels代码示例Finetuning和Pretrained都是深度学习中常用的概念。

ywfwyht·2023-11-27 01:25

HuggingFace-利用BERT预训练模型实现中文情感分类（下游任务）

其代码如下：#定义数据集fromtransformersimportBertTokenizer,BertModel,AdamW#加载tokenizertoken=BertTokenizer.from_pretrained

♡Coisíní♡·2023-11-25 03:19

计算模型参数量的方法

方法fromtransformersimportAutoModelmodel=AutoModel.from_pretrained('/model/GPT-2/gpt2-medium/')sum([p.numel

Takoony·2023-11-24 04:54

[nlp] RuntimeError: Llama is supposed to be a BPE model!报错解决

#tokenizer=AutoTokenizer.from_pretrained(BASE_MODEL)改成这个legacy=False,use_fast=False：tokenizer=AutoTokenizer.from_pretrained

心心喵·2023-11-23 19:44

BERT|add tokens后tokenizer一直加载中...

情况是：我用add_tokens()方法添加自己的新词后，BertTokenizer.from_pretrained(model)一直处于加载中。

柯薇求何·2023-11-23 14:11

HuggingFace——Tokenizer的简单记录

AutoTokenizer来说，如果是从在线仓库中下载，其是要访问：commit_hash=kwargs.get("_commit_hash",None)resolved_config_file=cached_file(pretrained_model_name_or_path

Charon_HN·2023-11-21 23:19

第九章预训练模型与自己模型参数不匹配和模型微调的具体实现

#net为自己的模型save_model=torch.load('path_of_pretrained_model')#获取预训练模型字典（键值对）model_dict=net.st

小酒馆燃着灯·2023-11-21 22:41

大模型LLM 在线量化；GPTQ\AWQ量化及推理

1、大模型LLM在线量化参考：https://www.cnblogs.com/bruceleely/p/17348782.html##8bitmodel=AutoModel.from_pretrained

loong_XL·2023-11-21 10:52

Qwen-14B-Chat-Int4推理报错:ImportError: libcudart.so.12: cannot open shared object file

pip包Traceback(mostrecentcalllast):File"test_qwen_14b_int4.py",line6,inmodel=AutoModelForCausalLM.from_pretrained

城南皮卡丘·2023-11-20 12:59

【深度学习】pytorch快速得到mobilenet_v2 pth 和onnx

importtorchimporttorch.onnxfromtorchvisionimporttransforms,modelsfromPILimportImageimportos#LoadMobileNetV2modelmodel=models.mobilenet_v2(pretrained

XD742971636·2023-11-20 03:36

huggingface transfromers基于预训练模型进行调优

ResNetForImageClassification#加载前处理处理器，自动构建；功能：输入图片，输出Tenser(1,3,224,224)processor=AutoImageProcessor.from_pretrained

onmeiei·2023-11-19 22:22

huggingface离线模式及默认保存路径

T5Tokenizer.from_pretrained()函数会在线下载huggingface上的模型，并自动保存在C盘的.cache路径下：C:\Users\xxxxx\.cache\huggingface

dataloading·2023-11-19 18:48

内网下载huggingface模型报错 HTTPSConnectionPool(host=‘huggingface.co‘, port=443): Max retries exceeded with

参考这个解法https://stackoverflow.com/questions/71692354/facing-ssl-error-with-huggingface-pretrained-modelsDowngradingrequeststo2.27.1andaddingthefollowingcodesnippettothebeginningofyourprogramfileshouldfi

duoyasong5907·2023-11-16 10:51

Dense Text Retrieval based on Pretrained Language Models: A Survey 上

摘要文本检索是信息搜索领域一个由来已久的研究课题，其中一个系统需要将相关的信息资源以自然语言的形式返回给用户的查询。从经典的检索方法到基于学习的排序函数，其背后的检索模型随着技术的不断革新而不断演进。要设计有效的检索模型，一个关键的问题在于如何学习文本表示并对相关性匹配进行建模。预训练语言模型(PretrainedLanguageModels，PLMs)最近的成功为利用PLMs的优秀建模能力开发更

不喜欢科研的fw·2023-11-12 19:46

深度学习pytorch之hub模块

//github.com/pytorch/pytorchimporttorchmodel=torch.hub.load('pytorch/vision:v0.10.0','fcn_resnet50',pretrained

qq_38404903·2023-11-11 09:05

ReadTimeoutError: HTTPSConnectionPool(host=‘cdn-lfs.huggingface.co‘, port=443)

fromtransformersimportAutoModel,AutoTokenizerimportosos.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"tokenizer=AutoTokenizer.from_pretrained

肥宅程序员aka不会游泳的鱼·2023-11-09 19:43

CodeFuse-13B: A Pretrained Multi-lingual Code Large Language Model

本文是LLM系列文章，针对《CodeFuse-13B:APretrainedMulti-lingualCodeLargeLanguageModel》的翻译。CodeFuse-13B:一个预训练的多语言代码大型语言模型摘要1引言2数据准备3训练4评估5相关工作6讨论，结论，未来工作摘要代码大型语言模型（CodeLLM）由于其在软件工程的整个生命周期中的广泛应用而在业界引起了极大的关注。然而，现有模型

UnknownBody·2023-11-08 18:58

HuggingFace的transfomers库

fromtransformersimportAutoTokenizerenc=AutoTokenizer.from_pretrained('facebook/opt-125m')可以通过print(enc

zhuikefeng·2023-11-08 11:42

论文辅助笔记：t2vec 模型部分

1t2vec.py函数命令行参数data训练、测试数据路径checkpoint保存的检查点路径prefixtrjfile的前缀pretrained_embedding预训练的词(或称为单元)嵌入的路径。

UQI-LIUWJ·2023-11-06 15:13

基于论文“Complex-YOLO：点云上的实时3D对象检测”的YOLOv4的PyTorch实现

2.入门2.1要求2.2数据准备2.3复杂yolo框架2.4如何运行pythonevaluate.py--gpu_idx0--pretrained_path--cfgfile--img_size--conf-thresh

Hello NiKo·2023-11-05 18:59

Pytorch网络模型训练

现有网络模型的使用与修改vgg16_false=torchvision.models.vgg16(pretrained=False)#加载一个未预训练的模型vgg16_true=torchvision.models.vgg16

托比-马奎尔·2023-11-05 06:51

【自然语言处理NLP】Bert预训练模型、Bert上搭建CNN、LSTM模型的输入、输出详解

一、BertModel的输入和输出fromtransformersimportBertModelbert=BertModel.from_pretrained('bert-base-chinese')out

zcongfly·2023-11-05 01:56

NLP之Bert多分类实现(数据获取与处理)

importjsonimportnumpyasnpfromtqdmimporttqdmbert_model="bert-base-chinese"fromtransformersimportAutoTokenizertokenizer=AutoTokenizer.from_pretrained

赵孝正·2023-11-04 16:51

单文档内容bert分词

importpandasaspdfromtransformersimportBertTokenizerimportre#加载BERT分词器tokenizer=BertTokenizer.from_pretrained

Wenliam·2023-10-27 21:34

Huggingface开源模型使用学习

使用方法：fromtransformersimportAutoTokenizertokenizer=AutoTokenizer.from_pretrained(XXX)#XXX为想要使用的模型tokenizer

Quinn-ntmy·2023-10-25 11:24

Python分单篇文章提取核心词汇

importpandasaspdimportreimporthtmlfromtransformersimportBertTokenizerfromsklearn.feature_extraction.textimportTfidfVectorizerimportnumpyasnp#加载BERT分词器tokenizer=BertTokenizer.from_pretrained

Wenliam·2023-10-25 06:43

【safetensor】Debug

stable-diffusion时，model_id='D:\code\git_diffusion_repo\sd\stable-diffusion-v1-5'pipe=StableDiffusionPipeline.from_pretrained

prinTao·2023-10-22 22:32

基于transformers T5相关模型用法

weixin_43870390·2023-10-22 00:18

【笔记】AutoModelForCausalLM

1.AutoModelForCausalLMAutoModelForCausalLM只有三个方法，使用from_config和from_pretrained构建模型，不能直接调用__init__方法1.1

weixin_50862344·2023-10-21 18:21

多模态笔记

参考：tokenizer用法)#这里以bert模型为例，使用上述提到的函数fromtransformersimportBertTokenizertokenizer=BertTokenizer.from_pretrained

小班得瑞·2023-10-21 11:36

pytorch 保存和加载模型

importtorchimporttorchvision.modelsasmodels1.保存和加载模型权重PyTorch模型将学习到的参数存储在内部状态字典中，称为state_dict.这些可以通过以下torch.save方法持久化：model=models.vgg16(pretrained

xuejianxinokok·2023-10-13 13:01

深度学习：UserWarning: The parameter ‘pretrained‘ is deprecated since 0.13..解决办法

深度学习：UserWarning:Theparameter‘pretrained’isdeprecatedsince0.13andmayberemovedinthefuture,pleaseuse‘weights

一支绝命钩·2023-10-13 13:18

自动训练Embedding词向量和手动训练Embedding词向量

手动训练自己的词向量gensim工具包-训练自己的Word2Vec产生word_vector.bin文件然后调用：embedding=nn.Embedding.from_pretrained(word_vector.bin

Hi洛一·2023-10-09 01:35

【通义千问】Qwen从本地加载分词器报错‘‘tokenizer class not exist‘‘

问题描述：将模型文件下载到本地，模型文件==>https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main通过【from_pretrained】去加载本地磁盘上的分词器

大表哥汽车人·2023-10-08 15:00

Transformers包中BERT类预训练模型下载链接备份

bin文件文件位置：/transformers/modeling_bert.pyBERT_PRETRAINED_MODEL_ARCHIVE_MAP={"bert-base-uncased":"https

天才小呵呵·2023-10-08 10:00

pytorch-pretrained-bert的模型下载慢的问题

details/103666409今天需要用到pytorch-pretained-bert，但是下载预训练的模型花费了好长时间，这里来分享以下解决方法，其安装过程为：pipinstallpytorch-pretrained-bert

stay_foolish12·2023-10-08 10:00

解决pytorch-pretrained-bert模型下载极慢的问题

最近需要跑一些模型，都需要用到pytorch-pretrained-bert来进行预处理训练，但是服务器上面下载或者没有外网的情况下真的很慢，最后还会失败，经过搜寻资料，解决方式如下:如果你有外网，可以直接下载安装

AI_Frank·2023-10-08 10:29

（StackOverflow）使用Huggingface Transformers从磁盘加载预训练模型

问题描述：根据from_pretrained的文档，我了解到我不必每次都下载预训练向量(权重数据)，我可以使用以下语法将它们保存并从磁盘加载：-apathtoa`directory`containingvocabularyfilesrequiredbythetokenizer

大表哥汽车人·2023-10-07 05:54

大模型tokenizer流式响应解决词句连贯性问题

tokenizer词句连贯性问题现象fromtransformersimportLlamaTokenizerFastimportnumpyasnptokenizer=LlamaTokenizerFast.from_pretrained

Mr.Lee jack·2023-10-01 21:10

huggingface加载预训练模型部分API笔记

tokenizer#huggingface使用fromtransformersimportBertTokenizer#加载预训练字典和分词方法，本地路径tokenizer=BertTokenizer.from_pretrained

失眠的树亚·2023-09-26 23:30

李宏毅-hw7-利用Bert完成QA

的用法的简单介绍：fromtransformersimportBertTokenizerFast#加载预训练的BERT模型tokenizertokenizer=BertTokenizerFast.from_pretrained

诚威_lol_中大努力中·2023-09-23 22:33

推荐频道

pretrained