E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Transformers》
BERT等语言模型的BertForMaskedLM避的坑
在用
transformers
中的BertForMaskedLM来预测被mask掉的单词时一定要加特殊字符[CLS]和[SEP][CLS]和[SEP][CLS]和[SEP]。不然效果很差很差!!!
风吹草地现牛羊的马
·
2023-11-12 04:23
NLP
pytorch
语言模型
transformers
安装避坑
这个我也不知道,你下了就对了,不然后面的
transformers
无法安装因为是windows到官网选择推荐的下载方式https://www.rust-lang.org/tools/install。
柴神
·
2023-11-12 04:51
elasticsearch
大数据
搜索引擎
《AN IMAGE IS WORTH 16X16 WORDS:
TRANSFORMERS
FOR IMAGE RECOGNITION AT SCALE》阅读笔记
论文标题《ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE》谷歌论文起名越来越写意了,“一幅图像值16X16个单词”是什么玩意儿。ATSCALE:说明适合大规模的图片识别,也许小规模的不好使作者来自GoogleResearch的Brain团队,经典的同等贡献。初读摘要Transformer体系结构现状:在NLP领域,Tr
AncilunKiang
·
2023-11-12 02:37
论文阅读笔记
论文阅读
论文笔记
transformer
计算机视觉
基于HF
transformers
的AI建模和训练实战
我们经常使用scikit-learn对监督学习和无监督学习任务的数据进行建模。我们熟悉面向对象的设计,例如启动类并从类中调用子函数。然而,当我个人使用PyTorch时,我发现与scikit-learn类似但又不一样的设计模式。在线工具推荐:Three.jsAI纹理开发包-YOLO合成数据生成器-GLTF/GLB在线编辑-3D模型格式在线转换-可编程3D场景编辑器1、PyTorch和transfor
新缸中之脑
·
2023-11-12 00:22
人工智能
ChatGLM-中英对话大模型-6B试用说明
==1.4.3-fhttps://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.htmlpipinstallprotobuf==3.20.0
transformers
lanmengyiyu
·
2023-11-10 16:15
大模型
GLM
LLM
transformer
深度学习
hugging face
transformers
模型文件 config文件
模型的组成一般transformer模型有三个部分组成:1.tokennizer,2.Model,3.Postprocessing。如下图所示,图中第二层和第三层是每个部件的输入/输出以及具体的案例。我们可以看到三个部分的具体作用:Tokenizer就是把输入的文本做切分,然后变成向量,Model负责根据输入的变量提取语义信息,输出logits;最后PostProcessing根据模型输出的语义信
MyLuckyLife
·
2023-11-10 13:19
人工智能
深度学习
自然语言处理
mac安装pytorch,使用
transformers
condacreate-npytorch_envpython=3.9.16condaactivatepytorch_envcondainstallpytorchtorchvisiontorchaudio-cpytorchpipinstallrustpipinstalltokenizerspipinstalltransformers
静听山水
·
2023-11-10 13:49
机器学习
机器学习
【DL】第 7 章 :用于音乐生成的
Transformers
和 MuseGAN
除了视觉艺术和创意写作一样,音乐创作是我们认为人类独有的另一种核心创造力行为。为了让机器创作出悦耳的音乐,它必须克服我们在上一章中看到的与文本相关的许多技术挑战。特别是,我们的模型必须能够学习并重新创建音乐的顺序结构,并且还必须能够从一组离散的可能性中选择后续音符。然而,音乐生成提出了文本生成不需要的额外挑战,即音高和节奏。音乐通常是复调的——也就是说,不同的乐器同时演奏几条音符流,它们结合起来产
Sonhhxg_柒
·
2023-11-10 08:10
生成式深度学习
人工智能
深度学习
生成对抗网络
解决 SSLError: HTTPSConnectionPool(host=‘huggingface.co‘, port=443)
看我的回答:https://github.com/huggingface/
transformers
/issues/17611#issuecomment-1794486960能问这个问题的都是网络不太好的
XD742971636
·
2023-11-09 19:37
深度学习机器学习
huggingface
SSL
网络
transformer
部署你自己的OpenAI格式api,基于flask,
transformers
(使用 Baichuan2-13B-Chat-4bits 模型,可以运行在单张Tesla T4显卡)
项目地址:https://github.com/billvsme/my_openai_api单文件实现OpenAI格式api(包含流式响应)部署你自己的OpenAI格式api,基于flask,
transformers
billvsme
·
2023-11-08 21:00
AI
flask
python
后端
ai
transformer
pytorch
【
Transformers
-实践2】——Bert-CRF用于英语平坦实体(Flat NER)识别
本文是学习使用Huggingface的
Transformers
库的简单实践,我们简单的梳理一下模型的结构,以及具体的程序结构。
应有光
·
2023-11-06 22:45
基础深度模型学习
bert
自然语言处理
Transformer:开源机器学习项目,上千种预训练模型 | 开源日报 No.66
huggingface/transformersStars:113.5kLicense:Apache-2.0这个项目是一个名为
Transformers
的开源机器学习项目,它提供了数千种预训练模型,用于在文本
开源服务指南
·
2023-11-06 13:39
开源日报
transformer
开源
机器学习
【论文精读】PlanT: Explainable Planning
Transformers
via Object-Level Representations
1基本信息院校:德国的图宾根大学网站:https://www.katrinrenz.de/plant2论文背景2.1现有问题现在的基于学习的方法使用高精地图和BEV,认为准确的(达到像素级的pixel-level)场景理解是鲁棒的输出的关键。recoveringpixel-levelBEVinformationfromsensorinputs。2.2作者的想法作者认为这么丰富的信息是不必要的,仅仅
EEPI
·
2023-11-06 03:09
自动驾驶
大模型
来自
Transformers
的双向编码器表示(BERT)
word2vec和GloVe等词嵌入模型与上下文无关。它们将相同的预训练向量赋给同一个词,而不考虑词的上下文(如果有的话)。它们很难处理好自然语言中的一词多义或复杂语义。对于上下文敏感的词表示,如ELMo和GPT,词的表示依赖于它们的上下文。ELMo对上下文进行双向编码,但使用特定于任务的架构(然而,为每个自然语言处理任务设计一个特定的体系架构实际上并不容易);而GPT是任务无关的,但是从左到右编
流萤数点
·
2023-11-06 03:37
自然语言处理
bert
深度学习
机器学习
BERT:来自
Transformers
的双向编码器表示 – 释放深度上下文化词嵌入的力量
BERT是
Transformers
双向编码器表示的缩写,是2018年推出的改变游戏规则的NLP模型之一。BERT的情感分类、文本摘要和问答功能使其看起来像是一站式NLP模型。
TD程序员
·
2023-11-06 03:06
自然语言处理实战篇
bert
人工智能
深度学习
自然语言处理
机器学习
10 DETR 论文精读【论文精读】End-to-End Object Detection with
Transformers
DETR这篇论文,大家为什么喜欢它?为什么大家说它是一个目标检测里的里程碑式的工作?而且为什么说它是一个全新的架构?大家好,今天我们来讲一篇ECCV20的关于目标检测的论文。它的名字想必大家都不陌生,也就这两年火热的DETR,其实就是detectionTransformer的缩写。这篇论文当时在2020年5月第一次挂到arxiv上的时候,就引起了CV圈的强烈反响,网上很多人都觉得这篇论文应该是EC
云淡风轻__
·
2023-11-05 20:26
论文精讲
目标跟踪
人工智能
计算机视觉
论文阅读—— BiFormer(cvpr2023)
CVPR2023]Officialcodereleaseofourpaper"BiFormer:VisionTransformerwithBi-LevelRoutingAttention"一、介绍1、要解决的问题:
transformers
じんじん
·
2023-11-05 09:53
论文
深度学习
Transformers
使用教程
模型参数下载数据集查找
Transformers
中文使用说明Huggingface超详细介绍-知乎HuggingFace的
Transformers
库快速入门文档说明
Transformers
提供文本相关的预训练模型
来路与归途
·
2023-11-05 09:03
python
Transformers
人工智能
深度学习
NLP学习1 - 使用Huggingface
Transformers
框架从头训练语言模型
摘要由于huaggingface放出了Tokenizers工具,结合之前的
transformers
,因此预训练模型就变得非常的容易,本文以学习官方example为目的,由于huggingface目前给出的
逆旅ROS
·
2023-11-03 22:35
利用python GPT-2写一个机器学习模型开发案例
以下是详细的步骤:1.安装所需库首先,我们需要安装一些必要的库,如TensorFlow、numpy和
transformers
。
田晖扬
·
2023-11-03 19:45
人工智能
gpt
机器学习
transformers
库使用--模型构建
1.GPT2相关模型1.1GPT2模型
transformers
.GPT2Model简介:最原始的GPT2模型(bareGPT2),transformer输出的hidden_state后不接任何特殊的网络层
orangerfun
·
2023-11-03 02:12
pytorch
pytorch
python
算法
自然语言处理
【论文阅读】BERT: Pre-training of Deep Bidirectional
Transformers
for Language Understanding
【论文阅读】BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding前言BERT是Google于2018年提出的NLP预训练技术,全称是BidirectionalEncoderRepresentationsfromTransformers,直译可以理解为双向Transformer的Enocder。你可能听说过B
EmoryHuang
·
2023-11-02 22:58
论文阅读
bert
transformer
自然语言处理
ModuleNotFoundError: No module named ‘
transformers
.models.mmbt‘
使用simpletransformers时出现ModuleNotFoundError:Nomodulenamed'
transformers
.models.mmbt’错误。
hj_caas
·
2023-11-02 08:29
bug解决
python
开发语言
解决‘BaichuanTokenizer‘ object has no attribute ‘sp_model‘,无需重装
transformers
和torch
如https://github.com/baichuan-inc/Baichuan2/issues/204中所说:修改下tokenization_baichuan.py,把super()修改到最后执行self.vocab_file=vocab_fileself.add_bos_token=add_bos_tokenself.add_eos_token=add_eos_tokenself.sp_mo
夏离
·
2023-11-01 18:10
python
语言模型
Py之sentence-
transformers
:sentence-
transformers
的简介、安装、使用方法之详细攻略
Py之sentence-
transformers
:sentence-
transformers
的简介、安装、使用方法之详细攻略目录sentence-
transformers
的简介1、一些亮点包括2、可以使用此框架进行以下用途
一个处女座的程序猿
·
2023-11-01 02:46
NLP/LLMs
transformers
ICCV 2021 | High-Fidelity Pluralistic Image Completion with
Transformers
阅读笔记(部分翻译)
High-FidelityPluralisticImageCompletionwithTransformers作者:ZiyuWan1^11JingboZhang1^11DongdongChen2^22JingLiao1∗^{1*}1∗单位:1^11CityUniversityofHongKong2^22MicrosoftCloud+AI会议:ICCV2021项目地址:raywzy.com/ICTA
ybacm
·
2023-10-31 18:46
图像修复
机器学习
计算机视觉
人工智能
nlp
研一入门经验总结
方便复习)积累适合学习、集中精神的方法抱着强目的性去做事情遇到的问题案例与解决方法扩展阅读2.学习方法主动学习读论文的方法看代码的方法小技巧3.代码运行环境深度学习框架(python->pytorch->
transformers
SofiaT
·
2023-10-31 16:57
学习笔记
Are
Transformers
Effective for Time Series Forecasting论文全文翻译
Transformers
对时间序列预测有效吗?摘要最近,针对长期时间序列预测(LTSF)任务的基于Transformer的解决方案激增。
happylife_mini
·
2023-10-31 06:30
深度学习
人工智能
iTransformer: INVERTED
TRANSFORMERS
ARE EFFECTIVE FOR TIME SERIES FORECASTING
#论文题目:ITRANSFORMER:INVERTEDTRANSFORMERSAREEFFECTIVEFORTIMESERIESFORECASTING#论文地址:https://arxiv.org/abs/2310.06625#论文源码开源地址:https://github.com/thuml/Time-Series-Library#论文所属会议:MachineLearning(cs.LG)#论文
堇禤
·
2023-10-31 06:22
推荐算法
序列推荐
推荐算法
python
深度学习
人工智能
[nlp] 基于
transformers
的 generate() decode推理时解码多样性策略(beam search multinomial sampling)
最近在做文本生成,用到huggingfacetransformers库的文本生成generate()函数,是GenerationMixin类的实现(classtransformers.generation_utils.GenerationMixin),是自回归文本生成预训练模型相关参数的集大成者。因此本文解读一下这些参数的含义以及常用的GreedySearch、BeamSearch、Samplin
心心喵
·
2023-10-31 03:10
自然语言处理
算法
人工智能
linux操作命令随笔
1、scp拷贝文件假设远程服务器IP:39.02.150.51远程路径:/sentence-
transformers
/examples本地路径:/sentence-
transformers
/examples
colourmind
·
2023-10-30 22:42
Linux命令
Linux
【错误解决方案】ModuleNotFoundError: No module named ‘
transformers
‘
1.错误提示在python程序中,尝试导入一个名为'
transformers
'的模块,但Python提示找不到这个模块。
DRobot
·
2023-10-30 18:27
错误解决方案
经验分享
python
LeCun怒赞!90.4%准确率!DeepMind新作:CNN可媲美视觉Transformer
在相同计算量下,卷积神经网络模型和视觉
Transformers
模型的性能居然能旗鼓相当
Amusi(CVer)
·
2023-10-30 17:46
cnn
transformer
人工智能
神经网络
深度学习
Transformers
实战(二)快速入门文本相似度、检索式对话机器人
Transformers
实战(二)快速入门文本相似度、检索式对话机器人1、文本相似度1.1文本相似度简介文本匹配是一个较为宽泛的概念,基本上只要涉及到两段文本之间关系的,都可以被看作是一种文本匹配的任务
undo_try
·
2023-10-29 12:50
#
深度学习
深度学习
python
论文阅读——BART
是一个结合了双向和自回归
transformers
的模型。
じんじん
·
2023-10-28 05:14
NLP
深度学习
huggingface官网教程里面的几个用
transformers
做下游任务的例子(上)
1.请见官网:TextclassificationTokenclassificationquestion_answeringLanguagemodelingtranslationSummarizationMultiplechoice
不当菜鸡的程序媛
·
2023-10-27 17:38
nlp
量化HuggingFace的
Transformers
模型
量化
Transformers
模型原文地址:https://huggingface.co/docs/
transformers
/main/en/main_classes/quantizationAutoGPTQ
Tim_Van
·
2023-10-27 04:00
python
模型量化
huggingface
NLP
自然语言处理
大语言模型
大模型训练框架
一文搞定分布式训练:dataparallel、distirbuted、deepspeed、accelerate、
transformers
、horovod-知乎代码地址:taishan1994/pytorch-distributed-NLP
Kun Li
·
2023-10-26 07:18
深度机器学习组件
算法部署
人工智能
深度学习
机器学习
分布式训练
On Moving Object Segmentation from Monocular Video with
Transformers
论文阅读
论文信息标题:OnMovingObjectSegmentationfromMonocularVideowithTransformers作者:来源:ICCV时间:2023代码地址:暂无Abstract通过单个移动摄像机进行移动对象检测和分割是一项具有挑战性的任务,需要了解识别、运动和3D几何。将识别和重建结合起来可以归结为融合问题,其中需要结合外观和运动特征来进行分类和分割。在本文中,我们提出了一种
玛卡巴卡_qin
·
2023-10-25 17:47
论文
论文阅读
从零开始的
Transformers
第二篇:代码解析transformer架构
代码解析transformer架构总体解析输入部分词向量InputEmbedding位置编码编码器自注意力机制掩码多头自注意力机制FeedForwardLayerNorm残差链接EncoderLayer解码器输出头总体模型所有代码总体解析上面是transformer的论文中的架构图,从上面拆分各个模块的话,我们可以得到InputEmbedding:对输入的词向量的表示方法进一步压缩其维度,使得其表
浅冲一下
·
2023-10-25 11:57
Transformer
深度学习之算法学习
学习pytorch
transformer
深度学习
人工智能
华为昇腾NPU卡 大模型LLM ChatGLM2模型推理使用
/model_cards/glm2.md#chatglm2-6b1、安装环境:昇腾NPU卡对应英伟达GPU卡,CANN对应CUDA底层;mindspore对应pytorch;mindformers对应
transformers
loong_XL
·
2023-10-25 07:37
深度学习
华为
昇腾
910卡
1024程序员节
解决报错RuntimeError: Failed to import
transformers
.trainer_seq2seq because of the following error
RuntimeError:Failedtoimporttransformers.trainer_seq2seqbecauseofthefollowingerror(lookuptoseeitstraceback):cannotimportname'is_npu_available'from'accelerate.utils'(/usr/local/lib/python3.10/dist-packa
夏离
·
2023-10-25 02:10
python
transformer
decapoda-research/llama-7b-hf 的踩坑记录
使用
transformers
加载decapoda-research/llama-7b-hf的踩坑记录。
夏离
·
2023-10-25 02:38
llama
轻量ViT王者 | EfficientFormerV2:全新轻量级视觉Transformer
摘要随着视觉
Transformers
(ViTs)在计算机视觉任务中的成功,最近的技术试图优化ViT的性能和复杂性,以实现在移动设备上的高效部署。
自动驾驶之心
·
2023-10-25 01:59
阅读文献1:Bootstrapping ViTs: Towards Liberating Vision
Transformers
from Pre-training(文章翻译及自身的理解和总结)
目录前言一、文章标题二、摘要我在这里直接翻译过来:三、Introduction这里也没有什么好解释哒,我也直接翻译过来:四、RelatedWork(1)VisionTransformers(2)KnowledgeDistillation五、Method1.Preliminaries1.1Convolution1.2MHSA2.AgentCNN2.1GeneralizedConvolution2.2
G氏yousa
·
2023-10-24 11:52
文献阅读
transformer
深度学习
人工智能
cnn
Transformer用于目标检测- End-to-End Object Detection with
Transformers
目前为止看到的讲解transformer最清晰的文章文章目录传统方法存在的问题该方法的创新点网络结构与具体操作实验结果分析FacebookAI的研究者推出了Transformer的视觉版本—DetectionTransformer(以下简称DETR),用于目标检测和全景分割。与之前的目标检测系统相比,DETR的架构进行了根本上的改变。这是第一个将Transformer成功整合为检测pipeline
Chan_Zeng
·
2023-10-24 06:24
目标检测
Transformer
Transformer模型 | 用于目标检测的视觉
Transformers
训练策略
基于视觉的Transformer在预测准确的3D边界盒方面在自动驾驶感知模块中显示出巨大的应用,因为它具有强大的建模视觉特征之间远程依赖关系的能力。然而,最初为语言模型设计的变形金刚主要关注的是性能准确性,而不是推理时间预算。对于像自动驾驶这样的安全关键系统,车载计算机的实时推理是绝对必要的。这使得我们的目标检测算法在非常紧张的运行时间预算下。在本文中,我们评估了各种策略来优化基于视觉变换的物体检
算法如诗
·
2023-10-24 06:49
Transformer模型
transformer
目标检测
深度学习
Transformers
基本组件(二)快速入门Datasets、Evaluate、Trainer
Transformers
基本组件(二)快速入门Datasets、Evaluate、Trainer1、基础组件Datasets数据集部分的工作,一部分在于数据集的收集,另一部分在于数据集的处理。
undo_try
·
2023-10-23 01:40
#
深度学习
深度学习
人工智能
机器学习
基于
transformers
T5相关模型用法
T5相关模型用法T5TokenizerT5ForConditionalGenerationT5Tokenizer模型加载 tokenizer=T5Tokenizer.from_pretrained(model_params[“MODEL”])encodesource=self.tokenizer.batch_encode_plus([source_text],max_length=self.so
weixin_43870390
·
2023-10-22 00:18
人工智能
python
深度学习
Transformers
基本组件(一)快速入门Pipeline、Tokenizer、Model
Transformers
基本组件(一)快速入门Pipeline、Tokenizer、ModelHuggingFace出品的
Transformers
工具包可以说是自然语言处理领域中当下最常用的包之一,实现了大量的主流预训练模型架构
undo_try
·
2023-10-21 18:55
#
深度学习
深度学习
python
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他