transformer运算量

【HuggingFace Transformer库学习笔记】基础组件学习：Model

基础组件——Model1、模型加载与保存fromtransformersimportAutoConfig,AutoModel,AutoTokenizermodel=AutoModel.from_pretrained
辰阳星宇·2024-01-13 19:44

【HuggingFace Transformer库学习笔记】基础组件学习：Datasets

基础组件——Datasetsdatasets基本使用导入包fromdatasetsimport*加载数据datasets=load_dataset("madao33/new-title-chinese")datasetsDatasetDict({train:Dataset({features:['title','content'],num_rows:5850})validation:Dataset
辰阳星宇·2024-01-13 19:44

【HuggingFace Transformer库学习笔记】基础组件学习：Evaluate

基础组件学习——EvaluateEvaluate使用指南查看支持的评估函数#include_community：是否添加社区实现的部分#with_details：是否展示更多细节evaluate.list_evaluation_modules(include_community=False,with_details=True)加载评估函数accuracy=evaluate.load("accura
辰阳星宇·2024-01-13 19:39

Python解决方案：transformers模块没有LLaMATokenizer属性

Python解决方案：transformers模块没有LLaMATokenizer属性在使用transformers模块时，有可能会出现“AttributeError:moduletransformershasnoattributeLLaMATokenizer
UIEdit·2024-01-13 19:05

中科院国产多语言大模型-YAYI2开源！家族AI应用场景全覆盖！

开源地址：https://github.com/wenge-research/YAYI2YAYI2-30B是其模型规模，是基于Transformer的大语言模型。
孜孜孜孜不倦·2024-01-13 14:16

Multimodal Transformer for Unaligned Multimodal Language Sequences

文章目录MulT：未对齐多模态语言序列的多模态变换器文章信息研究目的研究背景研究内容研究方法1.总体架构2.CrossmodalAttention3.CrossmodalTransformer4.Conv1D5
鱼儿也有烦恼·2024-01-13 12:01

Python电能质量扰动信号分类(五)基于CNN-Transformer的一维信号分类模型

目录往期精彩内容：引言1数据集制作与加载1.1导入数据1.2制作数据集2CNN-Transformer分类模型和超参数选取2.1定义CNN-Transformer分类模型2.2设置参数，训练模型3模型评估
建模先锋·2024-01-13 12:34

what is BERT?

BERTIntroductionPaper参考博客9781838821593_ColorImages.pdf(packt-cdn.com)BidirectionalEncoderRepresentationfromTransformer
路飞DoD·2024-01-13 10:29

大语言模型LLM的原理，bert、GPT、GLM三者的对比

本次任务：1、大语言模型原理、2、演示1：单一文档摘要、3、演示2：多文档+langchain摘要4、演示3：微调训练本地知识库：美食、菜谱大模型....一、大语言模型介绍：主要、技术依赖：transformer
金城武555·2024-01-13 10:49

NLP 高手之路101课（模型、算法、论文、源码、案例 + 1年答疑）

课程名称：NLP高手之路101课（模型、算法、论文、源码、案例+1年答疑）课程关键词：NLP、Transformer、BERT、GPT、Bayesian、Rasa、Transferlearning、ConversationalAI
Eric_1694·2024-01-13 08:05

symmetryMDPI2022（GSTN）:A Graph Skeleton Transformer Network for Action Recognition

AGraphSkeletonTransformerNetworkforActionRecognitionAbstract1.Introduction2.Methods2.1.FeatureEncoding2.1.1
盖盖的博客·2024-01-13 08:31

2023(TranSkeleton):TranSkeleton: Hierarchical Spatial-Temporal Transformer for Skeleton-Based Action

TranSkeleton:HierarchicalSpatial-TemporalTransformerforSkeleton-BasedActionRecognitionAbstract1.INTRODUCTION2
盖盖的博客·2024-01-13 08:01

Superpoint Transformer for 3D Scene Instance Segmentation

为了解决这些问题，本文提出了一种基于SuperpointTransformer的全新端到端3D实例分割方法，命名为SPFormer。它将点云中的潜在特征组
fish小余儿·2024-01-13 07:48

Transformer 是拥抱数据不确定性的艺术

Transformer的架构、训练及推理等都是在Bayesian神经网络不确定性数学思维下来完成的。
孙庚辛·2024-01-13 00:38

LLM之长度外推（一）| 基于位置编码的长度外推研究综述

论文：LengthExtrapolationofTransformers:ASurveyfromthePerspectiveofPositionEncoding地址：https://arxiv.org/
wshzd·2024-01-13 00:59

LLM之长度外推（二）| Self-Extend：无需微调的自扩展大模型上下文窗口

论文链接：https://simg.baai.ac.cn/paperfile/a34ae7f4-f0ce-4f8f-b8f2-e8e4d84bbee5.pdf目前大模型基本都采用transformer结构
wshzd·2024-01-13 00:28

Transformer学习（一）

文章目录transformer介绍为什么处理长序列时会出现梯度消失和梯度爆炸的问题transformer为什么可以用在图像处理上？
struggle_success·2024-01-12 21:07

深度学习代码源码项目90个分享

CNN分类的模型一般使用包括alexnet、DenseNet、DLA、GoogleNet、Mobilenet、ResNet、ResNeXt、ShuffleNet、VGG、EfficientNet和Swintransformer
z5645654·2024-01-12 21:05

大模型学习与实践笔记（五）

一、环境配置1.huggingface镜像下载sentence-transformers开源词向量模型importos#设置环境变量os.environ['HF_ENDPOINT']='https://
AllYoung_362·2024-01-12 20:14

Transformer中的layer norm(包含代码解释)

在transformer中存在add&norm操作，add操作很简单，就是把注意力矩阵和原来的矩阵相加，也就是残差链接，可以有效减少梯度消失。
牛像话·2024-01-12 19:01

用通俗易懂的方式讲解大模型分布式训练并行技术：序列并行

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求。
Python算法实战·2024-01-12 17:25

4、Swin Transformer：视觉Transformer的革新之路

具体实现细节1、模型架构2、PatchPartition3、PatchMerging4、SwinTransfomerBlockW-MSASW-MSA五、对比ViT六、一些资料一、论文名称原论文地址：SwinTransformer
O_meGa·2024-01-12 15:21

（详细）Transformer完整版）

原文链接：https://blog.csdn.net/longxinchen_ml/article/details/86533005作者：龙心尘时间：2019年1月出处：https://blog.csdn.net/longxinchen_ml/article/details/86533005审校：百度NLP、龙心尘翻译：张驰、毅航、Conrad原作者：JayAlammar原链接：https://j
薛定谔的炼丹炉！·2024-01-12 15:50

Transformer：革新自然语言处理的强大模型

简介：Transformer是一种革新性的神经网络模型，它在自然语言处理任务中取得了巨大的成功。
程序猿-饭饭·2024-01-12 15:20

1、理解Transformer：革新自然语言处理的模型

目录一、论文题目二、背景与动机三、卖点与创新四、解决的问题五、具体实现细节0.Transformer架构的主要组件1.注意力、自注意力（Self-Attention）到多头注意力（Multi-HeadAttention
O_meGa·2024-01-12 15:48

Huggingface的Trainer类无法将日志写到logging文件中

在训练时想把这个信息也写到logging文件中在training_args中设置参数：training_args=transformers.TrainingArguments(logging_steps
cpopttt·2024-01-12 14:44

速度飙升200%！Flash Attention 2一统江湖，注意力计算不再是问题！

❤️点击上方，选择星标或置顶，每天给你送上干货❤️作者|godweiyang出品|公众号：算法码上来（ID：GodNLP）-BEGIN-attention是Transformer中最重要的一个结构，但是随着序列长度的增加
算法码上来·2024-01-12 14:12

text-generation-webui加载codellama报错DLL load failed while importing flash_attn_2_cuda: 找不到指定的模块。

codellama，报错：Traceback(mostrecentcalllast):File"C:\Users\Ma\AppData\Roaming\Python\Python310\site-packages\transformers
cpopttt·2024-01-12 14:11

NeurIPS 2023 | LIBERO：机器人持续学习基准环境

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【机器人和Transformer】交流群作者：Heeger（源：知乎，已授权）https://zhuanlan.zhihu.com
Amusi（CVer）·2024-01-12 11:59

2、BERT：自然语言处理的变革者

BERT（BidirectionalEncoderRepresentationsfromTransformers）是Google在2018年提出的一种自然语言处理（NLP）预训练模型。
O_meGa·2024-01-12 09:27

【深度学习：视觉基础模型】视觉基础模型 (VFM) 解释

【深度学习：视觉基础模型】视觉基础模型VFM解释了解视觉基础模型从CNN到Transformer的演变自我监督和适应能力流行的视觉基础模型DINO（自蒸馏，无标签）SAM（分段任意模型）SegGPTMicrosoft'sVisualChatGPT
jcfszxc·2024-01-12 09:23

RLHF与LLM训练的碰撞：寻找最佳实践之路！

典型的LLM训练流程现代基于transformer的LLM，如Chat
wwlsm_zql·2024-01-12 09:50

NLP（十八）：LLM 的推理优化技术纵览

原文：NLP（十八）：LLM的推理优化技术纵览-知乎目录收起一、子图融合（subgraphfusion）1.1FasterTransformerbyNVIDIA1.2DeepSpeedInferencebyMicrosoft1.3MLCLLMbyTVM
javastart·2024-01-12 09:46

编码器与解码器LLM全解析：掌握NLP核心技术的关键！

编码器与解码器风格的Transformer从根本上说，编码器和解码器风格的架构都使用相同的自注意力层来编码词汇标记。然而，主要区别在于编码器旨在学习可以用于各种预测建模任务（如分类）的嵌入表示。
wwlsm_zql·2024-01-12 09:15

大模型内容分享(十二)：图解大语言模型：从操作系统的视角

LLM的进化树[1]基于「Transformer」的模型（非灰色颜色）和其中的「仅解码器（DecoderOnly）模型」（蓝色）占明显的优势开源模型（实心块）和闭源模型（空心块）都在迅速发展Google
之乎者也··2024-01-12 09:38

ALiBi线性偏置注意力

6327801882.实现github:https://github.com/ofirpress/attention_with_linear_biases/blob/master/fairseq/models/transformer.py
云帆@·2024-01-12 07:08

大语言模型面试问题

transformer中求和与归一化中“求和”是什么意思？
抓个马尾女孩·2024-01-12 05:23

【AI视野·今日Sound 声学论文速览 第四十五期】Wed, 10 Jan 2024

10Jan2024Totally12papers上期速览✈更多精彩请移步主页DailySoundPapersMaskedAudioGenerationusingaSingleNon-AutoregressiveTransformerAuthorsAlonZiv
hitrjj·2024-01-12 03:04

2021-03-04 Speech-Transformer项目参数设置2

参数设置为了更方便调试LFR_m、LFR_n参数的设置，将训练、开发集的json做些精简：原始训练集：120098条语音精简后：9条语音原始开发集：14326条语音精简后：10条语音具体精简情况可以见《Speech-Transformer
雨风SLEK·2024-01-12 01:26

深度学习模型部署TensorRT加速（九）：TensorRT部署TransFormer模型

下篇内容预告：深度学习模型部署TensorRT加速（十）：TensorRT部署分析与优化方案（一）前言：众所周知，transformer在很多计算机视觉领域的性能已经超过CNNS，例如目标检测中的DETR
咕哥·2024-01-11 19:57

Pytorch环境下基于Transformer的滚动轴承故障诊断

关于python的集成环境，我一般Anaconda和winpython都用，windows下主要用Winpython，IDE为spyder（类MATLAB界面）。winpython脱胎于pythonxy，面向科学计算，兼顾数据分析与挖掘；Anaconda主要面向数据分析与挖掘方面，在大数据处理方面有自己特色的一些包；winpython强调便携性，被做成绿色软件，不写入注册表，安装其实就是解压到某个
哥廷根数学学派·2024-01-11 19:24

电能质量Python实现全家桶——全网最低价

Python电能质量扰动信号分类(一)基于LSTM模型的一维信号分类-CSDN博客Python电能质量扰动信号分类(二)基于CNN模型的一维信号分类-CSDN博客Python电能质量扰动信号分类(三)基于Transformer
建模先锋·2024-01-11 19:53

多特征变量序列预测(二)——CNN-LSTM-Attention风速预测模型

数据集介绍和预处理-CSDN博客风速预测（二）基于Pytorch的EMD-LSTM模型-CSDN博客风速预测（三）EMD-LSTM-Attention模型-CSDN博客风速预测（四）基于Pytorch的EMD-Transformer
建模先锋·2024-01-11 19:23

在Hugging Face上下载并使用Bert-base-Chinese

HuggingFaceHuggingface起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来
little pierce·2024-01-11 14:59

Intro project based on BERT

BERT介绍语言模型BERT，其实就是Transformer中的encoder。是语言
Karen_Yu_·2024-01-11 14:26

从零开始复现BERT，并进行预训练和微调

从零开始复现BERT代码地址：https://gitee.com/guojialiang2023/bert模型BERT是一种基于Transformer架构的大型预训练模型，它通过学习大量文本数据来理解语言的深层次结构和含义
青云遮夜雨·2024-01-11 11:28

【NLP】多标签分类【上】

，上篇聚焦三种机器学习方法，分别是：BinaryRelevance(BR)、ClassifierChains(CC)、LabelPowerset(LP)，下篇聚焦利用序列生成解决多标签分类方法，将使用Transformer
Twilight Sparkle.·2024-01-11 11:28

简单几个步骤几行代码一步一步掌握NLP自然语言处理通过Transformers模型实现包括情感分析,垃圾邮件检测,语法纠错,文本推理等

简单几个步骤几行代码一步一步掌握NLP自然语言处理通过Transformers模型实现包括情感分析,垃圾邮件检测,语法纠错,文本推理等。
代码讲故事·2024-01-11 11:55

03.用于LLMs不同的任务-transformer 架构

大多数现代LLMs都依赖于transformer架构，这是2017年论文AttentionIsAllYouNeed中介绍的深度神经网络架构。
这就是编程·2024-01-11 10:05

端到端自动驾驶

UniAD[CVPR2023]:使用transformer架构，统一自动驾驶流程，完成所有检测，跟踪，建图，轨迹预测，占据栅格预测与规划的端到端推理。
yang_daxia·2024-01-11 10:07
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他