Transformer】第6页

基于CNN+Transformer混合模型实现交通流量时序预测(PyTorch版)

前言系列专栏:【深度学习：算法项目实战】✨︎涉及医疗健康、财经金融、商业零售、食品饮料、运动健身、交通运输、环境科学、社交媒体以及文本和图像处理等诸多领域，讨论了各种复杂的深度神经网络思想，如卷积神经网络、循环神经网络、生成对抗网络、门控循环单元、长短期记忆、自然语言处理、深度强化学习、大型语言模型和迁移学习。随着城市化进程的加速，交通流量预测成为城市交通管理与规划中的关键任务。准确的交通流量预测

矩阵猫咪·2025-01-26 16:34

《剖析Transformer架构：自然语言处理飞跃的幕后英雄》

在人工智能的迅猛发展进程中，自然语言处理（NLP）领域取得了令人瞩目的突破，而Transformer架构无疑是这场变革的核心驱动力。

·2025-01-26 11:25

论文阅读笔记（9）——《A Practical Survey on Faster and Lighter Transformers》

longshort-termmemory(LSTM)networksequencetosequenceframeworkinter-attentionrelativeeffectivecontextlength(RECL)Transformer3TransformerA.EncoderB.Deco

StriveQueen·2025-01-26 08:32

Progressive learning

learnfromRestormer.Restormer:EfficientTransformerforHigh-ResolutionImageRestoration|IEEEConferencePublication

yore0531·2025-01-26 00:22

Python 装饰器详解：@staticmethod 与 @classmethod 的区别与用法：中英双语

缘由：今天在看Huggingface的源码的时候，https://github.com/huggingface/transformers/blob/v4.47.1/src/transformers/models

阿正的梦工坊·2025-01-25 16:28

第72期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。

云起无垠·2025-01-25 14:40

PointNet++改进策略：模块改进 | OA-CNNs | ，全自适应3D稀疏卷积神经网络（OA-CNNs），超越基于Transformer的模型，同时显著降低计算和内存成本

目录介绍核心思想及其实现引入空间自适应感受野自适应关系卷积（ARConv）网络整体架构设计训练和验证实验与评估如何改进PointNet++引入空间自适应感受野引入自适应关系学习利用自适应聚合器论文题目：OA-CNNs:Omni-AdaptiveSparseCNNsfor3DSemanticSegmentation发布期刊：CVPR2024作者地址：1香港中文大学2香港大学3香港中文大学，深圳4HI

我是瓦力·2025-01-25 12:59

PointNet++改进策略：模块改进 | PointCAT，使用交叉注意力机制来提升3D点云任务中提升模型精度

论文题目：PointCAT:Cross-AttentionTransformerforPointCloud通讯地址：南京理工大学代码地址：https://github.com/xincheng-yang

我是瓦力·2025-01-25 12:59

清华大学提出Pointformer：基于Transformer的3D目标检测

Transformer的"魔爪"已经伸向3D目标检测了。

Amusi（CVer）·2025-01-25 11:52

InternLM: LMDeploy 量化部署进阶实践

值得注意的是，在transformer架构下，计算的瓶颈主要在显存带宽

dilvx·2025-01-25 06:42

Transformer大模型实战 BART模型的架构

Transformer大模型实战BART模型的架构作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming/TextGenWebUILLMTransformer大模型实战

AI天才研究院·2025-01-24 23:23

transformer编码器解码器图解

这张图展示了Transformer模型的架构，包含编码器（左边）和解码器（右边）两部分。以下是对图中每个步骤的详细解释，结合生活场景来说明每一步的意义和推理过程。

Ai玩家hly·2025-01-24 21:08

Transformer的linear和softmax

线性层（LinearLayer）场景假设我们现在有一个包含许多特征的向量，比如描述一本书的内容、风格、作者、逻辑等信息。你想要根据这些特征预测这本书属于哪个类别，如小说、科幻、历史等。线性层的作用就是帮助你将这些特征转换成一个更简单的形式，使得你可以更容易地做出分类决策。解释特征组合：线性层接收来自解码器最后一层的输出，这个输出是一个高维向量，包含了关于输入序列的丰富信息。权重矩阵：线性层内部有一

编码浪子·2025-01-24 21:04

白话transformer（五）：位置编码

在前面其实讲过位置编码的完整内容，这次我们具体看看他的数学原理B站视频讲解白话transformer（五）1、位置编码的位置

Andy_shenzl·2025-01-24 20:31

第84期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。

·2025-01-24 20:41

gradio可视化对话框（）

fromtransformersimportAutoModel,AutoTokenizerimportgradioasgrimportmdtex2html#-*-coding:utf-8-*-importosimporttorchimportinterfaceAllfromdatetimeimportdatetimeimporttimeimportinference_LLaVaimportshut

@小张不嚣张·2025-01-24 20:58

从文字到思维：呆马GPT在人工智能领域的创新之旅

引言生成式预训练变换器（GenerativePre-trainedTransformer，简称GPT）领域是人工智能技术中的一大革新。

呆码科技·2025-01-24 20:28

BERT模型在情感分析中的应用：探寻文本情感的智能之路

近年来，BERT（BidirectionalEncoderRepresentationsfromTransformers）模型凭借其强大的上下文理解能力，在情感分析中展现出了卓越的性能。本文将深

Echo_Wish·2025-01-24 20:26

DeepSeek 公开新的模型权重

工作原理混合专家架构（MoE）：DeepSeek-V3是MoE型Transformer模型，有6710亿个参数，运行时370亿参数激活。相比Llama3.1405B，训练时间大幅缩

数据分析能量站·2025-01-24 19:22

LLaMA Pro是什么相比于lora full freeze有什么区别怎么使用

它通过在原有模型的基础上扩展新的模块（如Transformer块），并在微调时仅训练这些新增模块，从而在适应新任务的同时保留预训练模型的通用知识。

Ven%·2025-01-24 16:58

安装auto_gptq解决办法

你可以尝试以下命令来安装auto_gptq的依赖项：pipinstalltorchtransformers2.使用预编译的二进制文件如果你不需要从源

Ven%·2025-01-24 15:46

Swin-Unet：图像分割领域的强大工具

Swin-Unet是一种结合了SwinTransformer和U-Net结构的深度学习模型，适用于图像分割任务。

陈凯韵·2025-01-24 12:58

Transformer中query、key和value的状态为什么要是 contiguous？

Transformer中query、key和value的状态为什么要是contiguousd值？

AI老兵·2025-01-24 01:29

Python 如何使用 Bert 进行中文情感分析

在过去的几年中，随着深度学习的发展，BERT（BidirectionalEncoderRepresentationsfromTransformers）模型迅速成为了处理自然语言的强大工具。

程序员徐师兄·2025-01-24 00:47

GPT-4对话模型在客服中的应用与前景：开启智能客服新时代

一、GPT-4对话模型概述GPT-4（GenerativePre-trainedTransformer4）是OpenAI开发的一种

Echo_Wish·2025-01-23 20:19

【Codex】Evaluating Large Language Models Trained on Code

这篇文章来解读最近比较有意思的Transformer预训练模型在自动生成代码方面的应用，PaperLink:EvaluatingLargeLanguageModelsTrainedonCode自动生成Code

NLP_wendi·2025-01-23 05:57

Gradio + Transformers** 实现带记忆功能的对话系统完整代码示例

以下是一个使用Gradio+Transformers实现带记忆功能的对话系统完整代码示例，无需额外数据库依赖：importgradioasgrimportnumpyasnpfromtransformersimportAutoTokenizer

大霸王龙·2025-01-23 03:42

Transformer架构原理详解：多头注意力（MultiHead Attention）

Transformer,多头注意力,Multi-HeadAttention,机器翻译,自然语言处理,深度学习1.背景介绍近年来，深度学习在自然语言处理（NLP）领域取得了显著进展。

AI大模型应用之禅·2025-01-23 02:33

conv2former模型详解及代码复现

模型背景在Conv2Former模型提出之前，视觉识别领域的研究主要集中在两个方向：传统卷积神经网络（ConvNets）新兴的视觉Transformer（ViTs）ConvNets通过堆叠基本模块和采用金字塔结构取得了显著进展

清风AI·2025-01-22 17:26

论文阅读--Qwen2&2.5技术报告

Model2.1Tokenizer沿用Qwen（Bai等人，2023a）的做法，我们采用了基于字节级字节对编码的相同Tokenizer所有大小的模型都采用一个共有词汇表，包含151,643个常规词元和3个控制词元2.2模型架构基于Transformer

__如果·2025-01-22 17:55

文档图像矫正任务的前沿进展：引入Transformer框架、极坐标的思路

Transformer架构下的文档矫正探索代表性工作DocTr:DocumentImageTransform

·2025-01-22 16:01

Transformer中的注意力机制：从基础概念到高级变体的全面解析

注意力机制的基础概念核心组件(Query、Key、Value)的详细解释主要的注意力机制变体：自注意力(Self-Attention)多头注意力(Multi-HeadAttention)掩码注意力(MaskedAttention)注意力评分函数的类型和特点多头注意力的现代变体：MHA(Multi-HeadAttention)MQA(Multi-QueryAttention)GQA(Grouped-

XianxinMao·2025-01-22 13:48

深度学习Transformer框架

Transformer是一种深度学习框架，专门用于处理序列数据。它是2017年由Vaswani等人提出的，在NLP领域取得了很大的成功。

Clown爱电脑·2025-01-22 09:16

Transformer模型全面解析：工作原理、应用与未来展望*

概述：深入探讨Transformer模型的工作原理，分析其在NLP领域的应用场景，并展望其未来发展趋势。本文为您提供关于Transformer模型的全面指南。

泰山AI·2025-01-22 09:46

一切皆是映射：Transformer架构全面解析

背景介绍自2017年，Transformer（自注意力机制）架构的问世以来，它已经成为自然语言处理（NLP）领域的主流技术之一。

AI天才研究院·2025-01-22 09:16

大语言模型原理基础与前沿指令生成

大语言模型、指令生成、Transformer、BERT、GPT、LLaMA、Fine-tuning、PromptEngineering1.背景介绍近年来，大语言模型（LargeLanguageModels

AI大模型应用之禅·2025-01-22 07:04

【YOLOv8改进 - 检测头】 RT-DETR检测头，解决传统目标检测器中非极大值抑制（NMS）所带来的速度和准确性之间的平衡问题

最近，基于Transformer的端

YOLO大师·2025-01-22 05:14

LLama 架构一览

LLama架构一览预训练Transformer架构RMSNorm归一化：为什么大模型llama选RMSNorm，而不是其他？

Debroon·2025-01-22 04:08

深入理解GPT底层原理--从n-gram到RNN到LSTM/GRU到Transformer/GPT的进化

每一步的进展都为下一步的突破奠定了基础,最终孕育出了革命性的Transformer架构和GPT大模型。

网络安全研发随想·2025-01-22 02:55

Transformer入门（1）transformer及其编码器-解码器

文章目录1.Transformer简介2.Transformer的编码器-解码器架构3.transformer的编码器1.Transformer简介Transformer模型是一种用于自然语言处理的机器学习模型

通信仿真实验室·2025-01-22 01:51

深度学习理论基础（七）Transformer编码器和解码器

基础篇深度学习理论基础（二）深度神经网络DNN深度学习理论基础（三）封装数据集及手写数字识别深度学习理论基础（四）Parser命令行参数模块深度学习理论基础（五）卷积神经网络CNN深度学习理论基础（六）Transformer

小仇学长·2025-01-22 01:48

transformer模型代码

importnumpyasnpimporttorchimporttorch.nnasnnimporttorch.optimasoptimimportmatplotlib.pyplotaspltimportmathdefmake_batch(sentences):input_batch=[[src_vocab[n]forninsentences[0].split()]]output_batch=[[

地瓜不是呱·2025-01-22 01:17

细嗦Transformer（三）：准备训练，讲解及代码实现优化器、学习率调整策略、正则化和KL散度损失

文章目录关注我：细嗦大模型批处理对象/BatchesandMasking训练循环主函数/TrainingLoop优化器/Optimizer学习率调整策略/Learningrateadjustmentstrategy样例测试正则化/RegularizationLabelsmoothing标签平滑KL散度损失样例测试Github完整代码----求求了给个star和关注吧参考资料求求了，给个star和关

Ace_bb·2025-01-22 00:08

Transformer架构原理详解：编码器（Encoder）和解码器（Decoder）

Transformer,编码器,解码器,自注意力机制,多头注意力,位置编码,序列到序列,自然语言处理1.背景介绍近年来，深度学习在自然语言处理（NLP）领域取得了显著进展，其中Transformer架构扮演着至关重要的角色

AI大模型应用之禅·2025-01-22 00:08

Transformer 架构对比：Dense、MoE 与 Hybrid-MoE 的优劣分析

1.LLM基础架构类型DenseTransformerMoE(MixtureofExperts)TransformerHybrid-MoETransformer2.Transformer按照编码方式分类单向自回归模型

m0_74823683·2025-01-21 20:08

AI大模型：开启智能革命新纪元

尽管业界对大模型的定义尚未统一，但通常指的是基于Transformer框架的大型语言模型，广义上也包括了多模态大模型，如涉及语言、声音、图像、视频等，技术

洋洋科创星球·2025-01-21 17:09

YOLOv10全网最新创新点改进系列：YOLOv10融合SwinTransformer模块，分辨率每层变成一半，而通道数变成两倍,有效提升小目标检测效果！

AI棒棒牛·2025-01-21 16:02

改进yolov8工业缺陷检测+swin+transformer

本篇将介绍一种基于NEU-DET数据集，利用YOLOv8及其改进版本（包含坐标注意力机制和SwinTransformer）进行缺陷检测的应用开发过程。我们将详细探讨从数据准备到模型训练，再到最

qq1309399183·2025-01-21 15:56

改进yolov8缺陷检测+swin+transformer