手撕Transformer

从零开始大模型开发与微调：编码器的实现

从零开始大模型开发与微调：编码器的实现作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：自然语言处理，大模型，Transformer架构，编码器模块
AI天才研究院·2025-03-14 00:57

QwQ-32B企业级本地部署：结合XInference与Open-WebUI使用

QwQ-32B是阿里巴巴Qwen团队推出的一款推理模型，拥有320亿参数，基于Transformer架构，采用大规模强化学习方法训练而成。
大势下的牛马·2025-03-14 00:56

第81期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。
·2025-03-13 20:59

Python 网络编程实战：5分钟实现多线程下载工具与 Web 服务器

全面掌握LangChain：从核心链条构建到动态任务分配的实战指南04-玩转LangChain：从文档加载到高效问答系统构建的全程实战05-玩转LangChain：深度评估问答系统的三种高效方法（示例生成、手
吴师兄大模型·2025-03-13 20:25

基于多模态大模型的不完整多组学数据特征选择策略

结合多模态大模型（如自监督学习、图神经网络、Transformer等）可以有效解决这一问题。以
m0_65156252·2025-03-13 18:17

通信行业语言大模型技术和应用研究

作为一种人工智能技术驱动的语言大模型，ChatGPT使用了Transformer
人工智能-猫猫·2025-03-13 18:16

[Base]DIFFERENTIAL TRANSFORMER

1.BaseInfoTitleDIFFERENTIALTRANSFORMERAdresshttps://arxiv.org/pdf/2410.05258Journal/Time202410Author微软研究院和清华大学提出
Xy-unu·2025-03-13 18:09

差分注意力，负注意力的引入

文章目录DifferentialTransformer差分注意力，负注意力的引入相关链接介绍初始化函数多头差分注意力DifferentialTransformer差分注意力，负注意力的引入相关链接ai-algorithms
syugyou·2025-03-13 17:09

Transformer大模型实战 对比ALBERT与BERT

文章标题在当今人工智能领域的迅速发展中，Transformer大模型无疑成为了自然语言处理（NLP）领域的璀璨明星。
AI天才研究院·2025-03-13 17:06

Diffusion Transformer与Differential Transformer：技术创新与应用前景

引言Transformer架构已成为自然语言处理（NLP）和计算机视觉（CV）领域的主流技术。
AI大模型learner·2025-03-13 17:33

差分革命：清华微软携手，用物理智慧重塑Transformer“慧眼”

然而，随着诺贝尔物理学奖的光芒照耀到“机器学习之父”GeoffreyHinton的肩头，另一场跨界融合也在悄然进行——微软与清华大学的科研团队携手，将物理学的智慧融入AI，推出DifferentialTransformer
YINWA AI·2025-03-13 16:27

Vision Transformer (ViT)：将Transformer带入计算机视觉的革命性尝试（代码实现）

VisionTransformer(ViT)：将Transformer带入计算机视觉的革命性尝试作为一名深度学习研究者，如果你对自然语言处理（NLP）领域的Transformer架构了如指掌，那么你一定不会对它在序列建模中的强大能力感到陌生
阿正的梦工坊·2025-03-13 15:50

小哆啦解题记：旋转图像的奇妙旅程

小哆啦自信满满地甩了甩他的圆手，开始思考。直接上代码！
dorabighead·2025-03-13 12:01

普通人怎么利用GPT赚钱之创建自动化工具

对于普通人来说，利用GPT（GenerativePre-trainedTransformer）这样的语言模型来创建自动化工具，并通过这些工具赚钱，已经成为一种切实可行的方法。
贫苦游商·2025-03-13 11:24

这么强吗？

那不认识它的朋友们怎么来认识它呢：人机界面总要采集一些数据或者操控一些设备的吧，上下位之前的数据连接桥梁就可以用它；而且几乎是万能的（暂且这么认为...摊手），
电气外传·2025-03-13 11:24

RNN 实战指南：用 PyTorch 从零实现文本分类

全面掌握LangChain：从核心链条构建到动态任务分配的实战指南04-玩转LangChain：从文档加载到高效问答系统构建的全程实战05-玩转LangChain：深度评估问答系统的三种高效方法（示例生成、手
吴师兄大模型·2025-03-13 11:22

整理：4篇论文介绍实时语义分割的未来，Transformer架构下的性能与效率平衡

在Transformer架构推动下，计算机视觉领域致力于打造一个极为强大且通用的大规模模型，它能处理物体检测、图像分割等多种任务。
mslion·2025-03-13 08:25

告别手抖烦恼，重拾生活稳 “态”

手抖，看似微小的症状，却可能极大地扰乱生活节奏。轻微颤抖让日常小事变得艰难，拿不稳杯子、握不好笔，严重时甚至影响工作、社交，自信心也随之受挫。想要摆脱手抖困扰，先得了解背后原因。引发手抖的因素多样。
2503_90680515·2025-03-13 04:56

手把手教你搭建微信聊天机器人系列（一）：文心一言（百度千帆ERNIE-Bot大模型）API测试

全系列链接如下：手
AGI学习社·2025-03-13 03:49

赞评论收藏分享格雷希尔用于机器手抓取的G80P系列自动化螺纹快速接头的应用领域

格雷希尔GripSeal快速密封连接器针对螺纹孔的快速密封有二种操作方式，手动操作和气压驱动;但随着科技的不断发展，机器手越来越多的代替人工在工位上操作，于是我们又研发出适用于机器手抓取的G80P系列自动化螺纹快速连接器
HBYKKJ·2025-03-13 02:42

论文阅读笔记——π0: A Vision-Language-Action Flow Model for General Robot Control

架构受到Transfusion的启发：通过单一Transformer处理多目标任务
寻丶幽风·2025-03-13 01:33

python链家数据分析_利用Python分析北京链家二手房数据

当然，跟着这篇文章亲手试一次更能加深你的理解~有任何不懂的问题都可以私信我哈~欢迎私撩一、明确分析目的和思路1、分析北京二手房成交价格分布情况2、分析成交量超过一亿的经纪人相关因素二、数据准备1、数据概况
熊仔仔仔仔·2025-03-12 22:49

Adobe Firefly 技术浅析（二）：Transformer生成模型

AdobeFirefly的图像生成技术不仅依赖于生成式对抗网络（GAN），还引入了基于Transformer的生成模型。
爱研究的小牛·2025-03-12 20:32

基于hf的trl框架的deepseek-r1-zero实现与训练

导入模块和promt格式"""Reference:"""importreimporttorchfromdatasetsimportload_dataset,DatasetfromtransformersimportAutoTokenizer
喂喂喂喂位·2025-03-12 20:00

Qt 超详细入门指南：开启跨平台开发之旅

这些应用程序的适用范围广泛，涵盖了桌面端、嵌入式系统以及移动平台等多个领域，可谓是开发领域中的“多面手”。（
weixin_44799641·2025-03-12 19:25

如何增强机器学习基础，提升大模型面试通过概率

我的好朋友没有通过面试所以我给我的好朋友准备了这一篇学习路线随着大模型（如Transformer、GPT-4、LLaMA等）在自然语言处理（NLP）、计算机视觉（CV）和多模态任务中的广泛应用，AI行业的招聘竞争愈发激烈
weixin_40941102·2025-03-12 19:55

Transformer 的原理是什么？

环境：Transformer问题描述：Transformer的原理是什么？通俗易懂一点。
玩人工智能的辣条哥·2025-03-12 11:08

手撕B树

引入已经学习了二叉查找树，下面开始讨论m叉查找树对于m叉查找树的查找效率的提升，需要：除了根结点外，任何结点至少有[m/2]个分叉，即至少含有[m/2]-1个关键字对于任何一个结点，其所有子树的高度都要相同一、B树的定义B树，又称为多路平衡查找树，B树中所有结点的孩子个数的最大值称为B树的阶，通常用m表示对于一棵m阶B树，其可以是空树，也可以是具有以下特性的m叉树：树中每个结点至多有m棵子树，即至
666HZ666·2025-03-12 10:29

扩散 Transformer 策略：用于通才视觉-语言-动作学习的规模化扩散 Transformer

25年2月来自上海AI实验室、浙大、香港中文大学、北大、商汤科技、清华和中科院香港科学创新研究院的论文“DiffusionTransformerPolicy:ScalingDiffusionTransformerforGeneralistVision-Language-ActionLearning
三谷秋水·2025-03-12 10:27

LLM大模型技术实战4：热门开源LLMs对比和选型

1.1主要特点架构特点LLM主要基于Transformer架构，Transformer通过自注意力机制（Self-Attention）
大模型学习教程·2025-03-12 08:44

大模型面试--大模型（LLMs）基础面

目前主流的开源大模型体系有以下几种：1.Transformer系列Transformer模型是深度学习中的一类重要模型，尤其在自然语言处理（NLP）领域。
TAICHIFEI·2025-03-12 08:13

【每日论文】Forgetting Transformer: Softmax Attention with a Forget Gate

虽然Transformer没有显式的循环形式，但我们展示了一种通过以数据依赖的方式降低未归一化注意力分数的自然方法，将遗忘门融入Transformer。我们称这种注意力机制为“遗忘注意力”，并
WHATEVER_LEO·2025-03-12 08:12

从0开始的操作系统手搓教程22——锁让我们的并发变得更加安全

目录所以，我们需要锁实现一个锁：CCLocker与CCSemaphore实现一个带有锁的控制台Output子系统写一下代码效果图下一篇笔者是先于此项目才知道的锁的。实际上，上一个问题的根源是——锁的缺失导致程序潜在的不安全。如果你学习过锁和信号量，那显然，你就可以直接跳到实现上，直接实现一个信号量和锁就可以结束本小节的内容了，如果你没有，请听我慢慢道来。现在呢，我们启动这个存在问题的内核。然后当运
charlie114514191·2025-03-12 06:25

基于SpringBoot+Vue的校园跑腿原生小程序

SpringBoot的宠物摄影网站管理系统+LW参考示例3.基于SpringBoot+Vue的企业人事管理系统+LW参考示例4.基于SSM的高校实验室管理系统+LW参考示例5.基于SpringBoot的二手数码回收系统
学途源码资源站·2025-03-12 04:37

从零手撸工业级Qt文件传输系统：TCP粘包/断点续传/SSL加密全解

很多初学者都会遇到这个坎，如何将Windows数据结构、网络编程等知识整合为完整的项目。本文将深入解析一个基于C++Qt开发的企业级文件传输系统，涵盖TCP通信、断点续传、SSL加密、SQLite持久化等核心技术。（项目源码来文章底部拿）一、系统核心功能1.基础通信能力双工消息传输（支持中文字符）文件传输进度条同步（4KB分块策略）传输完整性验证（安装包可执行性测试）2.高级特性断点续传（记录已传
十年编程老舅·2025-03-12 03:28

【AI深度学习网络】Transformer时代，RNN（循环神经网络）为何仍是时序建模的“秘密武器”？

引言：什么是循环神经网络（RNN）？循环神经网络（RecurrentNeuralNetwork,RNN）是一种专门处理序列数据（如文本、语音、时间序列）的深度学习模型。与传统神经网络不同，RNN具有“记忆”能力，能够通过内部状态（隐藏状态）保留历史信息，从而捕捉序列中的时间依赖关系。在自然语言处理、语音识别、时间序列预测等领域，数据本质上是序列化的——即当前数据点与前后数据点存在依赖关系。传统的前
arbboter·2025-03-12 02:18

第6篇：Transformer架构详解（下）：多头注意力机制与位置编码

Transformer模型自提出以来，已经在自然语言处理（NLP）领域取得了巨大的成功。其核心创新包括多头注意力机制和位置编码，这些技术使得Transformer能够高效处理长序列数据。
Gemini技术窝·2025-03-12 00:00

第 146 题「LRU缓存机制」（手撸LRU算法）

首选用比较通俗的语言来讲一讲LRU算法，那手机内存来举例子，就是当内存超出了手机设置的内存后，就要删除了内存，那删除那部分内存呢，LRU算法就是提供一个策略来选择那些需要缓存需要被删除掉，就是谁隔得最远就删除掉谁。LRU算法的描述怎么描述呢，其实上述描述的就是LRU算法要实现的逻辑只不多是人能理解的活，那么如何从写代码的角度来说一下实现LRU算法的逻辑呢，这个时候就要通过基础的数据结构结合来讲LR
冰火同学·2025-03-11 20:29

从单品到全盘：解锁服装商品企划的全局密码

全局思维，服装行业的胜负手？在如今的服装行业，竞争可谓是白热化状态。从繁华都市的街头巷尾，到电商平台的虚拟世界，各类服装品牌如雨后春笋般涌现，让人目不暇接。
·2025-03-11 19:34

仅仅使用pytorch来手撕transformer架构(4)：解码器和解码器模块类的实现和向前传播

仅仅使用pytorch来手撕transformer架构(4)：解码器和解码器模块类的实现和向前传播仅仅使用pytorch来手撕transformer架构(1)：位置编码的类的实现和向前传播最适合小白入门的
KangkangLoveNLP·2025-03-11 17:07

从零手撕 LLaMa3 项目爆火（图解+代码）

节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。汇总合集《大模型面试宝典》(2024版)发布！一个月前，Meta发布了开源大模型llama3系列，在多个关键基准测试中优于业界SOTA模型，并在代码生成任务上全面领先。此后，开发
机器学习社区·2025-03-11 16:27

基于transformer实现机器翻译(日译中)

使用编码器—解码器和注意力机制来实现机器翻译模型2.0含注意力机制的编码器—解码器2.1读取和预处理数据2.2含注意力机制的编码器—解码器2.3训练模型2.4预测不定长的序列2.5评价翻译结果三、使用Transformer
小白_laughter·2025-03-11 15:46

【Hugging Face】transformers 库中 model 的常用方法和属性

HuggingFacetransformers库中model的常用方法和属性在transformers库中，model代表预训练的Transformer模型，可用于文本分类、问答、文本生成等任务。
彬彬侠·2025-03-11 11:53

【Hugging Face】transformers 库中 model.generate() 方法：自回归模型的文本生成方法

HuggingFacemodel.generate方法model.generate是transformers库中的文本生成（TextGeneration）方法，适用于自回归模型（如GPT-2、T5、BART
彬彬侠·2025-03-11 11:52

BERT（Bidirectional Encoder Representations from Transformers）的序列分类模型，简单学习记录

一、代码#本地离线模型使用fromtransformersimportAutoModelForCausalLM,AutoTokenizer,pipeline,BertForSequenceClassification
努力努力再努力呐·2025-03-11 11:16

PyTorch实现CNN：CIFAR-10图像分类实战教程

全面掌握LangChain：从核心链条构建到动态任务分配的实战指南04-玩转LangChain：从文档加载到高效问答系统构建的全程实战05-玩转LangChain：深度评估问答系统的三种高效方法（示例生成、手
吴师兄大模型·2025-03-11 11:44

二手劳力士价格暴跌，跌幅比房价还高，昔日的保值神器，怎么一下子就跌了这么多？

二手劳力士价格暴跌的现象，是多重因素共同作用的结果，涉及市场供需失衡、品牌策略调整、经济环境变化以及消费观念转型等。
日记成书·2025-03-11 09:37

【大模型开发】大模型背后的基础组件与生态概览

本文将介绍其中几大核心组件和框架，包括HuggingFaceTransformers、DeepSpeed、Megatron-LM，以及其他相关工具和方法，展示它们在训练效率
云博士的AI课堂·2025-03-11 08:56

2025年渗透测试面试题总结-快某手-安全实习生（一面、二面）（题目+回答）

目录快某手-安全实习生一面一、Linux操作：查看进程PID的5种方法二、Elasticsearch（ES）核心要点三、HTTPS建立过程（TLS1.3优化版）四、Python内存管理机制五、深拷贝与浅拷贝对比六
独行soc·2025-03-11 05:04

在vue3中使用Mermaid创建可动态生成的时序图

有手就行的：用Mermaid创建自己的时序图一、Mermaid的安装在vue3中使用Mermaid时，需要npm一下npminstallmermaid完事之后这样引用importmermaidfrom'mermaid
充气大锤·2025-03-11 04:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他