自阅第3页

happy-llm 第二章 Transformer架构

文章目录一、注意力机制核心解析1.1注意力机制的本质与核心变量1.2注意力机制的数学推导1.3注意力机制的变种实现1.3.1自注意力（Self-Attention）1.3.2掩码自注意力（MaskedSelf-Attention

weixin_38374194·2025-07-06 09:55

Nystromformer：一种基于 Nyström 方法的自注意力近似算法

1.摘要Transformer已经成为广泛自然语言处理任务中的强大工具。推动Transformer展现出卓越性能的一个关键组件是self-attention机制，它对每个token编码了其他token的影响或依赖关系。虽然self-attention机制具有诸多优势，但其在输入序列长度上的二次复杂度限制了其在较长序列上的应用——这是当前社区积极研究的一个主题。为了解决这一限制，我们提出了Nystr

AI专题精讲·2025-07-06 09:24

协同过滤算法：挖掘用户偏好，精准推荐商品

自20世纪90年代提出以来，协同过滤算法已经在电子商务、社交媒体、音乐视频等多个领域中广泛应用，取得了显著的推荐效果。协同过滤算法主要分为基于用户的协同过滤和基于物品的协同过滤两种。

AI大模型应用实战·2025-07-06 08:21

性能更优越的国产替代电源模块 —— GC4644N

近期印巴冲突再度升级，这场自1971年以来最严重的军事对抗在2025年5月全面爆发，印度与巴基斯坦在克什米尔地区展开激烈交火。

上海宸屿电子·2025-07-06 04:26

TikTok电商广告重大调整：GMVmax全面取代传统广告模式

TikTok平台近期发布重要公告：自6月25日起，所有新开店铺将强制使用GMVmax广告系统，现有店铺也需在7月15日前完成切换。

推广小赵·2025-07-06 04:52

韦东山嵌入式入门笔记之——应用开发基础篇（二）

Makefile带来的好处就是——“自

·2025-07-06 01:34

人工智能赋能气象气候：从数据智能到预测创新的融合之路

与此同时，人工智能（AI），尤其是以深度学习为代表的机器学习方法，近年来在图像识别、自

慌ZHANG·2025-07-06 00:30

计算机视觉中的Transformer：ViT模型详解与代码实现

计算机视觉中的Transformer：ViT模型详解与代码实现关键词：计算机视觉、Transformer、ViT、自注意力机制、图像分块摘要：传统卷积神经网络（CNN）统治计算机视觉领域多年，但2020

AI大模型应用工坊·2025-07-05 22:16

传统预测学对于预测自然灾害与重大灾害可行性之辨

传统预测学对于预测自然灾害与重大灾害可行性之辨人类自诞生起便始终面对自然狂暴力量的威胁。

月_o9·2025-07-05 20:56

Flink MongoDB CDC 环境配置与验证

依赖ChangeStreams特性，需满足以下条件：版本要求：MongoDB≥3.6集群模式：副本集（ReplicaSet）或分片集群（ShardedCluster）存储引擎：WiredTiger（默认自3.2

Edingbrugh.南空·2025-07-05 19:50

Java对象哈希值深度解析

Java中所有类都继承自Object类，其hashCode()方法是一个本

小W求学之旅·2025-07-05 14:44

MOBILEVIT: 轻量级、通用且适用于移动设备的视觉Transformer

为了学习全局表示，基于自注意力的视觉Transformer（ViT）被采用。与CNN不同，ViT是重量级的。

AI专题精讲·2025-07-05 12:01

Apache Maven Compiler Plugin 安装与使用指南

自第

韦元歌Fedora·2025-07-05 10:49

ASP.NET+C#面试题

1.维护数据库的完整性、一致性、你喜欢用触发器还是自写业务逻辑？为什么？

weixin_30879169·2025-07-05 06:50

mysql -- WITH RECURSIVE 语法

递归CTE非常适合于查询具有层次结构或树状结构的数据，例如组织结构、文件系统或任何其他具有自引用关系的数据。

·2025-07-05 05:15

数组排序求最小交换次数

我们可以遍历数组，对于每个元素，我们将该元素和它正确的位置建边，最后一定是1∼n个环（自环也算）。对于有k个元素的环，最少交换次数为k−1。假设共有p个环，对于第i个环，有ki个元素，则它的

Unlimitedz·2025-07-05 02:58

android号码查询归属地,号码归属地识别-Android电话应用

题记自研的电话应用中，有两处使用了号码归属地，一处是通话记录页，一处是通话界面；那么它们是如何实现的呢？下面进行一步一步的分析。

倾城落雪·2025-07-05 00:48

C语言中的短路现象

= 0; b = 1; c = 2; d = a++ && b++ && --c; printf("a=%d b=%d c=%d d=%d\n",a,b,c,d);}因为a++是先判断a的值再自

·2025-07-04 22:29

FocalNet：焦点调制网络

摘要我们提出了焦点调制网络（简称FocalNets），在该网络中，自注意力（self-attention，SA）被完全替换为焦点调制模块，用于建模视觉中的token交互。

AI专题精讲·2025-07-04 18:03

车载软件架构 --- SOC具备安卓系统ECU完整启动流程

纵你阅人何其多，再无一人恰似我。时间不知不觉中，来到新的一年。2025开始新的忙碌。成年人的我也不知道去哪里渡

汽车电子实验室·2025-07-04 16:19

人大金仓 vs MySQL 窗口函数：三大核心差异与实战对比

一、窗口函数的演进与挑战窗口函数（WindowFunctions）自MySQL8.0引入以来，已成为数据分析和业务报表开发的核心工具。

·2025-07-04 13:56

Day44

再迁移到下游任务微调2.常见模型：图像有AlexNet、ResNet、ViT；NLP有BERT、GPT3.图像模型发展：从手工特征到深度学习，从CNN到Transformer、多模态4.预训练策略：数据增强、自监督

·2025-07-04 12:19

创客匠人：知识变现赛道中创始人 IP 打造的底层逻辑

在知识付费行业蓬勃发展的当下，如何让专业知识突破“自嗨”困境，实现商业价值与社会价值的统一？创客匠人通过数千个案例的实践探索，揭示了一个核心规律：创始人IP打造与知识变现的深度结合，是破局的关键所在。

·2025-07-04 10:07

Termux备份与恢复

转载自：https://bbs.zsxwz.com/thread-3473.htm好不容易才安装了各种软件，环境等等，因此做一个备份有时候还是必要的，以免一时手贱。

龙潜月七·2025-07-04 08:22

JAVA八股文：异常有哪些种类，可以举几个例子吗？Throwable类有哪些常见方法？

Throwable、Error与Exception所有的异常类型都继承自java.lang.Throwable。

Hellyc·2025-07-04 01:09

Llama改进之——RoPE旋转位置编码

引言旋转位置编码(RotaryPositionEmbedding,RoPE)将绝对相对位置依赖纳入自注意力机制中，以增强Transformer架构的性能。

愤怒的可乐·2025-07-04 01:37

PyTorch-Llama: 从零开始实现LLaMA 2模型教程

该模型是一个强大的自回归语言模

乔昕连·2025-07-04 00:05

故障诊断：smon回滚异常导致实例crash

本文转自朋友的真实案例分享。故障诊断：smon回滚异常导致实例crash某省电力系统的一个4节点rac，2节点在早上的时候crash。WedNov0307:59:052021SMON:Restarti

·2025-07-03 23:58

解密GPT工作原理：Transformer架构详解与自注意力机制剖析

解密GPT工作原理：Transformer架构详解与自注意力机制剖析关键词：GPT、Transformer、自注意力机制、神经网络、语言模型、深度学习、人工智能摘要：本文将深入浅出地解析GPT模型的核心架构

AI智能应用·2025-07-03 23:25

C++为什么中不应该返回局部变量的地址

最近在写代码的时候遇到返回局部变量的引用问题，认识不是很清晰，下面是转自http://blog.csdn.net/tujinqiuqq85948239/article/details/27236677博文的详细解释

i love 3·2025-07-03 21:41

android原生睡死,Android消息推送关键技术之休眠唤醒

Android休眠机制由于Android系统是基于Linux内核的，所以Android系统地休眠机制也继承自Linux，并且在

·2025-07-03 20:40

在设计提示词（Prompt）时，关于信息位置的安排z怎么结合模型特性和任务目标

从自注意力机制的原理及应用场景来看，关键信息的位置选择需遵循以下启示，并结合具体场景灵活调整：一、核心启示：提示词的“信息权重”与“位置效应”1.最后位置的信息更易被模型“重点处理”原理：生成任务中（如文本续写

ZhangJiQun&MXP·2025-07-03 18:18

Python 与面向对象编程（OOP）

以下是Python面向对象编程的核心特性、优势和局限性的全面解析：一、Python的OOP核心特性1.万物皆对象Python中所有数据类型（如整数、字符串）均为对象，继承自object基类。

lanbing·2025-07-03 16:05

【学习】微信小程序开发指南：从零开始的完整实践

前言微信小程序作为腾讯推出的轻量级应用平台，自2017年正式发布以来，已经成为移动互联网生态中不可或缺的一部分。

·2025-07-03 16:04

大语言模型：是逐字生成还是一次多词？

也能实现一次生成多个token核心差异源于解码策略与模型架构设计一、常规“逐个生成”模式（基础逻辑）多数入门级演示或简单文本生成中，LLM会默认按“生成一个token→拼接回输入→再生成下一个”的流程，本质是自回归

ZhangJiQun&MXP·2025-07-03 14:51

JWT认证性能优化实战指南

JWT（JSONWebToken）以其自包含、自验证、跨语言支持等优点，在分布式环境中广泛应用。但在高并发场景下，JWT的解析、签名与验证过程可能成为性能瓶颈。

·2025-07-03 13:15

这些面试问题，最好提前准备

回答思路面试官：“请你介绍一下自

·2025-07-03 13:00

电子电气架构 --- 电子电气架构设计平台

纵你阅人何其多，再无一人恰似我。时间不知不觉中，来到新的一年。2025开始新的忙碌。成年人的我也不知道去哪里渡

汽车电子实验室·2025-07-03 12:07

小米发布会定档，自研芯片、小米 YU7将亮相，参数先睹为快

5月19日，有消息称，小米将在5月22日举行的15周年战略发布会上一口气公布两件重磅新——自研手机SoC芯片玄戒O1，以及首款纯电SUV车型YU7。

·2025-07-03 10:20

Python Day57

Task：1.序列数据的处理：a.处理非平稳性：n阶差分b.处理季节性：季节性差分c.自回归性无需处理2.模型的选择a.AR§自回归模型：当前值受到过去p个值的影响b.MA(q)移动平均模型：当前值收到短期冲击的影响

别勉.·2025-07-03 07:58

mysql数据一致性

前言美团酒店直连项目自2013年末开始，通过业务上的不断完善和技术上的不断改进，至今已经接入200多家供应商，其中在线酒店3万以上，在线SPU30万以上。

·2025-07-03 06:26

Kafka 核心机制面试题--自问自答

基础篇Q1:Kafka为什么能这么快？A:Kafka的高性能主要来自三大核心技术：零拷贝(Zero-Copy)：通过sendfile()系统调用，数据直接从磁盘到网卡，避免了内核态和用户态之间的多次拷贝页缓存(PageCache)：消息直接写入操作系统页缓存而非JVM内存，减少GC影响并利用OS缓存机制内存映射(mmap)：索引文件通过内存映射实现，操作内存即操作文件Q2:Kafka的存储结构是怎

亲爱的非洲野猪·2025-07-03 06:20

FAISS 简介及其与 GPT 的对接（RAG）

大规模向量相似性搜索高维向量最近邻检索向量聚类https://github.com/facebookresearch/faissFAISS特别适合处理高维向量数据，能够快速找到与查询向量最相似的向量，广泛应用于推荐系统、图像检索、自

言之。·2025-07-03 05:17

大模型-FlashAttention 算法分析

（自注意力时间和显存复杂度与序列长度成二次方），现有近似注意力方法，

清风lsq·2025-07-03 05:46

高精度相机：工业自动化的“慧眼”，驱动智能制造新未来

迁移科技，自2017年成立以来，已成长为行业领先的3D工业相机和3D视觉系统供应商。

lingling009·2025-07-03 00:06

D-FINE使用pth权重批量推理可视化图片

D-FINE是一款功能强大的实时物体检测器，它将DETRs中的边界框回归任务重新定义为细粒度分布细化（FDR），并引入了全局最优定位自蒸馏（GO-LSD），在不引入额

悠悠海风·2025-07-03 00:05

Muduo 定时器

TimeQueue定时器图片转载自:muduo网络库源码解析(4):TimerQueue定时机制_李兆龙的技术博客_51CTO博客添加新的定时器TimerIdTimerQueue::addTimer(TimerCallbackcb

小白书舍·2025-07-02 19:25

Apache HTTP Server部署全攻略

自1995年首次发布以来，Apache一直是Web服务器领域的领导者，以其稳定性、安全性和灵活性著称。

Sally璐璐·2025-07-02 14:50

京东外卖服务商申请必看！官方渠道vs本地生活服务商系统，究竟哪个更适合普通创业者？

自京东外卖入局至今，虽然已经过去了好几个月的时间，但是，想要做京东外卖服务商的人，却还是只增不减。

互联网动态分析·2025-07-02 13:45

欢乐熊大话蓝牙知识24：LE Secure Connections 是 BLE 的安全升级术

一句话解释：LESecureConnections是BLE自4.2版本引入的“升级配对方式”，它不再是“小打

欢乐熊嵌入式编程·2025-07-02 13:43

推荐频道

自阅