自注意力机制发展历程

DeepSeek推理模型架构以及DeepSeek爆火的原因

大家好，我是微学AI，今天给大家介绍一下DeepSeek推理模型架构以及DeepSeek爆火的原因，DeepSeek推理模型凭借其创新的混合专家（MoE）架构和优化的Transformer架构，融合稀疏注意力机制
微学AI·2025-02-18 03:06

【LLM】大模型基础--大规模预训练语言模型的开源教程笔记

从生成文本的方式来看，LM（languagemodle）可以简单的分为：自回归模型非自回归模型特点逐字生成文本，每个词的生成都依赖于上文，关联性好一次性生成整个文本序列，不捕捉上文信息优点内容质量高生成速度快
Langchain·2025-02-18 02:00

大语言模型（LLM）如何实现上下文的长期记忆？

传统LLM的上下文长度通常受限于计算资源和架构设计（如注意力机制），这限制了其处理长文档或保持复杂对话连续性的能力。本篇文章将深入探讨大语言模型的上下文记忆问题，分析其技术难点，并
·2025-02-18 00:06

装配式建筑4.0：建筑业的高效、环保与智能化未来

装配式建筑4.0的发展历程，见证了建筑工业化的不断升级和进步。从最初的预制构件到装饰一体化构件，再到整体厨卫与三维构件的应用
科技在线·2025-02-17 23:48

transformer概述

自2017年由Vaswani等人提出以来，Transformer经历了多次优化和扩展，成为深度学习领域的基石。
沉墨的夜·2025-02-17 22:13

Python中LLM的稀疏Transformer架构：Longformer与BigBird

2.2BigBird2.2.1随机注意力2.2.2局部注意力2.2.3全局注意力2.2.4实现3.稀疏Transformer架构的优势4.稀疏Transformer架构的挑战5.未来发展方向5.1更高效的稀疏注意力机制
二进制独立开发·2025-02-17 22:36

【OSTEP】操作系统导论-精翻讲解：第五章-进程API

本文所有涉及的图片及内容皆引用自：OperatingSystems:ThreeEasyPieces作者：RemziH.Arpaci-DusseauandAndreaC.Arpaci-Dusseau(Un
Refulic.·2025-02-17 21:00

Qt QGroupBox 组件总结

继承关系：继承自QWidget，具备所有QWidget的功能，同时支持分组布局和可选的复选框功能。
enyp80·2025-02-17 21:56

AI 大模型应用数据中心建设：高性能计算与存储架构

首先回顾了AI大模型的发展历程和数据中心的含义，然后详细解析了高性能计算架构，包括计算节点、编程模型和网络技术。接着，讨论了存储架构，包括存储类型、分布式存储系统和数据一致性策略。本文还提
AI天才研究院·2025-02-17 20:21

YOLO系列版本迭代：从YOLOv1到YOLOv11的技术演进

YOLO系列版本迭代：从YOLOv1到YOLOv11的技术演进YOLO（YouOnlyLookOnce）系列目标检测算法自2016年首次发布以来，凭借其高效的实时检测能力，迅速成为计算机视觉领域的热门研究方向之一
金外飞176·2025-02-17 20:19

AIMv2：多模态自回归预训练的视觉新突破

AIMv2：多模态自回归预训练的视觉新突破阅读时长：19分钟发布时间：2025-02-17近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎LLM
·2025-02-17 20:28

C语言中的类型转换：自动与强制转换的全解析

自动类型转换（隐式转换）自
时倾708·2025-02-17 19:46

C++11之constexpr

注：大前提，本篇文章是在介绍C++11中的constexpr，自C++14以来constexpr有了非常大的改动，如在实验中遇见与本文不符的地方还先请查阅其他资料，确定为本文错误后可留言，我会虚心接受并改正
kazamata·2025-02-17 19:45

学C++，赢好礼！写下你的学习笔记，成为技术分享达人！

自「侯捷C++系列课程」上线以来，已吸引了无数开发者的关注与参与，为激发学员的学习热情，增加知识点的理解与应用，同时增加课程的曝光度，特策划了侯捷C++系列课程学习笔记征文活动，并单独开设12节免费课时供大家观看学习
CSDN资讯·2025-02-17 18:00

人工智障的软件开发-自动流水线CI/CD篇-docker+jenkins部署之道

虽然年迈但依然能战）需求分析：论碳基生物的认知进化人类需求翻译矩阵表层需求：“写一个软件”实际需求：“写代码并自动完成测试/打包/部署的流水线，最后自动部署一个系统哟”隐藏需求：“想要偷懒又不想承认的自
Yuanymoon·2025-02-17 17:27

红 - 黑树和 B+树？

红黑树是一种自平衡二叉查找树，由RudolfBayer发明，在1978年被LeoJ.Guibas和RobertSedgewick改称为“红黑树”。
百态老人·2025-02-17 16:43

ReentrantLock 公平锁与非公平锁的源码实现分析

一、ReentrantLock的锁类型ReentrantLock内部通过Sync类（继承自AbstractQueuedSynchronizer）实现锁机制，其子类FairSync（公平锁）和NonfairSync
·2025-02-17 15:19

ReentrantLock 公平锁与非公平锁的源码实现分析

一、ReentrantLock的锁类型ReentrantLock内部通过Sync类（继承自AbstractQueuedSynchronizer）实现锁机制，其子类FairSync（公平锁）和NonfairSync
·2025-02-17 15:40

【深度学习基础】什么是注意力机制

文章目录一、注意力机制的核心地位：从补充到主导二、技术突破：从Transformer到多模态融合三、跨领域应用：从NLP到通用人工智能四、未来挑战与趋势结语参考链接注意力机制：深度学习的核心革命与未来基石在深度学习的发展历程中
我的青春不太冷·2025-02-17 14:26

数据结构：图；邻接矩阵和邻接表

2.具体例子：一.无向图邻接矩阵示例：示例图（顶点：A、B、C，边：A-B、B-C）：邻接矩阵：ABCA010B101C010特点：矩阵对称，主对角线为0（无自环边）。
muxue178·2025-02-17 14:24

pytest.fixture详解：如何有效管理测试的前置条件与后置条件

测试函数中的夹具会自
测试不打烊·2025-02-17 14:54

C++自研游戏引擎-碰撞检测组件-八叉树AABB检测算法实现

八叉树碰撞检测是一种在三维空间中高效处理物体碰撞检测的算法，其原理可以类比为一个管理三维空间物体的智能系统。这个示例包含两个部分：八叉树部分用于宏观检测，AABB用于微观检测。AABB可以更换为均值或节点检测来提高检测精度。八叉树的构建确定根节点范围首先要为整个碰撞检测系统确定一个初始范围，这就像是为所有参与碰撞检测的物体划定一个“活动区域”。这个范围是一个能够完全容纳所有待检测物体的三维立方体空
千年奇葩·2025-02-17 13:17

【深度解析】ICLR：人工智能领域的顶级学术会议 | 顶会与SCI期刊的区别全攻略

自2013年由深度学习三巨头中的YoshuaBengio和YannLeCun创办以来，ICLR迅速崛起，成为全球科研人员争相投稿的学术盛会。那么，ICLR
X_taiyang18·2025-02-17 13:44

ARIMA差分自回归移动平均模型--时间序列预测

ARIMA差分自回归移动平均模型1、ARIMA模型理论基础2、ARIMA建模步骤3、ARIMA建模实战3.1导入模块3.2加载数据3.3平稳性检验3.4单位根检验3.4白噪声检验3.5模型定阶3.6参数估计
别团等shy哥发育·2025-02-17 12:10

【论文精读】MotionLM

【论文精读】MotionLM1背景2存在的问题3具体方案轨迹转运动序列模型轨迹去重和聚类loss1背景团队：Waymo时间：2023.9代码：简介：采用自回归的方式做轨迹生成，能够更好地建模交互，且避免模态坍缩
EEPI·2025-02-17 12:37

【论文精读】Sparse4D v2: Recurrent Temporal Fusion with Sparse Model

2存在的问题2.1其他稀疏3D检测的问题PETR是query-based方法，但是为了实现特征融合，进行了全局注意力机制，导致高计算量。
EEPI·2025-02-17 12:36

DeepSeek底层揭秘——多头潜在注意力MLA

应用场景7.实际案例：DeepSeek8.最新研究与技术进展9.未来趋势猫哥说1.多头潜在注意力（MLA）(1)定义“多头潜在注意力（Multi-HeadLatentAttention,MLA）”是一种基于注意力机制的深度学习方法
9命怪猫·2025-02-17 11:33

中烟创新为千行百业客户免费部署DeepSeek，让AI应用遍地开花

北京中烟创新科技有限公司（简称：中烟创新）自今日起为千行百业的客户免费部署DeepSeek提供技术服务。此次免费部署面向所有行业的客户，将根据企业的具体需求，提供定制化的DeepSeek部署方案。
·2025-02-17 10:33

从零开始入门 K8s | Kubernetes 网络模型进阶

个人博客导航页（点击右侧链接即可打开个人博客）：互联网老兵带你入门技术栈本文整理自《CNCFxAlibaba云原生技术公开课》第25讲，点击直达课程页面。
jishulaozhuanjia·2025-02-17 10:55

【etcd】ubuntu22安装，与redis对比的区别

服务：sudosystemctlstartetcd验证安装：etcdctlversion如果输出类似以下内容，表示安装成功：etcdctlversion:3.4.20APIversion:3.4设置开机自启
{⌐■_■}·2025-02-17 09:42

ATITIT 后发优势 后发劣势 vs 先发优势的思考 目录 1.1. “后发优势” 1 1.2. “后发劣势”论 1 1.3. 科技、经济界有两种矛盾的说法“后发优势”和“后发劣势” 1 2

“后发劣势”论11.3.科技、经济界有两种矛盾的说法“后发优势”和“后发劣势”12.发展历程1962年创立了后发优势理论32.1.含义42.2.现实意义72.3.来源92.4.举例12“后发优势”指的是后发展的国家可以从先发达国家那里很快模仿到技术
attilax·2025-02-17 09:40

AI大模型的技术突破与传媒行业变革

这一突破的核心在于三大技术创新：MoE架构升级：通过部署256个细粒度专家网络，减少知识冗余，提升模型效率；MLA注意力机制：动态压缩推理过程中的缓存需求，降低GPU内存
AIQL·2025-02-17 07:52

C语言结构体，枚举，联合，位断等自定义类型详解

目录结构体1.结构体声明2.结构体成员的访问3.结构体自引用4.结构体变量定义，初始化，传参5.结构体内存对齐位段1.什么是位段？
myloveasuka·2025-02-17 03:26

「架构」SOA（面向服务的架构）

SOA基于服务的概念，服务是自包含的、模块化的软件组件，可以被不同的应用程序或业务流程调用。核心功能：服务识别与定义：识别业务功能并将其定义为独立的服务。服务抽象：隐藏服务内部实现的细节，只暴露接口。
吴维炜·2025-02-17 00:32

轻量级的注意力网络（LANMSFF）模型详解及代码复现

注意力机制：引入了一种新的注意力机制，能够有效地捕捉图像中的关键特征，提高模型的表达能力。多尺度特
清风AI·2025-02-17 00:02

面向服务架构（SOA）详细介绍

2.核心概念服务（Service）:一个自包含的功能单元，提供特定的业务功能。服务接口（ServiceInterface）:定义了服
huaqianzkh·2025-02-16 23:27

LLaMA3大模型技术全网最全解析——模型架构与训练方法（收录于GPT-4/ChatGPT技术与产业分析）

（点赞是我们分享的动力）--------------------------------------------------主编作者陈巍博士，高级职称，曾担任华为系相关自
chenweiPhD·2025-02-16 21:15

Wiki.js 集成 Artalk 评论系统配置指南

Wiki.js集成Artalk评论系统配置指南一、Artalk核心优势开源性质采用MIT许可证的自托管评论系统，支持全平台集成数据控制评论数据存储在自有服务器，避免第三方服务依赖轻量化架构Go语言开发的后端服务
运维小弟| srebro.cn·2025-02-16 20:03

AUTOSAR从入门到精通-【应用篇】基于AUTOSAR的AT自动变速器控制系统故障诊断

换挡执行机构2.2AT自动变速器控制系统组成2.2.1液压控制系统2.2.2电子控制系统2.3AT自动变速器工作原理3基于AUTOSAR的AT自动变速器运行状态监测3.1AT自动变速器的状态参数3.1.1AT自
格图素书·2025-02-16 19:25

Deepseek详细的自我介绍

###**DeepSeek：中国自研AGI大模型的深度解析**---####**1.技术背景与研发理念**DeepSeek由国内顶尖AI科学家团队领衔，核心技术成员来自清华大学、北京大学及国际顶级AI实验室
welcome_123_·2025-02-16 16:06

HTTP 协议的基本格式

HTTP协议("超文本传输协议")，是一个被广泛使用应用层协议，自1991年正式发布HTTP协议以来，HTTP协议就一直在更新，目前已经更新到3.0版本，但是目前主流的依旧是1.1版本，但依旧是一个最主流使用的应用层协议
a添砖Java·2025-02-16 16:36

PyQt5之按钮

1.QAbstractButton(1)描述所有按钮控件的基类，提供按钮的通用功能，继承自QWidget(2)功能作用1）提示文本setText(str)#设置按钮提示文本text()#获取按钮提示文本案例
threesevens·2025-02-16 15:58

【19. C++ 日期与时间的使用与深入解析】

这些工具不仅继承自C语言，而且提供了处理时间和日期的强大能力。理解如何操作时
涛ing·2025-02-16 15:24

C#如何将目标格式转换为字符串

这里有几种常见的方法来实现这一目标：使用ToString()方法：所有C#中的类型都继承自System.Object类，该类提供了一个ToString()方法，用于返回对象的字符串表示。
Luxhalo·2025-02-16 14:51

rustdesk远程桌面使用

-overlay的镜像服务端部署3.声明简介为什么使用rustdesk，因为向日葵，todesk，免费版本的有各种各样的坑，比如限制你的登录，需要你重新登录使用，画面模糊，限制你的流量网速等等，还不如自搭
m0_74823388·2025-02-16 14:19

文心一言 ，免费使用

百度官方公众号发布消息，文心一言宣布自4月1日起全面免费开放，PC端和APP端用户均可体验其最新模型。
悟空码字·2025-02-16 14:47

【吾爱出品】 [Windows] 一键定时自动化任务神器ztasker——支持任务分组+定时任务执行

简言之，比系统自
私人珍藏库·2025-02-16 13:44

字节跳动实习生和校招生内推

机器学习框架，如Pytorch、Tensorflow、DGL、Pyg、Sklearn等；3、熟悉机器学习/图学习/序列学习算法中的一项或者多项，如图建模、时序信号建模、节点/子图分类、社区挖掘、表征学习、自监督
飞300·2025-02-16 10:15

滴滴开源新项目Unify：聚焦Flutter与原生通信难题，助力跨端应用落地

Flutter作为近年来热门的跨端技术，以高性能、自渲染、泛跨端著称，得到广泛应用。在滴滴国际化业务中，我们大量应用Flutter。
滴滴技术·2025-02-16 05:10

Debian1 KubernetesV1.32 NFS搭建

>/etc/exports<自启
十八点四零·2025-02-16 04:02
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他