数据结构之美第22页

transformer之Attention机制及代码实现

目录异同点总结代码实现Self-AttentionCross-AttentionGatedSelf-AttentionGeneralizedQueryAttentionPagedAttentionSelf-Attention：一种Attention机制，用于处理单个输入序列中的依赖关系。Cross-Attention：一种Attention机制，用于处理两个或多个输入序列之间的依赖关系。Gated

AIVoyager·2025-02-02 15:30

MVC 文件夹：架构之美与实际应用

MVC文件夹：架构之美与实际应用引言MVC（Model-View-Controller）是一种设计模式，它将应用程序分为三个核心组件：模型（Model）、视图（View）和控制器（Controller）

lsx202406·2025-02-02 15:57

Redis基础命令之set、zset

1.SetRedis的Set是String类型的无序集合。集合成员是唯一的，这就意味着集合中不能出现重复的数据。1.1SADD--添加一个或多个成员这里添加三个成员到set集合中127.0.0.1:6379>SADDsetmysqljavac++(integer)31.2SMEMBERS--查看成员127.0.0.1:6379>SMEMBERSset1)"c++"2)"java"3)"mysql"

泪染的青空·2025-02-02 14:22

数据结构：时间复杂度和空间复杂度

我们知道代码和代码之间算法的不同，一定影响了代码的执行效率，那么我们该如何评判算法的好坏呢？这就涉及到了我们算法效率的分析了。一、算法效率所谓算法效率的分析分为两种：第一种时间效率，又称时间复杂度。第二种空间效率，又称空间复杂度。其中，时间复杂度主要衡量的是一个算法的运行速度，而空间复杂度主要衡量一个算法所需要的额外空间。二、时间复杂度1、概念算法的时间复杂度其实是一个数学函数，它描述了该算法的运

星迹日·2025-02-02 13:18

数据结构——时间复杂度

前言当你拿到一段代码时，你该如何判断这一段代码算法的好坏程度？有的人会说跑一下（运行一下），事后统计运行时间。当然这样确实能够直观的通过看运行程序所花费时间，但是这存在着一些问题：和机器性能有关超级计算机vs单片机（同样的一段代码一定是超级计算机运行的时间更快）和编程语言有关越高级的语言运行的效率越低编译程序产生的机器指令质量有关有些算法不能事后统计导弹控制算法（不能为了统计算法的效率发射一颗导弹

Lamar Carpenter·2025-02-02 13:46

Spring的设计理念之【事务管理】

Spring框架的事务管理是其核心设计理念之一，旨在简化复杂的事务处理逻辑，提供统一的编程模型，同时支持灵活的事务策略配置。以下是Spring事务管理的关键设计理念和实现机制：一、设计目标解耦业务逻辑与事务管理将事务管理代码从业务逻辑中剥离，开发者只需关注业务逻辑，事务的开启、提交、回滚等由框架统一处理。统一事务抽象提供PlatformTransactionManager接口，抽象不同事务实现（如

冰糖心158·2025-02-02 13:44

【llm对话系统】大模型 Llama 源码分析之并行训练方案

1.引言训练大型语言模型(LLM)需要巨大的计算资源和内存。为了高效地训练这些模型，我们需要采用各种并行策略，将计算和数据分布到多个GPU或设备上。Llama作为当前最流行的开源大模型之一，其训练代码中采用了多种并行技术。本文将深入Llama的训练代码，分析其并行训练方案，主要关注参数并行和部分结构参数共享。2.并行训练策略概述常见的并行训练策略包括：数据并行(DataParallelism,DP

kakaZhui·2025-02-02 13:14

【llm对话系统】大模型 Llama 源码分析之 LoRA 微调

1.引言微调(Fine-tuning)是将预训练大模型(LLM)应用于下游任务的常用方法。然而，直接微调大模型的所有参数通常需要大量的计算资源和内存。LoRA(Low-RankAdaptation)是一种高效的微调方法，它通过引入少量可训练参数，固定预训练模型的权重，从而在保持性能的同时大大减少了计算开销。本文将深入分析LoRA的原理，并结合Llama源码解读其实现逻辑，最后探讨LoRA的优势。2

kakaZhui·2025-02-02 13:14

【llm对话系统】大模型 Llama 源码分析之 Flash Attention

1.写在前面近年来，基于Transformer架构的大型语言模型(LLM)在自然语言处理(NLP)领域取得了巨大的成功。Transformer的核心组件是自注意力(Self-Attention)机制，它允许模型捕捉输入序列中不同位置之间的关系。然而，标准的自注意力机制的计算复杂度与序列长度的平方成正比，这使得它在处理长序列时效率低下。为了解决这个问题，FlashAttention被提出，它是一种高

kakaZhui·2025-02-02 13:43

【Redis】Redis 经典面试题解析：深入理解 Redis 的核心概念与应用

在面试中，Redis是一个高频话题，尤其是其核心概念、数据结构、持久化机制和高可用性方案。1.Redis是什么？它的主要特点是什么？

阿猿收手吧！·2025-02-02 12:36

28岁开始零基础学前端，这些血的教训你一定要避免

数据结构与算法算法看了《剑指offer题解》、《Leetcode题解》这两本书，还是挺有用的，也有刷到的题面试正好碰上了的。编译原理、计算机原理由于编译原理和计算机原理是看的

2501_90336583·2025-02-02 12:06

【自然语言处理（NLP）】基于Transformer架构的预训练语言模型：BERT 训练之数据集处理、训练代码实现

文章目录介绍BERT训练之数据集处理BERT原理及模型代码实现数据集处理导包加载数据生成下一句预测任务的数据从段落中获取nsp数据生成遮蔽语言模型任务的数据从token中获取mlm数据将文本转换为预训练数据集创建

道友老李·2025-02-02 12:04

C# WPF MVVM框架从 .NET，用优雅的架构构建强大的应用程序

在开始编写WPF应用程序之

XsfFsharp·2025-02-02 11:32

Redis | 字典

字典中的每个键都是独一无二的，程序可以在字典中根据键查找与之关联的值，或者通过键来更新值，又或者根据键来删除整个键值对，等等。字典在Redis中的应用相当

瘦弱的皮卡丘·2025-02-02 11:01

Redis | 跳跃表

Redis只在两个地方用到了跳跃表，一个是实现有序集合键，另一个是在集群节点中用作内部数据结构，除此之外，跳跃表在Redis里面没有其他用途。

瘦弱的皮卡丘·2025-02-02 11:01

前端三件套之CSS

CSS：css基本概念CSS（CascadingStyleSheets，层叠样式表）是用于描述HTML文档的样式的语言。它能控制网页的布局、颜色、字体、间距等，帮助设计者呈现出美观的网页1.1css基本语法CSS的基本语法由选择器（selector）、属性（property）和值（value）三部分组成：selector{property:value;}例如我要给p标签添加一个样式（颜色和字体大小

邂逅you·2025-02-02 10:54

操作系统之设备管理

输入输出系统（I/O系统）在操作系统中，I/O（输入输出）系统的不同层次包括了用户层I/O软件、设备无关软件、设备驱动程序、中断处理程序和硬件层。I/O系统主要的任务是：1)按照用户的具体请求，启动设备，通过不同的设备驱动程序，进行实际的I/O操作;I/O操作完成之后，将结果通知用户进程，从而实现真正的I/O操作。2)提高I/O设备速率、改善I/O设备的利用率。3)为更高层进程方便使用设备，提供手

火车驶向云外.11·2025-02-02 10:23

Gurobi基础语法之addVar 和 addVars

addVar和addVars作为Gurobi模型对象中的方法，常常用来生成变量，本文介绍了Python中的这两个接口的使用addVaraddVar(lb=0.0,ub=float('inf'),obj=0.0,vtype=GRB.CONTINUOUS,name='',column=None)lb和ub让变量在生成的时候就有下界和上届，obj确定了生成的变量在目标函数的系数的取值vtype确定了变量

Smark.·2025-02-02 10:52

Android Jetpack 之 Paging3的一些踩坑记录

主要配置一些基本的分页信息，其中部分信息例如页码、需要加载size等信息会在PagingSource的load方法中通过LoadParams传递过来。PagingSource继承该类并实现load方法来加载数据，根据加载情况返回LoadResult.Page或LoadResult.Error。在加载上一页、下一页或刷新都通过这个方法，同时注意suspend修饰。加载状态可通过PagingDataA

全栈_HhM·2025-02-02 09:44

MySQL数据库——事务和索引_龍弟idea

索引的分类：索引准则:索引的数据结构：一、事务：事务是逻辑上的一组操作，要么都成功，要么都失败！

字节全栈_vBr·2025-02-02 09:10

面试之Solr&Elasticsearch

优点：1.Elasticsearch是分布式的。不需要其他组件，分发是实时的，被叫做”Pushreplication”。2.Elasticsearch完全支持ApacheLucene的接近实时的搜索。3.处理多租户（multitenancy）不需要特殊配置，而Solr则需要更多的高级设置。4.Elasticsearch采用Gateway的概念，使得完备份更加简单。5.各节点组成对等的网络结构，某些

字节全栈_vBr·2025-02-02 08:38

58 | 如何判断架构设计的优劣？

KISS全称是KeepitSimple,Stupid，用最直白的话说，“简单就是美”。不增加无谓的复

_Rye_·2025-02-02 07:30

为AI聊天工具添加一个知识系统之82 详细设计之23 符号逻辑 &正则表达式规则之1

本文要点在继续“逻辑符号”的设计中，我们先回顾一个本项目--作为备忘也作为设计中的时刻牢记：回顾项目介绍项目名：为使用AI聊天工具的聊天者开挂一个知识系统项目口号：通过不断完善一个概念整体运营的大局观思想来持续维护一个动态组织社区的公共形象为使用AI聊天工具的聊天者精心打造一个专属知识系统的私密外挂。项目构成：一系（AI操作系统），三台（前台/中台/后台），和三体（整体/集体/个体）--以Dict

一水鉴天·2025-02-02 07:28

智能工厂的设计软件应用场景的一个例子：为AI聊天工具添加一个知识系统之24 重审前端实现：主页页面

本文提要正文1本项目（为AI聊天工具添加一个知识树系统）的主页页面的三个页面版块(注：一个项目的基础版本，它明确给出建模限制what(where，how)并悬置模型本身（内部空出模型--内建，留给内部--待建+持续增强）同时提出扩展版本who（when，why）的原则将扩展留给外部，完善--有待完善+不断完善）。每个都是一种矩阵，但每一个都从系统源流的源头source那里差异化继承了不同属性pro

一水鉴天·2025-02-02 07:28

为AI聊天工具添加一个知识系统之30 概念整体运营平台：中间架构层的broker service的API模型

本文要点本项目（为AI聊天工具增加知识系统）通过完善“公路”的整体概念框架最终(在外部）为三类公共运营性交通工具（（高速-轿车taxi/中速--公交车bus/低速-卡车truck））提供运营平台。该平台对内通过明确交通路线上的三种“端”（end/stop/start）的一般术语框架作为程序的形式化规则起点，并全过程指导最终朝向形式化的每一个步骤的设计、实现和部署（自动化程度不同：人工，半自动化，完

一水鉴天·2025-02-02 07:57

MySQL 索引

MySQL索引1.索引概念2.索引结构3.索引分类4.索引使用4.1单列索引和联合索引4.2覆盖索引4.3前缀索引5.SQL提示6.索引失效情况1.索引概念索引可以理解为MySQL中用来高效检索数据的数据结构

&梧桐树夏·2025-02-02 06:22

深度学习之线性代数

深度学习之线性代数标量如果你从来没有学过线性代数或机器学习，那么你过去的数学经历可能是一次只想一个数字。

ousinka·2025-02-02 06:21

【kubernetes系列】Kubernetes之master和node

在学习k8s之前，必须先了解Kubernetes中的重要概念，它们是组成Kubernetes集群的基石。（参考Kubernetes权威指南）一、MasterKubernetes里的Master指的是集群的控制节点，每个Kubernetes集群里至少需要有一个Master节点负责整个集群的管理和控制，基本上Kubernetes的所有控制命令都发给它，它来负责具体的执行过程，我们后面执行的所有命令基本

margu_168·2025-02-02 05:46

k8s service管理之WEB管理工具Dashboard

Dashboard1.Dashboard概述-Dashboard是基于网页的Kubernetes用户界面。-Dashboard同时展示了Kubernetes集群中的资源状态信息和所有报错信息。-可以使用Dashboard将应用部署到集群中，也可以对容器应用排错，还能管理集群资源。列如，你可以对应用弹性伸缩、发起滚动升级、重启等等。-Dashboard官网：https://github.com/ku

烤鸡翅^_^我最爱吃·2025-02-02 05:16

web安全漏洞之命令注入

命令注入1.什么是命令注入通常情况下，开发者使用一些可以执行命令的函数且未对用户输入进行安全检查时，可以造成命令注入。从CTF的角度来讲,命令注入可以实现：1、直接读取flag2、反弹shell3、利用题目环境漏洞,控制整个题目环境,干扰其他队伍解题在各类编程语言中,都存在直接调用系统命令的函数,比如PHP的system函数,Python的os.system,Java的Runtime.exec都可

rzydal·2025-02-02 05:44

SpringCloud之服务间通信超时：突破微服务的“时间枷锁”

目录引言一、通信超时的“导火索”（一）网络不稳定（二）服务性能瓶颈（三）配置参数不合理二、实战！解决超时的“组合拳”（一）优化超时配置参数1.Ribbon配置2.Feign配置（二）使用断路器（Hystrix）1.原理介绍2.配置与使用（三）服务端性能优化1.代码优化2.资源优化（四）重试机制1.Ribbon重试2.Feign重试三、实战演练：代码示例解析（一）构建简单的SpringCloud项目

奔跑吧邓邓子·2025-02-02 05:14

React学习之相关代码库（三十六）

本章将讲述React代码库的组织，约定，和它的实现方式。如果你想更加关注React，或者说作为开发贡献者，对React进行一些修改，这篇博客或许可以帮到你。当然，我们没必要去过度的关注React应用的约定，因为其中有很多是历史遗留问题，后续版本可能会被pass掉。1.自定义模板系统在Facebook，他们内部人员使用了一个叫做Haste的自定义模板系统，这个系统非常类似CommonJS规范，也使用

77458·2025-02-02 05:42

android嵌入式开发环境搭建，2024最新腾讯Android面试分享

Android开发面试的几部分1、基础知识基础知识包括几个部分：Java（JDK、JVM）、Android、数据结构和算法、计算机基础、设计模式，有的还会问Flutter。

2401_84414990·2025-02-02 03:07

Kafka 之详解(Detailed Explanation of Kafka）

一、Kafka简介ApacheKafka是一款分布式发布-订阅消息系统，由LinkedIn公司在2010年贡献给Apache基金会，并成为顶级开源项目。它有着独特的定位与特点，是一种快速、可扩展，且内在设计就是分布式、分区的以及可复制的提交日志服务。需要注意的是，Kafka并未遵循JMS规范，仅提供发布和订阅这一通讯方式。其官方中文网站为http://kafka.apachecn.org/quic

Linux运维老纪·2025-02-02 03:36

8 比例缩放（scale.rs）

scale.rs代码是几何变换库euclid中典型的数据结构和方法的例子，用于处理二维和三维空间中的缩放变换。一、scale.rs文件源码//!

Source.Liu·2025-02-02 03:05

Allergo-2之创建homogeneous和heterogeneous类型元件库

使用软件allergodesignEntryCIS（OrCAD）操作步骤：homogeneous.即元器件有相同的几个部分组成，比如LM358，它是由2个运算放大器组成的，但是我们可以单独的去操作某一个单独部分的放大器，但是作为一个LM358的元器件封装，我们就需要将他们分为两个。homogeneous即表示几个相同的元件部分homogeneous：各个部分的元器件相同，画出其中一个其他自动生成h

Cy_7927·2025-02-02 02:02

C++蓝桥杯入门训练之Fibonacci数列

C++蓝桥杯题目讲解汇总(持续更新)Fibonacci数列资源限制时间限制：1.0s内存限制：256.0MB问题描述Fibonacci数列的递推公式为：Fn=Fn−1+Fn−2F_n=F_{n-1}+F_{n-2}Fn=Fn−1+Fn−2，其中F1=F2=1F_1=F_2=1F1=F2=1当n比较大时，FnF_nFn也非常大，现在我们想知道，FnF_nFn除以10007的余数是多少。输入格式输入包

Lurkerhunter·2025-02-02 02:28

flume系列之：消费Kafka集群Topic报错java.io.IOException: Can‘t resolve address: data03:9092

flume系列之：消费Kafka集群Topic报错java.io.IOException:Can'tresolveaddress:data03:9092Causedby:java.nio.channels.UnresolvedAddressException

快乐骑行^_^·2025-02-02 01:25

《DirectX 12 3D游戏开发实战》读书笔记1：数学基础

文章目录学习内容内容关于浮点类型误差解决方案参数与D3D数据结构向量类型XMVECTOR与XMFLOATn：XMVECTOR与XMFLOATn的相互转化：取得某个分量或者将某个分量转换为XMVECTOR

tikris·2025-02-02 01:23

[C++]DirectX 12 3D游戏开发实战—第9章学习笔记03 2019.5.4

章学习笔记03词汇内容9.11附有纹理的山川演示程序给陆地网格重复铺设草地纹理根据时间函数令流水纹理延波浪滚动起来9.11.1生成栅格纹理坐标上图是一个m*n的栅格，右侧是在归一化纹理坐标[0,1]2中与之相对应的栅格

卡酷酷·2025-02-02 01:52

数据结构——B树（附C++实现代码）

定义一个m阶的B树是一个有以下属性的树：每一个节点最多有m个子节点每一个非叶子节点（除根节点）最少有⌈m/2⌉个子节点如果根节点不是叶子节点，那么它至少有两个子节点有k个子节点的非叶子节点拥有k−1个键所有的叶子节点都在同一层每一个内部节点的键将节点的子树分开。例如，如果一个内部节点有3个子节点（子树），那么它就必须有两个键：a1和a2。左边子树的所有值都必须小于a1，中间子树的所有值都必须在a1

Richard458·2025-02-02 01:49

Django 模型

Django模型Django模型是Django框架的核心组件之一，它用于定义应用程序的数据结构。在Django中，模型是Python类，通常继承自django.db.models.Model。

wjs2024·2025-02-02 00:47

Camera to NDI 局域网视频传输的高效之选

探索CameratoNDI：局域网视频传输的高效之选前言`在视频技术不断革新的当下，对于低延迟、高质量的局域网视频传输需求日益增长。

weixin_41951035·2025-02-02 00:46

GBase 8a Mpp Cluster集群产品性能优化篇之减少嵌套-查询改写

将group部分移到内部，嵌套查询改成了一个查询原SQL：SELECTAAE003对应费款所属期,AAE002费款所属期,AAA041个人缴费比例,AAA043单位缴费划入个人账户比例,AAA115明细类型,AAE011经办人,AAE036经办时间,BAE181数据来源,AAB191到账日期,NVL(SUM(NVL(AAE180,0)),0)缴费基数,NVL(SUM(个人缴费金额),0)个人缴费金

zhu1981hui·2025-02-01 23:12

Python大数据之PySpark(三)使用Python语言开发Spark程序代码_windows spark python

算子：rdd的api的操作，就是算子，flatMap扁平化算子，map转换算子Transformation算子Action算子步骤：1-首先创建SparkContext上下文环境2-从外部文件数据源读取数据3-执行flatmap执行扁平化操作4-执行map转化操作，得到(word,1)5-reduceByKey将相同Key的Value数据累加操作6-将结果输出到文件系统或打印代码：#-*-codi

2401_84181704·2025-02-01 23:09

python读取nc文件并转换成csv_使用Python截取nc文件数据保存到CSV文件-Go语言中文社区...

问题要求：编写一个函数完成以下任务：截取经度在23°N-40°N，纬度在118°E-131°E范围内各属性不同深度的数据，使用Python中合适的数据结构将截取的数据保存到同名CSV文件中。

达拉崩吧叭叭叭·2025-02-01 23:37

链表简单介绍

链表是一种常见的数据结构，用于存储和组织数据元素的集合。链表中的元素称为节点（Node），每个节点包含两部分：数据域（存储数据的部分）和指针域（指向下一个节点的引用）。

xspwmd·2025-02-01 22:02

nosql与mysql的区别_Mongodb Mysql NoSQL的区别和联系

它支持的数据结构非常松散，是类似于Json的bson格式，因此可以存储比较复杂的数据类型，MongoDB最大的特点是它支持的查询语言方法非常

金七言·2025-02-01 22:31

【Python蓝桥杯备赛宝典】

文章目录一、基础数据结构1.1链表1.2队列1.3栈1.4二叉树1.5堆二、基本算法2.1算法复杂度2.2尺取法2.3二分法2.4三分法2.5倍增法和ST算法2.6前缀和与差分2.7离散化2.8排序与排列

殇在山风·2025-02-01 21:52

8647 实现图的存储结构

SCAU数据结构OJ第六章文章目录8647实现图的存储结构8647实现图的存储结构输入样例4412133441输出样例0110000000011000代码如下：#include#includeusingnamespacestd

软工在逃男大学生·2025-02-01 20:49

推荐频道

数据结构之美