Transformer架构在生成式AI中的应用解析
二进制独立开发
非纯粹GenAI人工智能transformer架构深度学习机器学习tensorflow迁移学习
文章目录1.Transformer架构概述1.1Transformer的核心思想1.2Transformer架构的优势2.Transformer在文本生成中的应用2.1GPT系列:基于Transformer的自回归文本生成2.2BERT系列:基于Transformer的双向编码器3.Transformer在图像生成中的应用3.1VisionTransformer(ViT)3.2DALL·E:基于T
1llama源码学习·model.py[3]ROPE旋转位置编码(1)原理
小杜不吃糖
学习
零:(导学)Transformer位置编码(1)为什么需要位置编码位置编码描述序列中实体的位置信息,为每个位置分配唯一的表示。Transformer使用智能位置编码方案,其中每个位置/索引都映射到一个向量。因此,位置编码层的输出是一个矩阵,其中矩阵的每一行表示序列的编码对象与其位置信息的总和(2)Transformer中的位置编码假设有一个长度为LLL的输入序列,并要求位置kkk为该序列中的对象,
IKM 测试题 - Java SE 8 评估测试题目
843294669
java开发语言
关于JavaSE中this()和super()关键字的使用问题:以下哪些陈述正确描述了JavaSE中this()和super()关键字的使用?选项:如果super()没有被编码,则编译器将生成对零参数超类构造函数的调用。this()和super()可以在同一构造函数中使用。如果使用,this()或super()调用必须始终是构造函数中的第一条语句。this()和super()调用可以在构造函数之外
非对称加密算法——SIDH加密算法
java
JavaSIDH算法解析理论背景1.1后量子密码学随着量子计算机的发展,传统公钥密码体系(如RSA、ECC)面临被Shor算法破解的风险。后量子密码学(Post-QuantumCryptography)研究能够抵御量子攻击的新型加密算法,主要包含以下类型:基于格的密码学基于编码的密码学多元多项式密码学基于超奇异椭圆曲线同源的密码学(SIDH)1.2椭圆曲线基础SIDH基于超奇异椭圆曲线及其同源映射
解决Windows平台下 Visual Studio 中文显示乱码问题
人生三渡
VisualStudiovisualstudio代码规范预编码
目录常用编码格式介绍中文乱码的原因中文乱码的解决方式下载VisualStudio的扩展插件验证是否乱码问题是否解决常用编码格式介绍我们一般常用的就以下几种编码格式:GBK,UTF-8以及Unicode等。GBK:是一种汉字编码规范,它扩展了GB2312编码标准,增加了更多的汉字和符号。GBK详解UTF-8:是针对Unicode的一种可变长度字符编码。它可以用来表示Unicode标准中的任何字符,而
探究Visual Studio中的乱码问题
L-Super
杂记visualstudioide
关于乱码,没遇到皆大欢喜,遇到了头痛不已。在VisualStudio中程序遇到乱码,需要明确三个概念,那么问题就好解决了。三个字符集概念源码字符集MSVC中/source-charset即源代码文本文件的字符集,NodePad++、记事本、VSCode这样类似的文本编辑器,可以打开源文件看一下你的字符集(文件编码)。源代码文本文件是以二进制的形式存在硬盘里的,无论中文英文都一样,当你输入一个汉字后
JAVA面试_进阶部分_正确使用 Volatile 变量
茂茂在长安
JAVAjava面试开发语言
Java语言中的volatile变量可以被看作是一种“程度较轻的synchronized”;与synchronized块相比,volatile变量所需的编码较少,并且运行时开销也较少,但是它所能实现的功能也仅是synchronized的一部分。本文介绍了几种有效使用volatile变量的模式,并强调了几种不适合使用volatile变量的情形。锁提供了两种主要特性:互斥(mutualexclusio
音视频入门基础:RTP专题(18)——FFmpeg源码中,获取RTP的音频信息的实现(上)
崔杰城
音视频技术FFmpeg源码分析音视频ffmpeg
由于本文篇幅较长,分为上、下两篇。一、引言通过FFmpeg命令可以获取到SDP描述的RTP流的的音频压缩编码格式、音频压缩编码格式的profile、音频采样率、通道数信息:ffmpeg-protocol_whitelist"file,rtp,udp"-iXXX.sdp而由《音视频入门基础:RTP专题(17)——音频的SDP媒体描述》可以知道,SDP协议中,a=rtpmap属性和a=fmtp属性中的
VM架构设计文档初稿v0.01
weixin_34128839
devops大数据系统架构
VM架构设计文档初稿v0.01文档介绍本文档是经过讨论,作为VM新架构设计开发中的重要依据。对该架构的整个系统的结构进行详实细致的描述。阐述框架结构,说明该架构所采取的设计策略和所有技术,并对相关内容作出统一的约定。为设计,编码,测试提供可以参考的模板和帮助。提高设计变更开发的效率,将头脑风暴的结果进行的具体的书面呈现。架构设计思想该架构VM以微服务思想为核心进行衍化,兼容DevOps作为主要基础
Shiro反序列化漏洞原理与复现指南
豪门土狗
网络安全笔记linux
0x01漏洞简介ApacheShiro是Java领域广泛使用的安全框架,用于身份认证、权限控制等场景。漏洞背景:Shiro在1.2.5及以下版本中,默认使用硬编码的AES加密密钥(kPH+bIxk5D2deZiIxcaaaA==),攻击者可通过构造恶意RememberMeCookie触发反序列化漏洞,导致远程代码执行(RCE)。影响版本:ApacheShiro≤1.2.5、≤1.5.2(部分版本需
USB 3.0、USB 5Gbps和USB 10Gbps区别
Eternal-Student
5G
文章目录USB3.0、USB5Gbps和USB10Gbps区别标准规范与命名数据传输速度编码方式兼容性外观接口类型应用场景USB3.0与USB2.0兼容性虚拟机设置为USB2.0模式时,接入的U盘无法在卷栏显示驱动问题U盘问题操作系统问题USB3.0、USB5Gbps和USB10Gbps区别标准规范与命名USB3.0:通常指USB3.1Gen1或USB3.2Gen1,理论数据传输速率为5Gbps。
【测试语言篇四】Python进阶篇之json模块
m0_37135615
编程语言pythonphp开发语言
一、json模块介绍JSON(JavaScript对象表示法)是一种轻量级数据格式,用于数据交换。在Python中具有用于编码和解码JSON数据的内置json模块。只需导入它,就可以使用JSON数据了:importjsonJSON的一些优点:JSON作为“字节序列”存在,在我们需要通过网络传输(流)数据的情况下非常有用。与XML相比,JSON小得多,可转化为更快的数据传输和更好的体验。JSON非常
python start函数_Python中10个常用的内置函数
半残大叔霁天
pythonstart函数
大家好,我是小张在3.8版本中,Python解释器有近69个内置函数可供使用,有了它们能极大地提高编码效率,数量虽然不少,但在日常搬砖中只用到其中一部分,根据使用频率和用法,这里列出来几个本人认为不错的内置函数,结合一些例子介绍给大家complex()返回一个形如a+bj的复数,传入参数分为三种情况:参数为空时,返回0j参数为字符串时,将字符串表达式解释为复数形式并返回参数为两个整数(a,b)时,
golang字符串常用的系统函数
平谷一勺
Golang基础篇golangjava开发语言go字符串基本函数字符串常用方法
1.说明字符串在开发中,使用频率非常高,所以我们需要掌握字符串的常用方法。2.统计字符串的长度按字节len(str)go的编码统一为utf-8(ascii的字符字母和数字占一个字节,汉字占三个字节)str:="hello"fmt.Println(len(str))//5str="hello杭"fmt.Println(len(str))//83.字符串遍历处理带有中文的字符串r:=[]rune(st
优化Go错误码管理:构建清晰、优雅的HTTP和gRPC错误码规范
zhuyasen
go开发框架spongegolanghttprpc
在系统开发过程中,如何优雅地管理错误信息一直是个棘手问题。传统的错误处理方式往往存在不统一、难以维护等缺点。而errcode模块通过对错误码进行规范化管理,为系统级和业务级错误提供了统一的编码标准。本文将带您深入了解errcode的设计原理、错误码结构以及详细的使用示例,帮助您构建高效稳定的错误处理机制。一、errcode模块设计原理解析在一个复杂系统中,错误码不仅用于指示错误类型,更承载着对错误
Cursor 终极使用指南:从零开始走向AI编程
二川bro
智能AI前端AI编程
Cursor终极使用指南:从零开始走向AI编程问什么是cursor?mindmaproot(Cursor核心功能)智能编码代码生成自动补全错误修复项目管理多窗口布局版本控制终端集成个性设置主题定制快捷键配置插件扩展AI协作对话编程知识检索文档生成前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,可以分享一下给大家。点击跳转到网站。https://www.captainbed.cn/ccc
Python之项目课
稍微认真一点
python数据库开发语言
1.项目准备1.1.项目创建此处省略一万字...1.2.项目目标创建数据库movie并设置编码格式,并完成t_user(用户信息表)、t_movie(电影信息表)的创建任务;完成用户登录功能,登录成功之后跳转到电影主界面;完成电影排行榜和关键字电影查询功能;完成电影信息图表统计(选作)1.3.项目结构dao |--__init__.py |--movie_dao.py #电影dao层接口类 |
知识库全链路交互逻辑
賢843
软件测试理论基础python
阶段顺序URL输入→网络连接→前端请求→后端处理→数据库交互→数据返回→前端渲染→连接关闭阶段1:用户输入URL用户行为:在浏览器地址栏输入`https://knowledge.com/search?keyword=金融趋势`浏览器动作:“浏览器解析URL:协议补全:若用户省略协议,浏览器自动添加https://(若网站支持HTTPS)字符转义:对中文、空格等特殊字符编码(如金融趋势→%E9%
Mybatis的基本使用
学c真好玩
mybatis
MyBatis简介MyBatis用于持久层框架,持久层是对数据库操作的部分,前版本iBatis由Apache软件基金组织进行更名并维护。特点:简化数据库的操作SQL映射灵活(半ORM框架)支持高级映射易于集成维护配置动态SQL缓存机制功能:替代JDBC,JDBC是java中提供的用于操作数据库的技术及方案数据库的连接控制难。连接池SQL语句硬编码。将sql语句存放到xml配置文件中参数传递问题。提
LLM推理和优化(1):基本概念介绍
AndrewHZ
AI算法工程师面试指北算法LLM语言模型推理优化KVCacheDeepSeek注意力机制
一、LLM推理的核心过程:自回归生成LLM(如DeepSeek、ChatGPT、LLaMA系列等)的推理本质是自回归生成:从初始输入(如[CLS]或用户prompt)开始,逐token预测下一个词,直到生成结束符(如[EOS])。其核心分为两个阶段:1.Initialization阶段(初始化)目标:准备第一个token的生成条件。关键步骤:输入编码:将初始prompt转换为token序列(如[C
⭐算法OJ⭐汉明距离【位操作】(C++ 实现)Total Hamming Distance
Vitalia
算法OJ算法c++开发语言
HammingDistance(汉明距离)是用于衡量两个等长字符串在相同位置上不同字符的个数的度量。它通常用于比较两个二进制字符串或编码序列的差异。定义给定两个长度相同的字符串AAA和BBB,它们的汉明距离D(A,B)D(A,B)D(A,B)是在相同位置上字符不同的位置的数量。示例二进制字符串:A=1011101B=1001001汉明距离D(A,B)=2D(A,B)=2D(A,B)=2(第3位和第
阿里云国际站代理商:怎样量化虚拟世界的QoE体验指标?
linglideman
阿里云
1.沉浸体验质量(QImE)沉浸体验质量主要衡量虚拟世界中视觉和听觉的沉浸感,包括以下几个关键指标:视频质量(QP):考虑视频的平均码率(Brv)、帧率(FR)、分辨率(Rh、Rv)、视场角(FoVh)以及编码标准(Codecv)等因素。音频质量(QA):涉及音频的平均码率(Bra)、声道数(NAC)、采样率(Sra)和编码标准(Codeca)。音视频同步时延(Tasyn):衡量音视频的同步性,影
三分钟掌握音视频信息查询 | 在 Rust 中优雅地集成 FFmpeg
Yeauty
音视频rustffmpeg
前言在音视频处理领域,开发者常常需要获取媒体文件的详细信息,如时长、格式、元数据,以及音视频流的编码参数等。这些信息对于媒体管理、转码调度、播放控制等场景至关重要。然而,直接使用FFmpeg命令行工具或其原生API存在以下挑战:命令行工具的复杂性:FFmpeg的命令行参数众多且复杂,使用不当可能导致错误。例如,处理包含空格的文件名时,需要特别注意正确的转义和引用方式,否则可能导致无法识别文件名的问
责任链模式的C++实现示例
香菇滑稽之谈
C++笔记责任链模式c++开发语言设计模式
核心思想责任链模式是一种行为设计模式,允许多个对象都有机会处理请求,从而避免请求的发送者与接收者之间的耦合。请求沿着处理链传递,直到某个对象处理它为止。解决的问题解耦请求发送者与处理者:请求的发送者无需知道具体由哪个对象处理请求。动态分配责任:可以在运行时动态调整处理链,灵活添加或移除处理者。避免硬编码:避免将请求处理逻辑硬编码在某个类中,提高代码的可扩展性和可维护性。使用场景多级审批流程:如请假
【CSDN|每日一练】编码
海轰Pro
唯有努力算法c++每日一练
目录运行结果题目描述输入描述:输出描述:示例代码结语运行结果题目描述编码工作常被运用于密文或压缩传输。这里我们用一种最简单的编码方式进行编码:把一些有规律的单词编成数字。字母表中共有26个字母{a,b,…,z},这些特殊的单词长度不超过6且字母按升序排列。把所有这样的长度相同的单词放在一起,按字典顺序排列,一个单词的编码就对应着它在整个序列中的位置。你的任务就是对于所给的单词,求出它的编码。输入描
计算机科学与技术python方向_合肥师范学院计算机科学与技术python复习
weixin_39710106
1.计算机是根据指令操作数据的设备,具备功能性和可编程性两个基本特性2.程序设计语言的执行方式有编译执行和解释执行3.语言特点:与平台无关、粘性扩展、开源理念、支持中文、类库丰富4.IPO程序编写方法:input、process、output5.2.x与3.x的区别:(1)修改编码:3.x系列默认采用UTF-8编码;(2)去掉长整数类型:3.x系列不再区分整数和长整数类型,只有int类型,int类
Spring Boot 参数校验异常与错误编码映射方案
robin-cloud
springspringbootspringcloud
一、错误码定义与配置错误码结构采用分层编码格式:[模块][错误类型][序号](如1001表示公共模块参数校验错误中的第一个错误)配置文件(application.yml)yaml复制error:codes:#公共模块错误码common:param_invalid:1000#校验子错误码constraints:NotNull:1001Size:1002Pattern:1003Email:1004#用
java杨辉三角
3213213333332132
java基础
package com.algorithm;
/**
* @Description 杨辉三角
* @author FuJianyong
* 2015-1-22上午10:10:59
*/
public class YangHui {
public static void main(String[] args) {
//初始化二维数组长度
int[][] y
《大话重构》之大布局的辛酸历史
白糖_
重构
《大话重构》中提到“大布局你伤不起”,如果企图重构一个陈旧的大型系统是有非常大的风险,重构不是想象中那么简单。我目前所在公司正好对产品做了一次“大布局重构”,下面我就分享这个“大布局”项目经验给大家。
背景
公司专注于企业级管理产品软件,企业有大中小之分,在2000年初公司用JSP/Servlet开发了一套针对中
电驴链接在线视频播放源码
dubinwei
源码电驴播放器视频ed2k
本项目是个搜索电驴(ed2k)链接的应用,借助于磁力视频播放器(官网:
http://loveandroid.duapp.com/ 开放平台),可以实现在线播放视频,也可以用迅雷或者其他下载工具下载。
项目源码:
http://git.oschina.net/svo/Emule,动态更新。也可从附件中下载。
项目源码依赖于两个库项目,库项目一链接:
http://git.oschina.
Javascript中函数的toString()方法
周凡杨
JavaScriptjstoStringfunctionobject
简述
The toString() method returns a string representing the source code of the function.
简译之,Javascript的toString()方法返回一个代表函数源代码的字符串。
句法
function.
struts处理自定义异常
g21121
struts
很多时候我们会用到自定义异常来表示特定的错误情况,自定义异常比较简单,只要分清是运行时异常还是非运行时异常即可,运行时异常不需要捕获,继承自RuntimeException,是由容器自己抛出,例如空指针异常。
非运行时异常继承自Exception,在抛出后需要捕获,例如文件未找到异常。
此处我们用的是非运行时异常,首先定义一个异常LoginException:
/**
* 类描述:登录相
Linux中find常见用法示例
510888780
linux
Linux中find常见用法示例
·find path -option [ -print ] [ -exec -ok command ] {} \;
find命令的参数;
SpringMVC的各种参数绑定方式
Harry642
springMVC绑定表单
1. 基本数据类型(以int为例,其他类似):
Controller代码:
@RequestMapping("saysth.do")
public void test(int count) {
}
表单代码:
<form action="saysth.do" method="post&q
Java 获取Oracle ROWID
aijuans
javaoracle
A ROWID is an identification tag unique for each row of an Oracle Database table. The ROWID can be thought of as a virtual column, containing the ID for each row.
The oracle.sql.ROWID class i
java获取方法的参数名
antlove
javajdkparametermethodreflect
reflect.ClassInformationUtil.java
package reflect;
import javassist.ClassPool;
import javassist.CtClass;
import javassist.CtMethod;
import javassist.Modifier;
import javassist.bytecode.CodeAtt
JAVA正则表达式匹配 查找 替换 提取操作
百合不是茶
java正则表达式替换提取查找
正则表达式的查找;主要是用到String类中的split();
String str;
str.split();方法中传入按照什么规则截取,返回一个String数组
常见的截取规则:
str.split("\\.")按照.来截取
str.
Java中equals()与hashCode()方法详解
bijian1013
javasetequals()hashCode()
一.equals()方法详解
equals()方法在object类中定义如下:
public boolean equals(Object obj) {
return (this == obj);
}
很明显是对两个对象的地址值进行的比较(即比较引用是否相同)。但是我们知道,String 、Math、I
精通Oracle10编程SQL(4)使用SQL语句
bijian1013
oracle数据库plsql
--工资级别表
create table SALGRADE
(
GRADE NUMBER(10),
LOSAL NUMBER(10,2),
HISAL NUMBER(10,2)
)
insert into SALGRADE values(1,0,100);
insert into SALGRADE values(2,100,200);
inser
【Nginx二】Nginx作为静态文件HTTP服务器
bit1129
HTTP服务器
Nginx作为静态文件HTTP服务器
在本地系统中创建/data/www目录,存放html文件(包括index.html)
创建/data/images目录,存放imags图片
在主配置文件中添加http指令
http {
server {
listen 80;
server_name
kafka获得最新partition offset
blackproof
kafkapartitionoffset最新
kafka获得partition下标,需要用到kafka的simpleconsumer
import java.util.ArrayList;
import java.util.Collections;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.
centos 7安装docker两种方式
ronin47
第一种是采用yum 方式
yum install -y docker
 
java-60-在O(1)时间删除链表结点
bylijinnan
java
public class DeleteNode_O1_Time {
/**
* Q 60 在O(1)时间删除链表结点
* 给定链表的头指针和一个结点指针(!!),在O(1)时间删除该结点
*
* Assume the list is:
* head->...->nodeToDelete->mNode->nNode->..
nginx利用proxy_cache来缓存文件
cfyme
cache
user zhangy users;
worker_processes 10;
error_log /var/vlogs/nginx_error.log crit;
pid /var/vlogs/nginx.pid;
#Specifies the value for ma
[JWFD开源工作流]JWFD嵌入式语法分析器负号的使用问题
comsci
嵌入式
假如我们需要用JWFD的语法分析模块定义一个带负号的方程式,直接在方程式之前添加负号是不正确的,而必须这样做:
string str01 = "a=3.14;b=2.71;c=0;c-((a*a)+(b*b))"
定义一个0整数c,然后用这个整数c去
如何集成支付宝官方文档
dai_lm
android
官方文档下载地址
https://b.alipay.com/order/productDetail.htm?productId=2012120700377310&tabId=4#ps-tabinfo-hash
集成的必要条件
1. 需要有自己的Server接收支付宝的消息
2. 需要先制作app,然后提交支付宝审核,通过后才能集成
调试的时候估计会真的扣款,请注意
应该在什么时候使用Hadoop
datamachine
hadoop
原帖地址:http://blog.chinaunix.net/uid-301743-id-3925358.html
存档,某些观点与我不谋而合,过度技术化不可取,且hadoop并非万能。
--------------------------------------------万能的分割线--------------------------------
有人问我,“你在大数据和Hado
在GridView中对于有外键的字段使用关联模型进行搜索和排序
dcj3sjt126com
yii
在GridView中使用关联模型进行搜索和排序
首先我们有两个模型它们直接有关联:
class Author extends CActiveRecord {
...
}
class Post extends CActiveRecord {
...
function relations() {
return array(
'
使用NSString 的格式化大全
dcj3sjt126com
Objective-C
格式定义The format specifiers supported by the NSString formatting methods and CFString formatting functions follow the IEEE printf specification; the specifiers are summarized in Table 1. Note that you c
使用activeX插件对象object滚动有重影
蕃薯耀
activeX插件滚动有重影
使用activeX插件对象object滚动有重影 <object style="width:0;" id="abc" classid="CLSID:D3E3970F-2927-9680-BBB4-5D0889909DF6" codebase="activex/OAX339.CAB#
SpringMVC4零配置
hanqunfeng
springmvc4
基于Servlet3.0规范和SpringMVC4注解式配置方式,实现零xml配置,弄了个小demo,供交流讨论。
项目说明如下:
1.db.sql是项目中用到的表,数据库使用的是oracle11g
2.该项目使用mvn进行管理,私服为自搭建nexus,项目只用到一个第三方 jar,就是oracle的驱动;
3.默认项目为零配置启动,如果需要更改启动方式,请
《开源框架那点事儿16》:缓存相关代码的演变
j2eetop
开源框架
问题引入
上次我参与某个大型项目的优化工作,由于系统要求有比较高的TPS,因此就免不了要使用缓冲。
该项目中用的缓冲比较多,有MemCache,有Redis,有的还需要提供二级缓冲,也就是说应用服务器这层也可以设置一些缓冲。
当然去看相关实现代代码的时候,大致是下面的样子。
[java]
view plain
copy
print
?
public vo
AngularJS浅析
kvhur
JavaScript
概念
AngularJS is a structural framework for dynamic web apps.
了解更多详情请见原文链接:http://www.gbtags.com/gb/share/5726.htm
Directive
扩展html,给html添加声明语句,以便实现自己的需求。对于页面中html元素以ng为前缀的属性名称,ng是angular的命名空间
架构师之jdk的bug排查(一)---------------split的点号陷阱
nannan408
split
1.前言.
jdk1.6的lang包的split方法是有bug的,它不能有效识别A.b.c这种类型,导致截取长度始终是0.而对于其他字符,则无此问题.不知道官方有没有修复这个bug.
2.代码
String[] paths = "object.object2.prop11".split("'");
System.ou
如何对10亿数据量级的mongoDB作高效的全表扫描
quentinXXZ
mongodb
本文链接:
http://quentinXXZ.iteye.com/blog/2149440
一、正常情况下,不应该有这种需求
首先,大家应该有个概念,标题中的这个问题,在大多情况下是一个伪命题,不应该被提出来。要知道,对于一般较大数据量的数据库,全表查询,这种操作一般情况下是不应该出现的,在做正常查询的时候,如果是范围查询,你至少应该要加上limit。
说一下,
C语言算法之水仙花数
qiufeihu
c算法
/**
* 水仙花数
*/
#include <stdio.h>
#define N 10
int main()
{
int x,y,z;
for(x=1;x<=N;x++)
for(y=0;y<=N;y++)
for(z=0;z<=N;z++)
if(x*100+y*10+z == x*x*x
JSP指令
wyzuomumu
jsp
jsp指令的一般语法格式: <%@ 指令名 属性 =”值 ” %>
常用的三种指令: page,include,taglib
page指令语法形式: <%@ page 属性 1=”值 1” 属性 2=”值 2”%>
include指令语法形式: <%@include file=”relative url”%> (jsp可以通过 include