- 使用Tiktoken进行文本分割:优化大语言模型的输入
bhawfgrcbtwny
语言模型python人工智能
引言在处理大语言模型时,因其对输入的token数量有限制,文本分割成为一个至关重要的任务。为了确保生成的文本块不会超过模型的token限制,我们需要使用与模型相同的tokenizer来计数和分割文本。在本文中,我们将探讨如何使用Tiktoken和其他工具来实现有效的文本分割。主要内容1.Tiktoken介绍Tiktoken是由OpenAI创建的一个快速BPE(BytePairEncoding)to
- 复旦:LLM不同层位置编码缩放
大模型任我行
大模型-结构原理人工智能自然语言处理语言模型论文笔记
标题:Layer-SpecificScalingofPositionalEncodingsforSuperiorLong-ContextModeling来源:arXiv,2503.04355摘要尽管大型语言模型(LLM)在处理长上下文输入方面取得了重大进展,但它们仍然存在“中间丢失”问题,即上下文中间的关键信息往往不足或丢失。我们广泛的实验表明,这个问题可能源于旋转位置嵌入(RoPE)的快速长期衰
- SpringMVC @RequestHeader @CookieValue 处理获取请求参数的乱码问题
杨宸杨
SpringMVCjavajvm数据库
SpringMVC@RequestHeader@CookieValue处理获取请求参数的乱码问题@RequestHeader@CookieValue什么是cookie通过POJO获取请求参数通过CharacterEncodingFilter处理获取请求参数的乱码问题get请求的乱码post请求乱码处理获取请求参数的乱码问题)@RequestHeader1.@RequestHeader是将请求头信息
- python etree创建xml_Python构建XML树结构的实例教程
埃琳娜莱农
pythonetree创建xml
这篇文章主要介绍了Python构建XML树结构的方法,结合实例形式分析了Python创建与打印xml数结构的实现步骤与相关操作技巧,需要的朋友可以参考下本文实例讲述了Python构建XML树结构的方法。分享给大家供大家参考,具体如下:1.构建XML元素#encoding=utf-8fromxml.etreeimportElementTreeasETimportsysroot=ET.Element(
- Pytest教程系列(8)读取Yaml文件
爱测试的小浩
pytestpytestpythonlinux
Pytest教程系列(8)读取Yaml文件读取yaml文件代码如下:importyamlyaml_path=r'C:\Users\admin\Documents\pytest-selenium-new\Data\DataYaml\login.yaml'defread_yaml_all():try:#打开文件withopen(yaml_path,"r",encoding="utf-8")asf:da
- 使用python反射,实现pytest读取yaml并发送请求
南部余额
pythonpythonpytest
pytest+yamlyaml-feature:用户模块story:登录title:添加用户request:method:POSTurl:/system/user/listheaders:nullparams:nullvalidate:nullread_yaml_alldefread_yaml_all(path):withopen(path,'r',encoding='utf-8')asf:val
- 批量检查微信小程序是否被封的Go代码
微信微信小程序
概述:这段Go代码通过请求接口https://api.52an.fun/xcx/checkxcx.php?appid={appid},批量检查多个微信小程序是否被封禁。接口返回的JSON数据中包含code字段,code为1表示小程序正常,code为0表示小程序被封禁,并且会返回封禁原因。程序会根据返回结果输出每个小程序的状态。Go代码示例:packagemainimport("encoding/j
- kettle ETL 配置
云连山
数字化etl
pdi-ce-9.1.0.0-324配置-CSDN博客3、配置中文字符3.1)spoon支持中文字符,spoon.bat启动文件加-Dfile.encoding=utf-8REM%SPOON_START_OPTION%"%_PENTAHO_JAVA%"%JAVA_ADD_OPENS%%OPT%-jarlauncher\launcher.jar-lib..\%LIBSPATH%%_cmdline%%
- TCP的通信过程
姬浩然
pythontcp通信过程的实现python
3.TCP通信过程3.1编码解码ipython3工具安装pip3installipython3s="hellodage"#str类型不能直接在网络中传输如果需要传输需要转换为Bytes二进制字节类型#utf-8编码情况一个汉字3个字节;GBK编码情况下一个汉字2字节s1="hello大哥"#str-编码->bytes二进制数据=字符串数据.encode(encoding='utf-8')In[8]
- Fatal Python error: initfsencoding: unable to load the file system codec
珞珈山小裁缝11-8
python
FatalPythonerror:initfsencoding:unabletoloadthefilesystemcodecModuleNotFoundError:Nomodulenamed'encodings'Currentthread0x00007668(mostrecentcallfirst):问题原因:python路径错误我是直接运行exe程序(几乎没有配置python环境),我的pyth
- DeepSeek面试——分词算法
mzgong
人工智能算法
DeepSeek-V3分词算法一、核心算法:字节级BPE(Byte-levelBPE,BBPE)DeepSeek-V3采用字节级BPE(BBPE)作为核心分词算法,这是对传统BPE(BytePairEncoding)算法的改进版本。其核心原理是将文本分解为字节(Byte)序列,通过统计高频相邻字节对的共现频率进行逐层合并,最终形成128K扩展词表。二、BBPE的核心优势1.多语言统一处理能力跨语言
- python/R 连接 clickhouse
weixin_41283198
pythonclickhouser语言python大数据r语言
1、python-clickhouseimportnumpyasnpfromclickhouse_driverimportClientimportpandasaspdsql=open('/opt/check_detect_local.sql','r',encoding='utf8')sqltxt=sql.readlines()print(len(sqltxt))sqls=[]foriinnp.ar
- 爬虫中一些有用的用法
才不是小emo的小杨
爬虫xpath
文本和标签在一个级别下如果文本和a标签在一个级别下比如:#获取a标签后的第一个文本节点text_node=a.xpath('following-sibling::text()[1]')[0].strip()将xpath的html代码转换成字符串etree.tostring(root,pretty_print=True,encoding="utf-8")获取所有同级标签的最后一个data_list=
- 解决问题:Android Studio启动不了
piggy514
androidstudioandroidide
1、启动不了之前的操作:build报错的提示的都是乱码,于是网上搜了下,去菜单Help>EditCustomVMoptions此时AS打开了AS安装目录下bin/studio64.exe.vmoptions这个文件根据网上说法在里边加一句-Dfile.encoding=UTF-8即可,于是加了,结果AS闪退。再也启动不了,重启电脑后也不行,重新安装也不行。看来有时不要轻信网上操作。怎么解决乱码问题
- python中的文件操作
Mswanga
pythonpython开发语言
1.创建文件python中使用open()函数创建或者打开文件,语法格式:open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)file:表示要打开的文件的路径,也可以是被封装的整数类型文件描述符mode:用于指定文件的打开模式,默认是’r‘(以文本模式打开并且
- 20250310:OpenCV mat对象与base64互转
微风❤水墨
AI模型部署Mat转base64
代码:https://github.com/ReneNyffenegger/cpp-base64指南:https://renenyffenegger.ch/notes/development/Base64/Encoding-and-decoding-base-64-with-cpp/实操:
- 视频文件的几个关键参数
buleideli
AndroidCameracameraandroid
参数的解释VideoEncodingBitRate(视频编码比特率)比特率是指每秒钟视频使用的数据量,通常以bps(bitspersecond)为单位。比特率越高,视频质量越好,但同时也会导致文件体积增大。比特率直接影响视频文件的大小,是影响最大的因素之一。高比特率意味着更高的画质和更大的文件尺寸。VideoFrameRate(视频帧率)帧率指的是每秒钟显示的图像帧数,通常用fps(framesp
- requests入门以及requests库实例和with,os的解释(Python网络爬虫和信息提取)
眸生
Python爬虫python爬虫开发语言笔记
导学定向网络数据爬取和网页解析的基本能力requests入门安装方法首先cmdpipinstallrequests然后打开idle测试**>>>importrequests>>>r=requests.get("http://www.baidu.com")>>>r.status_code200>>>r.encoding='utf-8'>>>r.text**requests库的7个主要方法reques
- 【LLM】从零开始实现 LLaMA3
FOUR_A
LLM人工智能机器学习大模型llama算法
分词器在这里,我们不会实现一个BPE分词器(但AndrejKarpathy有一个非常简洁的实现)。BPE(BytePairEncoding,字节对编码)是一种数据压缩算法,也被用于自然语言处理中的分词方法。它通过逐步将常见的字符或子词组合成更长的词元(tokens),从而有效地表示文本中的词汇。在自然语言处理中的BPE分词器的工作原理如下:初始化:首先,将所有词汇表中的单词分解为单个字符或符号。例
- 数字IP转换成字符串IP
故事里故去
C#C#字符串处理时间性能IP地址构造字节操作
DateTimelulu=DateTime.Now;byte[][]data=newbyte[256][];for(inti=0;i<256;i++){data[i]=Encoding.Default.GetBytes("."+i.ToString());}byte[]buff1=newbyte[4];buff1[0]=230;buff1[1]=220;buff1[2]=123;buff1[3]=
- python系列【仅供参考】:python3 生成pdf 中文乱码问题处理
坦笑&&life
#pythonpythonpdf开发语言
python3生成pdf中文乱码问题处理python3生成pdf中文乱码问题处理1.首先上代码:2.乱码原因:3.安装字体库4.找一台安装了中文字体的服务器python3生成pdf中文乱码问题处理1.首先上代码:importpdfkit#urlPath是待导出的链接pdfkit.from_url(urlPath,'test.pdf',options={'encoding':'UTF-8'
- Python爬虫之爬取酷狗音乐
进击的Loser
Python爬虫之爬取酷狗音乐废话不说,上代码:#!Python#-*-encoding:utf-8-*-'''1.文件名称:酷我音乐爬虫.py2.创建时间:2021/03/2117:29:093.作者名称:ZAY4.Python版本:3.7.0'''importosimportgetpassimportrequestsfromurllib.parseimportquoteclassSpider(
- java.sql.SQLNonTransientConnectionException: Public Key Retrieval is not allowed
二十七剑
java开发语言
只需要在url:jdbc:mysql://xxx?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&useSSL=false后面加上&allowPublicKeyRetrieval=true即url:jdbc:mysql://xxx?serverTimezone=Asia/Shanghai&useUnicode=
- 解释 HTTP 中的内容协商,如何根据客户端偏好返回合适的内容?
程序员黄同学
前端开发JavaScriptnode.jshttp网络协议网络
一、内容协商的解释(一)概念在HTTP协议中,内容协商(ContentNegotiation)是一种机制,它允许服务器根据客户端的请求头信息(如Accept、Accept-Language、Accept-Encoding等),来决定返回给客户端最合适的内容。例如,同一个URL可能对应多种不同格式(如HTML、JSON、XML)、不同语言(如英语、中文)或者不同编码(如gzip压缩、无压缩)的资源,
- 10.1go常用包json
chxii
go语言基础golangjson开发语言
序列化(Marshal):将Go的数据结构转换为JSON字符串。反序列化(Unmarshal):将JSON字符串转换为Go的数据结构。使用json.Marshal进行序列化json.Marshal函数可以将Go的数据结构转换为JSON格式的字节切片([]byte)packagemainimport("encoding/json""fmt""log")//定义一个结构体typePersonstruc
- 【每日一练】python文件读.写.追加基本用法
程之编
Python学习笔记python
"""本节课程内容:1.打开一个文件,模式为写入2.用传参方式写入文件内容3.如何追加文件内容4.如何读取新写入的文件5.牢记操作完一定要关闭程序使用close()函数Ps:如果写完文件后就读取文件,需要使用seek(0)把指针复位到开头。否则,下面读取文件为空,因为写完后指针会停留在尾部。"""#打开文件flit=open('测试.txt','w',encoding='utf-8')#写入文件的
- 黑马程序员瑞吉外卖Day6小程序空白无显示
Lkkkkkkkcy
Java学习java微信小程序前端
做项目时出现问题之druid连接池报错报错discardlongtimenonereceivedconnection.,jdbcUrl:jdbc:mysql://localhost:3306/sky_take_out?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=c
- 【wp】hgame2023 week3 Re&&Pwn
woodwhale
ctf与君共勉pwnctfpwnrehgame
【wp】hgame2023week3Re&&PwnRecpp那个chacha20加密不会。kunmusic用dnspy逆dll,在Program的Main方法中找到了初始化的数据下断点执行,拷贝出data写一份脚本进行data与104的异或defstep_one():withopen("./data",encoding="u8")asf:lines=f.readlines()data=[]forl
- 12.4 Python open()函数详解:打开指定文件
愿与你共信仰
第12章Python文件操作(I/O)python基础超详细
在Python中,如果想要操作文件,首先需要创建或者打开指定的文件,并创建一个文件对象,而这些工作可以通过内置的open()函数实现。open()函数用于创建或打开指定文件,该函数的常用语法格式如下:file=open(file_name[,mode='r'[,buffering=-1[,encoding=None]]])此格式中,用[]括起来的部分为可选参数,即可以使用也可以省略。其中,各个参数
- go语言转换json字符串为json数据
绛洞花主敏明
golangjson开发语言
在Go语言中,可以使用标准库encoding/json中的json.Unmarshal函数将JSON字符串转换为JSON数据(通常是Go中的结构体或map类型)。以下是一个简单的示例:示例代码packagemainimport("encoding/json""fmt""log")//定义一个结构体,用于映射JSON数据typePersonstruct{Namestring`json:"name"`
- Dom
周华华
JavaScripthtml
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml&q
- 【Spark九十六】RDD API之combineByKey
bit1129
spark
1. combineByKey函数的运行机制
RDD提供了很多针对元素类型为(K,V)的API,这些API封装在PairRDDFunctions类中,通过Scala隐式转换使用。这些API实现上是借助于combineByKey实现的。combineByKey函数本身也是RDD开放给Spark开发人员使用的API之一
首先看一下combineByKey的方法说明:
- msyql设置密码报错:ERROR 1372 (HY000): 解决方法详解
daizj
mysql设置密码
MySql给用户设置权限同时指定访问密码时,会提示如下错误:
ERROR 1372 (HY000): Password hash should be a 41-digit hexadecimal number;
问题原因:你输入的密码是明文。不允许这么输入。
解决办法:用select password('你想输入的密码');查询出你的密码对应的字符串,
然后
- 路漫漫其修远兮 吾将上下而求索
周凡杨
学习 思索
王国维在他的《人间词话》中曾经概括了为学的三种境界古今之成大事业、大学问者,罔不经过三种之境界。“昨夜西风凋碧树。独上高楼,望尽天涯路。”此第一境界也。“衣带渐宽终不悔,为伊消得人憔悴。”此第二境界也。“众里寻他千百度,蓦然回首,那人却在灯火阑珊处。”此第三境界也。学习技术,这也是你必须经历的三种境界。第一层境界是说,学习的路是漫漫的,你必须做好充分的思想准备,如果半途而废还不如不要开始。这里,注
- Hadoop(二)对话单的操作
朱辉辉33
hadoop
Debug:
1、
A = LOAD '/user/hue/task.txt' USING PigStorage(' ')
AS (col1,col2,col3);
DUMP A;
//输出结果前几行示例:
(>ggsnPDPRecord(21),,)
(-->recordType(0),,)
(-->networkInitiation(1),,)
- web报表工具FineReport常用函数的用法总结(日期和时间函数)
老A不折腾
finereport报表工具web开发
web报表工具FineReport常用函数的用法总结(日期和时间函数)
说明:凡函数中以日期作为参数因子的,其中日期的形式都必须是yy/mm/dd。而且必须用英文环境下双引号(" ")引用。
DATE
DATE(year,month,day):返回一个表示某一特定日期的系列数。
Year:代表年,可为一到四位数。
Month:代表月份。
- c++ 宏定义中的##操作符
墙头上一根草
C++
#与##在宏定义中的--宏展开 #include <stdio.h> #define f(a,b) a##b #define g(a) #a #define h(a) g(a) int main() { &nbs
- 分析Spring源代码之,DI的实现
aijuans
springDI现源代码
(转)
分析Spring源代码之,DI的实现
2012/1/3 by tony
接着上次的讲,以下这个sample
[java]
view plain
copy
print
- for循环的进化
alxw4616
JavaScript
// for循环的进化
// 菜鸟
for (var i = 0; i < Things.length ; i++) {
// Things[i]
}
// 老鸟
for (var i = 0, len = Things.length; i < len; i++) {
// Things[i]
}
// 大师
for (var i = Things.le
- 网络编程Socket和ServerSocket简单的使用
百合不是茶
网络编程基础IP地址端口
网络编程;TCP/IP协议
网络:实现计算机之间的信息共享,数据资源的交换
协议:数据交换需要遵守的一种协议,按照约定的数据格式等写出去
端口:用于计算机之间的通信
每运行一个程序,系统会分配一个编号给该程序,作为和外界交换数据的唯一标识
0~65535
查看被使用的
- JDK1.5 生产消费者
bijian1013
javathread生产消费者java多线程
ArrayBlockingQueue:
一个由数组支持的有界阻塞队列。此队列按 FIFO(先进先出)原则对元素进行排序。队列的头部 是在队列中存在时间最长的元素。队列的尾部 是在队列中存在时间最短的元素。新元素插入到队列的尾部,队列检索操作则是从队列头部开始获得元素。
ArrayBlockingQueue的常用方法:
- JAVA版身份证获取性别、出生日期及年龄
bijian1013
java性别出生日期年龄
工作中需要根据身份证获取性别、出生日期及年龄,且要还要支持15位长度的身份证号码,网上搜索了一下,经过测试好像多少存在点问题,干脆自已写一个。
CertificateNo.java
package com.bijian.study;
import java.util.Calendar;
import
- 【Java范型六】范型与枚举
bit1129
java
首先,枚举类型的定义不能带有类型参数,所以,不能把枚举类型定义为范型枚举类,例如下面的枚举类定义是有编译错的
public enum EnumGenerics<T> { //编译错,提示枚举不能带有范型参数
OK, ERROR;
public <T> T get(T type) {
return null;
- 【Nginx五】Nginx常用日志格式含义
bit1129
nginx
1. log_format
1.1 log_format指令用于指定日志的格式,格式:
log_format name(格式名称) type(格式样式)
1.2 如下是一个常用的Nginx日志格式:
log_format main '[$time_local]|$request_time|$status|$body_bytes
- Lua 语言 15 分钟快速入门
ronin47
lua 基础
-
-
单行注释
-
-
[[
[多行注释]
-
-
]]
-
-
-
-
-
-
-
-
-
-
-
1.
变量 & 控制流
-
-
-
-
-
-
-
-
-
-
num
=
23
-
-
数字都是双精度
str
=
'aspythonstring'
- java-35.求一个矩阵中最大的二维矩阵 ( 元素和最大 )
bylijinnan
java
the idea is from:
http://blog.csdn.net/zhanxinhang/article/details/6731134
public class MaxSubMatrix {
/**see http://blog.csdn.net/zhanxinhang/article/details/6731134
* Q35
求一个矩阵中最大的二维
- mongoDB文档型数据库特点
开窍的石头
mongoDB文档型数据库特点
MongoDD: 文档型数据库存储的是Bson文档-->json的二进制
特点:内部是执行引擎是js解释器,把文档转成Bson结构,在查询时转换成js对象。
mongoDB传统型数据库对比
传统类型数据库:结构化数据,定好了表结构后每一个内容符合表结构的。也就是说每一行每一列的数据都是一样的
文档型数据库:不用定好数据结构,
- [毕业季节]欢迎广大毕业生加入JAVA程序员的行列
comsci
java
一年一度的毕业季来临了。。。。。。。。
正在投简历的学弟学妹们。。。如果觉得学校推荐的单位和公司不适合自己的兴趣和专业,可以考虑来我们软件行业,做一名职业程序员。。。
软件行业的开发工具中,对初学者最友好的就是JAVA语言了,网络上不仅仅有大量的
- PHP操作Excel – PHPExcel 基本用法详解
cuiyadll
PHPExcel
导出excel属性设置//Include classrequire_once('Classes/PHPExcel.php');require_once('Classes/PHPExcel/Writer/Excel2007.php');$objPHPExcel = new PHPExcel();//Set properties 设置文件属性$objPHPExcel->getProperties
- IBM Webshpere MQ Client User Issue (MCAUSER)
darrenzhu
IBMjmsuserMQMCAUSER
IBM MQ JMS Client去连接远端MQ Server的时候,需要提供User和Password吗?
答案是根据情况而定,取决于所定义的Channel里面的属性Message channel agent user identifier (MCAUSER)的设置。
http://stackoverflow.com/questions/20209429/how-mca-user-i
- 网线的接法
dcj3sjt126com
一、PC连HUB (直连线)A端:(标准568B):白橙,橙,白绿,蓝,白蓝,绿,白棕,棕。 B端:(标准568B):白橙,橙,白绿,蓝,白蓝,绿,白棕,棕。 二、PC连PC (交叉线)A端:(568A): 白绿,绿,白橙,蓝,白蓝,橙,白棕,棕; B端:(标准568B):白橙,橙,白绿,蓝,白蓝,绿,白棕,棕。 三、HUB连HUB&nb
- Vimium插件让键盘党像操作Vim一样操作Chrome
dcj3sjt126com
chromevim
什么是键盘党?
键盘党是指尽可能将所有电脑操作用键盘来完成,而不去动鼠标的人。鼠标应该说是新手们的最爱,很直观,指哪点哪,很听话!不过常常使用电脑的人,如果一直使用鼠标的话,手会发酸,因为操作鼠标的时候,手臂不是在一个自然的状态,臂肌会处于绷紧状态。而使用键盘则双手是放松状态,只有手指在动。而且尽量少的从鼠标移动到键盘来回操作,也省不少事。
在chrome里安装 vimium 插件
- MongoDB查询(2)——数组查询[六]
eksliang
mongodbMongoDB查询数组
MongoDB查询数组
转载请出自出处:http://eksliang.iteye.com/blog/2177292 一、概述
MongoDB查询数组与查询标量值是一样的,例如,有一个水果列表,如下所示:
> db.food.find()
{ "_id" : "001", "fruits" : [ "苹
- cordova读写文件(1)
gundumw100
JavaScriptCordova
使用cordova可以很方便的在手机sdcard中读写文件。
首先需要安装cordova插件:file
命令为:
cordova plugin add org.apache.cordova.file
然后就可以读写文件了,这里我先是写入一个文件,具体的JS代码为:
var datas=null;//datas need write
var directory=&
- HTML5 FormData 进行文件jquery ajax 上传 到又拍云
ileson
jqueryAjaxhtml5FormData
html5 新东西:FormData 可以提交二进制数据。
页面test.html
<!DOCTYPE>
<html>
<head>
<title> formdata file jquery ajax upload</title>
</head>
<body>
<
- swift appearanceWhenContainedIn:(version1.2 xcode6.4)
啸笑天
version
swift1.2中没有oc中对应的方法:
+ (instancetype)appearanceWhenContainedIn:(Class <UIAppearanceContainer>)ContainerClass, ... NS_REQUIRES_NIL_TERMINATION;
解决方法:
在swift项目中新建oc类如下:
#import &
- java实现SMTP邮件服务器
macroli
java编程
电子邮件传递可以由多种协议来实现。目前,在Internet 网上最流行的三种电子邮件协议是SMTP、POP3 和 IMAP,下面分别简单介绍。
◆ SMTP 协议
简单邮件传输协议(Simple Mail Transfer Protocol,SMTP)是一个运行在TCP/IP之上的协议,用它发送和接收电子邮件。SMTP 服务器在默认端口25上监听。SMTP客户使用一组简单的、基于文本的
- mongodb group by having where 查询sql
qiaolevip
每天进步一点点学习永无止境mongo纵观千象
SELECT cust_id,
SUM(price) as total
FROM orders
WHERE status = 'A'
GROUP BY cust_id
HAVING total > 250
db.orders.aggregate( [
{ $match: { status: 'A' } },
{
$group: {
- Struts2 Pojo(六)
Luob.
POJOstrust2
注意:附件中有完整案例
1.采用POJO对象的方法进行赋值和传值
2.web配置
<?xml version="1.0" encoding="UTF-8"?>
<web-app version="2.5"
xmlns="http://java.sun.com/xml/ns/javaee&q
- struts2步骤
wuai
struts
1、添加jar包
2、在web.xml中配置过滤器
<filter>
<filter-name>struts2</filter-name>
<filter-class>org.apache.st