- torch.stack()方法在数据集构造中的应用
大多_C
pytorch人工智能python
torch.stack()是PyTorch中用于将多个张量沿着新维度进行堆叠的操作。在你的代码中,e1_encodings和e2_encodings是从每个句子中提取的和的向量,形状为[hidden_size]。当我们对它们使用torch.stack()时,多个向量会堆叠成一个新的二维张量,形状为[num_sentences,hidden_size],其中num_sentences是句子的数量。如
- 关键字提取
蓝色滑行
关键词提取importpandasaspdimportjieba.analyse#导入关键词库读取文本fn=open('d:/collect.txt',encoding='UTF-8')string_data=fn.read()fn.close()关键词提取"TF-IDF(termfrequency-inversedocumentfrequency)是一种针对关键字的统计分析方法,用来评估关键字或
- 【Python】文件读写(CSV、Excel)
素颜清风宛如月
Pythonpython
一、CSV文件1读csv文件1.1以数组方式读文件deflistReader():withopen("user.csv",encoding="UTF-8")ascsvFile:#读文件csvData=csv.reader(csvFile)#数据集合print(list(csvData))#遍历数据对象fordataincsvData:#csvData.line_num:每条数据的行号print("
- R语言-非结构化数据-文本数据读入
pdc31czy
Rr语言数据分析
#2.2.2非结构化数据-文本数据读入rm(list=ls())#清空工作空间##1.读入简单文本数据###假如数据包含大量经过结构化的文本数据#只需按照读入csv等标准式数据的方法读入#例:novel=read.csv("novel.csv",fileEncoding="UTF-8")head(novel)##2.用readtable读入文本###文本数据普通读法test=read.table(
- 基于图的推荐算法(12):Handling Information Loss of Graph Neural Networks for Session-based Recommendation
阿瑟_TJRS
前言KDD2020,针对基于会话推荐任务提出的GNN方法对已有的GNN方法的缺陷进行分析并做出改进主要针对lossysessionencoding和ineffectivelong-rangedependencycapturing两个问题:基于GNN的方法存在损失部分序列信息的问题,主要是在session转换为图以及消息传播过程中的排列无关(permutation-invariant)的聚合过程中造
- 浅谈gbase与oracle 字符集差异
gbase_lmax
java前端开发语言
字符集字符集(CharacterSet):按照一定的字符编码方案,将特定的符号集编码为计算机能够处理的数值的集合。常见字符集名称:ASCII字符集、Unicode字符集、GB2312字符集、BIG5字符集、GB18030字符集等。字符编码字符编码(CharacterEncoding):是一套规则,对字符集进行编码的方案。如,Unicode是字符集,UTF-8、UTF-16、UTF-32是三种字符编
- 批量合并word txt文件
圆周率的后六位
word
今天遇到这样一个需求,将文件夹下的word和txt文件合并为一个word文件,给大家分享一下我开打的代码。供大家参考,有帮到的铁子可以加关注收藏点赞!!!万分感谢!!!1导入包fromdocximportDocumentimportos2代码defconvert_to_docx_content(txt_path):withopen(txt_path,'r',encoding='gbk')asfil
- python安全渗透笔记
红云谈安全
python编程学习python安全
Python学习python常见错误UnicodeDecodeError:‘gbk’codeccan’tdecodebyte0x8cinposition22:illegalmultibytesequence//打开的文件未编码encoding='UTF-8'expectedanindentedblock未缩进,ifforcontinue又进入一次新的循环%将其他变量置入字符串特定位置以生成新字符串
- Python文件操作——只读操作(rt、rb)
1024码字猿
pythonwindowspycharm
open(文件路径,mode=‘r’,encoding=‘UTF-8’)注意:文件路径,分别为相对路径与绝对路径(或网络链接),相对路径指相对于当前程序所在的文件夹,绝对路径指磁盘的完整路径(windows含磁盘的盘符;linux含根目录斜杠(/))。r模式操作文件,文本文件不存在时,不会自动创建,需要先创建文本文件(r.txt),文件目录如下:读.py测试文件/r.txt注意:创建的文本文件,要
- Python请求数据,r = response.json(),提取字段报TypeError: list indices must be integers or slices, not str[已解决]
qq_41845402
pythonjson开发语言
#encoding:utf-8r={"atomicElapsed":74,"data":{"pageCount":0,"pageData":[{"batchLock":0,"batchNo":"882211080000016","companyCode":"CRV","createTime":"2022-11-0818:44:11","crowdWorkerID":""}]},"hystrixEl
- apkbuilder.java 362,发布apk出现问题Failed to build apk,有没有大佬帮忙看一下
weixin_39876145
apkbuilder.java362
该楼层疑似违规已被系统折叠隐藏此楼查看此楼CommandInvokationFailure:Failedtobuildapk.H:/java\bin\java.exe-Xmx2048M-Dcom.android.sdkmanager.toolsdir="H:/andorid-sdk1\tools"-Dfile.encoding=UTF8-jar"G:\unity3d\Editor\Data\Pla
- Proto3: JSON Mapping - JSON映射
Upping8
Proto3supportsacanonicalencodinginJSON,makingiteasiertosharedatabetweensystems.Theencodingisdescribedonatype-by-typebasisinthetablebelow.Proto3支持JSON中的规范编码,使得在系统间分享数据变得简单。下表中描述了基于逐个类型的编码。Ifavalueismis
- 2024年Python爬虫:爬取招聘网站系列 - 前程无忧
2401_84562659
程序员python爬虫开发语言
importpprint#格式化输出模块importcsv#保存csv数据算了,我直接贴代码吧,流程都写清楚了,我把注释也标上了。兄弟们在学习的时候没有人解答和好的学习资料教程就很痛苦,解答或者其它教程都在这了电子书、视频都有!对应视频教程:【Python爬虫】招聘网站实战合集第一弹:爬取前程无忧,零基础也能学会!f=open(‘python招聘数据1.csv’,mode=‘a’,encoding
- java_Base64加解密
java之书
java代码应用案例javaBase64
1.代码实现:/***Base64用于网络中传输的数据进行编码,严格意义上属于编码的格式,有64个字符的对应的编码,*Base64就是将内容按照该格式进行编码。可以对数据编码和解码,是可逆的,安全度较低。*/importjava.io.UnsupportedEncodingException;importjava.util.Base64;
- .pt文件无法打开或乱码?如何查看.pt文件的具体内容?
多恩Stone
编程学习Transformerpython深度学习pytorch
复现论文GTM-Transformer过程中的数据集直接用vscode打开的效果没法看importtorch#Loadcategoryandcolorencodingscat_dict=torch.load('C:/自己替换/category_labels.pt')fork,vincat_dict.items():#k参数名v对应参数值print(k,v)运行结果图:参考博客:https://bl
- mysql连接oceanbase数据库集群+租户
AE_
数据库mysqloceanbase
mysql集成的有连接oceanbase数据库的方式,所以只需要对参数进行修改即可。url:jdbc:mysql://[ip地址]:[端口]/[数据库]?useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC//其他参数根据需求设置username:[用户名]@[租户名]#[集群名]password:*******driver-clas
- Spring Boot学习笔记(九)web开发之Servlet容器
飞!!!!
SpringBoot
一、内置Servlet容器1.1定制和修改Servlet容器配置(1)在application.properties/yaml文件中修改。示例:server.port=8081#项目路径server.servlet.context-path=/dmfserver.tomcat.uri-encoding=UTF-8//通用的Servlet容器配置server.xxx//Tomcat的设置server
- Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting————4 METHODOLOG
six.学长
Mambaformertransformer深度学习人工智能
4METHODOLOGY图解Mambaformer模型结合了Mamba和Transformer的元素,旨在进行时间序列预测。以下是Mambaformer模型的各个组成部分和流程的详细说明:嵌入层(EmbeddingLayer)TokenEncoding(令牌编码):这个部分将输入数据编码成向量表示,以捕捉输入特征的语义含义或特征。TemporalEncoding(时间编码):这部分加入时间信息,例
- 去除txt文件中的空行
rhythmcc
python
'''Author:xudawuDate:2022-11-2120:08:41LastEditors:xudawuLastEditTime:2022-11-2120:34:26'''#文件名fileName_reader='text'#读取文件file_reader=open(fileName_reader+'.txt',mode='r',encoding='utf-8')#存入新文件file_s
- python 学习积累
Noxi_lumors
python学习
持续更新中感受python的强大之case列举:1.生成的maplist要经过json格式化写入文件,请用python实现这一需求importjsonmap={"name":"张三","age":18,"address":"北京"}list=[]foriinrange(3):list.append(map)withopen('output.json','w',encoding='utf-8')as
- tiktoken离线加载bpe文件 cl100k_base
Qiming_v
tiktoken
在使用titoken的时候,如果在内网,不能联网的环境,就无法下载cl100k_base文件tiktoken.encoding_for_model("gpt-3.5-turbo")在tiktoken_ext/openai_public.py,文件中,如果blobpath为“https://openaipublic.blob.core.windows.net/encodings/cl100k_bas
- Python爬虫01
阿汤哥的程序之路
pythonpython爬虫javascript
requests模块文档安装pip/pip3installrequestsresponse.text和response.content的区别1.response.text等价于response.content.decode("推测出的编码字符集")response.text类型:str编码类型:requests模块自动根据Http头部对响应的编码(response.encoding)作出有根据的推
- 企业微信回调-通讯录改变回调
g3230863
java企业微信xml
https://work.weixin.qq.com/api/doc/90000/90135/90966先配置url,token,encodingAESKeyimportcom.ichangtou.common.util.AesException;importcom.ichangtou.common.util.WXBizMsgCrypt;importcom.ichangtou.service.WX
- 这个项目所需的配置文件和依赖
努力学习的小宇同学
从0开始做一个前后端分离项目依赖
这是用于记录这个项目的依赖,中间出现了很多版本问题,这是最后解决出来的版本配置文件spring:datasource:url:jdbc:mysql://localhost:3306/vueadmin?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTCusername:rootpassword:Qq702196driver-class
- 怎么使用Mybatisplus的分页插件来完成分页
努力学习的小宇同学
从0开始做一个前后端分离项目MybatisPlus分页插件Mybatisplus分页分页插件
前端使用的Elementui后端1.在配置里配置数据源spring:datasource:url:jdbc:mysql://localhost:3306/vueadmin?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTCusername:rootpassword:Qq702196driver-class-name:com.mysq
- 总结:大模型技术栈---算法与原理
lichunericli
LLM零碎知识人工智能自然语言处理算法
原文地址:大模型技术栈-算法与原理1.tokenizer方法word-levelchar-levelsubword-levelBPEWordPieceUniLMSentencePieceByteBPE2.positionencoding绝对位置编码ROPEAliBi相对位置编码Transformer-XLT5/TUPEDeBERTa3.注意力机制Mamba,H3,Hyena,RetNet,RWKV
- 在neo4j中导入csv文件并构建知识图谱
芹菜还是菜
知识图谱neo4j知识图谱
本文csv文件数据来源于openKG中达观的开源知识图谱数据。从开源社区中下载下来的数据文件还是json,先用python把json文件转为csv文件。import csvimport jsonwith open('entities.json','r',encoding='utf-8')as fp: data=json.load(fp,strict=False)csv_file=open('en
- 查看修改文件编码格式
老猫_2017
查看文件编码fileip.txt转换编码iconv-fencoding-tencodinginputfile比如将一个UTF-8编码的文件转换成GBK编码iconv-fUTF-8-tGBKfile1-ofile2iconv-fgbk-tutf-8save_path
- 大模型训练和推理
李明朔
AIGC深度学习人工智能
文章目录一、NLP基础1.Tokenizer2.positionencoding3.注意力机制与transformer架构二、大模型训练1.SFT训练2.RLHF训练3.分布式并行训练技术(1)模型并行(2)数据并行4.MoE技术4.PEFT训练5.上下文扩展技术三、大模型推理1.模型压缩(1)剪枝(2)量化2.显存优化技术3.调度优化技术4.请求优化技术5.采样和解码加速6.模型并行策略7.其他
- SpringBoot:文件的上传与下载(Header弹窗下载形式)
Peacock Ming King
SpringbootJAVA
不废话了,直接放Controller的代码吧importcom.sun.xml.internal.ws.api.ResourceLoader;importjava.io.File;importjava.io.FileOutputStream;importjava.io.IOException;importjava.io.UnsupportedEncodingException;importjava
- 解读Servlet原理篇二---GenericServlet与HttpServlet
周凡杨
javaHttpServlet源理GenericService源码
在上一篇《解读Servlet原理篇一》中提到,要实现javax.servlet.Servlet接口(即写自己的Servlet应用),你可以写一个继承自javax.servlet.GenericServletr的generic Servlet ,也可以写一个继承自java.servlet.http.HttpServlet的HTTP Servlet(这就是为什么我们自定义的Servlet通常是exte
- MySQL性能优化
bijian1013
数据库mysql
性能优化是通过某些有效的方法来提高MySQL的运行速度,减少占用的磁盘空间。性能优化包含很多方面,例如优化查询速度,优化更新速度和优化MySQL服务器等。本文介绍方法的主要有:
a.优化查询
b.优化数据库结构
- ThreadPool定时重试
dai_lm
javaThreadPoolthreadtimertimertask
项目需要当某事件触发时,执行http请求任务,失败时需要有重试机制,并根据失败次数的增加,重试间隔也相应增加,任务可能并发。
由于是耗时任务,首先考虑的就是用线程来实现,并且为了节约资源,因而选择线程池。
为了解决不定间隔的重试,选择Timer和TimerTask来完成
package threadpool;
public class ThreadPoolTest {
- Oracle 查看数据库的连接情况
周凡杨
sqloracle 连接
首先要说的是,不同版本数据库提供的系统表会有不同,你可以根据数据字典查看该版本数据库所提供的表。
select * from dict where table_name like '%SESSION%';
就可以查出一些表,然后根据这些表就可以获得会话信息
select sid,serial#,status,username,schemaname,osuser,terminal,ma
- 类的继承
朱辉辉33
java
类的继承可以提高代码的重用行,减少冗余代码;还能提高代码的扩展性。Java继承的关键字是extends
格式:public class 类名(子类)extends 类名(父类){ }
子类可以继承到父类所有的属性和普通方法,但不能继承构造方法。且子类可以直接使用父类的public和
protected属性,但要使用private属性仍需通过调用。
子类的方法可以重写,但必须和父类的返回值类
- android 悬浮窗特效
肆无忌惮_
android
最近在开发项目的时候需要做一个悬浮层的动画,类似于支付宝掉钱动画。但是区别在于,需求是浮出一个窗口,之后边缩放边位移至屏幕右下角标签处。效果图如下:
一开始考虑用自定义View来做。后来发现开线程让其移动很卡,ListView+动画也没法精确定位到目标点。
后来想利用Dialog的dismiss动画来完成。
自定义一个Dialog后,在styl
- hadoop伪分布式搭建
林鹤霄
hadoop
要修改4个文件 1: vim hadoop-env.sh 第九行 2: vim core-site.xml <configuration> &n
- gdb调试命令
aigo
gdb
原文:http://blog.csdn.net/hanchaoman/article/details/5517362
一、GDB常用命令简介
r run 运行.程序还没有运行前使用 c cuntinue 
- Socket编程的HelloWorld实例
alleni123
socket
public class Client
{
public static void main(String[] args)
{
Client c=new Client();
c.receiveMessage();
}
public void receiveMessage(){
Socket s=null;
BufferedRea
- 线程同步和异步
百合不是茶
线程同步异步
多线程和同步 : 如进程、线程同步,可理解为进程或线程A和B一块配合,A执行到一定程度时要依靠B的某个结果,于是停下来,示意B运行;B依言执行,再将结果给A;A再继续操作。 所谓同步,就是在发出一个功能调用时,在没有得到结果之前,该调用就不返回,同时其它线程也不能调用这个方法
多线程和异步:多线程可以做不同的事情,涉及到线程通知
&
- JSP中文乱码分析
bijian1013
javajsp中文乱码
在JSP的开发过程中,经常出现中文乱码的问题。
首先了解一下Java中文问题的由来:
Java的内核和class文件是基于unicode的,这使Java程序具有良好的跨平台性,但也带来了一些中文乱码问题的麻烦。原因主要有两方面,
- js实现页面跳转重定向的几种方式
bijian1013
JavaScript重定向
js实现页面跳转重定向有如下几种方式:
一.window.location.href
<script language="javascript"type="text/javascript">
window.location.href="http://www.baidu.c
- 【Struts2三】Struts2 Action转发类型
bit1129
struts2
在【Struts2一】 Struts Hello World http://bit1129.iteye.com/blog/2109365中配置了一个简单的Action,配置如下
<!DOCTYPE struts PUBLIC
"-//Apache Software Foundation//DTD Struts Configurat
- 【HBase十一】Java API操作HBase
bit1129
hbase
Admin类的主要方法注释:
1. 创建表
/**
* Creates a new table. Synchronous operation.
*
* @param desc table descriptor for table
* @throws IllegalArgumentException if the table name is res
- nginx gzip
ronin47
nginx gzip
Nginx GZip 压缩
Nginx GZip 模块文档详见:http://wiki.nginx.org/HttpGzipModule
常用配置片段如下:
gzip on; gzip_comp_level 2; # 压缩比例,比例越大,压缩时间越长。默认是1 gzip_types text/css text/javascript; # 哪些文件可以被压缩 gzip_disable &q
- java-7.微软亚院之编程判断俩个链表是否相交 给出俩个单向链表的头指针,比如 h1 , h2 ,判断这俩个链表是否相交
bylijinnan
java
public class LinkListTest {
/**
* we deal with two main missions:
*
* A.
* 1.we create two joined-List(both have no loop)
* 2.whether list1 and list2 join
* 3.print the join
- Spring源码学习-JdbcTemplate batchUpdate批量操作
bylijinnan
javaspring
Spring JdbcTemplate的batch操作最后还是利用了JDBC提供的方法,Spring只是做了一下改造和封装
JDBC的batch操作:
String sql = "INSERT INTO CUSTOMER " +
"(CUST_ID, NAME, AGE) VALUES (?, ?, ?)";
- [JWFD开源工作流]大规模拓扑矩阵存储结构最新进展
comsci
工作流
生成和创建类已经完成,构造一个100万个元素的矩阵模型,存储空间只有11M大,请大家参考我在博客园上面的文档"构造下一代工作流存储结构的尝试",更加相信的设计和代码将陆续推出.........
竞争对手的能力也很强.......,我相信..你们一定能够先于我们推出大规模拓扑扫描和分析系统的....
- base64编码和url编码
cuityang
base64url
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.io.StringWriter;
import java.io.UnsupportedEncodingException;
- web应用集群Session保持
dalan_123
session
关于使用 memcached 或redis 存储 session ,以及使用 terracotta 服务器共享。建议使用 redis,不仅仅因为它可以将缓存的内容持久化,还因为它支持的单个对象比较大,而且数据类型丰富,不只是缓存 session,还可以做其他用途,一举几得啊。1、使用 filter 方法存储这种方法比较推荐,因为它的服务器使用范围比较多,不仅限于tomcat ,而且实现的原理比较简
- Yii 框架里数据库操作详解-[增加、查询、更新、删除的方法 'AR模式']
dcj3sjt126com
数据库
public function getMinLimit () { $sql = "..."; $result = yii::app()->db->createCo
- solr StatsComponent(聚合统计)
eksliang
solr聚合查询solr stats
StatsComponent
转载请出自出处:http://eksliang.iteye.com/blog/2169134
http://eksliang.iteye.com/ 一、概述
Solr可以利用StatsComponent 实现数据库的聚合统计查询,也就是min、max、avg、count、sum的功能
二、参数
- 百度一道面试题
greemranqq
位运算百度面试寻找奇数算法bitmap 算法
那天看朋友提了一个百度面试的题目:怎么找出{1,1,2,3,3,4,4,4,5,5,5,5} 找出出现次数为奇数的数字.
我这里复制的是原话,当然顺序是不一定的,很多拿到题目第一反应就是用map,当然可以解决,但是效率不高。
还有人觉得应该用算法xxx,我是没想到用啥算法好...!
还有觉得应该先排序...
还有觉
- Spring之在开发中使用SpringJDBC
ihuning
spring
在实际开发中使用SpringJDBC有两种方式:
1. 在Dao中添加属性JdbcTemplate并用Spring注入;
JdbcTemplate类被设计成为线程安全的,所以可以在IOC 容器中声明它的单个实例,并将这个实例注入到所有的 DAO 实例中。JdbcTemplate也利用了Java 1.5 的特定(自动装箱,泛型,可变长度
- JSON API 1.0 核心开发者自述 | 你所不知道的那些技术细节
justjavac
json
2013年5月,Yehuda Katz 完成了JSON API(英文,中文) 技术规范的初稿。事情就发生在 RailsConf 之后,在那次会议上他和 Steve Klabnik 就 JSON 雏形的技术细节相聊甚欢。在沟通单一 Rails 服务器库—— ActiveModel::Serializers 和单一 JavaScript 客户端库——&
- 网站项目建设流程概述
macroli
工作
一.概念
网站项目管理就是根据特定的规范、在预算范围内、按时完成的网站开发任务。
二.需求分析
项目立项
我们接到客户的业务咨询,经过双方不断的接洽和了解,并通过基本的可行性讨论够,初步达成制作协议,这时就需要将项目立项。较好的做法是成立一个专门的项目小组,小组成员包括:项目经理,网页设计,程序员,测试员,编辑/文档等必须人员。项目实行项目经理制。
客户的需求说明书
第一步是需
- AngularJs 三目运算 表达式判断
qiaolevip
每天进步一点点学习永无止境众观千象AngularJS
事件回顾:由于需要修改同一个模板,里面包含2个不同的内容,第一个里面使用的时间差和第二个里面名称不一样,其他过滤器,内容都大同小异。希望杜绝If这样比较傻的来判断if-show or not,继续追究其源码。
var b = "{{",
a = "}}";
this.startSymbol = function(a) {
- Spark算子:统计RDD分区中的元素及数量
superlxw1234
sparkspark算子Spark RDD分区元素
关键字:Spark算子、Spark RDD分区、Spark RDD分区元素数量
Spark RDD是被分区的,在生成RDD时候,一般可以指定分区的数量,如果不指定分区数量,当RDD从集合创建时候,则默认为该程序所分配到的资源的CPU核数,如果是从HDFS文件创建,默认为文件的Block数。
可以利用RDD的mapPartitionsWithInd
- Spring 3.2.x将于2016年12月31日停止支持
wiselyman
Spring 3
Spring 团队公布在2016年12月31日停止对Spring Framework 3.2.x(包含tomcat 6.x)的支持。在此之前spring团队将持续发布3.2.x的维护版本。
请大家及时准备及时升级到Spring
- fis纯前端解决方案fis-pure
zccst
JavaScript
作者:zccst
FIS通过插件扩展可以完美的支持模块化的前端开发方案,我们通过FIS的二次封装能力,封装了一个功能完备的纯前端模块化方案pure。
1,fis-pure的安装
$ fis install -g fis-pure
$ pure -v
0.1.4
2,下载demo到本地
git clone https://github.com/hefangshi/f