chunk_size

文本文件完整性判断-加密

一、定义文件加密二、实现文件加密importsysimporthashlibdefcalculate_md5(fpath:str,chunk_size:int=1024*1024)->str:"""CalculatestheMD5checksumofafilelocatedatthepathspecifiedbythefpath.Parameters
云帆@·2024-09-08 07:27

高级RAG(六): 句子-窗口检索

的另外一种高级检索方法:句子-窗口检索(SentenceWindowRetrieval)，在开始介绍之前让我们先回顾一下基本的RAG检索的流程，如下图所示：在执行基本RAG检索时我们会将文档按指定的块大小(chunk_size
-派神-·2024-01-28 11:42

Python 拆分输入的文本以满足ChatGPT 的输入长度限制

importpyperclip#按照指定长度分割文本defsplit_text(text,chunk_size):chunks=[text[i:i+chunk_size]foriinrange(0,len
海 月·2024-01-16 18:14

高级RAG(二)：父文档检索器

当我们在使用langchain框架做文档切割时传统的做法是使用像CharacterTextSplitter,RecursiveCharacterTextSplitter这样的文档分割器将文档按指定的块大小(chunk_size
-派神-·2024-01-01 12:40

PHP ob_start 输出控制函数

语法ob_start([callback$output_callback[,int$chunk_size[,bool$erase]]])此函数将打开输出缓冲。当输出缓冲激活后，脚本将不会输出内
web全栈·2023-11-03 09:18

解决Pandas读取大文本文件导致内存溢出的问题

代码实现importpandasaspd#由于数据量较大，一次性读入可能造成内存错误(MemmoryError),因而使用pandas的分块读取defread_from_local(file_name,chunk_size
chenglansky·2023-10-27 11:51

python大文件处理

打开关闭，读取写入，但是如果涉及的文件过于大了，直接read可能就直接将内存撑爆了，所以这里也给大家提供一些方案来处理1.Chunks——分块处理defread_in_chunks(filePath,chunk_size
MA木易YA·2023-09-19 18:38

Python3 分割二进制文件为小文件

CHUNK_SIZE=512*1024*1024#512MBfile_number=1withopen('binary_file.bin','rb')asf:chunk=f.read(CHUNK_SIZE
matdodo·2023-08-24 08:56

langchain-ChatGLM源码阅读：参数设置

文章目录上下文关联对话轮数向量匹配topk控制生成质量的参数参数设置心得上下文关联上下文关联相关参数：知识相关度阈值score_threshold内容条数k是否启用上下文关联chunk_conent上下文最大长度chunk_size
羊城迷鹿·2023-08-07 21:23

大语言模型分词的 chunk_size 和 chunk_overlap 说明和验证

大语言模型分词的chunk_size和chunk_overlap1.什么是chunk_size和chunk_overlap2.实际验证1.什么是chunk_size和chunk_overlap对于大型语言模型如
engchina·2023-07-26 23:37

Langchain-ChatGLM配置文件参数测试

1已知可能影响对话效果的参数（位于configs/model_config.py文件）：#文本分句长度SENTENCE_SIZE=100#匹配后单段上下文长度CHUNK_SIZE=250#传入LLM的历史记录长度
Raine_Yang·2023-07-14 13:27

使用plupload实现图片比例缩放，压缩。实现文件上传分块，断点续传, 多文件上传

比较好的是不用修改web服务器配置,就能上传超大的文件,通过在html页面修改chunk_size:这个参数能在客户端将超大的文件,切分成小文件,然后在服务器再组合起来.plupload支持技术：1：Flash2
老朱-yubing·2023-01-28 08:03

Python requests下载超大文件/批量下载文件

requests的stream模式主要代码如下iter_content：一块一块的遍历要下载的内容iter_lines：一行一行的遍历要下载的内容defdownload_file(url,file_pname,chunk_size
Rick_M359·2023-01-01 15:08

wenet动态chunk的设计逻辑

chunk的实现原理，接下来主要谈谈以下几点：一：wenet是如何通过chunk的设计来实现流式和非流式一起训练；二：动态chunk是如何设计的；三：动态左chunk的设计原理；非流式解码很好理解，讲chunk_size
少游223·2022-09-29 07:59

tensorflow rnn

importtensorflowastfimportnumpyasnpfromtensorflow.examples.tutorials.mnistimportinput_datamnist=input_data.read_data_sets('/tmp/',one_hot=True)chunk_size
Do_More·2021-05-06 09:25

详解Django关于StreamingHttpResponse与FileResponse文件下载的最优方法

以下为示例代码defstreamDownload(resquest):deffile_iterator(filepath,chunk_size=
·2021-01-07 12:28

python 下载文件进度条

importtimeimportrequestsdefdownloader(url,path,title):start=time.time()size=0res=requests.get(url,stream=True)chunk_size
风华浪浪·2020-09-17 03:32

django后端给前端返回下载文件

第一种直接读取文件返回响应fromdjango.httpimportStreamingHttpResponsedefread_file(file_name,chunk_size=512):withopen
s_daqing·2020-08-19 03:28

pytorch训练过程中的chunk_size及num_workers

pytorch训练过程中的chunk_size及num_workers作用。Chunk_size：涉及到torch下的矩阵切片和划分,chunk_size有几个元素就占用几张显卡。
Sesen_s·2020-08-16 03:43

【爬虫】python下载图片和音频.m4a文件，并保存至本地指定文件夹

/image/111.png','wb')asf:#111.png自定义命名图片名称forchunkinimg.iter_content(chunk_size=32):f.write(chunk)#保存图片至
博客里亚夫人·2020-08-04 06:51

Python3求英文文档中每个单词出现的次数并排序

我的解法如下：importchardetimportre#大文件读取生成器defread_big_file(f_path,chunk_size=100):f=open(f_path,'rb')whileTrue
aab438346·2020-07-30 07:35

python 一行代码实现对列表的快速等分

定义如下函数chunk，参数l为要划分的列表，chunk_size为每个划分的大小。可以看到，函数中只有一行代码，即可实现该功能。
S_o_l_o_n·2020-07-13 01:46

Python 处理大文件并用pickle保存

/dataset/actions.csv"reader=pd.read_csv(file_path,iterator=True)chunk_size=1000000chunks=[]flag=Truewhileflag
minningl·2020-07-10 05:59

Python爬取pdf（优化版2）v3.0

/lxml.pdf','wb')asf:forchunkinres.iter_content(chunk_size=10*1024*1024):ifchunk:f.write(chun
肥宅_Sean·2020-07-08 04:11

Django 实现下载功能时中文文件名问题

file_path)ifnotos.path.isfile(file_path):returnHttpResponse(file_name)deffile_iterator(tar_file_path,chunk_size
weixin_30698297·2020-07-05 21:41

pwn之堆入门

Chunk结构：解释：pre_size：前一个chunk块的大小，如果chunk_size的P位为1则pre_size无效，上个chunk可以使用pre_size的空间。
追知·2020-07-04 01:40

Django实现流下载

需要手动引入fileDownload.js下载地址可前往https://www.zhijinyu.com1.定义一个下载函数defdownload_excel(filename,chunk_size=512
___大鱼___·2020-07-01 09:58

django 大文件下载

使用fbv方法@login_required(login_url='/login')defdown(request):deffile_iterator(fn,chunk_size=512):whileTrue
hllyzms·2020-06-28 20:26

SampleTable和SampleIterator的初始化和设置

是一个容器，包含下面的所有的表if(chunk_type==FOURCC('s','t','b','l')){ALOGV("sampleTablechunkis%dbyteslong.",(size_t)chunk_size
创造晴天81·2020-06-27 01:25

python对大文件 的处理

第一方法：defread_in_chunks(filePath,chunk_size=1024*1024):"""Lazyfunction(generator)toreadafilepiecebypiece.Defaultchunksize
蓝网数据恢复中心·2020-06-23 02:08

python 通过链接下载网络视频，音乐等

importrequestsfromcontextlibimportclosingimporttime#url-需要下载的视频地址#path-视频存放位置defdownload_file(url,path):withclosing(requests.get(url,stream=True))asr:chunk_size
Blue_Color·2020-04-11 21:24

Django 实现文件下载

1.下载页面image.png2.下载页面代码deffile_iterator(file_name,chunk_size=1024):withopen(file_name)asf:whileTrue:c
Leebor·2020-03-07 16:42

记录一次查找memcache缓存失效的问题

，这里的size是缓存的大小，不是chun_size的大小statssizesimage.png第二步：查看chun_size的情况statsslabsimage.png主要参数说明：属性名称属性说明chunk_size
dbc94a66f502·2020-03-02 17:12

PHP Output control Functions

ob_start（）turnonoutputbufferingboolob_start([callable$output_callback=NULL[,int$chunk_size=0[,int$flags
zhaohw810·2019-12-07 13:38

Django 实现下载功能时中文文件名问题

file_path)ifnotos.path.isfile(file_path):returnHttpResponse(file_name)deffile_iterator(tar_file_path,chunk_size
MyCPlusPlus·2019-09-17 11:00

解决Pandas读取大文本文件导致内存溢出的问题

代码实现importpandasaspd#由于数据量较大，一次性读入可能造成内存错误(MemmoryError),因而使用pandas的分块读取defread_from_local(file_name,chunk_size
偶尔也吃鸡·2019-07-08 22:03

python文件的操作

（io--->inputandout）print(dir(f))#打印这个类的所有属性和方法['_CHUNK_SIZE','class','del',
Laura989·2018-08-30 12:03

Elasticsearch进阶（一）写入性能基准测试写入性能优化(56小时到5小时),chunk_size探讨

进入正题之前，解决之前的一个疑问：Elasticsearch集群是否已经正确工作？截图时，只上传过一次小测试数据（143万条），设置为："number_of_shards":5,"number_of_replicas":2从图中可以看出，ip10节点上设置的数据目录：data1和data2目录工作正常，但是数据相同ip12中数据与ip10中数据不同，但是data1与data2数据相同ip13数据与
haixwang·2018-06-28 22:40

PHP输出控制函数

PHP输出控制函数ob_start([callback$output_callback[,int$chunk_size[,bool$erase]]])打开输出控制缓冲此函数将打开输出缓冲。
Gundy_·2017-09-18 13:29

Python 文件操作/路径控制

bytes)ff.close()将request的响应以文件流的形式写入文件withopen(filename,'ab')asfd:#ab:二进制形式追加写入forchunkinr.iter_content(chunk_size
调包侠理查·2017-06-15 00:23

python编程之处理GB级的大型文件

  1 def read_in_chunks(file_obj,chunk_size): 2 """Lazy function (generator)
·2015-11-13 08:51

HM 内存池设计(2) HM6.0内存池设计

const uint32_t chunk_size[MAX_INDEX]={ /* 64 B,128B,256B,320B,512B, */ 1 ,2 ,4
·2015-11-13 02:30

php缓存基本知识

一、打开缓存 bool ob_start ([ callback $output_callback [, int $chunk_size [, bool $erase ]]] )
·2015-11-12 15:36

memcached资料

/github.com/memcached/memcached/blob/master/doc/protocol.txt 2:注意事项 对于memcached的配置,在使用之前需要仔细琢磨.尤其是chunk_size
·2015-11-11 09:42

简单C++对象池实现

include <vector> template <typename T> class ObjectPool { public: ObjectPool(size_t chunk_size
·2015-11-02 18:25

Django响应大文件下载请求

fromdjango.httpimportStreamingHttpResponse defsend_zipfile(path,suggestName): deffile_iterator(file_name,chunk_size
xiluoduyu·2015-07-31 11:00

polipo代理服务器简介

印象比较深的是polipo中的内存管理，CHUNK_SIZE根据系统不同，分配不同大小也就罢了
qianguozheng·2015-07-20 21:00

srs配置-基本RTMP配置 && 日志配置

/objs/srs.pid;chunk_size     60000;ff_log_dir     ./objs;srs_log_tan
Johnny_feng·2015-05-12 15:00

python 下载图片

-1]  r=requests.get(url,stream=True)  withopen(local_filename,'wb')asf:    forchunkinr.iter_content(chunk_size
charlesdong1989·2015-03-05 12:00

切片分组

# coding: utf-8     def group(seq, chunk_size):     '''Split a sequence into chunks.       
flyking·2014-10-26 20:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他