小文件

评估磁盘性能看哪几个指标？

随机读写频繁的应用，如小文件存储(图片)、OLTP数据库、邮件服务器，关注随机读写性能，IOPS是关键衡量指标。顺序读写频繁的应用，传
锄禾or当午·2023-08-12 03:16

Spark 指定分区数、文件并行读写、Spark IO读写常用处理方法

一、小文件管理之指定分区数1、配置spark.sql.shuffle.partitions，适用场景spark.sql()合并分区spark.conf.set("spark.sql.shuffle.partitions
Just Jump·2023-08-11 18:19

如何将视频转换成音频mp3格式？试一下这几种转换方法

将视频转换为MP3格式音频可以大大减小文件大小，从而节省硬盘空间。那么该如何进行转换呢？教大家几种简单方法，一起来了解下吧。
hudunkjpdf·2023-08-11 13:58

2019-03-26Git 提交大文件提示 fatal: The remote end hung up unexpectedly

使用gitlab搭建的gitserver，如果直接使用http的方式去提交的话，提交小文件不会有问题，但是提交大文件时，会出错：fatal:Theremoteendhungupunexpectedly。
key168863·2023-08-11 08:38

Hive一分钟

分区和分桶1.分区表是将大的表文件划分成多个小文件以利于查询，但是如果数据分布不均衡，也会影响查询效率。2.桶表可以对数据进行哈希取模，目的是让数据能够均匀的分布在表的各个文件中。
mengml_smile·2023-08-11 01:24

hive表小文件合并java程序

flinksql程序，从kafka读取，然后写入hive的，为了数据能够被及时可读，我设置了flinksql程序的checkpoint时间为1分钟，因此，在hive表对应的hdfs上，会每隔1分钟，生成一个小文件
第一片心意·2023-08-10 10:28

Hadoop2学习路程-HDFS

它的设计原则是趋向于存储少量的大文件，而不是存储大量的小文件。即使在硬件发生故障的时候，HDFS也能体现出它对数据存储的可靠性。它支持高吞吐量的平行访问方式。
Q75999·2023-08-10 09:48

真正的inotify+rsync实时同步 彻底告别同步慢

但当web文件越来越多(百万级数量html,jpg等小文件)，同步就越来越慢，根本做不到实时，按照网上的调优方法都尝试过，问题根本没有解决。经过我
linux凯·2023-08-10 00:38

用inotify+rsync实现快速的实时同步

但当web文件越来越多(百万级数量html,jpg等小文件)，同步就越来越慢，根本做不到实时，按照网上的调优方法都尝试过，问题根本没有解决。
周雄伟·2023-08-10 00:38

m3u8怎么变成本地视频？一个小妙招教你轻松搞定

m3u8视频是一种流媒体视频格式，它将整个视频分成多个小文件，每个小文件的长度通常为几秒钟。这些小文件存储在服务器上，并通过网络传输到观众的设备上。
hudunkjpdf·2023-08-08 21:03

如何 SolidWorks 减小文件大小?

今天在无意中看到了官方培训视频中关于如何减小文件大小的视频，虽然有些方法在实际中操作过，但是有些新方法可以知道一下。常规的就是把文件另存，这样大小有时候会小很多，尤其是多配置的情况下。
Paine Zeng·2023-08-08 20:10

SCP命令在不同远程服务器之间发送文件（指定端口、大量小文件操作）

最近想把数据集放在另一个服务器上，但是如果先下载到本地然后再上传过去，则需要浪费好久时间。特总结下如何快捷的通过命令完成不同远程服务器之间的文件传输，以及遇到的问题。SCP命令Linuxscp命令用于Linux之间复制文件和目录。1scp是securecopy的缩写,scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。scp是加密的，rcp是不加密的，scp是rcp的加强版。单个文件
不堪沉沦·2023-08-08 15:25

Node.js-模块化理解及基本使用

模块化的定义讲一个复杂的程序文件按照一定的规则拆分成多个独立的小文件，这些小文件就是小模块，这就是模块化。每个小模块内部的数据是私有的，可以暴露内部数据给外部其他模块使用。
北斗星的爱886·2023-08-08 12:25

Mediawiki文件上传设置

DefaultSettings.php文件，设置上传文件类型文件位置：Mediawiki根目录/includes/DefaultSettings.phpDefaultSettings.png修改php.ini文件，设置上传文件大小文件位置
zzl灬·2023-08-08 08:26

lrzsz——一款好用的文件互传工具

首先说明一下，lrzsz这个工具只适合传输小文件，不适合传输大型文件，对于大型文件，建议使用Filezila或者其他Ftp工具。安装lrzszsudoyuminstalllrzsz使用lrzs
就叫小木木呀·2023-08-07 11:44

SPARK中 会对Scan的小文件做合并到一个Task去处理么？

结论SPARK在scan文件的时候，会把小文件合并到一个Task上去处理。
鸿乃江边鸟·2023-08-06 19:21

Mac与windows传文件（超过4G且速度超快，非共享）

但是在备份或者传递一些较大文件或者很多细小文件的时候就有点捉襟见肘了。
呆呆象呆呆·2023-08-06 17:56

windows往linux使用rz上传文件失败原因

另一个方式是采用rz命令的方式，这种方式缺点是只能上传小文件，但是对于算法工程师来讲，一般就是修改代码，上传
233彭于晏·2023-08-06 07:55

HDFS小文件解决方案---archive归档文件命令

小文件解决方案背景Archive概述创建archive查看归档文件查看归档之后的样子查看归档文件之前的样子提取archivearchive注意事项背景hdfs并不擅长存储小文件，因为每个文件最少一个block
fiveym·2023-08-06 03:23

基于Matlab实现图像压缩技术（附上完整源码+图像+程序运行说明）

介绍图像压缩是一种将图像数据压缩以减小文件大小的技术。在数字图像处理中，图像通常以像素阵列的形式表示。对于大型图像文件，传输和存储成本可能很高，因此图像压缩技术变得至关重要。
Matlab仿真实验室·2023-08-05 13:55

Data URI 和 MHTML(转)

原文：http://dancewithnet.com/2009/08/15/data-uri-mhtml/DataURI是由RFC2397定义的一种把小文件直接嵌入文档的方案。
weixin_30734435·2023-08-04 13:27

【cmake】make install/strip：减小目标占用的空间大小

strip命令能够去除可执行程序和动态库中的的符号和调试信息，从而达到减小文件的大小的目的。由于strip会删除文件中的调试信息，因此，其通常用于发布（Release）版本的程序。
aFakeProgramer·2023-08-03 14:30

PNG、JPG、BMP图片格式透明度说明

JPEG图片是用于存储和传输照片和图像的一种常用格式，它使用有损压缩算法，以减小文件大小并保持图像的视觉质量。
sensor_WU·2023-08-02 13:43

Spark-SortShuffle原理

SortShuffle：减少了小文件。中间落盘应该是本地磁盘生成的文件数=Task数量*2在溢写磁盘前，先根据key进行排序，排序过后
青云游子·2023-08-02 05:39

qkfile重要落地应用“闪电盘”即将火爆上线

“闪电盘”定位于中小文件的快捷分享，无需客户端，因其下载速度快如闪电而得名。
少年已不年少201901·2023-08-02 03:40

学习中遇到的好博客

小文件：零拷贝技术传输大文件：异步IO、直接IO：如何高效实现文件传输：小文件采用零拷贝、大文件采用异步io+直接io(123条消息)Linux网络编程|彻底搞懂零拷贝（zero-copy）技术_socket
偏安一隅，占山为王·2023-08-02 00:29

linux系统优化

ulimit-u最大用户数文件格式对比：ext2无日志记录功能ext3支持日志功能，但支持32000个子目录ext42.6内核才支持，无限子目录数，支持快带fsckxfs3.10内核才支持如果是读的多，小文件多就用
yenggd·2023-08-01 23:48

spark UnsafeShuffleWriter

spark中shuffleWriter有1ByPassMergeSortShuffleWriter跳过在内存中缓冲排序直接向对应分区小文件中怼数据最后线性合并的这种适用与下游分区数量较少(分区太多,小文件过多影响性能
一秒一心跳·2023-08-01 13:49

Map与Reduce数量的控制

如何合并小文件，减少map数？
liuzx32·2023-07-31 19:20

使用 Webpack 优化前端开发流程

我们将介绍如何通过压缩和混淆代码来减小文件大小，并探讨如何分割代码和异步加载模块，以优化页面加载速度。此外，我们还将讨论如何处理和优化图片、样式和字
尘缘..·2023-07-30 15:02

lrzsz——一款好用的文件互传工具

首先说明一下，lrzsz这个工具只适合传输小文件，不适合传输大型文件，对于大型文件，建议使用Filezila或者其他Ftp工具。安装lrzszsudoyuminstalllrzsz使用lrzs
东皋长歌·2023-07-30 11:37

python有关read,readline和readlines的区别

python有关read,readline和readlines的区别1.read():一次性读取整个文件内容，适用于小文件2.readline():每次只读取一行内容，实用性不强3.readlines(
AuroraRookie·2023-07-30 09:37

短时间大量connect()返回errno 99: cannot assign request address

由于linuxkernel里存在大量的小文件，才用短链接，每次close()之后有大量的socket处于TIME_WAIT状态，而没有释放，这导致客户端socket被用完，当新的connect()产生时
JavyZheng·2023-07-29 23:34

从分片传输到并行传输之大文件传输加速技术

一、分片传输技术分片传输技术是指把一个大文件切成若干个小文件进行传输。这样做的优点是可以有效地提升传输速度，因为小文件传输相比来说更加快速和稳定。同时，由于每个小文件的大小都比较小，即使
镭速·2023-07-29 22:49

RocketMQ文件存储体系介绍

RocketMQ底层有5类文件，对于不同类型的文件在存储逻辑层采用不同的类提供服务，其中三类大文件和两类小文件：Index文件由IndexService类提供服务（大文件）consumequeue文件由
szhlcy·2023-07-29 20:36

文件数据去重示例

在数据处理业务中，有时需要清除文件中的重复数据或只留下重复数据，本文将从小文件、大文件两方面介绍整行去重、关键列去重的几种处理办法，并提供用esProcSPL编写的代码示例。
小黄鸭呀·2023-07-29 18:13

数据结构与算法分析（十）线性排序

内存吃紧的，如磁盘的读写可以分成多个小文件并对每个小文件排序，然后直接写到大
ProMan_XY·2023-07-29 16:53

基础整理—办公桌及文件的整理

整理术认为首先要准备几样工具：托盘、透明文件夹、口袋式的透明文件夹、小文件柜和大纸盒。然后分以下三步进行整理：1、文件资料分为“正在办理状态”和“已办、需保存状态”，正
全民啃书·2023-07-29 12:41

大数据课程D4——hadoop的MapReduce

[email protected]地址：广东惠州▲本章节目的⚪了解MapReduce的作用和特点；⚪掌握MapReduce的组件；⚪掌握MapReduce的Shuffle；⚪掌握MapReduce的小文件问题
伟雄·2023-07-29 06:56

如何高效实现文件传输：小文件采用零拷贝、大文件采用异步io+直接io

一般会如何实现文件传输？服务器提供文件传输功能，需要将磁盘上的文件读取出来，通过网络协议发送到客户端。如果需要你自己编码实现这个文件传输功能，你会怎么实现呢？通常，你会选择最直接的方法：从网络请求中找出文件在磁盘中的路径后，如果这个文件比较大，假设有320MB，可以在内存中分配32KB的缓冲区，再把文件分成一万份，每份只有32KB，这样，从文件的起始位置读入32KB到缓冲区，再通过网络API把这3
linux大本营·2023-07-27 11:50

SpringBoot文件分片上传,断点续传

1背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器
M_Snow·2023-07-26 12:02

文件的压缩

1.文件压缩及为什么压缩文件文件压缩是将多个文件和目录组织成一个特殊的文件，减小文件的大小，使传输更快。
魇殇_3e40·2023-07-26 11:38

Golang ioutil包

ReadAllReadAll方法，我们比较常用的工具类方法，一次性读取文件的所有内容并返回，适用于读取小文件，如果文件太大会占用太多内存。
ʀᴇʟɪᴇʏ·2023-07-26 08:32

ext4 - mballoc块分配机制

buddy算法管理每个blockgroup采用prellocation机制，氛围per-cpulocalpreallocation和perinodepreallocation小文件和大文件采用不同的策略小文件
nginux·2023-07-25 07:20

关于小文件切片的虚拟存储过程

CombineTextInputFormat.setMaxInputSplitSize(job,4194304)1.虚拟存储过程,
叫我莫言鸭·2023-07-25 07:50

【Spring MVC】小文件上传的多种方法

文章目录方法参数单文件上传1.MultipartFile的transferTo(Filedest)2.MultipartFile的transferTo(Pathdest)3.MultipartFile+Files.write(Pathpath,byte[]bytes,OpenOption...options)4.MultipartFile+Files.copy(InputStreamin,Path
pcdd·2023-07-25 05:50

【Spring MVC】小文件下载的多种方法

文章目录HTTPHeader之Content-Disposition文件下载代码Servlet实现方式1Servlet实现方式2Spring实现方式1Content-Disposition指定inlineWin、JDK17、SpringBoot3.1.2HTTPHeader之Content-Disposition以下内容来自mdnwebdocs在常规的HTTP应答中，Content-Disposi
pcdd·2023-07-25 05:46

大数据算法面试题目及答案（一）

因此我们需要采用分治法，将一个大文件分割成若干个小文件，并且每个小文件的大小不
大数据研习社·2023-07-25 04:18

mp3 lsf扩展

LSF(lowsamplefrequency)extensionMP3LSF是一种特殊的MP3编码方式，它使用更低的采样率来压缩音频数据，从而减小文件大小。通常，M
HUI的技术笔记·2023-07-24 23:21

【Hadoop 02】企业级解决方案

1小文件问题问题描述：由于在HDFS中，每一个小文件在NameNode中都会占用150字节的内存空间，而且每个小文件都是一个Block，会产生一个InputSplit，这样就会产生一个Map任务，同时启动多个
不菜不菜·2023-07-24 19:56
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他