小文件

使用QTcpSocket及QTcpServer传输大文件

Qt在实际的使用Tcp通信中发现，发送端与接收端并不是一一对应的，会出现发送多次只相应一次的情况，且发送端速度远超接收端时会引起程序崩溃，小文件不存在这样的问题，可忽略，大文件发送之所以出现，其问题的根本点在于
从前，有个傻子........·2023-08-30 02:28

Python 计算文件行数

Python实现，读取文件行数，类似wc-l的功能，小文件无所谓，如果遇到大文件（5G），就要选择一种性能较高的方法了。
kakarotto·2023-08-29 14:11

用nc命令行工具在两台服务器之间传输文件

最近遇到需要在两个服务器之间传输小文件的需求，之前一直rzsz到本地再传到服务器上。后来发现了一个叫nc的工具，centos和ubuntu好像都自带，非常好用。
yanjiee·2023-08-29 02:27

FastDFS

与其他文件系统的对比指标适合类型文件分布系统性能复杂度FUSEPOSIX备份机制通讯协议接口社区支持去重开发语言FastDFS4KB~500MB小文件合并存储不分片处理很高简单不支持不支持组内冗余备份ApiHTTP
舒十三·2023-08-28 11:15

7 集群基本测试

1.上传小文件到集群在hadoop路径下执行命令创建一个文件夹用于存放即将上传的文件：[atguigu@hadoop102~]$hadoopfs-mkdir/input上传：[atguigu@hadoop102hadoop
水无痕simon·2023-08-28 09:54

腾讯内部单边拥塞算法BBR-TCPA一键脚本安装

优势：TCPA启用后，小文件比BBR能提升40%以上，大文件比BBR能提升5%~10%。TCPA的优势在于小文件的性能提升
微酸已着枝·2023-08-28 07:31

程序阅读基础

程序结构从如计算斐波那契数列的基础计算，只需数行的编程、一个小文件，到一个具体庞大的项目落地，看似复杂的结构，如何理解？只需一定的模块化思维。
AntiGravity·2023-08-27 16:35

[免费精品] 图压-简单易用的图片压缩软件

这款工具能在几乎不损害画质的情况下大幅度地压缩图片的体积，可以非常快速有效地批量减小文件大小。
ColaMac软件·2023-08-26 19:12

面试题-海量数据处理问题

1）采用hash的方式，ip%m，将大文件分成m个小文件。2）对每个小文件，用hash表统计ip出现的次数。找出这个小文件出现次数最多的ip3）在这m个ip中，比较得到出现次数最多的ip。
Alukar·2023-08-26 08:07

关于Map的理解

MapTask分区对应的是ReduceTask也可以通过设定reduce数量来调整分区数分区规则:设定为1时,根本不走自定义分区器,而是Hash如果分区数大于规则空如果分区数小于规则(分区数不为1)报错小文件的处理设置输入流的类来控制小文件
叫我莫言鸭·2023-08-26 04:30

使用cmd命令创建指定大小文件

1.打开电脑的cmd(windows+R)2.输入命令:fsutilfilecreatenewe:\2GB.txt21474836483.等待cmd运行完成，即可以在指定盘创建一个指定大小的文件，这里是在E盘中创建一个2G的txt文件备注：2147483648指2GB对应的字节数
zhuhui2000·2023-08-25 23:14

cmd命令生成指定大小文件

1、生成命令在d盘生成200m的文件，文件名称为200m.doc：fsutilfilecreatenewd:\200m.doc209715200注意：命令中指定文件大小的单位是byte。2、计算机存储容量关系1byte=8bit1KB=1024byte1MB=1024KB1GB=1024MB
Claira00·2023-08-25 23:42

Compressor For Mac强大视频编辑工具 v4.6.5中文版

CompressorforMac是苹果公司推出的一款视频压缩工具，可以将高清视频、4K视频、甚至是8K视频压缩成适合网络传输或存储的小文件。
财源广进129·2023-08-25 15:05

浅析三维模型OBJ格式轻量化处理常见问题与处理措施

解决方法可以是使用压缩算法，如几何压缩或纹理压缩，来减小文件大小。另外，可以考虑使用LOD（LevelofDetail）技术，在不同距
3D探路人·2023-08-25 12:54

三维模型OBJ格式轻量化压缩处理的数据质量提升方法分析

三维模型OBJ格式轻量化压缩处理的数据质量提升方法分析在三维模型的OBJ格式轻量化压缩处理过程中，除了减小文件大小和提高加载速度之外，我们也需要考虑如何提升数据质量。
3D探路人·2023-08-25 12:54

前端面试：【性能优化】页面加载性能、渲染性能、资源优化

以下是一些优化页面加载性能的方法：压缩资源：压缩HTML、CSS和JavaScript文件，减小文件大小
fans小知·2023-08-25 09:52

Flink集成iceberg在生产环境中的实践

文章目录背景及痛点业务背景原架构方案痛点flink+iceberg的落地iceberg技术调研hive表迁移iceberg表iceberg优化实践压缩小文件查询优化运维管理后续工作flinksql接入cdc
大数据技术与应用实战·2023-08-25 07:10

在当今信息化社会中的安全大文件传输

安全大文件传输的重要性在各个行业和领域中，需要传输大文件或海量小文件的情况屡见不鲜。跨境数据传输、数据同步、数据迁移、数据协作、数据分发和数据备份等，都需要高效、安全的传输
镭速·2023-08-24 12:31

Python3 分割二进制文件为小文件

#Python3分割二进制文件为小文件Python作为脚本语言可以十分方便地编辑文件包括二进制文件。本文介绍了一种将大的二进制文件分割为多个小文件的案例代码。
matdodo·2023-08-24 08:56

文件外排序

但是归并不是直接用，在归并排序前，我们先将大文件分割成N份，保证每份的大小可以加载到内存中，那么就可以把每个小文件加载到内存中，使用快排排成有序，再写回小文件，这样每个小文件就都有序了，就可以两个小文件归并了
咬光空气·2023-08-24 07:28

Shell 常用语句查询

[TOC]工作常用df-TH//查看磁盘大小，解决：删除比较大无用的文件df-i//查看inode：文件的字节数，拥有者id，组id，权限，改动时间，链接数，数据block的位置，解决：删除数量过多的小文件
崔馨月·2023-08-24 06:21

导出数据时，目标目录里面是多个文件，无法导出数据

在sql中的unionall会造成许多小文件，考虑使用row_number()等串窗口函数将结果数据合并了，可以让结果只有一个文件。
苏坡闷·2023-08-23 13:41

2020-12-10 pub文件的迷思

这类文件接触的比较少，有接到的也是些10页以内的小文件。这次的pub文件超过了20页。整个项目充满曲折，第一步pub转xml就不顺利。
久宅君·2023-08-23 09:36

阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？

在Alibaba内部我们使用的存储主要是HDFS，当同一个集群的Job到达一定数量后，会对HDFS造成非常大的压力，本文将介绍一种大幅度降低HDFS压力的方法–小文件合并。背景不管使用FsStat
Apache Flink·2023-08-23 07:02

nginx 无论如何配置一直来到nginx欢迎页面

的安装目录去配置配置nginx访问vue项目页面编辑nginx.conf,并在server中配置如下内容即可访问，server{#charsetkoi8-r;#开启gzipgzipon;#启用gzip压缩的最小文件
内心的一片海·2023-08-22 17:57

小文件分析 - （一）

主要参考：1、《SQLite数据库文件格式全面分析.doc》，链接不详，只是能再网上各个文库上找到此文档。2、官网文档DatabaseFileFormat前提准备准备好文件在win10环境下PSG:\code-2\sqlite3>./sqlite3small.dbSQLiteversion3.28.02019-04-1619:49:53Enter".help"forusagehints.sqlit
5dplay·2023-08-22 10:35

VC++2019编译pngquant源码及全面详解

它通过将PNG图像转换为更高效的8位格式并保留完整的alpha透明度来显著减小文件尺寸。也许你已经知道了linux压缩，8位的PNG文件通常比24/32位的PNG文件要小60-80%。
依星net188.com·2023-08-21 04:20

Linux压缩与解压Day.14

二.为什么要对文件进行压缩1.压缩文件会减小文件的体积2.加快资源的传输3.节省网络的宽带三.Windows的压缩包与Linux的压缩包可以互通1.Windows的压缩包类型：rarzip等等的其他类型
AGod_9141·2023-08-21 02:24

Linux文件内容查看类常用命令

cat[选项][文件]：查看文件内容，将所有的内容全部一次性加载出来，适合于小文件-n：由1开始对所有输出行编号tail[选项][文件]：查看文件尾部N行（默认10行），也可以指定查看几行-n：指定显示几行
LilGaage·2023-08-21 00:24

HDFS与HBase优化策略

数据块的备份数（复制因子，默认3）(2).HDFS数据块的大小,默认值是128M（hdfs的大小应当根据两个因素来确定，一个是系统中常见文件的大小，一个是系统硬盘的速度，最优值应当接近硬盘速度）hdfs小文件归档
IT二叔·2023-08-20 21:40

Android性能优化--IO 优化（ IO基本知识：应用程序、文件系统和磁盘，三种IO方式及适用场景，多线程阻塞IO和NIO）

不同的场景使用不同的I/O方式I/O的三种方式1.标准I/O2.直接I/O3.mmap多线程阻塞I/O和NIO1.多线程阻塞I/O2.NIO小文件系统常见不良现象1.主线程I/O2.读写Buffer过小
CallmeZhe·2023-08-20 16:23

hive map数的控制

背景：最近执行一个selectcount(*)，发现mapreduce计算分片数很慢，且分片数的大小对不上确定hive默认开启map任务前进行合并小文件的设置：hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
安申·2023-08-20 06:09

HDFS小文件处理及解决方案

小文件为什么会成为问题？小文件的解决方案包括哪些？有没有自己的解决方案？HadoopArchive具体是如何处理小文件的？Sequencefile是如何解决小文件的？
xiaoxiangyu163·2023-08-20 04:05

HDFS小文件优化方法

一、HDFS小文件弊端HDFS上每个文件都要在namenode上建立一个索引，这个索引大小约为150byte，这样的话当小文件比较多的时候就会产生很多的索引文件，一方面会大量占用namenode的内存空间
yui方木·2023-08-20 04:35

hdfs小文件的处理方法

1、概述小文件是指文件size小于HDFS上block大小的文件。这样的文件会给Hadoop的扩展性和性能带来严重问题。
kawhine·2023-08-20 04:35

HDFS小文件处理

一、HDFS中小文件会有什么影响（1）存储层面：1个文件块，占用namenode多大内存150字节，大量小文件占用namenode内存。128G能存储多少文件块？
万里长江横渡·2023-08-20 04:35

HDFS小文件治理方案

针对HDFS的小文件的治理方案可具体划分为以下几点：（对于治理方式的备注：1、对于拥有客户端权限的用户（后期会一一回收），可通过客户端执行相关命令完成治理工作，治理过程中相关数据的查看也可通过客户端自行完成
DLoong+·2023-08-20 04:05

HDFS 小文件的解决思路

我们知道，HDFS被设计成存储大规模的数据集，我们可以在HDFS上存储TB甚至PB级别的海量数据。而这些数据的元数据（比如文件由哪些块组成、这些块分别存储在哪些节点上）全部都是由NameNode节点维护，为了达到高效的访问，NameNode在启动的时候会将这些元数据全部加载到内存中。而HDFS中的每一个文件、目录以及文件块，在NameNode内存都会有记录，每一条信息大约占用150字节的内存空间。
xiaolin_xinji·2023-08-20 04:05

Hadoop知识点总结——HDFS小文件过多问题、解决方法

HDFS小文件过多问题、解决方法小文件过多的影响存储层面计算层面解决方法1、采用har归档方式2、采用CombineTextInputFormat3、开启JVM重用小文件过多的影响存储层面每个文件均按块存储
笑看风云路·2023-08-20 04:04

HDFS小文件过多危害与解决方法

危害：Hadoop上大量HDFS元数据信息存储在NameNode内存中，因此过多的小文件必定会压垮NameNode的内存（每个元数据对象约占150b,所以如果有一千万个小文件，每个文件占用一个block
木良Duncan·2023-08-20 04:34

HDFS小文件处理方法

HDFS小文件处理1.采用har归档文件（将多个小文件打包成后缀为.har的文件）2.采用CombineTextInputFormat（将多个小文件逻辑规划到一个切片中）3.自己设计一个MR程序将多个小文件合并成一个大文件
dodo学技术·2023-08-20 04:04

HDFS小文件危害以及如何解决

HDFS小文件危害以及如何解决小文件的定义文件大小小于或者等于30M的文件hdfs小文件带来危害（1）HDFS不适合大量小文件的存储，因namenode将文件系统的元数据存放在内存中，因此存储的文件数目受限于
Stig_Q·2023-08-20 04:04

HDFS的小文件影响及解决办法

然而，HDFS中的小文件可能会对系统性能和资源利用产生一些影响。
贾斯汀玛尔斯·2023-08-20 04:33

【文件上传】大文件分片上传、断点续传、秒传前后端实现

针对文件过大的解决办法，可以将文件进行切割成规定大小的几个小文件
科学熊·2023-08-18 22:32

文件和目录的基础操作

cat命令concatenate(连接)的缩写，即combinepiecestogether1）把碎片组合在一起（意味着可以使用cat创建一个小文件）2）显示文件──(root㉿kali)-[~]└─#
Depressiom·2023-08-18 15:55

FTP

1.项目概述1.1项目概述本项目基于linux系统编程实现,使用了linux文件操作与网络编程等技术采用C/S模式设计,服务器与客户端可相互发送任意大小文件,支持一些常用指令查看文件,如ls,cd,pwd
Meiyangyang945·2023-08-18 13:38

【Linux命令详解 | gzip命令】 gzip命令用于压缩文件，可以显著减小文件大小

查看压缩文件内容4.测试压缩文件的完整性5.强制压缩6.压缩级别7.与其他命令结合使用8.压缩多个文件9.自动删除原文件总结简介在Linux中，gzip命令是一款强大的文件压缩工具，它可以通过压缩文件的方式显著减小文件大小
橙子mj·2023-08-18 13:16

iceberg系列之 hadoop catalog 小文件合并实战

背景flink1.15hadoop3.0pom文件4.0.0com.icebergflink-iceberg1.0-SNAPSHOT881.15.31.82.121.7.30org.apache.flinkflink-core${flink.version}org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streami
wang2leee·2023-08-18 07:22

全球矢量、影像数据（亿个小文件）入库经验总结

一、业务场景客户有一批数据，里面大约有1万7千个mbtiles文件（可以理解为紧凑型数据），本质就是sqlitedb数据库。现在需要去访问mbtiles数据库中的pbf瓦片（二进制），以流的形式返回给前端进行渲染。二、实现方案场景如上，可得出三种解决方案1、直接访问mbtiles，根据一定的规则找到对应的pbf瓦片并返回给前端优点：不需要将内部的数据还原，直接操作即可缺点：sqlitedb这种嵌入
小菜鸟俊隽·2023-08-17 23:51

构建易于运维的 AI 训练平台：存储选型与最佳实践

伴随着公司业务的发展，数据量持续增长，存储平台面临新的挑战：大图片的高吞吐、超分辨率场景下数千万小文件的IOPS问题、运维复杂等问题。
Juicedata·2023-08-17 22:19
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他