小文件

一文教会你如何用 Python 分割合并大文件

有时候，我们需要把一个大文件发送给别人，但是限于传输通道的限制，比如邮箱附件大小的限制，或者网络状况不太好，需要将大文件分割成小文件，分多次发送，接收端再对这些小文件进行合并。
程序员老华·2022-08-27 17:59

【03】HDFS

只适合查询，数据量越大越有优势适合大文件，不适合小文件低延时数据存储42_尚硅谷_Hadoop_H
饮马翰海·2022-08-24 18:09

星环科技多模型数据统一存储的大数据分布式存储平台方案分享

此外，传统数据存储平台需要同时存储大文件和小文件，
·2022-08-18 11:29

超大SQL文件切分---SQLDumpSplitter（带软件）

最近遇到个问题，数据库文件大约30G，直接操作处理没法实现，只好利用SQLDumpSplitter把超大文件切分成多个小文件，逐个处理。
小陈步吃人·2022-08-16 17:57

美团一面：如何在 100 亿数据中找到中位数？

桶排序1）创建多个小文件桶，设定每个桶的取值范围，然后把海量数据元素根据数值分配到对应的桶中，并记录桶中元素的个数2）根据桶中元素的个数，计算出中位数所在的桶（比如100亿个数据，第1个桶到第18个桶一共有
·2022-08-12 12:58

hive优化(数据倾斜)

#hive优化(数据倾斜)#问题描述：倾斜小文件join大文件内容倾斜JOBS多joinunionsub_querycount(distinct)建议使用groupby,因为在hive底层中，自带对groupby
lucky乐琪·2022-08-10 13:06

Hive中数据倾斜和小文件过多的解决方案

数据倾斜：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。原因：某个reduce的数据输入量远远大于其他reduce数据的输入量1)、key分布不均匀2)、业务数据本身的特性3)、建表时考虑不周4)、某些SQL语句本身就有数据倾斜解决方案：(1)参数调节sethive.map.aggr=t
大大大大肉包·2022-08-10 13:33

Hive 优化--SQL执行顺序、Hive参数、数据倾斜 、小文件优化

优化整体思路如果资源充足就加资源加内存，调度链路优化，调整调度顺序，时效性要求高的模型先产出，数据接入模块，调优数据接入工具sqoop，datax模型设计质量不高，调整模型，提高质量和复用度，尽可能减少joinhive参数调优sql调优，数据倾斜，join原则模型优化存储类型：parquet压缩类型：Snappy分区：PARTITIONEDBY(DTString模型设计：字段类型，字段冗余，主键等
四月天03·2022-08-10 13:03

Hive (十) --------- 企业级调优

小表大表Join(MapJOIN)2.大表Join大表3.GroupBy4.Count(Distinct)去重统计5.笛卡尔积6.行列过滤五、合理设置Map及Reduce数1.复杂文件增加Map数2.小文件进行合并
在森林中麋了鹿·2022-08-10 13:32

Hive数据倾斜的优化配置

Hive本质Hive的本质其实就是Hdfs+MapReduce，HDFS存储、MR执行任务发生数据倾斜的原因1.数据本身倾斜内容倾斜、groupby倾斜、小表Join大表2.过多Join过多导致Job过多、小文件过多
徐凤年不是真无敌·2022-08-10 13:01

HIVE优化和数据倾斜、合并小文件

HIVE优化和数据倾斜、合并小文件执行计划（explain）Fetch抓取本地模式小表join大表(MapJoin)大表join大表空值异常key需要过滤空值非异常需要转换Groupby优化笛卡尔积行列过滤合理设置
吃再多糖也不长胖·2022-08-10 13:00

【Hadoop】Hadoop 调优

格式：DEFLATE、Gzip、bzip2、LZO，Snappy2.小文件优化2.1小文件弊端每个文件都要在NameNode上创建对应的元数据，这个元数据的大小约为150by
和风与影·2022-08-02 09:34

scp上传文件及文件夹到Linux

scp拷贝文件及文件夹简介scp跨服务器拷贝文件:拷贝本地文件到服务器非22端口拷贝文件拷贝文件夹拷贝无数个小文件到远程服务器从服务器拷贝文件到本地常用示例递归拷贝-r(会覆盖)SCP断点续传简介scp
识途老码·2022-08-01 09:54

一文吃透接口调用神器RestTemplate

3、发送Get请求3.1、普通请求3.2、url中含有动态参数3.3、接口返回值为泛型3.4、下载小文件3.5、下载大文件3.6、传
m0_67401499·2022-07-31 07:21

一文吃透接口调用神器RestTemplate

3、发送Get请求3.1、普通请求3.2、url中含有动态参数3.3、接口返回值为泛型3.4、下载小文件3.5、下载大文件3.6、传
路人甲Java·2022-07-27 16:51

使用dd命令在Linux下创建大文件，批量大小文件生成方法

前沿：最近在开发自动从U盘拷贝大批量文件到linux系统的的功能。由于需要几十个G的大文件来做测试，如果自己去找这么多资源，然后再拷贝，非常麻烦。所以学了下dd命令，现在总结一下：一、参数介绍if=FILE从FILE中读取数据，而不是默认的标准输入。if可理解为：infileof=FILE往FILE中写入数据，而不是默认的标准输出。of可理解为：outfileibs=BYTES读取数据时，一次性读
stefan1240·2022-07-22 11:17

VSCode的一些基本设置：修改字体大小、更换主题颜色、中文

1.中文插件搜索Chinese进行安装2.修改代码字体大小文件->首选项->设置3.修改菜单栏字体大小ctrl+shift+“+”可以使VSCode的侧边字体变大ctrl+shift+“-”
_洋·2022-07-21 09:51

RestTemplate接口调用神器常见用法汇总

3、发送Get请求3.1、普通请求3.2、url中含有动态参数3.3、接口返回值为泛型3.4、下载小文件3.5、下载大文件3.6、传递头3.7、综合案例：含头、url动态参数4、POST请求4.1、post
·2022-07-20 14:46

JS压缩方法及批量压缩

压缩JS的好处（1）减小文件的体积；（2）减小网络传输量和带宽占用；（3）减小服务器的处理的压力；（4）提高页面的渲染显示的速度。
·2022-07-15 14:51

HIVE 生成过多小文件的问题

HIVE生成大量小文件小文件的危害为什么会生成多个小文件不同的数据加载方式生成文件的区别解决小文件过多的问题今天运维人员突然发来了告警，有一张表生成的小文件太多，很疑惑，然后排查记录了下HIVE的版本2
半吊子Kyle·2022-07-11 13:34

crontab 解决环境变量不一致问题及注意事项

问题描述今天写了一个hivecli合并小文件的shell，每天定时执行但是确发现我手动执行可以，crontab执行就会报错127所以应该果断的怀疑是环境变量的问题问题解决在脚本的第一行加入source/
Antg·2022-07-08 11:04

一文探索Java文件读写更高效方式

目录背景场景分析场景1：小文件单文件压缩方式1：网上流传（流传在坊间的神话，其实是带刺的玫瑰）方式2：使用缓冲区方式3：使用通道方式4：使用mmp场景2：大文件单文件压缩场景3：大文件多文件压缩分析结论背后机密
·2022-07-07 14:40

js自己实现一个大文件切片上传+断点续传的示例代码

相信每个切图工程师，都接触过文件上传的需求，一般的小文件，我们直接使用inputfile，然后构造一个newFormData()对象，扔给后端就可以了。
·2022-06-27 18:34

Python利用fastapi实现上传文件

指定了参数类型是bytes：file:bytes=File(),此时会将文件内容全部读取到内存，比较适合小文件。使用File需要提前安装python-multipartfrom
·2022-06-23 13:46

分析Iceberg合并任务解决数据冲突

作者：吴文池背景iceberg提供合并小文件功能，可以按照用户的配置文件，把多个符合配置的小文件合并成多个大文件。该流程主要是对源数据做了一次复制。
·2022-06-21 17:52

微软账号被锁定后的记录历程（已永久封禁）

前几天与朋友购买了正版office365，获得了1T的OneDrive空间，于是开始同步本地的一些重要文件到OneDrive，所以我猜测原因是因为我OneDrive同步数据太多（有一部分是代码，几个G，但是小文件比较多
土豆流氓兔·2022-06-21 10:36

Webpack配置全解析（优化篇）

本文将从缩小文件搜索范围、减少打包文件、缓存和多进程四个方面来了解Webpack的优化配置。缩小文件搜索范围Webpack会从Entry入口出发，解析文件中
弹琴弹琴·2022-06-21 09:21

HDFS存储大量小文件的问题及解决方案

1.存储大量小文件存在的问题大量小文件的存在势必占用大量的NameNode内存HDFS中的每一个文件、目录以及文件块，在NameNode内存都会有记录，每一条记录大约占用150字节的内存空间(该大小与文件
TPH-BETTER·2022-06-16 01:28

iTOP-IMX6Q开发板QT5.7系统Mplayer移植-交叉编译 Libmad-0.15.1b

开发板资料汇总（不含光盘资料）\08_iTOP-i.MX6开发板Linux系统开发资料\19-QT5.7系统Mplayer移植”下64.1交叉编译Libmad-0.15.1b本章节中的根文件系统使用的是最小文件系统上移植的
mucheni·2022-06-09 19:05

一文带你了解优秀的Go 语言开源项目

1.文件系统（FileSystem）篇用于大文件版本控制的Git扩展–git-lfs用于小文件的简单且高度可扩展的分布式文件系统–SeaweedFSGo实现的跨平台文件系统监控库–fsnotifyGo实现的高性能
kuokay·2022-06-02 07:19

Linux下数据备份命令scp、rsync和后台运行

当小文件众多时，rsync会导致硬盘I/O非常高，而scp基本不影响系统正常使用。可根据需要这俩选其一实现文件复制。
韩小早儿·2022-06-01 15:24

分布式小文件服务器seaweedfs安装

下载wgethttps://github.com/chrislusf/seaweedfs/releases/download/3.06/linux_amd64.tar.gz解压tar-zxvflinux_amd64.tar.gz安装mvweed/usr/local/bin/weed文档#概况weed-h#中央服务器weedmaster-h#存储服务器weedvolume-h单机master（中央服
风静花犹落·2022-05-30 14:42

2021-12-29大数据学习日志——Hadoop离线阶段——大数据导论、Apache Zookeeper

分布式计算大数据5V特征大数据应用分布式、集群（2）ApacheZookeeper（重要）zk概念介绍分布式协调服务软件zk是分布式小文件存储系统zk特性：全局数据一致性zk角色主从架构zk集群
成长的小狮子·2022-05-28 03:56

Hdaoop的SequenceFile使用（学校实验）

实验题目本实验要求学生通过SequenceFile实现对多个小文件的封装。
CoderPig233·2022-05-24 12:49

html怎么压缩发送文件,前端性能优化-对HTTP传输进行压缩

简介资深的前端开发人员都知道，在web开发中，对js、css、图片、font等都要进行压缩，尽可能的减小文件的大小，减少前端下载的时间，从而提高网页响应的时间。特别是在移动端，这对用户的流量还有影响。
木头骨头石头·2022-05-21 19:12

前端性能优化-综合篇

网络+资源1.减少/延缓HTTP请求尽可能合并静态资源图片、JavaScript或CSS代码，多个小文件合并为一个大文件，减少页面请求数和资源请求消耗。
kikiR_·2022-05-21 19:40

CDN和云计算

支持多种行业、多种场景内容加速，例如：图片小文件、大文件下载、视音频点播、直播流媒体、全站加安全加速。
·2022-05-05 15:31

Golang编程并发工具库MapReduce使用实践

使用说明需求实现业务逻辑创建任务队列运行结果结论引申阅读环境goversiongo1.16.4windows/amd64Intel(R)Core(TM)[email protected]核心8线程项目需求处理数个约5MB的小文件从源目录读取文件并拷贝到目标目录计算源文件
·2022-04-29 12:55

FastDFS 海量小文件存储解决之道

支持Linux、FreeBSD、AID等Unix系统，解决了大容量的文件存储和高并发访问问题，文件存取实现了负载均衡，适合存储4KB~500MB之间的小文件，特别适合以文件为载体的在线服务，如图片、视频
·2022-04-26 16:41

MapReduce计算流程详解

CombineTextInputFormat可以把多个小文件合并成一个切片处理，提高处理效率。（2）逻辑处理接口：Mapper用户根据业务需求实现其中三个方法：m
zhaojiew·2022-04-26 12:13

Kafka传输文件（字节数组）

使用Kafka以字节数组的形式传输文件最近遇到解析大量小文件的需求，之前都是将文件放到HDFS，然后读取进行解析。
upupfeng·2022-04-26 12:12

Spark大数据处理TB级别海量数据的Shuffle成本（草稿）

1：轻易不要shuffle，例如20万个小文件（文件大小100MB，spark一个文件一个分区）的想要进行缩减5-8万的分区轻易不要repartition，而是coalase进行分区合并
javartisan·2022-04-24 14:54

大文件上传下载实现思路，分片、断点续传代码实现，以及webUpload组件

大文件上传实现思路：分片：按照自定义缓冲区大小，将大文件分成多个小文件片段。
远走与梦游·2022-04-23 01:59

Linux下使用C++采用父子进程完成文件的拆分与合并

目录拆分:拆分所使用到的函数与结构体:主要操作流程:以下为拆分代码:合并:合并所使用到的函数与结构体:主要操作流程：以下为合并代码:拆分:将Linux下的文件拆分为多个1MB的小文件,便于发送与上传等操作拆分所使用到的函数与结构体
一个不同的ID·2022-04-18 07:42

深入浅出 Ext4 块和 Inode 分配器的优化（上）

作者｜AneeshKumarK.V、MingmingCao、JoseRSantos、AndreasDilger翻译｜焱融技术团队当前，对于小文件和大文件来说，文件系统对块分配器的需求是冲突的。
·2022-04-13 20:06

Nginx 日志切割-手动

Nginx日志切割-手动现有的日志都会存在access.log文件中，但是随着时间的推移，这个文件的内容会越来越多，体积会越来越大，不便于运维人员查看，所以我们可以通过把文件切割为多份不同的小文件作为日志
·2022-04-12 15:48

pandas、openpyxl、xlrd&xlwt&xlutils耗时对比、使用踩坑

问题解决：读写execl有三种基本方式：  pandas、openpyxl、xlrd&xlwt&xlutilsopenpyxl、xlrd&xlwt&xlutils的对比  在自己写的脚本中做了实验，对于读取小文件
单单一个越字·2022-04-02 13:00

Apache Hudi数据布局黑科技降低一半查询时间

在数据湖/仓库中，需要在摄取速度和查询性能之间进行权衡，数据摄取通常更喜欢小文件
·2022-03-30 20:07

ASP.NET Core在WebApi项目中使用Cookie

在大多数浏览器中，每个Cookie都存储为一个小文件。Cookie表示
·2022-03-26 18:49

MapReduce的Shuffle过程及Hadoop优化（包括：压缩、小文件、集群优化）

一、Shuffle机制1）Map方法之后Reduce方法之前这段处理过程叫Shuffle2）Map方法之后，数据首先进入到分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小100m，环形缓冲区达到80%时，进行溢写；溢写前对数据进行排序，排序按照对key的索引进行字典顺序排序，排序的手段快排；溢写产生大量溢写文件，需要对溢写文件进行归并排序；对溢写的文件也可以进行Combi
·2022-03-25 15:10
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他