小文件

VSCode的一些基本设置：修改字体大小、更换主题颜色、中文

1.中文插件搜索Chinese进行安装2.修改代码字体大小文件->首选项->设置3.修改菜单栏字体大小ctrl+shift+“+”可以使VSCode的侧边字体变大ctrl+shift+“-”
_洋·2022-07-21 09:51

RestTemplate接口调用神器常见用法汇总

3、发送Get请求3.1、普通请求3.2、url中含有动态参数3.3、接口返回值为泛型3.4、下载小文件3.5、下载大文件3.6、传递头3.7、综合案例：含头、url动态参数4、POST请求4.1、post
·2022-07-20 14:46

JS压缩方法及批量压缩

压缩JS的好处（1）减小文件的体积；（2）减小网络传输量和带宽占用；（3）减小服务器的处理的压力；（4）提高页面的渲染显示的速度。
·2022-07-15 14:51

HIVE 生成过多小文件的问题

HIVE生成大量小文件小文件的危害为什么会生成多个小文件不同的数据加载方式生成文件的区别解决小文件过多的问题今天运维人员突然发来了告警，有一张表生成的小文件太多，很疑惑，然后排查记录了下HIVE的版本2
半吊子Kyle·2022-07-11 13:34

crontab 解决环境变量不一致问题及注意事项

问题描述今天写了一个hivecli合并小文件的shell，每天定时执行但是确发现我手动执行可以，crontab执行就会报错127所以应该果断的怀疑是环境变量的问题问题解决在脚本的第一行加入source/
Antg·2022-07-08 11:04

一文探索Java文件读写更高效方式

目录背景场景分析场景1：小文件单文件压缩方式1：网上流传（流传在坊间的神话，其实是带刺的玫瑰）方式2：使用缓冲区方式3：使用通道方式4：使用mmp场景2：大文件单文件压缩场景3：大文件多文件压缩分析结论背后机密
·2022-07-07 14:40

js自己实现一个大文件切片上传+断点续传的示例代码

相信每个切图工程师，都接触过文件上传的需求，一般的小文件，我们直接使用inputfile，然后构造一个newFormData()对象，扔给后端就可以了。
·2022-06-27 18:34

Python利用fastapi实现上传文件

指定了参数类型是bytes：file:bytes=File(),此时会将文件内容全部读取到内存，比较适合小文件。使用File需要提前安装python-multipartfrom
·2022-06-23 13:46

分析Iceberg合并任务解决数据冲突

作者：吴文池背景iceberg提供合并小文件功能，可以按照用户的配置文件，把多个符合配置的小文件合并成多个大文件。该流程主要是对源数据做了一次复制。
·2022-06-21 17:52

微软账号被锁定后的记录历程（已永久封禁）

前几天与朋友购买了正版office365，获得了1T的OneDrive空间，于是开始同步本地的一些重要文件到OneDrive，所以我猜测原因是因为我OneDrive同步数据太多（有一部分是代码，几个G，但是小文件比较多
土豆流氓兔·2022-06-21 10:36

Webpack配置全解析（优化篇）

本文将从缩小文件搜索范围、减少打包文件、缓存和多进程四个方面来了解Webpack的优化配置。缩小文件搜索范围Webpack会从Entry入口出发，解析文件中
弹琴弹琴·2022-06-21 09:21

HDFS存储大量小文件的问题及解决方案

1.存储大量小文件存在的问题大量小文件的存在势必占用大量的NameNode内存HDFS中的每一个文件、目录以及文件块，在NameNode内存都会有记录，每一条记录大约占用150字节的内存空间(该大小与文件
TPH-BETTER·2022-06-16 01:28

iTOP-IMX6Q开发板QT5.7系统Mplayer移植-交叉编译 Libmad-0.15.1b

开发板资料汇总（不含光盘资料）\08_iTOP-i.MX6开发板Linux系统开发资料\19-QT5.7系统Mplayer移植”下64.1交叉编译Libmad-0.15.1b本章节中的根文件系统使用的是最小文件系统上移植的
mucheni·2022-06-09 19:05

一文带你了解优秀的Go 语言开源项目

1.文件系统（FileSystem）篇用于大文件版本控制的Git扩展–git-lfs用于小文件的简单且高度可扩展的分布式文件系统–SeaweedFSGo实现的跨平台文件系统监控库–fsnotifyGo实现的高性能
kuokay·2022-06-02 07:19

Linux下数据备份命令scp、rsync和后台运行

当小文件众多时，rsync会导致硬盘I/O非常高，而scp基本不影响系统正常使用。可根据需要这俩选其一实现文件复制。
韩小早儿·2022-06-01 15:24

分布式小文件服务器seaweedfs安装

下载wgethttps://github.com/chrislusf/seaweedfs/releases/download/3.06/linux_amd64.tar.gz解压tar-zxvflinux_amd64.tar.gz安装mvweed/usr/local/bin/weed文档#概况weed-h#中央服务器weedmaster-h#存储服务器weedvolume-h单机master（中央服
风静花犹落·2022-05-30 14:42

2021-12-29大数据学习日志——Hadoop离线阶段——大数据导论、Apache Zookeeper

分布式计算大数据5V特征大数据应用分布式、集群（2）ApacheZookeeper（重要）zk概念介绍分布式协调服务软件zk是分布式小文件存储系统zk特性：全局数据一致性zk角色主从架构zk集群
成长的小狮子·2022-05-28 03:56

Hdaoop的SequenceFile使用（学校实验）

实验题目本实验要求学生通过SequenceFile实现对多个小文件的封装。
CoderPig233·2022-05-24 12:49

html怎么压缩发送文件,前端性能优化-对HTTP传输进行压缩

简介资深的前端开发人员都知道，在web开发中，对js、css、图片、font等都要进行压缩，尽可能的减小文件的大小，减少前端下载的时间，从而提高网页响应的时间。特别是在移动端，这对用户的流量还有影响。
木头骨头石头·2022-05-21 19:12

前端性能优化-综合篇

网络+资源1.减少/延缓HTTP请求尽可能合并静态资源图片、JavaScript或CSS代码，多个小文件合并为一个大文件，减少页面请求数和资源请求消耗。
kikiR_·2022-05-21 19:40

CDN和云计算

支持多种行业、多种场景内容加速，例如：图片小文件、大文件下载、视音频点播、直播流媒体、全站加安全加速。
·2022-05-05 15:31

Golang编程并发工具库MapReduce使用实践

使用说明需求实现业务逻辑创建任务队列运行结果结论引申阅读环境goversiongo1.16.4windows/amd64Intel(R)Core(TM)[email protected]核心8线程项目需求处理数个约5MB的小文件从源目录读取文件并拷贝到目标目录计算源文件
·2022-04-29 12:55

FastDFS 海量小文件存储解决之道

支持Linux、FreeBSD、AID等Unix系统，解决了大容量的文件存储和高并发访问问题，文件存取实现了负载均衡，适合存储4KB~500MB之间的小文件，特别适合以文件为载体的在线服务，如图片、视频
·2022-04-26 16:41

MapReduce计算流程详解

CombineTextInputFormat可以把多个小文件合并成一个切片处理，提高处理效率。（2）逻辑处理接口：Mapper用户根据业务需求实现其中三个方法：m
zhaojiew·2022-04-26 12:13

Kafka传输文件（字节数组）

使用Kafka以字节数组的形式传输文件最近遇到解析大量小文件的需求，之前都是将文件放到HDFS，然后读取进行解析。
upupfeng·2022-04-26 12:12

Spark大数据处理TB级别海量数据的Shuffle成本（草稿）

1：轻易不要shuffle，例如20万个小文件（文件大小100MB，spark一个文件一个分区）的想要进行缩减5-8万的分区轻易不要repartition，而是coalase进行分区合并
javartisan·2022-04-24 14:54

大文件上传下载实现思路，分片、断点续传代码实现，以及webUpload组件

大文件上传实现思路：分片：按照自定义缓冲区大小，将大文件分成多个小文件片段。
远走与梦游·2022-04-23 01:59

Linux下使用C++采用父子进程完成文件的拆分与合并

目录拆分:拆分所使用到的函数与结构体:主要操作流程:以下为拆分代码:合并:合并所使用到的函数与结构体:主要操作流程：以下为合并代码:拆分:将Linux下的文件拆分为多个1MB的小文件,便于发送与上传等操作拆分所使用到的函数与结构体
一个不同的ID·2022-04-18 07:42

深入浅出 Ext4 块和 Inode 分配器的优化（上）

作者｜AneeshKumarK.V、MingmingCao、JoseRSantos、AndreasDilger翻译｜焱融技术团队当前，对于小文件和大文件来说，文件系统对块分配器的需求是冲突的。
·2022-04-13 20:06

Nginx 日志切割-手动

Nginx日志切割-手动现有的日志都会存在access.log文件中，但是随着时间的推移，这个文件的内容会越来越多，体积会越来越大，不便于运维人员查看，所以我们可以通过把文件切割为多份不同的小文件作为日志
·2022-04-12 15:48

pandas、openpyxl、xlrd&xlwt&xlutils耗时对比、使用踩坑

问题解决：读写execl有三种基本方式：  pandas、openpyxl、xlrd&xlwt&xlutilsopenpyxl、xlrd&xlwt&xlutils的对比  在自己写的脚本中做了实验，对于读取小文件
单单一个越字·2022-04-02 13:00

Apache Hudi数据布局黑科技降低一半查询时间

在数据湖/仓库中，需要在摄取速度和查询性能之间进行权衡，数据摄取通常更喜欢小文件
·2022-03-30 20:07

ASP.NET Core在WebApi项目中使用Cookie

在大多数浏览器中，每个Cookie都存储为一个小文件。Cookie表示
·2022-03-26 18:49

MapReduce的Shuffle过程及Hadoop优化（包括：压缩、小文件、集群优化）

一、Shuffle机制1）Map方法之后Reduce方法之前这段处理过程叫Shuffle2）Map方法之后，数据首先进入到分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小100m，环形缓冲区达到80%时，进行溢写；溢写前对数据进行排序，排序按照对key的索引进行字典顺序排序，排序的手段快排；溢写产生大量溢写文件，需要对溢写文件进行归并排序；对溢写的文件也可以进行Combi
·2022-03-25 15:10

华为云FusionInsight MRS实战 - Hudi实时入湖之DeltaStreamer工具最佳实践

然而实时同步从一开始就面临如下几个挑战：小文件问题。不论是spark的microbatch模式，还是flink的逐条处理模式，每次写入HDFS
·2022-03-25 10:09

在线CSS3压缩美化格式化

在线CSS3压缩美化格式化在线CSS3压缩美化格式化本工具可以将压缩的CSS,CSS3代码美化格式化显示,也可以将格式化的CSS代码压缩成单行减小文件体积。
·2022-03-24 14:43

Apache hudi 源码分析 - 写时处理优化小文件问题（flink)

SNAPSHOTTime:2022/03/14spark适配同理整体流程flink对每一行数据进行处理，构造recorderKey（包含分区路径）通过HudiMetadata获取指定分区路径所有满足条件的小文件
·2022-03-24 14:46

初识Hadoop架构

缺点：不适合处理低延迟的数据访问，主要处理高数据吞吐量的应用；不适合处理大量的小文件，这样会浪费NameNod
·2022-03-24 14:11

Hive小文件问题及处理

作者：张建第一章小文件过多带来的三个影响Hive是一个建立在ApacheHadoop之上建立的一个数仓系统，Hive使用Hadoop中的HDFS组件存储数据文件。
·2022-03-24 14:26

zookeeper 密码_面试阿里，腾讯90%会被问到的zookeeper，把这篇文章看完就够了。...

Zookeeper概述zookeeper高容错数据一致性协议(CP)的分布式小文件系统，提供类似于文件系统的目录方式的数据存储。
weixin_39562234·2022-03-22 08:46

[ hadoop ] 集群性能调优全面总结

引子文章涵盖了hadoop框架的三个组成架构各自的优化方法,涉及存储,计算,故障排除等多个方面的具体调优内容,先后解决HDFS,MapReduce,Yarn的常见问题,最终结合小文件问题给出了Hadoop
bone_ds·2022-03-19 22:34

在线CSS3压缩美化格式化

在线CSS3压缩美化格式化在线CSS3压缩美化格式化本工具可以将压缩的CSS,CSS3代码美化格式化显示,也可以将格式化的CSS代码压缩成单行减小文件体积。
·2022-03-18 22:43

Apache hudi 源码分析 - 写时处理优化小文件问题（flink)

SNAPSHOTTime:2022/03/14spark适配同理整体流程flink对每一行数据进行处理，构造recorderKey（包含分区路径）通过HudiMetadata获取指定分区路径所有满足条件的小文件
·2022-03-14 23:28

初识Hadoop架构

缺点：不适合处理低延迟的数据访问，主要处理高数据吞吐量的应用；不适合处理大量的小文件，这样会浪费NameNod
·2022-03-13 23:58

i.MX6ULL终结者QT应用开发Qt系统移植

文章目录1制作根文件系统1.1准备源码1.2编译环境1.3支持中文1.4配置busybox1.5编译busybox1.6整理最小文件系统1.6.1制作文件系统镜像及测试2交叉编译Qt源码3搭建Qt文件系统
一只流浪小法师·2022-03-12 15:32

【北京迅为】i.MX6ULL终结者QT应用开发Qt系统移植

文章目录1制作根文件系统1.1准备源码1.2编译环境1.3支持中文1.4配置busybox1.5编译busybox1.6整理最小文件系统1.6.1制作文件系统镜像及测试2交叉编译Qt源码3搭建Qt文件系统
北京迅为·2022-03-12 15:53

linux环境下 FastDFS搭建文件管理系统

主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB
俺叫啥好嘞·2022-03-12 08:40

【Linux】文件系统管理

往期内容：Linux常用指令合集Linux文本编辑器Linux软件包管理Linux用户管理文章目录回顾分区和文件系统分区类型分区表示方法文件系统常见命令文件系统查看命令统计目录或文件大小文件修复命令fsck
大拨鼠·2022-03-12 08:10

Hadoop原生对象存储Ozone

Hadoop社区推出了新一代分布式Key-value对象存储系统Ozone，同时提供对象和文件访问的接口，从构架上解决了长久以来困扰HDFS的小文件问题。
为了生活，加油·2022-03-11 15:00

HDFS常见问题及命令

文章目录Q1、当小文件数量过多时，如何合并小文件？Q2、hdfs里的edits和fsimage作用？Q3、hadoop出现文件块丢失怎么处理？
qq_39682761·2022-02-28 10:18
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他