小文件

分布式文件系统HDFS

HDFS结构类似于文件系统：HDFS实现目标：1.兼容廉价的硬件设施2.实现流数据读写3.支持大数据集4.支持简单的文件模型5.强大的跨平台兼容HDFS局限性：1.不合适低延迟的数据访问2.无法高效存储大量小文件
小马哥不马虎·2022-11-13 21:09

每次换新公司都让我写CRUD，一怒之下我自己写热门开源项目去了！

599元特惠价原价1899元的《互联网大厂的自研分布式海量小文件项目实战》===课程背景===大部分学员在学习技术的时候会遇到以下几个痛点：1、学了技术后过段时间就忘了2、在面试大厂的时候简历上没有亮眼的项目
石杉的架构笔记·2022-11-07 11:33

cookie和session区别

2.为什么要用cookie由于http协议是一种无状态的协议（客户端和服务端互相不认识）Cookies是一些存储在用户电脑上的小文件。它是被设计用来保存一些站
那兔1·2022-11-02 00:53

Spark SQL优化之路——Hive篇

文章目录前言优化方向数据存储结构优化分区设计分桶设计数据压缩存储格式数据生产者应注意的事项优化场景个别Task运行缓慢源端数据倾斜处理过程中的数据倾斜不合理的哈系分布大小表JoinTask数量多源数据小文件多写入时小文件多集群带宽以及磁盘
L4mbert·2022-10-30 19:16

Session、Cookie和Token的主要区别

一、什么是CookieCookie是由Web服务器保存在用户浏览器上的小文件（key-value格式），包含用户相关的信息。
白白甜甜冰·2022-10-30 07:29

Hadoop 3.x（生产调优手册）----【Hadoop综合调优】

Hadoop3.x（生产调优手册）----【Hadoop综合调优】1.Hadoop小文件优化方法1.Hadoop小文件弊端2.Hadoop小文件解决方法2.测试MapReduce计算性能3.企业开发场景案例
在人间负债^·2022-10-28 20:00

Hadoop 3.x（生产调优手册）----【HDFS--故障排除】

2.fio命令，测试磁盘的读写性能4.小文件归档1.HDFS存储小文件弊端2.解决存
在人间负债^·2022-10-28 20:59

从0开始学SLAM的各种问题

一.关于更改vscode自带终端文字间隔，字体大小文件->首选项->设置->搜索“终端”->找到Terminal>Integrated:FontFamily->更改为monospace即可找到Terminal
|清风|·2022-10-19 07:19

Hudi

1.1.1什么是ApacheHudi1.1.2Hudi支持的文件格式1.1.3表格式1.1.2使用Hudi的优点1.1.3Hoodie的基本概念梳理1.1.4Hudi的设计动机1.1.5Hudi可以避免小文件问题
xu-ning·2022-10-18 17:23

FastDFS合并存储原理

TrunkBinlog压缩合并存储为什么要合并存储在处理【海量小文件（LOSF）】问题上，文件系统处理性能会受到显著的影响，在读写次数（I
xianghan收藏册·2022-10-18 11:48

数据仓库工具 hive的入门（九）Hive调优策略

节架构优化执行引擎优化器分区表分桶表文件格式第2节参数优化第3节SQL优化列裁剪和分区裁剪sortby代替orderbygroupby代替count(distinct)groupby配置调整join基础优化调整Map数对于小文件采用的策略是合并调整
知三分·2022-10-18 10:06

Hive调优经验总结

目录1表层面1.1利用分区表优化1.2利用分桶表优化1.3选择合适的文件存储格式1.4选择合适的压缩格式2HQL层面优化2.1执行计划2.1列、行、分区裁剪2.2谓词下推2.3合并小文件2.4合理设置MapTask
莫叫石榴姐·2022-10-18 10:32

一文吃透接口调用神器RestTemplate

3、发送Get请求3.1、普通请求3.2、url中含有动态参数3.3、接口返回值为泛型3.4、下载小文件3.5、下载大文件3.6、传
普通网友·2022-10-17 09:58

qiankun子应用图片资源加载404 解决方案

方案一：配置webpackurl-loader小文件转为base64大文件配置publicPath为子应用地址缺点：打包前需要区分不同环境，配置publicPath方案二：资源引用地址根据环境env写死主应用为
·2022-10-16 21:45

rpm软件包管理,YUM以及源码编译安装

一、初始rpm软件包1、软件包是由以下几个部分组成的：1）二进制程序2）配置文件：组成方式有三种：单个文件将主配置文件分割为多个小文件，并放置于某目录中单个文件，在内部分割为多个段的3）库文件：静态库动态库
格格巫 MMQ!!·2022-10-12 10:03

Linux简单命令 -tar -gzip

tar压缩命令归档：指把很多文件归类在一起，tar，不会压缩空间压缩：减小文件占用空间的大小，gzip/bzip2/xz一、tar命令tar命令的选项:-c:创建新文档-x︰释放备份文档-f:指定文档名称
大白求饶·2022-10-12 10:22

Linux文件的切割与合并

需求：我们传输一个大文件时，有时网络比较慢，需要花费很长时间才能传输完成，或者传输的过程中，网络不稳定，有可能导致此次传输失败，针对这种情况，我们可以把大文件切分成小文件，再逐个的传输到目的地，最后再把它们合并成一个文件小文件传输有什么优点呢
有谁看见我的剑了？·2022-10-12 09:23

Linux基础文件目录权限+粘滞位

用户名切换成该用户（root切不需要密码，普通用户需要别人密码）在linux环境下当我们使用ll命令显示文件详细信息时会出现按照出现的顺序它们代表的意思依次是，文件类型+访问权限连接数所属用户所属组文件大小文件最新修改日期文件名目录
TT_run·2022-10-10 07:08

网络安全的行业黑话 ——攻击篇 之攻击方法

加壳就是利用特殊的算法，将EXE可执行程序或者DLL动态连接库文件的编码进行改变（比如实现压缩、加密），以达到缩小文件体积或者加密程序编码，甚至是躲过杀毒软件查杀的目的。
ZHFTT917·2022-10-04 12:39

Hadoop之企业级解决方案

目录1.小文件问题及企业级解决方案1.1小文件问题1.2小文件解决方案1.2.1SequenceFile1.2.2MapFile1.3读取HDFS上的SequenceFile实现WordCount案例2
小猫不会去楼兰捉虫·2022-10-03 17:49

Java文件拆分与合并

分解成功后会创建一个文件夹，文件夹里面就是分解后的小文件拆分代码：packagetarena.day1604;importjava.io.BufferedInputStream;importjava.io.BufferedOutputStream
bobo89455100·2022-09-30 12:04

java实现大文件的拆分与合并

文章目录前言一、废话少说，直接上代码二.测试用例总结前言我需要把一个大文件上传到网盘上，由于网盘禁止上传大于4G的文件，所以我想通过Java程序来把大文件分割为小文件后，再上传，等需要的时候，通过程序把文件进行合并即可
abments·2022-09-30 12:32

python入门（11）文件操作

1.文件的概念和作用2.文件的存储方式二、文件的基本操作1.操作文件的套路2.操作文件的函数/方法3.read方法---读取文件4.文件指针5.打开文件的方式6.readline方法7.文件复制---小文件
追星星の人·2022-09-28 19:37

Apache Spark基础知识

Action算子2.3传递方法、对象、变量2.4Shuffle操作2.5RDD持久化2.6共享变量2.6.1广播变量2.6.2累加器3性能优化3.1RDD复用3.2尽可以提前filter3.3读取多个小文件
终回首·2022-09-28 06:50

aiohttp 异步http请求-5.下载大文件边下载边保存（节省内存）

前言当从网络上下载小文件时，比如一张图片，可以直接用response.read()来读取返回的数据流文件。
上海-悠悠·2022-09-25 01:15

什么是大数据系统存储及管理？

需要解决：海量文件的存储与管理，海量小文件的传输、索引和管理，海量大文件的分块与存储，系统可扩展性与可靠性的问题。
我想去吃ya·2022-09-24 14:21

Spring学习笔记（三十六）——SpringBoot 实现大文件分片上传、断点续传及秒传

web端官方原生的案例修改效果如下代码如下自定义uploader1效果如下代码如下自定义uploader2效果如下代码如下SpringBoot实现后端源码下载文件分片上传、断点续传及秒传功能介绍文件上传小文件
不愿意做鱼的小鲸鱼·2022-09-16 17:08

大数据开发之小文件合并

问题背景：MR计算引擎一般把一次查询切分成多个stage，每个stage是一次MapReduce计算，而MapReduce计算则是将多个MapTask读取到的数据，划分成不同的分区，汇聚到不同的Reduce上进行计算。Spark计算引擎也是先将一次查询划分成多个stage，各自计算，再写入表中。文件的平均大小=分区大小/文件数，理想情况下，文件的平均大小在128MB~256MB之间，如果文件的平均
归去来？·2022-09-16 13:36

美团前端一面高频面试题

加载性能：（1）css压缩：将写好的css进行打包压缩，可以减小文件体积。
·2022-09-13 10:28

HBase WAL预写日志

HBase的region服务器会将数据保存到内存中，直到有足够多的数据才会将其刷写到硬盘中，这样可以避免创建很多的小文件。
post_yuan·2022-09-09 16:24

Hadoop生态圈技术栈---Zookeeper和HBase

ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。ZooKeeper提供给客户端监
猿大山·2022-09-07 09:57

Hadoop管理员的十个最佳实践

接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是
laxinicer·2022-09-06 19:37

折腾一晚上的事情，明白了一个道理

源数据中本身就是很多几十k大小的非常多的小文件。于是在读取时，总想着要shuffle，合并小文件,于是是这样的：hive_df=spa
硅谷工具人·2022-09-04 12:00

一文教会你如何用 Python 分割合并大文件

有时候，我们需要把一个大文件发送给别人，但是限于传输通道的限制，比如邮箱附件大小的限制，或者网络状况不太好，需要将大文件分割成小文件，分多次发送，接收端再对这些小文件进行合并。
程序员老华·2022-08-27 17:59

【03】HDFS

只适合查询，数据量越大越有优势适合大文件，不适合小文件低延时数据存储42_尚硅谷_Hadoop_H
饮马翰海·2022-08-24 18:09

星环科技多模型数据统一存储的大数据分布式存储平台方案分享

此外，传统数据存储平台需要同时存储大文件和小文件，
·2022-08-18 11:29

超大SQL文件切分---SQLDumpSplitter（带软件）

最近遇到个问题，数据库文件大约30G，直接操作处理没法实现，只好利用SQLDumpSplitter把超大文件切分成多个小文件，逐个处理。
小陈步吃人·2022-08-16 17:57

美团一面：如何在 100 亿数据中找到中位数？

桶排序1）创建多个小文件桶，设定每个桶的取值范围，然后把海量数据元素根据数值分配到对应的桶中，并记录桶中元素的个数2）根据桶中元素的个数，计算出中位数所在的桶（比如100亿个数据，第1个桶到第18个桶一共有
·2022-08-12 12:58

hive优化(数据倾斜)

#hive优化(数据倾斜)#问题描述：倾斜小文件join大文件内容倾斜JOBS多joinunionsub_querycount(distinct)建议使用groupby,因为在hive底层中，自带对groupby
lucky乐琪·2022-08-10 13:06

Hive中数据倾斜和小文件过多的解决方案

数据倾斜：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。原因：某个reduce的数据输入量远远大于其他reduce数据的输入量1)、key分布不均匀2)、业务数据本身的特性3)、建表时考虑不周4)、某些SQL语句本身就有数据倾斜解决方案：(1)参数调节sethive.map.aggr=t
大大大大肉包·2022-08-10 13:33

Hive 优化--SQL执行顺序、Hive参数、数据倾斜 、小文件优化

优化整体思路如果资源充足就加资源加内存，调度链路优化，调整调度顺序，时效性要求高的模型先产出，数据接入模块，调优数据接入工具sqoop，datax模型设计质量不高，调整模型，提高质量和复用度，尽可能减少joinhive参数调优sql调优，数据倾斜，join原则模型优化存储类型：parquet压缩类型：Snappy分区：PARTITIONEDBY(DTString模型设计：字段类型，字段冗余，主键等
四月天03·2022-08-10 13:03

Hive (十) --------- 企业级调优

小表大表Join(MapJOIN)2.大表Join大表3.GroupBy4.Count(Distinct)去重统计5.笛卡尔积6.行列过滤五、合理设置Map及Reduce数1.复杂文件增加Map数2.小文件进行合并
在森林中麋了鹿·2022-08-10 13:32

Hive数据倾斜的优化配置

Hive本质Hive的本质其实就是Hdfs+MapReduce，HDFS存储、MR执行任务发生数据倾斜的原因1.数据本身倾斜内容倾斜、groupby倾斜、小表Join大表2.过多Join过多导致Job过多、小文件过多
徐凤年不是真无敌·2022-08-10 13:01

HIVE优化和数据倾斜、合并小文件

HIVE优化和数据倾斜、合并小文件执行计划（explain）Fetch抓取本地模式小表join大表(MapJoin)大表join大表空值异常key需要过滤空值非异常需要转换Groupby优化笛卡尔积行列过滤合理设置
吃再多糖也不长胖·2022-08-10 13:00

【Hadoop】Hadoop 调优

格式：DEFLATE、Gzip、bzip2、LZO，Snappy2.小文件优化2.1小文件弊端每个文件都要在NameNode上创建对应的元数据，这个元数据的大小约为150by
和风与影·2022-08-02 09:34

scp上传文件及文件夹到Linux

scp拷贝文件及文件夹简介scp跨服务器拷贝文件:拷贝本地文件到服务器非22端口拷贝文件拷贝文件夹拷贝无数个小文件到远程服务器从服务器拷贝文件到本地常用示例递归拷贝-r(会覆盖)SCP断点续传简介scp
识途老码·2022-08-01 09:54

一文吃透接口调用神器RestTemplate

3、发送Get请求3.1、普通请求3.2、url中含有动态参数3.3、接口返回值为泛型3.4、下载小文件3.5、下载大文件3.6、传
m0_67401499·2022-07-31 07:21

一文吃透接口调用神器RestTemplate

3、发送Get请求3.1、普通请求3.2、url中含有动态参数3.3、接口返回值为泛型3.4、下载小文件3.5、下载大文件3.6、传
路人甲Java·2022-07-27 16:51

使用dd命令在Linux下创建大文件，批量大小文件生成方法

前沿：最近在开发自动从U盘拷贝大批量文件到linux系统的的功能。由于需要几十个G的大文件来做测试，如果自己去找这么多资源，然后再拷贝，非常麻烦。所以学了下dd命令，现在总结一下：一、参数介绍if=FILE从FILE中读取数据，而不是默认的标准输入。if可理解为：infileof=FILE往FILE中写入数据，而不是默认的标准输出。of可理解为：outfileibs=BYTES读取数据时，一次性读
stefan1240·2022-07-22 11:17

VSCode的一些基本设置：修改字体大小、更换主题颜色、中文

1.中文插件搜索Chinese进行安装2.修改代码字体大小文件->首选项->设置3.修改菜单栏字体大小ctrl+shift+“+”可以使VSCode的侧边字体变大ctrl+shift+“-”
_洋·2022-07-21 09:51
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他