小文件

七牛云上传 文件 流程

1.简单上传客户端上传文件到服务器，服务器再把文件传到七牛云（适合小文件）2.如下流程：3.方案2的扩展：多文件上传下图为手写。。。注：删除某文件：服务器吧要删除的文件写入单独db里，计划任务删除
WTXGBG·2023-03-30 08:57

Nginx的安装与配置

nginx是一个轻量级的、高性能的Web服务器和反向代理服务器，同时也是一个比较优秀的负载均衡服务器和缓存服务器，可以运行于多种平台优点：1、高并发：能支持1万-2万甚至更多的并发连接（静态小文件更强）
jwyluobin·2023-03-29 23:10

Hadoop HDFS的架构、高可用与容错机制

metadata，运行时所有数据都保存到内存，整个HDFS可存储的文件数受限于NameNode的内存大小（2）一个Block在NameNode中对应一条记录（一般一个block占用150字节），如果是大量的小文件
晓之以理的喵~~·2023-03-29 19:20

HDFS分布式文件存储系统

的使用启动HDFS2.2HDFSshell操作调用文件系统（FS）Shell命令应使用bin/hadoopfs的形式lstextmvputrm2.3HDFS设计思路分布式文件系统的设计思路：1.大文件被分割成小文件
小猪Piglet·2023-03-29 02:42

一行代码快速实现文件共享！

但有些时候，我们只需要临时共享、传输几个小文件，难免会忘记这个软件放在哪里，或者需要在其他如Linux、Macos下面使用还需要进行一系列的配置，感觉还是有些不那么的方便。
永恒君的百宝箱·2023-03-27 23:01

前端vue下载文件

前端下载思路分为2种：1.前端独立存储下载；（体量较小文件合适）2.数据库存储下载（体量较大文件合适）1.前端独立存储下载可以使用a标签直接进行下载href属性中是需要存储被下载文件的文件夹，个人建议在
cherry0140·2023-03-27 22:33

【Hadoop】面试

文章目录1.MR流程2.Namenode、Datanode、SecondaryNamenode作用3.Hdfs的介绍与应用场景4.SecondaryNamenode如何恢复数据（检查点机制)5.小文件问题
mossloo·2023-03-27 09:50

FastDfs分布式文件存储系统

主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KBindex.htmlfdfs_test/etc/fdfs/client.confuploadindex.html#成功如下，可以访问链接23000
wzq_55552·2023-03-27 05:10

Day14-文件压缩

减小文件的体积加快资源的传输节省网络的带宽三、Windows的压缩包与Linux的压缩包能否互通？
曾努力·2023-03-26 09:20

ubuntu根文件系统制作

1.准备工作1.1下载最小文件系统到ubuntu网址下载相应的最小系统（本文以ubuntu-base-16.04.5-base-arm64.tar.gz为例）1.2安装模拟器工具$sudoapt-getinstallqemu-user-static2
中庸逍遥·2023-03-25 08:37

海量数据处理问题

同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每
Phoebe_Liu·2023-03-24 17:37

Webpack的一些优化

缩小文件搜索范围Webpack从Entry出发递归解析导入语句寻找相应的依赖，在项目庞大的时候，文件量大增，递归解析速度明显的下降。减少被loader匹配到的文件数,通过include缩小搜索范围。
摘片叶子·2023-03-24 11:02

Okhttp下载文件，带进度条

有大佬说下载大文件时这样做会导致OOM，我自己也没试过，那就先限定为只能下载一些小文件吧一些坑运行时发现日志报CleartextHTTPtrafficnotpermittedCLEARTEXTcommunicationto
NOSAE_b97b·2023-03-24 06:31

大数据 -- Hadoop集群环境搭建

通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三个），以此来实现多机器上的多用户分享文件和存储空间。
weixin_30387663·2023-03-23 02:19

IOS 多线程 & 网络-小文件上传

post请求必须手动设置请求头:内容大小Content-Length&内容类型Content-Type请求体：文件数据文件上传的格式要求十分严格，必须严格遵守由于是一次性加载文件到内存上传，所以只能用于小文件上传
bagpipe·2023-03-23 00:37

Ubuntu文件的压缩、打包

文件压缩技术通过一定的算法，将文件内容进行可恢复的压缩，减小文件体积，多个文档压缩到一起还可以起到归档的作用。
vvaa01·2023-03-22 23:53

使用又拍云CDN主题timthumb获取缩略图不显示

这几天又给站子加了又拍云cdn，但是由于主题采用timthumb生成缩略图，关于timthumb的好处，从网上找来一段话:TimThumb是一个非常神奇的第三方小文件，它可以任意裁剪图片大小。
Alextao_0a86·2023-03-20 00:00

堆和堆排序

利用堆构建优先级队列：合并有序小文件，高性能定时器？？利用堆求TopK(针对静态数据，如
蹩脚的小三·2023-03-19 21:10

编译和运行一个ARM64内核

编译和运行一个ARM64内核1准备工具1.1busybox的下载路径：1.2linux内核的下载路径：1.2.1国内阿里云linux内核源代码的镜像：1.2.2官方的内核下载链接：2编译最小文件系统2.1
田园诗人之园·2023-03-17 13:13

命令简介

解读：HadoopArchivehdfs并不擅长存储小文件，因为每个文件最少一个block，每个block的元数据都会在NameNode中占用150byte内存。
大诗兄_zl·2023-03-16 21:22

es6新语法

1.Modulesimportexport（编译时加载静态加载）一直以来js都没有模块的体系，没办法把一个大程序拆分成相互依赖的小文件。
言大大freedom·2023-03-16 08:09

Linux/Unix中压缩或解压缩命令tar、zip/unzip、rar/unrar的用法

一、打包和解压的概念打包和压缩：打包是指将一大堆文件或目录变成一个总的文件；压缩则是将一个大的文件通过一些压缩算法变成一个小文件。为什么要区分这两个概念呢？
中国人很伟大·2023-03-15 12:23

分享1点我的经验-如何快速将第三方云存储数据迁移至腾讯云对象存储COS

迁移方式交互形式区分大小文件的阈值迁移并发度HTTPS安全传输迁移服务平台MSP可视化页面操作采用默认设置全局统一开启COSMigration修改配置文件，非可视化操作。
云存储小天使·2023-03-15 12:25

比cat更好用的命令！

正是这两个不足，使得cat只能用来查看行数不多的小文件。为了解决cat命令这两个缺点，国外有大牛将cat命令进行了增强，强大到连cat亲妈都不认识！它就是本文的主角：bat命令。
良许Linux·2023-03-15 11:11

HDFS

1、是一个分布式的文件管理系统，通过目录树定位文件2、适合一次写入，多次读出的场景，不支持文件的修改，适合做数据分析优点：高容错，大容量，分布式缺点：不支持并发写入和随机修改，不适合低延时数据访问，对小文件低效
编程每一天·2023-03-14 22:03

day14——文件的打包与压缩

减小文件的体积加快资源的传输节省网络的带宽Windows的压缩包与Linux的压缩包能否互通？
人气昂·2023-03-14 03:54

解决owncloud无法上传文件问题

Thecomputedchecksumdoesnotmatchtheonereceivedfromtheclient报错2：Serverreplied"400BadRequest"表现：无法上传文件，但已上传的文件却能正常上传，小于8k的文件的极小文件也能上传
王乐城愚人云端·2023-03-13 03:40

模块化-commonJS、AMD、CMD、ES6

思维导图模块：将大程序拆分成互相依赖的小文件，再用简单的方法拼接起来commonjs：let{stat,exists,readFile}=require('fs');实质是整体加载fs模块（即加载fs的所有方法
糕糕AA·2023-03-12 05:26

数据仓库面试题总结

根据尚硅谷电商数仓4教程进行总结目录1Hadoop常用压缩方式2HDFS存在大量小文件的问题与处理3flume零点漂移问题4数据冗余的优缺点5同步策略6关系建模与维度建模7维度建模的四个过程8数据分层9LZO
迪奥不及你的美·2023-03-10 07:33

Nginx 正向代理反向代理与负载均衡

静态小文件占用资源少。2万并发、10个线程，内存消耗几百M。功
maskdir·2023-03-09 10:04

javascript中import和export详解

import和require的区别import和js的发展历史息息相关，历史上js没有模块(module)体系，无法将一个大程序拆分成互相依赖的小文件，再用简单的方法拼装起来。
搬砖的作家·2023-03-09 05:26

Tree Shaking实现方法指南

Treeshaking可以解决这个问题，它可以通过检测和删除未使用的代码来减小文件大小并提高应用程序性能。接下来我们将通过两种方式实现Treeshaking方式一：JavaScript模拟
·2023-03-08 21:03

大数据技术之Hadoop之MapReduce（3）——自定义InputFormat案例实操

3.1.9自定义InputFormat案例实操无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。
张反水·2023-02-28 08:00

资源消耗降低 90%，速度提升 50%，解读 Apache Doris Compaction 最新优化与实现

其核心思想在于充分发挥磁盘连续读写的性能优势、以短时间的内存与IO的开销换取最大的写入性能，数据以Append-only的方式写入Memtable、达到阈值后冻结Memtable并Flush为磁盘文件、再结合Compaction机制将多个小文件进行多路归并排序形成新的文件
·2023-02-22 15:33

MinIO实战几点体会

开发团队首次使用Minio，创造性的把数采的方式打包小文件形式，存储到MinIO中，利用它的高效来实时支
MarkHD·2023-02-22 02:30

HDFS 架构

HDFS是Hadoop生态下的分布式文件系统，基于Linux本地文件系统上的文件系统，它的特点是：支持超大文件存储流式数据访问硬件故障的检测和快速应对简单的一致性模型不适合低延时数据访问、不适合大量小文件的存储
wayyyy·2023-02-19 03:49

Zookeeper深入理解(1) - 基本概念

2.zookeeper本质上是一个小文件存储系统。
吃大橙子嘛·2023-02-18 21:19

如何快速转换图片格式

可以在gif,jpg,png,pdf等格式间相互转换，快速转换图像文件为你想要的格式并上传到网站，减小文件体积(如用于发送电子邮件)或快速转换为其他程序所需要的格式。
Nelumbo123·2023-02-18 10:44

大数据开发面试题目

Hadoop优化HDFS小文件的影响.输入输入时的小文
QLchuan·2023-02-17 18:06

面试官：首屏加载速度慢怎么解决？

文章目录前言首屏加载时间的计算首屏的定义首屏加载过程计算首屏时间加载慢的原因面试中常涉及的解决方案减小入口文件体积懒加载减小文件大小静态资源本地缓存UI框架按需加载组件重复打包webpack3webpack4
豆子前端·2023-02-17 02:54

Hadoop系列之HDFS初识、理论基础与读写流程

1HDFS初识考虑这样一个问题：文件切成很多小文件块散列存储在集群中时，是如何知道每个小文件块存储的位置的呢？
l1fe1·2023-02-16 23:01

2020-03-20 打包，解压

减小文件体积增加传输效率节省网络的带宽三，windows的压缩包与Linux的压缩包能否互通Windows：rar，zip支持很多类型的压缩Linux：zip，tar.gz....Windows与Linux
乐多_eec5·2023-02-05 15:18

为什么样机下的图片都很大

我昨天在上传样机转成的jpg图片预览图时，文件超过了要求的大小，从前只会在储存的时候把品质降到最低而达到缩小文件大小的目的。
黔之楠·2023-02-05 15:03

MapReduce小文件问题

MapReduce小文件问题(1).小文件处理的弊端1.每个小文件都要执行一次map任务,增加map任务的开销.2.小文件太多,会耗费很多时间去寻址.3.需要记录小文件的元数据,造成namenode的内存浪费
炉子吗尅_那撸多·2023-02-05 13:52

第三章 编辑小样文件和介绍排版文件中的版心

所以我们需要建立一个小样快捷键是Ctrl+N或者单击工具栏的“新建小样”，可直接新建一个小文件。下面我们介绍一下窗口中的项目及主要功能：●标题栏显示书版程序名称和小样文档的标题。
心想所成·2023-02-05 12:51

海量数据处理面试题

同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。
expleeve·2023-02-05 11:31

[hadoop] 各节点职责｜ checkpoint ｜安全模式 ｜读写流程｜小文件｜安全模式 | NameNode启动流程

一HDFS什么是HDFS？当数据集大小超过一台独立的物理计算机的存储能力时,就有必要对它进行分区并存储到若干台独立的计算机上.管理网络中跨多台计算机存储的文件系统成为分布式文件系统.该系统架构于网络之上,势必会引入网络编程的复杂性.因此分布式文件系统比普通文件系统更为复杂.二内部原理1.NameNode职责NameNode集群有两类节点,一个NameNode管理节点和多个DataNode工作节点.
胖胖学编程·2023-02-04 14:14

微服务实战笔记-学成在线-day08

分布式文件管理系统FastDFSfastdfs基础知识fastdfs是一个分布式文件管理系统，它与传统的分布式文件管理系统不同，它不对文件进行分块存储(前面使用到的gridfs会对文件进行切割)，所以在小文件的存储和读取上
sssdal19995·2023-02-04 09:17

python分词统计词频_-用python找出一篇文章中词频最高的20个单词

python统计一个大文件中很多小文件里面的词频#!
weixin_39603588·2023-02-01 08:05

hive优化（2020-03-10）

合理的分区分桶来达到优化如果小文件太多，建议开启小文件合并的配置项，可以有效减少maptask的数量shuffle在所难免，采用合适的压缩格式来避免太多的网络传输，达到优化
梦境中_i·2023-01-31 23:42
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他