ftp+分布式文件系统

hadoop合并日志_详述Hadoop

Hadoop(分布式计算平台)从单个服务器扩展到数千台服务器，每台机器提供本地计算和存储存储系统HDFS(HadoopDIstributedFileSystem分布式文件系统)使用Java实现的、分布式的
封掣·2023-06-13 17:03

Go-fastdfs 任意文件上传（CVE-2023-1800）

ZoomEye搜索"go-fastdfs"sjqzhanggo-fastdfs是一个开源分布式文件系统，专为存储和共享大文件而设计。它是用Go编写的，由开发者sjqzhang在GitHub上维护。
丢了少年失了心1·2023-06-13 06:04

hive最近的学习汇总-20221110

比较多之前对分区、分桶搞不明白趁着最近又学习了一下ps：之前说的prophet在年底前一定会放上来的hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据
孔胖·2023-06-13 03:05

FastDFS单节点部署安装

文章目录一、FastDFS简介二、FastDFS安装一、FastDFS简介FastDFS是一个开源的高性能分布式文件系统，它由跟踪服务器（trackerserver）和存储服务器（storageserver
神奇的海马体·2023-06-12 22:50

Hadoop HDFS

场景互动：如何模拟实现分布式文件系统。或者说一个成熟的分布式文件系统应该要具备哪些属性、功能呢？
小布先生~噫嘘唏·2023-06-12 20:36

什么是分布式软件系统

它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
微服务商城技术分享·2023-06-12 18:47

单节点FastDFS安装

环境:centos71.什么是分布式文件系统分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。
if年少有为·2023-06-11 10:15

Hadoop技术

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS(分布式文件系统)：解决海量数据存储MAPREDUCE(分布式运算编程框架)：解决海量数据计算YARN(作业调
章鱼哥TuNan&Z·2023-06-11 09:01

分布式&数据结构与算法面试题

该领域需要解决的问题极多，在不同的技术层面上，又包括：分布式缓存、分布式数据库、分布式计算、分布式文件系统等，一些技术如MQ、Redis、zookeeper等都跟分布式有关。从理念上讲，分
高斯林关门弟子·2023-06-11 00:44

什么是分布式软件系统

它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
m0_72864708·2023-06-10 14:23

云平台对象存储OSS

借助一些第三方存储系统存储，例如数据库、分布式文件系统等，这样的方案系统耦合性低、扩展性强，也是目前系统架构中常用的方式，但是对第三方系统的运维有较高要求。利用成熟的云平台存储服务。
李征兵·2023-06-10 10:01

Hadoop-HDFS

一、定义：狭义上来说，hadoop就是单独指代hadoop这个软件，广义上来说，hadoop指代大数据的一个生态圈，包括很多其他的软件二、分布式文件系统架构分布式文件系统：将数据存放在多台电脑上存储。
爱过java·2023-06-10 05:51

6道常见hadoop面试题及答案解析

总之，Hadoop包括以下内容：  HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）：HDFS允许你以一种分布式和冗余的方式存储大量数据。
栾还是恋·2023-06-10 04:06

运维日志管理系统

因公司数据安全和分析的需要，故调研了一下GlusterFS+lagstash+elasticsearch+kibana3+redis整合在一起的日志管理应用：安装，配置过程，使用情况等续一，glusterfs分布式文件系统部署
weixin_34049032·2023-06-09 08:45

黑马学成在线-媒资管理

目录一、媒资需求分析二、搭建Nacos三、分布式文件系统介绍四、上传图片1.需求分析，上传课程图片总体上包括两部分：2.环境准备3.接口定义4.数据模型开发5.业务层开发五、上传视频1.文件分块的流程如下
起枫了、·2023-06-09 08:43

【微服务 | 学成在线】项目易错重难点分析（媒资管理模块篇·上）

文章目录模块整体认识架构问题分析nacos配置管理搭建nacos公用配置配置优先级网关搭建分布式文件系统什么是分布式文件系统MinIO数据恢复测试SDK上传图片http请求头中的content-type
十八岁讨厌编程·2023-06-09 08:40

Spring Boot如何实现分布式文件系统

SpringBoot如何实现分布式文件系统随着数据量的不断增长，单机文件系统已经无法满足大规模数据存储和访问的需求，因此分布式文件系统变得越来越重要。
it_xushixiong·2023-06-08 23:05

【大数据之路2】分布式文件系统 HDFS

2.分布式文件系统HDFS1.引入HDFS【面试点】2.HDFS概述1.HDFS设计思路2.HDFS架构3.HDFS优缺点3.HDFS操作HDFS读写基准测试1.HDFSShell操作【重点】2.HDFSAPI
程序员胖五·2023-06-08 19:13

如何在 Ubuntu 18.04 上安装和配置 NFS 服务器

网络文件系统（NFS）是一种分布式文件系统协议，允许您通过网络共享远程目录。使用NFS，您可以在系统上安装远程目录，并使用远程计算机上的文件，就像它们是本地文件一样。
断水流大撕兄·2023-06-08 15:10

大数据技术③｜大数据第13章｜Hadoop 分布式文件系统｜20:30~20:55

13章的习题——Hadoop分布式文件系统目录13章的习题——Hadoop分布式文件系统13.1Hadoop分布式文件系统有何特点和基本功能&
suzybai的学习笔记·2023-06-08 12:23

spring boot + minio 分布式文件上传

介绍1、分布式文件系统简单理解为：一个计算机无法存储海量的文件，通过网络将若干计算机组织起来共同去存储海量的文件，去接收海量用户的请求，这些组织起来的计算机通过网络进行通信。
新征程，再出发·2023-06-08 01:01

什么是数藏，数藏适用于什么样配置服务器

数藏的概念：数藏是一种基于分布式存储和计算的架构，它采用分布式文件系统和分布式数据库等技术，将数据分散存储在多个节点上，并通过数据冗余和数据分片等方式来保证数据的可靠性和可用性。
潘潘潘潘panpan·2023-06-07 20:25

FastDFS的安装及部署（实战篇）

分布式文件系统就是用来解决这些问题的。那么分布式文件系统该如何使用呢？
千锋教育官方·2023-06-07 19:35

【hadoop基础知识】

的优势主要体现在以下几个方面：Hadoop的应用场景主要包括以下几个方面：Hadoop的核心组件Hadoop由多个核心组件构成，主要包括以下几个：Hadoop的发展趋势2.Hadoop核心组件Hadoop分布式文件系统
波波的私人笔记·2023-06-07 12:56

什么是分布式软件系统

它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
m0_72864708·2023-06-07 11:03

几种分布式文件系统的优缺点归纳与总结

1、常用的分布式文件系统有以下几种：1.HadoopHDFS：HadoopDistributedFileSystem（HDFS）是ApacheHadoop生态系统的一部分，用于存储和处理大数据。
水云间月掌柜·2023-06-07 08:00

深入探究HDFS：高可靠、高可扩展、高吞吐量的分布式文件系统【上进小菜猪大数据系列】

为了应对这个问题，分布式文件系统应运而生。Hadoop分布式文件系统（HadoopDistributedFileSystem，简称HDFS）就是其中一个开源的分布式文件系统。
上进小菜猪·2023-06-07 05:03

HDFS概述及其优缺点

HDFS的全称是hadoopdistributedfilesystem，即hadoop的分布式文件系统。见名知意，它就是用来进行文件存储的。毕竟它是大数据的一个组件，用来存储这种海量的数据。
桥路丶·2023-06-07 05:30

CEPH分布式文件系统

一存储基础//单机存储设备●DAS（直接附加存储，是直接接到计算机的主板总线上去的存储）IDE、SATA、SCSI、SAS、USB接口的磁盘所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储●NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）NFS、CIFS、FTP文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主机进
竹流清水·2023-06-07 04:22

Hadoop 原理介绍

1文件系统和分布式文件系统1.1文件系统文件系统：一种存储和组织数据的方法实现了数据的存储、分级组织、访问、获取等操作使得用户对文件的访问和查找更容易使用树形目录的抽象概念代替了硬盘等物理设备中数据块的概念
UQI-LIUWJ·2023-06-07 03:03

大数据面试题目（第一部分）

以下是一些关键概念和技术与大数据相关：概念/技术说明分布式文件系统大数据通常存储在分布式文件系统中，例如HadoopDistributedFileSystem(HDFS)。
码视野·2023-06-07 02:54

openEuler NFS+协议全新发布：实现NAS存储性能与可靠性倍增

传统NFS面临挑战网络文件系统（NFS）是一种分布式文件系统协议，最初由Sun公司于1984年开发，它允许客户端上的用户通过网络访问服务端文件系统中的数据。由于其配置简单，使用方便，已广泛应
·2023-06-06 23:51

什么是分布式软件系统

它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
微服务商城技术分享·2023-06-06 23:00

用AI学习HIVE

HIVE将SQL语句转换为MapReduce任务，并将结果存储在Hadoop分布式文件系统（HDFS）中。HIVE还提供了一些内置的函数
All996·2023-06-06 22:35

SpringBoot整合minio实现对象存储

分布式文件系统应用场景互联网海量非结构化数据的存储需求电商网站：海量商品图片视频网站：海量视频文件网盘：海量文件社交网站：海量图片minio的概念Minio是一个基于ApacheLicensev2.0开源协议的对象存储服务
我哪会这个啊·2023-04-21 20:06

hdfs基础

Hdfs分布式文件系统交互：1客户端发送请求数据，2.文件系统返回所需数据存储的所在节点3客户端根据返回的节点信息到对应的节点上获取信息hdfs不适合小文件的存储，原因后面讲Hdfsshell介绍Bin
February13·2023-04-21 19:15

MinIO快速入门

MinIO概述官网地址：http://www.minio.org.cn/文档地址：http://docs.minio.org.cn/docs/MinIO是一款基于ApacheLicensev2.0开源协议的分布式文件系统
白豆五·2023-04-21 15:18

大数据各组件简述

hadoop分布式生态环境：hdfs分布式文件系统hive数据仓库工具，形成文件与表的映射，可以使用类sql语言操作数据库mapreduce分布式计算框架spark分布式计算框架，减少落盘，作为一个应用在
February13·2023-04-21 13:10

数据架构简析

简单了解大数据Hadoop最初指代的是分布式文件系统HDFS和Mapreduce计算框架，但是它一路高歌猛进，在此基础之上像搭积木一般快速发展成为一个庞大的生态（包括Yarn,Hive,HBase,Spark
熊猫姐姐90·2023-04-21 06:43

fastDFS文件管理系统在linux下部署

1.概述fastDFS分布式文件系统包括三个中要部分：追踪器、存储节点、客户端，可以使用文件存储，文件同步，文件访问等功能，用来存储大容量数据存储节点集群：横向扩容：增加存储容量纵向扩容：实现数据备份实现
爱笑的蛐蛐·2023-04-21 01:10

数据丢失不用怕，火山引擎 DataLeap 提供排查解决方案

例如，当HDFS（一种分布式文件系统）集
·2023-04-20 10:59

浅谈Flink基于RocksDB的增量检查点（incremental checkpoint）机制

Flink检查点本质上是通过异步屏障快照（asychronousbarriersnapshot,ABS）算法产生的全局状态快照，一般是存储在分布式文件系统（如HDFS）上。但是，如果状态空间超大（比
LittleMagic·2023-04-19 18:19

图说HDFS基本原理

英文原版作者：ManeeshVarshney,[email protected]是现在最受欢迎和被人们说熟知的分布式文件系统。
piziyang12138·2023-04-19 11:31

玩转Fastdfs

FastDFSFastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。
是狼也会孤独·2023-04-19 10:31

常见开源分布式文件系统架构对比

什么是文件系统？文件系统是计算机中一个非常重要的组件，为存储设备提供一致的访问和管理方式。在不同的操作系统中，文件系统会有一些差别，但也有一些共性几十年都没怎么变化：数据是以文件的形式存在，提供Open、Read、Write、Seek、Close等API进行访问；文件以树形目录进行组织，提供原子的重命名（Rename）操作改变文件或者目录的位置。文件系统提供的访问和管理方法支撑了绝大部分的计算机应
JuiceFS·2023-04-19 07:35

Hadoop之HDFS架构设计

架构设计简介优点缺点前提和目标硬件故障数据流访问大数据集一致性模型移动计算比移动数据更便宜跨异构硬件和软件平台的可移植性NameNodeandDataNodes文件系统命名空间数据复制副本放置副本选择安全模式文件系统元数据的持久化怎样是系统变得稳定数据磁盘故障、心跳和重新复制简介Hadoop分布式文件系统
best program·2023-04-19 06:59

day02_Hadoop

文章目录1.分布式文件系统HDFS1.1.HDFS的来源1.2.HDFS的架构图之基础架构1.2.1master/slave架构1.2.2名字空间（NameSpace）1.2.3文件操作1.2.4副本机制
数据带你飞·2023-04-19 03:42

Hadoop学习内容概述day02

举例：（1）商品推荐：问题1：大量的订单如何存储问题2：大量的订单如何计算（2）天气预报：问题1：大量的天气数据如何存储问题2：大量的天气数据如何计算大数据的核心问题：（1）数据的存储：分布式文件系统（
weixin_30764771·2023-04-19 03:11

Hadoop学习day02

1.分布式文件系统HDFS1.HDFS的来源HDFS:HadoopDistributedFilesystem(hadoop分布式文件系统)HDFS起源于Google的GFS论文（GFS，Mapreduce
qq_39861620·2023-04-19 03:10

Hadoop系列——企业存储系统概述，HDFS概述day2-2

存储架构SAN存储架构文件系统文件名元数据文件系统分类海量数据存储出现的问题分布式文件存储问题解决海量数据存储问题解决海量数据文件查询问题解决大文件传输效率慢问题硬件故障导致数据丢失问题用户视角统一问题分布式文件系统
简明编程·2023-04-19 03:10
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他