分布式文件

Hadoop(04) HDFS编程实践操作

Hadoop分布式文件系统（HadoopDistributedFileSystem,HDFS）是Hadoop核心组件之一，如果已经安装了Hadoop，其中就已经包含了HDFS组件，不需要另外安装。
Eufeo·2024-01-05 09:25

java与大数据：Hadoop与MapReduce

它由两个核心组件组成：Hadoop分布式文件系统（HDFS）：HDFS是Hadoop的存储系统，它将大数据集分割成多个块，并将这些块分布
naer_chongya·2024-01-05 08:38

express+mongoDB开发入门教程之mongoDB安装

mongoDB开发入门教程之mongoose使用讲解文章目录系列文章前言一、mongoDB安装1.下载2.安装3.设置全局环境变量4.启动mongoDB服务二、可视化管理工具前言MongoDB是一个基于分布式文件存储的数据库
pixle0·2024-01-04 10:12

Linux NFS的整体架构与核心代码解析

NFS文件系统的架构分析NFS分布式文件系统是一个客户端-服务端架构（CS架构）。其客户端是Linux内核中的一个文件系统，跟Ext4和XFS类似，它是虚拟文件系统下的一个具体实现。
大隐隐于野·2024-01-04 04:36

从零开始了解大数据(七)：总结

系列文章目录从零开始了解大数据(一)：数据分析入门篇-CSDN博客从零开始了解大数据(二)：Hadoop篇-CSDN博客从零开始了解大数据(三)：HDFS分布式文件系统篇-CSDN博客从零开始了解大数据
橘子-青衫·2024-01-04 02:19

大数据技术原理与应用期末考试题

A、利用分布式文件系统、数据仓库、关系数据库等实现对结构化、半结构化和非结构化海量数据的存储和管理B、利用分布式并行编程模型和计算框架,结合机器学习和数据挖掘算法,实现对海量数据的处理和分析C、构建隐私数据保护体系和数据安全体系
无敌海苔咪·2024-01-03 08:03

分布式文件系统—FastDFS

分布式文件系统就是解决这些问题的！1.1什么是文件系统文件数据是如何存储的？？1.2分布式文件系统一台电脑存储量有限，并且并发吞吐量也有限，如何提高性能？
YMeng_Zhang·2024-01-02 13:01

【Hadoop】如何启动和关闭Hadoop集群

将新的分布式文件系统格式化为hdfs：$HADOOP_HOME/bin/hdfsnamenode-format启动namenode和datanode有两种方
不怕娜·2024-01-02 10:29

大数据 - Hadoop系列《三》- HDFS（分布式文件系统）概述

5.1hdfs的概念HDFS分布式文件系统,全称为:HadoopDistributedFileSystem。
王哪跑nn·2024-01-02 06:06

【2023】hadoop基础介绍

目录Hadoop组成HDFSHDFS操作HDFS分布式文件存储NameNode元数据数据读写流程YARN和MapReduceMapReduce：分布式计算YARN：资源管控调度YARN架构提交任务到**
方渐鸿·2024-01-02 03:26

分布式文件存储数据库MongoDB适用场景介绍

MonogDB是一个基于分布式文件存储的数据库，由C++语言编写，旨在为Web应用提供可扩展的高性能数据存储解决方案。
皮皮杂谈·2024-01-01 16:10

安装Hadoop：Hadoop的单机模式、伪分布式模式——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项

前言Hadoop包括三种安装模式：单机模式：只在一台机器上运行，存储是采用本地文件系统，没有采用分布式文件系统HDFS；伪分布式模式：存储采用分布式文件系统HDFS，但是，HDFS的名称节点和数据节点都在同一台机器上
Stitch .·2024-01-01 10:09

分布式文件系统的介绍

什么是分布式文件系统跨越多个服务器或者多个位置的文件系统。
旅僧·2024-01-01 07:27

2019-08-07

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
善_46f5·2024-01-01 07:30

Python使用hdfs存放文件时报Proxy error: 502 Server dropped connection解决方案

Python3使用hdfs分布式文件储存系统frompyhdfsimport*client=HdfsClient(hosts="testhdfs.org,50070",user_name="web_crawler
Python之战·2024-01-01 05:11

缘起：BigTable

2003年的GFS：GFS是一个可扩展的分布式文件系统，主要解决传统单机文件系统中磁盘小，数据存储无冗余等问题
一纸微言·2024-01-01 03:22

MongoDB简述

MongoDB概念MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。
武昌库里写JAVA·2023-12-31 17:45

sqoop的导入命令详解

sqoop的背景sqoop是一个配合大数据hadoop做数据底层的导入导出操作，需要配合hive及分布式文件系统（hdfs或blob）一起使用，在大数据ETL应用领域，sqoop占据主流。
夜空痕·2023-12-31 13:55

FastDFS集群搭建

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。
fanlcwowo·2023-12-31 03:39

架构 - 理解架构的演进

架构-理解架构的演进架构演进初始阶段的网站架构应用服务和数据服务分离使用缓存改善网站性能使用应用服务器集群改善网站的并发处理能力数据库读写分离使用反向代理和CDN加上网站相应使用分布式文件系统和分布式数据库使用
小小兔在普陀山走神啊·2023-12-31 00:30

GFS分布式文件系统（详解与配置）

存储存储是计算机系统中用于保留数据、程序和信息的过程和设备。它包括了数据的永久性保存，以便在需要时可以检索、读取和操作。存储可以分为多种类型，包括：存储类型主存储(RAM-RandomAccessMemory)用于存储正在运行的程序、操作系统和当前需要的数据。是临时性的，失去电源时数据会丢失。辅助存储硬盘驱动器(HDD)：常见的机械式存储设备，以磁盘存储数据。固态驱动器(SSD)：使用闪存技术，速
木合杉·2023-12-30 01:32

开源轻量级分布式文件系统FastDFS本地部署并实现远程访问服务器

文章目录前言1.本地搭建FastDFS文件系统1.1环境安装1.2安装libfastcommon1.3安装FastDFS1.4配置Tracker1.5配置Storage1.6测试上传下载1.7与Nginx整合1.8安装Nginx1.9配置Nginx2.局域网测试访问FastDFS3.安装cpolar内网穿透4.配置公网访问地址5.固定公网地址5.1保留二级子域名5.2配置二级子域名6.测试访问固定
一棵西兰花·2023-12-29 23:38

分布式存储考点梳理 + 高频面试题

面试中如何考察分布式存储广义的分布式存储根据不同的应用领域，划分为以下的类别：分布式协同系统分布式文件系统分布式任务调度框架分布式NoSQL存储分布式关系数据库各种消息队列MQ流式计算框架当然，这只是一种划分方式
小小哭包·2023-12-29 21:15

阿里终面：10亿数据如何快速插入MySQL？

假设和面试官明确后，有如下约束10亿条数据，每条数据1Kb数据内容是非结构化的用户访问日志，需要解析后写入到数据库数据存放在Hdfs或S3分布式文件存储里10亿条数据并不是1个大文件，而是被近似切分为100
Young丶·2023-12-29 17:45

人类文明的记载将在IPFS网络生态中得以永恒

IPFS是一个分布式文件存储系统，可以让企业以安全、高效、可靠地存储和传输文件，最重要的是，它的存储成本和带宽成本低。
小汐之社·2023-12-29 15:12

使用Python连接mongoDB

Python操作MongoDB看这一篇就够了MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似JSON对象，它的字段值可以包含其他文档、数组及文档数组
火舞凤凰·2023-12-28 21:13

大数据处理各组件概念及作用

文件传输工具；1.3Kafka集群：消息队列，未避免消息堵塞而将消息由Kafka统一管理，进行消息的接收和发布；1.4爬虫服务器：依据需求定时定向抓取页面数据；二、数据存储：2.1HDFS集群：（1）概念：分布式文件存储系统
p1i2n3g4·2023-12-28 17:11

百度沧海文件存储CFS推出新一代Namespace架构

随着移动互联网、物联网、AI计算等技术和市场的迅速发展，数据规模指数级膨胀，对于分布式文件系统作为大规模数据场景的存储底座提出了更高的要求。
大隐隐于野·2023-12-28 15:48

Hadoop之HDFS 详细教程

首要的基础功能就是文件系统，在Hadoop中使用FileSystem这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统
白鸽呀·2023-12-28 11:29

阿里云分布式文件系统OSS实现文件上传、删除与下载

介绍OSS：阿里云分布式文件系统网址：OSS控制台作用如果在应用程序所在服务器上做文件上传与下载会给服务器造成很大压力，所以项目会使用独立的文件系统。
龙域、白泽·2023-12-28 07:46

MongoDB

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
小小橘子皮·2023-12-28 04:25

Impala 基于hive的交互式实时分析工具(一) 概念及原理介绍

谷歌旧三篇论文（GFS-分布式文件存储，Bigtable-分布式数据库，Mapreduce-分布式计算）设计目的为了
章云邰·2023-12-27 19:59

PathManager功能

在很多深度学习框架和工具中，PathManager被用作一个文件路径的管理器，它可以自动适应不同的文件系统，包括本地文件系统和分布式文件系统。以下是一些PathManager类可能提供的基本功能
何处不逢君·2023-12-27 15:45

Spark与Hadoop的关系和区别

它包括两个核心组件：Hadoop分布式文件系统（HDFS）：用于存储大规模数据的分布式文件系统。H
晓之以理的喵~~·2023-12-27 12:13

[spark] DataFrame 的 checkpoint

在ApacheSpark中，DataFrame的checkpoint方法用于强制执行一个物理计划并将结果缓存到分布式文件系统，以防止在计算过程中临时数据丢失。
言之。·2023-12-27 06:29

MongoDB | 基于分布式文件存储的数据库

MongoDB简介MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
M林夕W·2023-12-26 23:26

Hadoop大数据实战系列文章之HDFS文件系统

Hadoop附带了一个名为HDFS(Hadoop分布式文件系统)的分布式文件系统，专门存储超大数据文件，为整个Hadoop生态圈提供了基础的存储服务。
测试帮日记·2023-12-26 21:39

修改nfs服务的依赖服务rpcbind的111端口

NFS和rpcbind的关系NFS（NetworkFileSystem）是一种分布式文件系统，它允许在不同的计算机之间共享文件。在进行NFS共享之前，需要先启动RPCbind服务。
花蹦蹦精他哥·2023-12-26 13:32

如何准备系统设计面试？

2：设计一个框架比如RPC框架、消息队列、缓存框架、分布式文件系统等等。3：设计某某系统中的一个功能比如哔哩哔哩的点赞功能。
_River_·2023-12-26 04:16

大数据技术——处理架构Hadoop

软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构•Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中•Hadoop的核心是分布式文件系统
Imrea·2023-12-26 01:55

MongoDB数据库本地部署并结合内网穿透实现navicat公网访问

2.2创建隧道映射2.3测试随机公网地址远程连接3.配置固定TCP端口地址3.1保留一个固定的公网TCP端口地址3.2配置固定公网TCP端口地址3.3测试固定地址公网远程访问前言MongoDB是一个基于分布式文件存储的数据库
小沈YO.·2023-12-25 23:05

架构设计内容分享(七十六)：分布式存储架构分析

目录一、集中存储结构二、分布式存储三、分布式理论浅析四、分布式文件系统五、分布式键值系统一、集中存储结构说到分布式存储，我们先来看一下传统的存储是怎么个样子。
之乎者也··2023-12-25 20:01

【Hadoop】HDFS shell操作与管理工具

HDFSshell操作HDFS管理工具dfsadminfsck均衡器HDFSshell操作HDFS是存取数据的分布式文件系统，对HDFS的操作就是文件系统的基本操作，如文件的创建、修改、删除、修改权限，
不怕娜·2023-12-24 18:41

【Hadoop】HDFS简介——是什么/优缺点/适用场景

HDFS不适用场景HDFS是什么源自Google的GFS论文Google于2003年10月发表HDFS是GFS的一个克隆版HDFS(HadoopDistributedFileSystem)是易于扩展的分布式文件系统
不怕娜·2023-12-24 18:11

文章分享-1周-怎么理解分布式、高并发、多线程？

涉及领域非常多，例如分布式文件系统（例如fast
庄泽锐·2023-12-24 16:07

计算机基础：数据库-MongoDb

MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。MongoDB将数据存储为一个文档，数据结构由
joyyi9·2023-12-24 12:13

Hadoop学习笔记（一）分布式文件存储系统 —— HDFS

概念HDFS（HadoopDistributedFileSystem），Hadoop分布式文件系统，用来存超大文件的。
zhang35·2023-12-24 08:54

Hadoop学习之HDFS——小白入门笔记

一、分布式文件系统1.分布式文件系统解决问题：海量数据的高效存储2.分布式文件系统是将文件分布存储到多个计算机节点上。
cainiao22222·2023-12-24 08:52

MongoDB介绍

一、MongoDB介绍1.1mongoDB介绍MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。
Guff_hys·2023-12-23 19:30

Java从入门到入坑（架构篇）

Dubbo服务注册、服务发现，服务治理http://dubbo.apache.org/zh-cn/3：分布式数据库怎样打造一个分布式数据库、什么时候需要分布式数据库、mycat、otter、HBase4：分布式文件系统
小小弓长张·2023-12-23 15:07
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他