ftp+分布式文件系统

HDFS与Hive实战 + 滴滴出行数据分析

HDFS与Hive实战+滴滴出行数据分析1.HDFS1.1分布式文件系统1.2HDFS的Shell命令行1.3启动Hadoop集群1.4大数据环境清单2.数据仓库2.1数据仓库与数据库区别3.Hive3.1
jialun0116·2023-11-28 16:41

利用kibana 快照备份es数据库

ambari-hadoop1192.168.10.101ambari-hadoop2192.168.10.102kibanaambari-hadoop3192.168.10.103es这里我们利用共享文件系统，存储快照，所以需要利用到nfs（NFS（NetworkFileSystem）是一种分布式文件系统协议
dogplays·2023-11-28 14:33

阿里云OSS服务

1.1、图片上传1.1.1、图片存储解决方案实现图片上传服务，需要有存储的支持，那么我们的解决方案将以下几种：直接将图片保存到服务的硬盘优点：开发便捷，成本低缺点：扩容困难使用分布式文件系统进行存储优点
方生方死·2023-11-28 07:28

第02章 CentOS7.x 搭建 Nginx+Keepalived+FastDFS 分布式文件系统高可用负载均衡集群

搭建Nginx+Keepalived+FastDFS分布式文件系统高可用负载均衡集群文章目录1FastDFS概述1.1FastDFS介绍1.2FastDFS上传文件交互过程1.3FastDFS下载文件交互过程
KonyLi·2023-11-28 05:23

（单机）FastDFS + Nginx 安装部署流程

FastDFS简介FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。
IT界的一颗新星·2023-11-28 05:53

python开发之FastDFS分布式存储系统整合Nginx部署重写Django项目文件传输行为

FastDFS业务场景概述部署FastDFS整合FastDFS和NginxFastDFS与Python交互重写Django项目文件传输行为FastDFS业务场景概述基于C语言开发的FastDFS是一项开源轻量级分布式文件系统
Pythonicc·2023-11-28 05:52

分布式存储ceph---ceph概念及原理（1）

一、Ceph简介：Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。
om林mo·2023-11-27 10:14

fastdfs+nginx搭建分布式文件系统-2

环境准备：1，nginx-1.13.7.tar.gz2，openssl-1.1.0g.tar.gz3，pcre-8.41.tar.gz4，zlib-1.2.11.tar.gz5，fastdfs-nginx-module-1.20.tar.gz搭建过程：安装包2，3，4简单点可直接用yum安装，安装过程此处不再赘述。解压安装包1，5。如下修改解压后文件夹fastdfs-nginx-module-1.
HandsomeDad·2023-11-26 20:29

HBase环境部署

有三种运行模式：1、单机模式：只在一台计算机运行，这种模式下，HBase所有进程包括Maste、HRegionServer、和Zookeeper都在同一个JVM中运行，存储机制采用本地文件系统，没有采用分布式文件系统
文森的小披风·2023-11-26 04:48

Apache BookKeeper 简介

Research）开发，旨在实现Hadoop分布式文件系统（HDFS）NameNode的高可用，在此之前，NameNode不具备高可用特性，存在单点故障的问题。
StreamNative·2023-11-25 20:11

分布式计算 第五章 大数据多机计算：Hadoop

5.2.2HDFS：分布式文件系统5.2.3YARN：调度器5.2.4MapReduc
一只大小菜·2023-11-25 14:42

dfs文件服务器迁移,Microsoft Windows：迁移到 DFS

MicrosoftWindows：迁移到DFS08/17/2016本文内容如果您仍在使用多年以前的文件和文件夹复制解决方案，现在该试试分布式文件系统了。
鹏翼Link·2023-11-25 11:01

dfs根目录_分布式文件系统DFS详细解读

使用分布式文件系统DFS可以轻松定位和管理网络中的共享资源、使用统一的命名路径完成对所需资源院的访问、提供可靠的负载平衡、与FRS(文件复制服务)联合在多台服务器之间提供冗余、与windows权限集成以保证安全
nasalover·2023-11-25 11:01

玩转人工智能（11）使用Pyspark上手机器学习

文件系统HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。
Moscar_M·2023-11-25 07:10

大数据组件图谱

大数据组件图谱文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台文件系统HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统
饮水思源09·2023-11-25 07:40

（二）大数据---Hadoop组件介绍，区别

文章目录文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台Hive,Impala,pig区别HDFS:分布式文件系统YARN:分布式资源管理MapReduce
（─__─）·2023-11-25 07:37

微服务架构实战：Nginx的安装及负载均衡配置、开机启动

Nginx的安装及负载均衡配置在安装完分布式文件系统之后，就可以在应用程序中进行调用了。注意需要在Web端的页面上进行访问，还必须借助Nginx提供访问服务。
写代码的珏秒秒·2023-11-25 06:36

大数据之Hadoop流存储

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
陌名_9b41·2023-11-24 18:01

大数据学习笔记-HDFS（一）

如何实现分布式文件存储2.1如何解决海量数据存的下的问题2.2如何解决海量数据文件查询边界问题2.3如何解决大文件传输效率慢的问题2.4如何解决硬件故障导致的数据丢失问题2.5如何解决用户查询视角统一规整问题3、分布式文件系统
天码村·2023-11-24 13:05

网络学习

丢包问题Keepalive全连接和半连接localhostNATDPDKTCXDPCilium虚拟网络SDNOVS智能网卡防火墙iptablestc流量控制抓包OFFLOADGSO/TSONFSNFS协议分布式文件系统化常用命令和工具
摩斯电码·2023-11-24 06:11

HDFS小结01

首先我们来认识一下HDFS，HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。
liuzx32·2023-11-24 01:30

区块链的下一个风口：IPFS

因此，必须通过其他手段分散存储系统压力，分布式存储和分布式文件系统应运而生。分布式存储多采用普通的硬件设备作为基础设施，因此，单位容量的存储成本也得到大大降低。另外，
阿拉丁先生·2023-11-24 00:56

20.大数据---Hive基础介绍

hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以
学无止境的大象·2023-11-23 12:07

hdfs命令行操作摘录

hdfs分布式文件系统优点：一次写多次读；流式数据访问；一次写入、多次读取缺点：高延迟；不适合存储大量小文件NameNode负责管理整个dfs文件系统的元数据，即，存储所有的文件目录、每个文件的具体信息
佛系小懒·2023-11-23 07:01

软考-系统架构设计师-大数据架构设计理论与实践-练习题3

主Kafka再将数据写入HDFS分布式文件系统，而异构数据通过DataX/Sqoop写入HDFS。HDFS中的数据会通过Offline采用Hive、Map
shumeizwb·2023-11-23 06:04

MFS分布式文件系统

目录集群部署MasterServersChunkservers编辑ClientsStorageClassesLABELmfs高可用pacemaker高可用编辑ISCSI添加集群资源主机ip角色server1192.168.81.11MasterServersserver2192.168.81.12Chunkserversserver3192.168.81.13Chunkserversserver4
Hongx06·2023-11-23 04:01

通过NFS将HDFS映射到本地文件系统

hdfs是分布式文件系统，要想访问hdfs上的文件，可以用javaapi或者hadoopshell等工具，如果想操作hdfs文件系统就像操作本地文件系统一样的便捷，可以将hdfs文件系统挂载到本地的一个目录上
鹅鹅鹅_·2023-11-23 03:06

GFS分布式文件系统

1、定义gfdglusterFS。开源的分布式的文件系统2、组成部分存储服务器、客户端、网络（可以使用NFS或samba组成网关连接各个节点的通信）传统的分布式系统元服务器，元服务器保存存储节点的目录树信息。缺点：一旦元服务器故障，所有的存储节点全部失效现在的分布式系统——GFS：取消了元服务器机制，数据横向扩展能力更强，可靠性更强，存储效率更高3、特点（1）扩展性更强、性能出色（2）高可用，可以
咩咩230·2023-11-22 18:21

GFS分布式文件系统

：3、添加节点到存储信任池中4、创建分布式卷：5、部署Gluster客户端6、测试Gluster文件系统7、创建复制卷：8、创建分布式复制卷：9、访问控制：10、总结：一、GFS概述：1、概念：GFS分布式文件系统
koeda1·2023-11-22 17:19

GFS分布式文件系统

GFS分布式文件系统GFS：gfdglusterFS开源的分布式的文件系统存储服务器客户端以及网络（NFS/samba）网关传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息一旦元服务器故障
喝点维C·2023-11-22 14:03

【无标题】

GFS分布式文件系统：GFSglusterfs开源的分布式的文件系统。存储服务器客户端网络（NFS/samba)网关。传统式老的分布式元服务器，元服务器保存存储节点的目录数信息。
weixin_51694382·2023-11-21 14:41

DataFunSummit：2023年数据基础架构峰会-核心PPT资料下载

数据存储技术在适应大数据时代的规模需求基础之上，持续优化可用性、可靠性、存算分离、事务性等能力，演变出分布式文件系统、分布式对象存储、分布式块存储三大类型，数据库也通过存储格式等方面的改进助力数据处理的加速等应用需求
百家峰会·2023-11-21 12:12

GFS分布式文件系统

GFS分布式文件系统gfsglusterFS开源的分布式的文件系统存储服务器客户端以及网络（NFS/samba）网关传统式（老的）分布式元服务系统，元服务器保存存储节点的目录树信息一旦元服务器故障，所有的存储节点全部失效
Lad1129·2023-11-21 07:28

GFS分布式系统

GFS分布式文件系统gfsglusterFS开源的分布式的文件系统存储服务器客户端以及网络（NFS/samba）网关传统式（老的）分布式元服务系统，元服务器保存存储节点的目录树信息一旦元服务器故障，所有的存储节点全部失效
Lachewuxian·2023-11-21 04:31

综合架构-nfs备份服务（网络文件系统）

NFS系统和Windows网络共享、网络驱动器类似,只不过windows用于局域网,NFS用于企业集群架构中,如果是大型网站,会用到更复杂的分布式文件系统FastDFS,glusterfs,HDFS1.1
A宽宽·2023-11-20 20:13

分布式架构关键技术

分布式架构关键技术主要有分布式文件系统、分布式存储和分布式数据库。分
talentluke·2023-11-20 20:53

Hadoop -- 分布式文件系统

1、分布式文件系统的思想：文件切分的思想（分而治之）当文件存储在磁盘中，不仅效率比较低，并且文件的大小可能会超出单机的存储的范围。
新手小农·2023-11-20 19:57

GFS分布式文件系统

（一）GFS（glusterFS）1、GFS：开源的分布式的文件系统2、GFS：存储服务器、客户端以及网络（NFS/samba）网关3、传统老式的分布式系统元服务器，元服务器保存存储节点的目录树信息，一旦元服务器故障，所有的存储节点全部失效4、GFS的工作方式（1）当前GFS取消了元服务器机制，数据横向扩展能力更强，可靠性更强，存储效率更高5、GFS的特点（1）扩展性更强，高性能（2）高可用（备份
海德Hyde·2023-11-20 17:49

GFS分布式文件系统

GFS分布式文件系统（glusterFS）是一个开源的分布式的文件系统组成架构：存储服务器、客户端以及网络（NFS/samba）网关传统式的分布式系统：元服务器。
91888888·2023-11-20 15:51

dfs hdfs 修改文件名称_第五讲：hadoop的分布式存储HDFS常见操作

HDFS是一个分布式文件系统，像任何其它文件系统，允许用户使用shell命令操作文件系统。
西岸先生·2023-11-20 12:31

impala入门

换句话说，Impala是性能最高的SQL引擎(提供类似RDBMS的体验)，它提供了访问存储在Hadoop分布式文件系统中的数据的最快方法impala与hive的关系impala
YuPangZa·2023-11-20 12:25

HDFS、MapReduce原理--学习笔记

（2）狭义解释从狭义上来说，Hadoop是指Hadoop这个开源框架，它的核心组件有：a）HDFS（分布式文件系统）：解决海量数据存储；b）MapReduce（分布式计算）：解决海
祈愿lucky·2023-11-20 06:33

文件管理器和FTP客户端：ForkLift for Mac

这是一个功能强大的文件查找和替换工具和FTP+***TP+WebD***+AmazonS3的客户端，集齐批量重命名，应用Deleter，存档的创建和管理，强大的文件夹同步，拆分和合并大文件等功能，弥补了许多文件管理软件管理单一的问题
zjj778899·2023-11-20 03:18

云存储及其分布式文件系统

转自：https://www.cnblogs.com/langren1992/p/5432517.html随着信息化程度的不断提高，全球数据日益膨胀。面对当前PB级的海量数据存储需求，传统的存储系统在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。云存储伴随着云计算产生，作为云计算的先驱，它很早就进入了广大研究人员的视野，由于其前瞻性，众多企业都将其作
hemeinvyiqiluoben·2023-11-20 03:12

汇集天下武学——Python面试宝典

流量+python爬虫工程师一、FastDFS的工作原理和配置1.什么是FastDFSFastDFS是用c语言编写的一款开源的分布式文件系统。
小陈工·2023-11-20 02:31

大数据基础——HDFS（分布式文件系统）

分布式文件系统——HDFS文章目录分布式文件系统——HDFSHDFS概述HDFS发展历史HDFS的设计目标HDSF应用场景适合的应用场景不适合的应用场景HDFS架构HDFS的基本原理NameNode概念
我菜的要死·2023-11-20 02:49

GFS分布式文件系统

GlusterFS简介GlusterFS是一个开源的分布式文件系统。
2301_79410672·2023-11-19 17:57

大数据之hadoop-hdfs知识通俗详解

目录疑问存储模型（重要）架构设计角色功能NameNodeDataNode元数据持久化安全模式HDFS中的SNNSecondaryNameNode（SNN）Block的副本放置策略HDFS写流程HDFS读流程总结疑问分布式文件系统那么多
shw12357·2023-11-19 10:27

大数据之数据迁移sqoop的安装

Sqoop具有命令行界面，可用于从关系型数据库中导入数据到Hadoop分布式文件系统（HDFS）中，或从HDFS导出数据到关系型数据库中。
bigdata从入门到放弃·2023-11-19 03:09

linux中hadoop伪分布搭建

主要有以下三个组件：Hadoop分布式文件系统（HDFS）：这是一种可扩展的、容错的文件系统，专门设计用于在大规模集群中存储和访问数据。
bigdata从入门到放弃·2023-11-19 03:38
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他