ftp+分布式文件系统

hadoop 1.0 基本概念了解

Map函数负责将输入数据转化为中间值,中间值再通过Reduce函数转化成输出数据HDFS：HDFS是一个分布式文件系统。通过一次写入，多次读出来实现。Chukwa：Chukw
fenggfa·2025-02-12 07:48

深入理解Hadoop 1.0.0源码架构及组件实现

该版本包含核心分布式文件系统HDFS、MapReduce计算模型、Common工具库等关键组件。通过分析源码，可深入理解这些组件的设计和实现细节，包括数据复制、任务调度、容错机制以及系统配置管理。
隔壁王医生·2025-02-12 07:14

云存储 （OSS、CPFS 和 NAS）

在云存储领域，对象存储服务（OSS）、云分布式文件系统（CPFS）和网络附加存储（NAS）是三种常见的存储解决方案。它们各自具备不同的技术特点和适用场景，选择合适的存储方案能够更好地满足不同业务需求。
HaoHao_010·2025-02-11 18:09

HiveQL命令（三）- Hive函数

ApacheHive作为一种流行的数据仓库工具，提供了丰富的内置函数，帮助用户高效地处理和分析存储在Hadoop分布式文件系统（HDFS）中的数据。这些内置函数涵盖了数值计算、字符
BigDataMagician·2025-02-11 12:00

掌握大数据--Hive全面指南

HiveSQL语法--DDL操作数据库1.Hive简介ApacheHive是建立在Hadoop之上的一个数据仓库工具，它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop分布式文件系统
纪祥_ee1·2025-02-10 22:40

深度剖析分布式存储架构

【摘要】本文介绍了分布式存储的架构类型、分布式理论、不同的分布式文件系统和分布式键值系统等，较为系统详尽。全文约2万字，可收藏。
罗伯特之技术屋·2025-02-09 07:28

如何处理大规模数据集中的数据处理：Spark和ApacheFlink

DataProcessing）任务调度（TaskScheduling）HadoopApacheSparkApacheFlink3.核心算法原理和具体操作步骤以及数学公式讲解1.MapReduce（1）概述（2）算法原理分布式文件系统
AI天才研究院·2025-02-07 01:43

HIVE常见面试题

通过将结构化的数据文件映射成表，并提供类SQL的查询功能，使得用户可以通过编写SQL语句来进行数据分析，而不需要编写复杂的MapReduce程序2.简述hive读写文件机制Hive读写文件机制主要依赖Hadoop的HDFS（分布式文件系统
兔子宇航员0301·2025-02-06 18:59

使用python实现Hadoop中MapReduce

Hadoop包含HDFS(分布式文件系统)、YARN（资源管理器）、MapReduce（编程模型）。
qq_44801116·2025-02-06 06:10

Hadoop1.0-HDFS介绍

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括HadoopCommon、HDFS与MapReduce。
szjianzr·2025-02-06 03:13

物联网架构之Hadoop

其核心架构包括以下几个关键组件：1.HadoopDistributedFileSystem(HDFS)HDFS是Hadoop的分布式文件系统，用于存储大数据集。
moluxiangfenglo·2025-02-06 01:54

Spark3.1.2单机安装部署

Spark专注于数据的处理分析，而数据的存储还是要借助于Hadoop分布式文件系统HDFS等来实现。大数据问题场景包含以下三种：复杂的批量数据处理基于历史数据的交
花菜回锅肉·2025-02-04 07:43

Python结合pyhdfs模块操作HDFS分布式文件系统

使用python操作hdfs本身并不难，只不过是把对应的shell功能“翻译”成高级语言，我这里选用的是hdfs，下边的实例都是基于hdfs包进行的。1：安装由于我的是windows环境（linux其实也一样），只要有pip或者setup_install安装起来都是很方便的pipinstallhdfs2：Client——创建集群连接​fromhdfsimport*client=Client("ht
唐僧不爱八戒·2025-02-04 00:50

Hive 分区和分桶总结

分区表实际上就是对应一个在HDFS(或者是其他分布式文件系统)文
Stray_Lambs·2025-02-03 14:23

HDFS分布式文件系统3-2 shell定期采集数据到HDFS

1、准备工作创建目录：/export/data/logs/log/export/data/logs/toupload2、在/export/data/logs目录下创建upload2HDFS.sh内容如下：#!/bin/bashexportJAVA_HOME=/export/servers/jdkexportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=.:JAVA_
诺特兰德·2025-02-02 03:38

Hive存储系统全面测试报告

Hive的设计初衷是为了简化大数据集的查询和管理，它允许用户通过简单的SQL语句来操作存储在Hadoop分布式文件系统（HDFS）上的大规模数据集。
蚂蚁质量·2025-01-29 13:27

系统设计面试题

文章目录**设计一个短网址服务**：如何将长网址转换为短网址，并支持短网址的生成、存储、解析和重定向等功能**设计一个分布式文件系统**：考虑如何实现文件的存储、访问、备份、容错等功能，以及如何处理大规模数据和高并发访问
慢慢慢时光·2025-01-28 03:14

解决Python中libhdfs.so的共享库找不到的问题

这个错误通常发生在使用Python访问Hadoop分布式文件系统（HadoopDistributedFileSystem，简称HDFS）时，由于缺少libhdfs.so共享库文件而
code_welike·2025-01-26 16:34

“大模型横扫千军”背后的大数据挖掘--浅谈MapReduce

文章目录O背景知识1数据挖掘2邦费罗尼原则3TF.IDF4哈希函数5分布式文件系统一、MapReduce基本介绍1.Map任务2.按键分组3.Reduce任务4.节点失效处理5.小测验：在一个大型语料库上有
绒绒毛毛雨·2025-01-26 01:35

Hadoop分布式文件系统-HDFS架构

一、HDFS的简介HDFS全称HadoopDistributedFileSystem，是分布式文件管理系统。主要是为了解决大数据如何存储的问题，跟一般文件系统不同的是，它可以通过扩展服务器结点来扩充存储量，可以用低成本的硬件构建出支持高吞吐量的文件系统。二、HDFS的特点高容错性：一个HDFS集群会包含非常多的结点，HDFS将文件分块存储，并且会保存多个副本到不同的机器节点上以保证数据的安全，而且
Fancs2024·2025-01-23 09:37

Hadoop是什么，怎么部署安装？

它包括两个核心组件：Hadoop分布式文件系统（HDFS）和HadoopYARN（YetAnotherResourceNegotiator）。
狮歌~资深攻城狮·2025-01-22 15:01

多云架构下JuiceFS实现一致性与低延迟数据分发的深度解析

多云架构下JuiceFS实现一致性与低延迟数据分发的深度解析一、JuiceFS在多云架构中的角色与优势1.JuiceFS简介JuiceFS是一个高性能的分布式文件系统，专为云原生环境设计，支持多种公有云和私有云的对象存储服务
GZM888888·2025-01-17 07:37

Hadoop

Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。
傲雪凌霜，松柏长青·2024-09-16 00:16

linux挂载文件夹

1.使用NFS（NetworkFileSystem）NFS是一种分布式文件系统协议，允许一个系统将其文件系统的一部分共享给其他系统。
小码快撩·2024-09-15 19:58

nfs服务搭建

基哥度娘网络文件系统(NFS)是sun微系统最初开发的分布式文件系统协议,[1]允许客户端计算机上的用户通过计算机网络访问文件很像本地存储被访问。
GHope·2024-09-15 13:41

掌握检索技术：构建高效知识检索系统的架构与算法23

这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进
是小旭啊·2024-09-14 13:50

掌握检索技术：构建高效知识检索系统的架构与算法21

这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进
是小旭啊·2024-09-14 12:18

大数据分析与安全分析

海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等大数据的种类和来源非常多，包括结构化、半结构化和非结构化数据有关大数据的新兴网络信息技术应用不断出现，主要包括大规模数据分析处理、数据挖掘、分布式文件系统
Zh&&Li·2024-09-11 03:21

千万级规模高性能、高并发的网络架构经验分享

INTO100沙龙时间：2015年11月21日下午地点：梦想加联合办公空间分享人：卫向军（毕业于北京邮电大学，现任微博平台架构师，先后在微软、金山云、新浪微博从事技术研发工作，专注于系统架构设计、音视频通讯系统、分布式文件系统和数据挖掘等领域
搬砖养女人·2024-09-10 20:35

深入解析HDFS：定义、架构、原理、应用场景及常用命令

引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney·2024-09-10 12:39

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件
BigDataMLApplication·2024-09-10 00:38

分布式文件系统FastDFS动态扩容

当用户量越来越大，则集群中某个group总会到达其极限，这时就得扩展集群的容量了。FastDFS的扩容分为对group纵向扩容和横向扩容纵向扩容指在同一个group组中增加服务器，实现数据冗余，数据备份。同一个group中最大容量取决于最小的storage的存储容量。因此如果还想继续使用此group，则需要对此group对应的所有服务器挂载同样容量的磁盘，指定store_path1……，但这样做的
欢醉·2024-09-08 18:38

HBase

ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜，松柏长青·2024-09-08 17:07

Hive的优势与使用场景

以下是Hive的主要优势：1.与Hadoop生态系统的紧密集成Hive构建在Hadoop分布式文件系统(HDFS)之上，能够处理海量数据并进行分布式计算。
傲雪凌霜，松柏长青·2024-09-08 17:07

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
蓦然_·2024-09-08 15:50

JuiceFS 社区版 v1.2 发布，新增企业级权限管理、平滑升级功能

JuiceFS是为云环境设计的分布式文件系统，支持超过10种元数据引擎和30种以上的数据存储引擎。
Juicedata·2024-09-06 01:24

大数据学习｜理解和对比 Apache Hive 和 Apache Iceberg

文章目录数据模型与存储事务支持性能优化使用场景总结数据模型与存储Hive:Hive使用的是传统的关系型数据模型，数据存储在Hadoop分布式文件系统(HDFS)中，通常是以文本格式（如CSV或TSV）或者二进制格式
进击的小白菜·2024-09-04 16:50

虚拟机安装hadoop，hbase（单机伪集群模式）

就像当初做爬虫一样（虽然很简单），在数据爆发的现在，传统的数据库mysql，oracle显然在处理大数据量级的数据时显得力不从心，所以有些特定的业务需要引进能够处理大数据量的数据库，hadoop提供了分布式文件系统
流~星~雨·2024-08-29 21:31

Hdfs的机架感知与副本放置策略

1.介绍Apachehadoop机架感知Hadoop分布式文件系统(Hdfs)作为ApacheHadoop生态系统的的核心组件之一,通过机架感知和副本放置策略来优化数据的可靠性,可用和性能.Hdfs的机架感知和副本放置策略是其设计的关键组成部分
sheansavage·2024-08-29 01:42

Django 后端架构开发：存储层调优策略解析

Django后端架构开发：存储层调优策略解析目录数据库读写分离实现与优化分布式文件系统在Django中的应用与优化Elasticsearch存储层优化策略前端页面静态化处理数据库读写分离实现与优化数据库读写分离是一种优化数据库性能的常见手段
Switch616·2024-08-27 02:13

HDFS的编程

HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件集群内的不同机器上
卍king卐然·2024-08-25 07:02

Hadoop 的基本 shell 命令

Hadoop的基本shell命令主要用于与Hadoop分布式文件系统（HDFS）和MapReduce进行交互。
难以触及的高度·2024-08-24 14:22

【RH134知识点问答题】第9章 访问网络附加存储

NFS是一种分布式文件系统协议，主要功能包括：①允许远程计算机通过网络访问共享文件。②实现文件系统在客户端和服务器之间的透明访问。③支持文件的共享、读取和写入，使得多个计算机可以共享相同的文件
是芽芽哩！·2024-08-24 03:38

服务器虚拟化和云平台,云平台和服务器虚拟化区别

云平台和服务器虚拟化区别内容精选换一换云硬盘(ElasticVolumeService,EVS)可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求，适用于分布式文件系统
木子Hui·2024-03-20 05:14

HDFS

HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件
weixin_51987187·2024-03-12 14:32

SeaweedFS部署

SeaweedFS介绍SeaweedFS是一个分布式文件系统应用场景：主要用于存储处理小文件、大文件分块成小文件上传Githup地址：https://github.com/chrislusf/seaweedfs
仙女陈·2024-03-02 04:46

论文阅读-Hydra: 用于持久内存和RDMA网络的分散文件系统

然而，现有的分布式文件系统采用为传统磁盘设计的传统集中式客户端-服务器架构，导致访问延迟
向来痴_·2024-02-20 07:26

GlusterFS：开源分布式文件系统的深度解析与应用场景实践

GlusterFS作为一款开源的、高度可扩展的分布式文件系统，以其独特的无中心元数据设计和灵活的卷管理机制，在众多场景中脱颖而出，为解决大规模数据存储难题提供了强有力的支持。
超逮虾户·2024-02-19 19:20

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。
xcagy·2024-02-19 13:07

精彩回顾 I DatenLord Hackathon 2023圆满结束！

达坦科技基于其跨云分布式文件系统DatenLord项目，结合AI大模型时代背景，搭建了擂台。我们邀请参赛者为DatenLord的极端场景设计并实现缓存p2p传输和同步模块。
·2024-02-19 12:34
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他