E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式文件
Linux-ISCSI
⏰️创作时间:2025年02月17日19点50分iSCSI协议是没有同步机制的,要想解决同步机制,需要配置集群文件系统或者是
分布式文件
系统,防止数据不同步的问题iSCSI基于IP协议的技术标准,该技术允许用户通过
DC_BLOG
·
2025-02-20 20:16
Linux
linux
服务器
Hadoop之HDFS的使用
HDFS是什么:HDFS是一个分布式的文件系统,是个网盘,HDFS是一种适合大文件存储的
分布式文件
系统HDFS的Shell操作1、查看hdfs根目录下的内容-lshdfsdfs-lshdfs://hadoop01
想要变瘦的小码头
·
2025-02-20 20:43
hadoop
hdfs
大数据
Hadoop管理工具dfsadmin和fsck的使用
Hadoop提供了多个管理工具,其中dfsadmin和fsck是用于管理HDFS(Hadoop
分布式文件
系统)的重要工具。以下是它们的使用方法和常见命令。
脚本无敌
·
2025-02-19 16:46
Hadoop
hadoop
npm
大数据
MongoDB sharding
因为Mongo主要是支持海量数据存储的,所以Mongo还自带了一个出色的
分布式文件
系统GridFS,可以支持海量的数据存储。
tycoon1988
·
2025-02-19 11:56
北航云计算公开课
HBase简介:高效分布式数据存储和处理
HBase的核心特点包括:分布式存储:HBase使用Hadoop
分布式文件
系统(HDFS)作为底层存储,数据被分布在集
代码指四方
·
2025-02-18 03:07
分布式
hbase
数据库
大数据
mysql、redis和MongoDB三大数据库的优点和区别
MongoDB是由C++语言编写的,是一个基于
分布式文件
存储的开源数据库系统。在高
DreamCity07
·
2025-02-15 04:58
mongodb
数据库
mysql
从0到1带大家搭建spring cloud alibaba 微服务大型应用框架(九)文件服务篇(1):minio 单机与集群搭建
为什么需
分布式文件
服务单机时代初创时期由于时间紧迫,在各种资源有限的情况下,通常就直接在项目目录下建立静态文件夹,用于用户存放项目中的文件资源。
峡谷电光马仔
·
2025-02-14 10:43
spring
cloud
minio
alibaba
分布式文件
hadoop 1.0 基本概念了解
Map函数负责将输入数据转化为中间值,中间值再通过Reduce函数转化成输出数据HDFS:HDFS是一个
分布式文件
系统。通过一次写入,多次读出来实现。Chukwa:Chukw
fenggfa
·
2025-02-12 07:48
hadoop
hadoop
大数据
mapreduce
深入理解Hadoop 1.0.0源码架构及组件实现
该版本包含核心
分布式文件
系统HDFS、MapReduce计算模型、Common工具库等关键组件。通过分析源码,可深入理解这些组件的设计和实现细节,包括数据复制、任务调度、容错机制以及系统配置管理。
隔壁王医生
·
2025-02-12 07:14
云存储 (OSS、CPFS 和 NAS)
在云存储领域,对象存储服务(OSS)、云
分布式文件
系统(CPFS)和网络附加存储(NAS)是三种常见的存储解决方案。它们各自具备不同的技术特点和适用场景,选择合适的存储方案能够更好地满足不同业务需求。
HaoHao_010
·
2025-02-11 18:09
服务器
云计算
HiveQL命令(三)- Hive函数
ApacheHive作为一种流行的数据仓库工具,提供了丰富的内置函数,帮助用户高效地处理和分析存储在Hadoop
分布式文件
系统(HDFS)中的数据。这些内置函数涵盖了数值计算、字符
BigDataMagician
·
2025-02-11 12:00
HiveQL命令
hive
hadoop
数据仓库
2021-05-11 MongoDB面试题 MongoDB是什么
MongoDB是由C++语言编写的,是一个基于
分布式文件
存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。
微软MVP Eleven
·
2025-02-11 07:13
#
MongoDB面试题
mongodb
掌握大数据--Hive全面指南
HiveSQL语法--DDL操作数据库1.Hive简介ApacheHive是建立在Hadoop之上的一个数据仓库工具,它提供了一种类似于SQL的查询语言,称为HiveQL,用于查询和分析存储在Hadoop
分布式文件
系统
纪祥_ee1
·
2025-02-10 22:40
大数据
hive
hadoop
深度剖析分布式存储架构
【摘要】本文介绍了分布式存储的架构类型、分布式理论、不同的
分布式文件
系统和分布式键值系统等,较为系统详尽。全文约2万字,可收藏。
罗伯特之技术屋
·
2025-02-09 07:28
大数据及数据管理(治理)专栏
计算机工程的科学与探索专栏
分布式
架构
数据库
如何处理大规模数据集中的数据处理:Spark和ApacheFlink
DataProcessing)任务调度(TaskScheduling)HadoopApacheSparkApacheFlink3.核心算法原理和具体操作步骤以及数学公式讲解1.MapReduce(1)概述(2)算法原理
分布式文件
系统
AI天才研究院
·
2025-02-07 01:43
DeepSeek
R1
&
大数据AI人工智能大模型
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
HIVE常见面试题
通过将结构化的数据文件映射成表,并提供类SQL的查询功能,使得用户可以通过编写SQL语句来进行数据分析,而不需要编写复杂的MapReduce程序2.简述hive读写文件机制Hive读写文件机制主要依赖Hadoop的HDFS(
分布式文件
系统
兔子宇航员0301
·
2025-02-06 18:59
数据开发小白成长笔记
hive
hadoop
数据仓库
使用python实现Hadoop中MapReduce
Hadoop包含HDFS(
分布式文件
系统)、YARN(资源管理器)、MapReduce(编程模型)。
qq_44801116
·
2025-02-06 06:10
Python
python
hadoop
mapreduce
Hadoop1.0和2.0的主要区别
Hadoop1.0指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop,组件主要由HDFS和MapReduce两个系统组成,HDFS是一个
分布式文件
存储系统,MapReduce
web_15534274656
·
2025-02-06 03:43
java
hadoop
大数据
hdfs
dubbo
java-zookeeper
Hadoop1.0-HDFS介绍
Hadoop是Apache软件基金会所开发的并行计算框架与
分布式文件
系统。最核心的模块包括HadoopCommon、HDFS与MapReduce。
szjianzr
·
2025-02-06 03:13
HADOOP介绍
hadoop
HDFS
物联网架构之Hadoop
其核心架构包括以下几个关键组件:1.HadoopDistributedFileSystem(HDFS)HDFS是Hadoop的
分布式文件
系统,用于存储大数据集。
moluxiangfenglo
·
2025-02-06 01:54
架构
hadoop
大数据
Spark3.1.2单机安装部署
Spark专注于数据的处理分析,而数据的存储还是要借助于Hadoop
分布式文件
系统HDFS等来实现。大数据问题场景包含以下三种:复杂的批量数据处理基于历史数据的交
花菜回锅肉
·
2025-02-04 07:43
大数据
spark
大数据
hadoop
Spring Boot 2 快速教程:WebFlux 集成 Mongodb(三)
官网:https://www.mongodb.com/MongoDB是一个基于
分布式文件
存储的数据库,由C++语言编写,旨在为WEB应用提供可扩展的高性能数据存储解决方案。
星如雨グッ!(๑•̀ㅂ•́)و✧
·
2025-02-04 06:09
java
spring
boot
mongodb
后端
Python结合pyhdfs模块操作HDFS
分布式文件
系统
使用python操作hdfs本身并不难,只不过是把对应的shell功能“翻译”成高级语言,我这里选用的是hdfs,下边的实例都是基于hdfs包进行的。1:安装由于我的是windows环境(linux其实也一样),只要有pip或者setup_install安装起来都是很方便的pipinstallhdfs2:Client——创建集群连接fromhdfsimport*client=Client("ht
唐僧不爱八戒
·
2025-02-04 00:50
python
hdfs
开发语言
Hive 分区和分桶总结
分区表实际上就是对应一个在HDFS(或者是其他
分布式文件
系统)文
Stray_Lambs
·
2025-02-03 14:23
大数据
hive
HDFS
分布式文件
系统3-2 shell定期采集数据到HDFS
1、准备工作创建目录:/export/data/logs/log/export/data/logs/toupload2、在/export/data/logs目录下创建upload2HDFS.sh内容如下:#!/bin/bashexportJAVA_HOME=/export/servers/jdkexportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=.:JAVA_
诺特兰德
·
2025-02-02 03:38
hdfs
hadoop
大数据
nosql与mysql的区别_Mongodb Mysql NoSQL的区别和联系
MongoDB是一个基于
分布式文件
存储的数据库,由C++语言编写,皆在为WEB应用提供可扩展的高性能数据存储解决方案MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富
金七言
·
2025-02-01 22:31
nosql与mysql的区别
Hive存储系统全面测试报告
Hive的设计初衷是为了简化大数据集的查询和管理,它允许用户通过简单的SQL语句来操作存储在Hadoop
分布式文件
系统(HDFS)上的大规模数据集。
蚂蚁质量
·
2025-01-29 13:27
软件测试
测试用例
功能测试
系统设计面试题
文章目录**设计一个短网址服务**:如何将长网址转换为短网址,并支持短网址的生成、存储、解析和重定向等功能**设计一个
分布式文件
系统**:考虑如何实现文件的存储、访问、备份、容错等功能,以及如何处理大规模数据和高并发访问
慢慢慢时光
·
2025-01-28 03:14
面试准备
面试
系统设计
解决Python中libhdfs.so的共享库找不到的问题
这个错误通常发生在使用Python访问Hadoop
分布式文件
系统(HadoopDistributedFileSystem,简称HDFS)时,由于缺少libhdfs.so共享库文件而
code_welike
·
2025-01-26 16:34
python
开发语言
Python
“大模型横扫千军”背后的大数据挖掘--浅谈MapReduce
文章目录O背景知识1数据挖掘2邦费罗尼原则3TF.IDF4哈希函数5
分布式文件
系统一、MapReduce基本介绍1.Map任务2.按键分组3.Reduce任务4.节点失效处理5.小测验:在一个大型语料库上有
绒绒毛毛雨
·
2025-01-26 01:35
大数据挖掘
数据挖掘
mapreduce
人工智能
Hadoop
分布式文件
系统-HDFS架构
一、HDFS的简介HDFS全称HadoopDistributedFileSystem,是
分布式文件
管理系统。
Fancs2024
·
2025-01-23 09:37
hadoop
hadoop
hdfs
Python操作MongoDB看这一篇就够了
MongoDB是由C++语言编写的非关系型数据库,是一个基于
分布式文件
存储的开源数据库系统,其内容存储形式类似JSON对象,它的字段值可以包含其他文档、数组及文档数组,非常灵活。
Python3.7
·
2025-01-22 22:32
Python进阶
python
Hadoop是什么,怎么部署安装?
它包括两个核心组件:Hadoop
分布式文件
系统(HDFS)和HadoopYARN(YetAnotherResourceNegotiator)。
狮歌~资深攻城狮
·
2025-01-22 15:01
hadoop
大数据
分布式
多云架构下JuiceFS实现一致性与低延迟数据分发的深度解析
多云架构下JuiceFS实现一致性与低延迟数据分发的深度解析一、JuiceFS在多云架构中的角色与优势1.JuiceFS简介JuiceFS是一个高性能的
分布式文件
系统,专为云原生环境设计,支持多种公有云和私有云的对象存储服务
GZM888888
·
2025-01-17 07:37
数据库
MongoDB 学习指南与资料分享
学习指南入门基础核心概念掌握MongoDB基于
分布式文件
存储,采用文档型数据模型。它将数据以
来恩1003
·
2025-01-16 23:02
MongoDB
mongodb
数据库
Hadoop
Hadoop核心由四个主要模块组成,分别是HDFS(
分布式文件
系统)、MapReduce(分布式计算框架)、YARN(资源管理)和HadoopCommon(公共工具和库)。
傲雪凌霜,松柏长青
·
2024-09-16 00:16
后端
大数据
hadoop
大数据
分布式
linux挂载文件夹
1.使用NFS(NetworkFileSystem)NFS是一种
分布式文件
系统协议,允许一个系统将其文件系统的一部分共享给其他系统。
小码快撩
·
2024-09-15 19:58
linux
nfs服务搭建
基哥度娘网络文件系统(NFS)是sun微系统最初开发的
分布式文件
系统协议,[1]允许客户端计算机上的用户通过计算机网络访问文件很像本地存储被访问。
GHope
·
2024-09-15 13:41
掌握检索技术:构建高效知识检索系统的架构与算法23
这可以通过将索引数据分片存储在不同的节点上,并使用
分布式文件
系统或对象存储来存储大规模的索引数据。任务分配:设计任务调度器,负责将查询请求分配到空闲的节点上进
是小旭啊
·
2024-09-14 13:50
人工智能
掌握检索技术:构建高效知识检索系统的架构与算法21
这可以通过将索引数据分片存储在不同的节点上,并使用
分布式文件
系统或对象存储来存储大规模的索引数据。任务分配:设计任务调度器,负责将查询请求分配到空闲的节点上进
是小旭啊
·
2024-09-14 12:18
人工智能
大数据分析与安全分析
海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等大数据的种类和来源非常多,包括结构化、半结构化和非结构化数据有关大数据的新兴网络信息技术应用不断出现,主要包括大规模数据分析处理、数据挖掘、
分布式文件
系统
Zh&&Li
·
2024-09-11 03:21
网络安全运维
数据分析
安全
数据挖掘
运维
数据库
千万级规模高性能、高并发的网络架构经验分享
INTO100沙龙时间:2015年11月21日下午地点:梦想加联合办公空间分享人:卫向军(毕业于北京邮电大学,现任微博平台架构师,先后在微软、金山云、新浪微博从事技术研发工作,专注于系统架构设计、音视频通讯系统、
分布式文件
系统和数据挖掘等领域
搬砖养女人
·
2024-09-10 20:35
网络
架构
经验分享
深入解析HDFS:定义、架构、原理、应用场景及常用命令
引言Hadoop
分布式文件
系统(HDFS,HadoopDistributedFileSystem)是Hadoop框架的核心组件之一,它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney
·
2024-09-10 12:39
hdfs
架构
hadoop
Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode
HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS(Hadoop
分布式文件
系统)中,有三个关键的组件
BigDataMLApplication
·
2024-09-10 00:38
大数据
hadoop
hadoop
hdfs
大数据
浅析大数据Hadoop之YARN架构
YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说,Hadoop是耳熟能详的卓越开源
分布式文件
存储及处理框架,对于Hadoop框架的介绍在此不再累述
haotian1685
·
2024-09-09 22:26
python
数据清洗
人工智能
大数据
大数据学习
深度学习
大数据
大数据学习
YARN
hadoop
分布式文件
系统FastDFS动态扩容
当用户量越来越大,则集群中某个group总会到达其极限,这时就得扩展集群的容量了。FastDFS的扩容分为对group纵向扩容和横向扩容纵向扩容指在同一个group组中增加服务器,实现数据冗余,数据备份。同一个group中最大容量取决于最小的storage的存储容量。因此如果还想继续使用此group,则需要对此group对应的所有服务器挂载同样容量的磁盘,指定store_path1……,但这样做的
欢醉
·
2024-09-08 18:38
HBase
ApacheHBase是一个基于Hadoop
分布式文件
系统(HDFS)构建的分布式、面向列的NoSQL数据库,主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜,松柏长青
·
2024-09-08 17:07
大数据
后端
hbase
数据库
大数据
Hive的优势与使用场景
以下是Hive的主要优势:1.与Hadoop生态系统的紧密集成Hive构建在Hadoop
分布式文件
系统(HDFS)之上,能够处理海量数据并进行分布式计算。
傲雪凌霜,松柏长青
·
2024-09-08 17:07
后端
大数据
hive
hadoop
数据仓库
大数据面试题:说下为什么要使用Hive?Hive的优缺点?Hive的作用是什么?
Hive是Hadoop生态系统中比不可少的一个工具,它提供了一种SQL(结构化查询语言)方言,可以查询存储在Hadoop
分布式文件
系统(HDFS)中的数据或其他和Hadoop集成的文件系统,如MapR-FS
蓦然_
·
2024-09-08 15:50
大数据面试题
hive
大数据开发面试题
大数据面试
JuiceFS 社区版 v1.2 发布,新增企业级权限管理、平滑升级功能
JuiceFS是为云环境设计的
分布式文件
系统,支持超过10种元数据引擎和30种以上的数据存储引擎。
Juicedata
·
2024-09-06 01:24
云原生
运维
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他