E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式文件系统FastDFS
hadoop
的核心架构主要包括HDFS(HadoopDistributedFileSystem)和YARN(YetAnotherResourceNegotiator),以及MapReduce计算框架:1.1HDFS(
分布式文件系统
百里自来卷
·
2025-03-06 06:00
hadoop
大数据
分布式
深入检索:专业知识检索的高级算法与架构策略
这可以通过将索引数据分片存储在不同的节点上,并使用
分布式文件系统
或对象存储来存储大规模的索引数据。任务分配:设计任务调度器,负责将查询请求分配到空闲的节点上进
是小旭啊
·
2025-03-06 05:52
架构
Java 大视界 -- Java 大数据
分布式文件系统
的性能调优实战(101)
亲爱的朋友们,热烈欢迎来到青云交的博客!能与诸位在此相逢,我倍感荣幸。在这飞速更迭的时代,我们都渴望一方心灵净土,而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识,也期待你毫无保留地分享独特见解,愿我们于此携手成长,共赴新程!一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:大数据新视
青云交
·
2025-03-05 18:25
大数据新视界
Java
大视界
java
大数据
Java
大数据
分布式文件系统
性能调优
HDFS
Impala
凤凰架构-演进中的架构
原始分布式时代1、惠普公司=》网络运算架构(NCA)=》远程服务调用的雏形卡内基梅隆大学=》AFS文件系统=》
分布式文件系统
的最早实现麻省理工学院=》Kerberos协议=》服务认证和访问控制的基础性协议
metazz
·
2025-03-05 02:37
分布式
微服务
NFS配置全解析:让文件共享变得如此简单
1NFS简介NFS(NetworkFileSystem):是一种
分布式文件系统
协议,允许用户通过网络访问远程文件系统,就像访问本地文件一样。它最初由SunMicro
IT成长日记
·
2025-03-04 23:44
#
Linux
技术探索与实践
linux
运维
网络
网络协议
避免Hive和Spark生成HDFS小文件
HDFS是为大数据设计的
分布式文件系统
,对大数据做了存储做了针对性的优化,但却不适合存储海量小文件。
穷目楼
·
2025-03-03 22:36
数据库
大数据
大数据
spark
hive
hadoop
大数据技术学习框架(更新中......)
Hadoop相关HDFS
分布式文件系统
MR(MapReduce)离线数据处理MR-图解YARN集群资源管理ZooKeeperZooKeeper分布式协调框架Hive相关Hive-01之数仓、架构、数据类型
小技工丨
·
2025-03-03 04:05
大数据技术学习
大数据
学习
FastDFS
存储目录迁移方案
1背景生产
FastDFS
的存储目录为/home/
fastdfs
。当前的存储情况如下:/home挂载点总磁盘量为4.8GB,可用容量不足1GB。所以计划迁移到/usr挂载点,以解决磁盘空间不足的问题。
甘蓝聊Java
·
2025-02-28 11:30
【更新中...】项目中的那些事
FastDFS
FastDFS目录迁移
FUSE,从内核到用户态文件系统的设计之路
JuiceFS就是基于FUSE构建的高性能
分布式文件系统
,充分发挥了FUSE的灵活性和扩展性。为了更好地理解FUSE的设计理念,我们将首先回顾内核文件系统以及网络文件系统(如
·
2025-02-27 17:14
后端运维人工智能
Hive SQL 使用及进阶详解
一、Hive简介Hive是建立在Hadoop之上的数据仓库基础架构,它提供了类似于SQL的查询语言HiveSQL(也称为HQL),用于对存储在Hadoop
分布式文件系统
(HDFS)中的大规模数据进行数据查询和分析
小四的快乐生活
·
2025-02-27 03:37
hive
sql
hadoop
MongoDB 数据库简介
MongoDB概述MongoDB是一个基于
分布式文件系统
的NoSQL数据库,由10gen公司
wjs2024
·
2025-02-26 17:20
开发语言
HDFS是如何存储和管理大数据
HDFS(HadoopDistributedFileSystem,Hadoop
分布式文件系统
)是专为大数据处理而设计的
分布式文件系统
,具有高吞吐量、高容错性等特点,适用于大规模数据存储和管理。
python资深爱好者
·
2025-02-26 11:38
大数据
hdfs
hadoop
云原生时代的
分布式文件系统
设计与实现
Alluxio,一个开源的
分布式文件系统
,应运而生,为大数据和人工智能应用提供了革命性的解决方案。
ITPUB-微风
·
2025-02-25 08:33
云原生
jmeter 与大数据生态圈中的服务进行集成
以下为你详细介绍JMeter与大数据生态圈中几种常见服务(HadoopHDFS、Spark、Kafka、Elasticsearch)集成的方法:与HadoopHDFS集成实现思路HDFS是Hadoop的
分布式文件系统
小赖同学啊
·
2025-02-24 13:40
jmeter专栏
jmeter
大数据
HDFS
分布式文件系统
的架构及特点
一、HDFS架构HDFS采用的是主从(Master/Slave)架构,即一个HDFS通常是由一个Master和多个Slave组成。Master为NameNode主要用于管理HDFSSlave为DataNode主要用于存储文件SecondaryNode用于辅助NameNodeHDFS架构1.1BlockBlock是HDFS文件系统中最小的存储单位,通常称为数据块。在HDFS文件系统中存储的文件会被拆
互联网上的猪
·
2025-02-24 04:40
Hadoop
hdfs
架构
hadoop
docker搭建
FastDFS
文件系统(最详细版)
https://notes.xiyankt.com博主开源微服架构前后端分离技术博客项目源码地址,欢迎各位starhttps://gitee.com/bright-boy/xiyan-blogdocker安装
FastDFS
刘明同学呀
·
2025-02-23 06:34
文件上传
docker
docker
fastdfs
私有化部署落地方案~后端
中间件从星云私有化部署整体方案中,可以知道我们采用了MySQL、Redis、ElasticSearch、RabbitMQ和
FastDFS
这五种中间件组件。
维搭小刘
·
2025-02-21 10:19
后端
架构
运维
Linux-ISCSI
⏰️创作时间:2025年02月17日19点50分iSCSI协议是没有同步机制的,要想解决同步机制,需要配置集群文件系统或者是
分布式文件系统
,防止数据不同步的问题iSCSI基于IP协议的技术标准,该技术允许用户通过
DC_BLOG
·
2025-02-20 20:16
Linux
linux
服务器
Hadoop之HDFS的使用
HDFS是什么:HDFS是一个分布式的文件系统,是个网盘,HDFS是一种适合大文件存储的
分布式文件系统
HDFS的Shell操作1、查看hdfs根目录下的内容-lshdfsdfs-lshdfs://hadoop01
想要变瘦的小码头
·
2025-02-20 20:43
hadoop
hdfs
大数据
Hadoop管理工具dfsadmin和fsck的使用
Hadoop提供了多个管理工具,其中dfsadmin和fsck是用于管理HDFS(Hadoop
分布式文件系统
)的重要工具。以下是它们的使用方法和常见命令。
脚本无敌
·
2025-02-19 16:46
Hadoop
hadoop
npm
大数据
MongoDB sharding
因为Mongo主要是支持海量数据存储的,所以Mongo还自带了一个出色的
分布式文件系统
GridFS,可以支持海量的数据存储。
tycoon1988
·
2025-02-19 11:56
北航云计算公开课
HBase简介:高效分布式数据存储和处理
HBase的核心特点包括:分布式存储:HBase使用Hadoop
分布式文件系统
(HDFS)作为底层存储,数据被分布在集
代码指四方
·
2025-02-18 03:07
分布式
hbase
数据库
大数据
hadoop 1.0 基本概念了解
Map函数负责将输入数据转化为中间值,中间值再通过Reduce函数转化成输出数据HDFS:HDFS是一个
分布式文件系统
。通过一次写入,多次读出来实现。Chukwa:Chukw
fenggfa
·
2025-02-12 07:48
hadoop
hadoop
大数据
mapreduce
深入理解Hadoop 1.0.0源码架构及组件实现
该版本包含核心
分布式文件系统
HDFS、MapReduce计算模型、Common工具库等关键组件。通过分析源码,可深入理解这些组件的设计和实现细节,包括数据复制、任务调度、容错机制以及系统配置管理。
隔壁王医生
·
2025-02-12 07:14
云存储 (OSS、CPFS 和 NAS)
在云存储领域,对象存储服务(OSS)、云
分布式文件系统
(CPFS)和网络附加存储(NAS)是三种常见的存储解决方案。它们各自具备不同的技术特点和适用场景,选择合适的存储方案能够更好地满足不同业务需求。
HaoHao_010
·
2025-02-11 18:09
服务器
云计算
HiveQL命令(三)- Hive函数
ApacheHive作为一种流行的数据仓库工具,提供了丰富的内置函数,帮助用户高效地处理和分析存储在Hadoop
分布式文件系统
(HDFS)中的数据。这些内置函数涵盖了数值计算、字符
BigDataMagician
·
2025-02-11 12:00
HiveQL命令
hive
hadoop
数据仓库
Linux 查看运行了哪些服务
1、service--status-allservice--status-all输出:●fdfs_storaged.service-LSB:
FastDFS
storageserverLoaded:loaded
qifengle2014
·
2025-02-11 08:21
Linux
Docker
Java
Python技术分享合集
linux
服务器
运维
ssh
centos
掌握大数据--Hive全面指南
HiveSQL语法--DDL操作数据库1.Hive简介ApacheHive是建立在Hadoop之上的一个数据仓库工具,它提供了一种类似于SQL的查询语言,称为HiveQL,用于查询和分析存储在Hadoop
分布式文件系统
纪祥_ee1
·
2025-02-10 22:40
大数据
hive
hadoop
docker搭建
fastdfs
集群
具体搭建过程参照官方wiki:https://github.com/happyfish100/
fastdfs
/wiki按照官方wiki,将配置文件做修改并打包,然后自己写成Dockerfile环境:三台虚拟机
随便起个名用
·
2025-02-10 22:35
fastDfs
深度剖析分布式存储架构
【摘要】本文介绍了分布式存储的架构类型、分布式理论、不同的
分布式文件系统
和分布式键值系统等,较为系统详尽。全文约2万字,可收藏。
罗伯特之技术屋
·
2025-02-09 07:28
大数据及数据管理(治理)专栏
计算机工程的科学与探索专栏
分布式
架构
数据库
k8s部署go-
fastdfs
前置环境:已部署k8s集群,ip地址为192.168.10.1~192.168.10.5,总共5台机器。1.创建provisioner制备器(如果已存在,则不需要)制备器的具体部署方式可参考我的上一篇文章:k8s部署rabbitmq-CSDN博客文章浏览阅读254次,点赞3次,收藏5次。k8s部署rabbitmqhttps://blog.csdn.net/ZZ2713634772/article/
小梦想的博客
·
2025-02-08 07:35
kubernetes
容器
go-fast
如何处理大规模数据集中的数据处理:Spark和ApacheFlink
DataProcessing)任务调度(TaskScheduling)HadoopApacheSparkApacheFlink3.核心算法原理和具体操作步骤以及数学公式讲解1.MapReduce(1)概述(2)算法原理
分布式文件系统
AI天才研究院
·
2025-02-07 01:43
DeepSeek
R1
&
大数据AI人工智能大模型
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
HIVE常见面试题
通过将结构化的数据文件映射成表,并提供类SQL的查询功能,使得用户可以通过编写SQL语句来进行数据分析,而不需要编写复杂的MapReduce程序2.简述hive读写文件机制Hive读写文件机制主要依赖Hadoop的HDFS(
分布式文件系统
兔子宇航员0301
·
2025-02-06 18:59
数据开发小白成长笔记
hive
hadoop
数据仓库
使用python实现Hadoop中MapReduce
Hadoop包含HDFS(
分布式文件系统
)、YARN(资源管理器)、MapReduce(编程模型)。
qq_44801116
·
2025-02-06 06:10
Python
python
hadoop
mapreduce
Hadoop1.0-HDFS介绍
Hadoop是Apache软件基金会所开发的并行计算框架与
分布式文件系统
。最核心的模块包括HadoopCommon、HDFS与MapReduce。
szjianzr
·
2025-02-06 03:13
HADOOP介绍
hadoop
HDFS
物联网架构之Hadoop
其核心架构包括以下几个关键组件:1.HadoopDistributedFileSystem(HDFS)HDFS是Hadoop的
分布式文件系统
,用于存储大数据集。
moluxiangfenglo
·
2025-02-06 01:54
架构
hadoop
大数据
Spark3.1.2单机安装部署
Spark专注于数据的处理分析,而数据的存储还是要借助于Hadoop
分布式文件系统
HDFS等来实现。大数据问题场景包含以下三种:复杂的批量数据处理基于历史数据的交
花菜回锅肉
·
2025-02-04 07:43
大数据
spark
大数据
hadoop
Python结合pyhdfs模块操作HDFS
分布式文件系统
使用python操作hdfs本身并不难,只不过是把对应的shell功能“翻译”成高级语言,我这里选用的是hdfs,下边的实例都是基于hdfs包进行的。1:安装由于我的是windows环境(linux其实也一样),只要有pip或者setup_install安装起来都是很方便的pipinstallhdfs2:Client——创建集群连接fromhdfsimport*client=Client("ht
唐僧不爱八戒
·
2025-02-04 00:50
python
hdfs
开发语言
Hive 分区和分桶总结
分区表实际上就是对应一个在HDFS(或者是其他
分布式文件系统
)文
Stray_Lambs
·
2025-02-03 14:23
大数据
hive
FastDFS
实用笔记 (Docker 搭建环境 + 整合 SpringBoot)
解决了大容量存储和负载均衡的问题,特别适合中小文件(4KB>文件路径为空…”);return“文件路径不能为空”;}try{StorePathstorePath=StorePath.parseFromUrl(fileUrl);storageClient.deleteFile(storePath.getGroup(),storePath.getPath());}catch(Exceptione){l
字节全栈_kYu
·
2025-02-03 07:29
笔记
docker
spring
boot
HDFS
分布式文件系统
3-2 shell定期采集数据到HDFS
1、准备工作创建目录:/export/data/logs/log/export/data/logs/toupload2、在/export/data/logs目录下创建upload2HDFS.sh内容如下:#!/bin/bashexportJAVA_HOME=/export/servers/jdkexportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=.:JAVA_
诺特兰德
·
2025-02-02 03:38
hdfs
hadoop
大数据
Hive存储系统全面测试报告
Hive的设计初衷是为了简化大数据集的查询和管理,它允许用户通过简单的SQL语句来操作存储在Hadoop
分布式文件系统
(HDFS)上的大规模数据集。
蚂蚁质量
·
2025-01-29 13:27
软件测试
测试用例
功能测试
系统设计面试题
文章目录**设计一个短网址服务**:如何将长网址转换为短网址,并支持短网址的生成、存储、解析和重定向等功能**设计一个
分布式文件系统
**:考虑如何实现文件的存储、访问、备份、容错等功能,以及如何处理大规模数据和高并发访问
慢慢慢时光
·
2025-01-28 03:14
面试准备
面试
系统设计
解决Python中libhdfs.so的共享库找不到的问题
这个错误通常发生在使用Python访问Hadoop
分布式文件系统
(HadoopDistributedFileSystem,简称HDFS)时,由于缺少libhdfs.so共享库文件而
code_welike
·
2025-01-26 16:34
python
开发语言
Python
“大模型横扫千军”背后的大数据挖掘--浅谈MapReduce
文章目录O背景知识1数据挖掘2邦费罗尼原则3TF.IDF4哈希函数5
分布式文件系统
一、MapReduce基本介绍1.Map任务2.按键分组3.Reduce任务4.节点失效处理5.小测验:在一个大型语料库上有
绒绒毛毛雨
·
2025-01-26 01:35
大数据挖掘
数据挖掘
mapreduce
人工智能
在docker中安装
FastDFS
容器,并且阿里云服务器配置
1、拉取
FastDFS
镜像dockerpulldelron/
fastdfs
2、创建tracker容器dockerrun-dti--network=host--nametracker--privileged
童小纯
·
2025-01-24 00:53
项目部署(阿里云版)
中间件大全---全面详解
docker
阿里云
容器
Hadoop
分布式文件系统
-HDFS架构
一、HDFS的简介HDFS全称HadoopDistributedFileSystem,是分布式文件管理系统。主要是为了解决大数据如何存储的问题,跟一般文件系统不同的是,它可以通过扩展服务器结点来扩充存储量,可以用低成本的硬件构建出支持高吞吐量的文件系统。二、HDFS的特点高容错性:一个HDFS集群会包含非常多的结点,HDFS将文件分块存储,并且会保存多个副本到不同的机器节点上以保证数据的安全,而且
Fancs2024
·
2025-01-23 09:37
hadoop
hadoop
hdfs
Hadoop是什么,怎么部署安装?
它包括两个核心组件:Hadoop
分布式文件系统
(HDFS)和HadoopYARN(YetAnotherResourceNegotiator)。
狮歌~资深攻城狮
·
2025-01-22 15:01
hadoop
大数据
分布式
多云架构下JuiceFS实现一致性与低延迟数据分发的深度解析
多云架构下JuiceFS实现一致性与低延迟数据分发的深度解析一、JuiceFS在多云架构中的角色与优势1.JuiceFS简介JuiceFS是一个高性能的
分布式文件系统
,专为云原生环境设计,支持多种公有云和私有云的对象存储服务
GZM888888
·
2025-01-17 07:37
数据库
MYSQL数据库表的设计
blog.csdn.net/jasonhui512/article/details/53134054页面原型需求分析表结构的设计数据库设计案例elasticSearchpostgresqlmongodbRedisneo4j
fastDFS
memcachemavengitsvnluencemybatismybatisplusspringspringMVCspringbootspri
qq_45849275
·
2025-01-16 18:16
java
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他