E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云存储hdfs分布式系统
nosql数据库技术与应用知识点
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)
Hdfs
、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink
皆过客,揽星河
·
2024-09-16 08:42
NoSQL
nosql
数据库
大数据
数据分析
数据结构
非关系型数据库
浅谈MapReduce
但是Hadoop作为Apache的一个开源项目,在下面有非常多的子项目,比如
HDFS
,HBase,Hive,Pig,等等,要先彻底学习整个Hadoop,仅仅凭借一个的力量,是远远不够的。
Android路上的人
·
2024-09-16 04:40
Hadoop
分布式计算
mapreduce
分布式
框架
hadoop
Hadoop
Hadoop核心由四个主要模块组成,分别是
HDFS
(分布式文件系统)、MapReduce(分布式计算框架)、YARN(资源管理)和HadoopCommon(公共工具和库)。
傲雪凌霜,松柏长青
·
2024-09-16 00:16
后端
大数据
hadoop
大数据
分布式
Hadoop架构
HDFS
顺应时代出现,在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合,
henan程序媛
·
2024-09-16 00:14
hadoop
大数据
分布式
Dubbo架构概览:服务注册与发现、远程调用、监控与管理
Dubbo是一个成熟的、高性能的、基于Java的微服务开发框架,它主要用于解决
分布式系统
中的服务治理问题,包括服务的注册与发现、远程过程调用(RPC)、服务监控与管理等多个关键环节。
木南曌
·
2024-09-15 16:39
dubbo
架构
hbase介绍
hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoop
hdfs
作为其文件存储系统,提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用
CrazyL-
·
2024-09-15 13:06
云计算+大数据
hbase
等保测评中的关键技术挑战与应对策略
一、等保测评中的关键技术挑战1.复杂系统架构的评估难度随着信息技术的快速发展,企业信息系统的架构日益复杂,包括
分布式系统
、微服务架构、云计算环境等。
亿林数据
·
2024-09-15 06:55
网络安全
等保测评
系统架构师软考历年论文题目(2009-2024年)及分析
的软件架构设计与应用;2.论信息系统建模方法;3.论基于REST服务的Web应用系统设计;4.论软件可靠性设计与应用20101.论软件的静态演化和动态演化及其应用;2.论数据挖掘技术的应用;3.论大规模
分布式系统
缓存设计策略
pccai-vip
·
2024-09-15 05:49
系统架构师
系统架构
深入解析 Dubbo 的 attachments 机制及其应用场景
背景在
分布式系统
中,服务之间的调用(RPC调用)是非常常见的。而在这种服务调用过程中,常常需要在不同服务之间传递一些上下文信息,比如用户身份信息、请求追踪ID、客户端IP等。
molashaonian
·
2024-09-15 05:18
dubbo
attachments
隐式传参
定制优化Nextcloud镜像
Nextcloud是一款开源免费的私有
云存储
网盘项目,可以让你快速便捷地搭建一套属于自己或团队的云同步网盘,从而实现跨平台跨设备文件同步、共享、版本控制、团队协作等功能。
攻城狮_正
·
2024-09-15 00:41
Nacos 与 Eureka 的区别
随着微服务架构的流行,服务发现成为了构建
分布式系统
的关键技术之一。在众多服务发现工具中,Nacos和Eureka是两个非常受欢迎的选择。
litGrey
·
2024-09-15 00:10
微服务
eureka
HBase介绍
HBase是GoogleBigtable的开源实现,它利用Hadoop
HDFS
作为其文件存储系统,利用HadoopMapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。
mingyu1016
·
2024-09-14 21:47
数据库
项目内部调用的远程接口开发
编写一个项目内部调用的远程接口通常是为了在
分布式系统
或者微服务架构中,实现各个服务之间的通信和数据交换。这样的远程接口专门用于服务之间的调用,而不是直接暴露给外部用户或前端。
cyt涛
·
2024-09-14 18:55
java
OpenFeign
远程调用
FeignClient
内部调用
同步调用
远程接口
导购返利系统的分布式事务管理
1.分布式事务的挑战在
分布式系统
中,事务通常涉及多个服务或数据库,这给事务的一致性和可靠性带
wx_tangjinjinwx
·
2024-09-14 10:34
分布式
Arch - 演进中的架构
文章目录Pre原始分布式时代1.背景与起源2.
分布式系统
的初步探索3.分布式计算环境(DCE)4.技术挑战与困境5.原始分布式时代的失败与教训6.未来展望单体时代优势缺陷单体架构与微服务架构的关系总结SOA
小小工匠
·
2024-09-14 08:26
【凤凰架构】
架构
区块链如何大规模落地?
区块链作为一个去中心化技术,自然也受到类似于
分布式系统
的CAP定律的制约。CAP
西门锤靴
·
2024-09-14 05:18
【
HDFS
】【
HDFS
架构】【
HDFS
Architecture】【架构】
目录1Introduction介绍2AssumptionsandGoals假设和目标HardwareFailure硬件故障StreamingDataAccess流式数据访问LargeDataSets大型数据集SimpleCoherencyModel简单凝聚力模型“MovingComputationisCheaperthanMovingData”“移动计算比移动数据更便宜”PortabilityAc
资源存储库
·
2024-09-14 04:53
hdfs
架构
hadoop
Hadoop学习第三课(
HDFS
架构--读、写流程)
1.块概念举例1:一桶水1000ml,瓶子的规格100ml=>需要10个瓶子装完一桶水1010ml,瓶子的规格100ml=>需要11个瓶子装完一桶水1010ml,瓶子的规格200ml=>需要6个瓶子装完块的大小规格,只要是需要存储,哪怕一点点,也是要占用一个块的块大小的参数:dfs.blocksize官方默认的大小为128M官网:https://hadoop.apache.org/docs/r3.
小小程序员呀~
·
2024-09-14 03:53
数据库
hadoop
架构
big
data
hdfs
启动流程
Namenode1.init()namenode初始化,执行加载配置文件等操作2.loadFsImage()开始加载元数据将FsImage护额徐为目录树,保存在内存中FsImage中主要包含了问价你和数据块的对应关系3.loadEditlog()加载Editlog,将Editlog中记录的元数据修改应用到内存中;4.saveCheckpoint()将内存中最新的目录树持久化为新的FsImage到磁
weixin_44352020
·
2024-09-14 03:52
hadoop
hdfs
hadoop
hdfs
开机启动流程
第一步:加载name目录下最新的那个fsimage_xxx019文件,将里面存储的元数据(目录树结构)维护到内存中,但是还不是关机前的状态第二步:将关机前的最后使用的edits_inprogress_xxxx0160进行重命名edits_0000000000000000160-0000000000000000169操作,然后生成一个最新的edits_inprogress_xxx170文件,并修改s
鸭梨山大哎
·
2024-09-14 03:51
hadoop
hdfs
hadoop启动
HDFS
命令
启动命令:/hadoop/sbin/start-dfs.sh停止命令:/hadoop/sbin/stop-dfs.sh
m0_67401228
·
2024-09-14 03:49
java
搜索引擎
linux
后端
【
HDFS
主从集群】存在两个独立的问题和解决方案
主从集群存在两个独立的问题和解决方案单点“主”的两个独立的问题以下是解决方案HA高可用方案:解决单点故障导致集群整体不可用问题Federation联邦机制:解决NN压力过大问题总结一般很多技术都是主从结构(最简单的结构)优点:结构相对简单,主与从协作“主”是单点,好处有,缺点也有好处:单点NameNode,数据一致性好掌握 因为一个人管,说一不二的单点“主”的两个独立的问题关键词:独立:两套独立
流辉fglow
·
2024-09-14 03:48
大数据
#
HDFS
hdfs
java
hadoop
大数据
分布式
学习
【
HDFS
】角色的架构设计
HDFS
角色的架构设计前置知识:Windows与Linux文件系统的差异
HDFS
中的角色及功能
HDFS
的架构NameNodeDataNodeNameNode元数据的持久化说明:/表示两个词是同一语义,方便你理解的前置知识
流辉fglow
·
2024-09-14 03:47
#
HDFS
大数据
hdfs
hadoop
大数据
学习
分布式
HDFS
的启动过程
HDFS
的启动过程
HDFS
的启动过程分为四个阶段:第一阶段:NameNode读取包含元数据信息的fsimage文件,并加载到内存;第二阶段:NameNode读取体现
HDFS
最新状态的edits日志文件,
ffbc2020
·
2024-09-14 03:47
HDFS
HDFS
集群
hdfs
启动
1)各个模块分开启动/停止(配置ssh是前提)常用(1)整体启动/停止
HDFS
start-dfs.sh/stop-dfs.sh(2)整体启动/停止YARNstart-yarn.sh/stop-yarn.sh2
sxu~源
·
2024-09-14 03:46
hdfs
hadoop
big
data
Hystrix&Feign
Hystrix1,概念Hystrix是一个用于处理
分布式系统
的延迟和容错的开源库,可以保证一个服务出现故障时,不会导致整个系统出现雪崩效应,以提高
分布式系统
弹性;作为“断路器”,在一个服务出现故障时,可以通过短路器监控
快乐肥翟z
·
2024-09-14 01:03
hystrix
java
运维
打造专属
云存储
:私有Docker Registry全面解读与实战部署
在容器技术大行其道的今天,DockerRegistry作为容器镜像的中央仓库,扮演着至关重要的角色。当公开的官方镜像库无法满足企业对安全性、可控性及定制化的需求时,搭建私有DockerRegistry就显得尤为必要。本文旨在深入剖析私有DockerRegistry的核心功能、部署方法以及管理策略,并在文末抛砖引玉,引发关于私有Registry进阶实践与未来趋势的讨论。一、私有DockerRegis
IT运维先森
·
2024-09-13 22:15
Docker
docker
容器
DevOps -分布式追踪与监控
DevOps中的分布式追踪与监控在当今的DevOps环境中,随着微服务架构和云原生应用的广泛采用,系统复杂性显著增加,传统的监控方式已经无法满足现代
分布式系统
的需求。
Flying_Fish_Xuan
·
2024-09-13 12:46
devops
ci/cd
自动化
spark常用命令
查看报错日志:yarnlogsapplicationIDspark2-submit--masteryarn--classcom.hik.Read
Hdfs
test-1.0-SNAPSHOT.jar进入$SPARK_HOME
我是浣熊的微笑
·
2024-09-13 10:38
spark
编程常用命令总结
编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令
HDFS
命令YARN命令Zookeeper命令
Yellow0523
·
2024-09-13 02:42
Linux
BigData
大数据
Redis与MySQL双写一致性如何保证?
一致性就是数据保持一致,在
分布式系统
中,可以理解为多个节点中数据的值是一致的。
陈二狗想吃肉
·
2024-09-13 02:22
使用java9的uuid生成方式,让uuid生成速度提升一个档
简介UUID的目的,是让
分布式系统
中的所有元素,都能有唯一的辨识信息,而不需要通过中央控制端来做辨识信息的指定。
编程小世界
·
2024-09-12 21:54
Hadoop常见面试题整理及解答
而Hadoop使用较为廉价的机器存储数据,且Hadoop可以将大量机器构建成一个集群,并在集群中使用
HDFS
文件系统统一管理数据,极大的提高了数据的存储及处理能力。
叶青舟
·
2024-09-12 19:24
Linux
hdfs
大数据
hadoop
linux
@rabbitlistener注解
RabbitMQ是一个开源的消息代理和队列服务器,它实现了AMQP协议,用于在
分布式系统
中进行消息传递。
小小懒懒
·
2024-09-12 03:15
RabbitMQ
redis:全局ID生成器实现
问题:订单id不能设置为自增长的原因id的规律性太明显,受订单的数据量限制:若数据量过大,需要多张表存储,若自增会导致id重复全局ID生成器:在
分布式系统
中用来生成全局唯一ID的工具ID的组成:符号位:
我的程序快快跑啊
·
2024-09-12 03:10
redis
数据库
缓存
面试Spring Cloud 问了我35个问题,全部分享出来!
SpringCloud为开发人员提供了工具,以快速构建
分布式系统
中的一些常见模式(例如,配置管理,服务发现,断路器,智能路由,微代理,控制总线,
套马杆的程序员
·
2024-09-11 20:21
【架构设计模式-1】代理模式
远程对象访问当需要访问位于不同地址空间的远程对象时,比如在
分布式系统
中。代理可以隐藏网络通信的复杂性,让客户端感觉就像在本地访问对象一样。
W Y
·
2024-09-11 10:43
代理模式
系统安全
安全
hive表格统计信息不准确
存储格式,有个分区,查询selectcount(1)fromtablewheredt='yyyyMMdd'结果是0,但查询select*fromtablewheredt='yyyyMMdd'又能查到数据,去
hdfs
weixin_41956627
·
2024-09-11 09:37
hive
hive
hadoop
数据仓库
人生苦短我用Python pandas文件格式转换
1excel与csv互转常用格式的方法FlatfileExcelJSONXML示例2常用格式转换简要需求依赖export方法main方法附其它格式的方法HTMLPicklingClipboardLatex
HDFS
tore
程序喵D
·
2024-09-11 08:58
人生苦短我用Python
python
pandas
分布式跟踪服务实战应用指南
已成为了决解复杂系统运行效率问题的关键手段之一,随着企业向微服务化与
分布式系统
的转变,应用复杂度不断提升,监控技术的挑战更为严峻。
CRMEB系统商城
·
2024-09-11 01:38
分布式
【脚手架 第一篇章】介绍一下若依微服务版框架
以下是关于若依框架微服务版(RuoYi-Cloud)的详细介绍:一、概述RuoYi-Cloud是基于SpringCloud和SpringBoot的分布式微服务架构平台,专为构建大型
分布式系统
提供完整的解决方案
蜗牛 | ICU
·
2024-09-10 23:27
脚手架专栏
微服务
架构
云原生
PHP使用rabbitMQ
在PHP中使用RabbitMQ通常是为了处理异步任务、队列、消息推送等场景,特别是在高并发、
分布式系统
中,RabbitMQ提供了可靠的消息队列服务。
每天瞎忙的农民工
·
2024-09-10 23:53
php实战
rabbitMQ
php
rabbitmq
淘宝海量数据库OceanBase:系统架构详解
无论从数据量还是访问量,OceanBase不再能够是一个单机系统,即使一台单机能服务高达几个TB的数据、提供几万QPS的服务能力,因此,
分布式系统
不可避免,然而,内部如何实现拆表(拆库)以及如何实现数据库的事务
weixin_34356555
·
2024-09-10 22:47
数据库
系统架构
大数据
两阶段事务提交
简介分布式事务是指会涉及到操作多个数据库的事务,在
分布式系统
中,各个节点之间在物理上相互独立,通过网络进行沟通和协调。
码农小伙
·
2024-09-10 19:59
事务
java
Redisson与Redis分布式锁
Redis分布式锁Redis分布式锁是一种在
分布式系统
中用于确保多个进程对共享资源互斥访问的机制。
Lill_bin
·
2024-09-10 17:40
java
redis
分布式
数据库
开发语言
云原生
架构
微服务
分布式计算任务调度算法总结
一、影响
分布式系统
性能的因素主要有这些因素影响着
分布式系统
的性能:网络延迟、数据通信效能、计算节点处理能力、任务的分割、无法预算处理时间、任务的颠簸等等。
一条鱼2017
·
2024-09-10 15:55
分布式计算任务调度算法总结
分布式计算任务调度算法总结
中间件的学习理解总结
目录一、定义与作用二、主要类型数据库中间件远程过程调用中间件面向消息的中间件事务处理中间件三、特点与优势独立性高效性可扩展性可靠性四、应用场景企业应用集成
分布式系统
电子商务移动应用开发五、数据库中间件功能细节
DCDDDDcccc
·
2024-09-10 13:14
中间件
学习
深入解析
HDFS
:定义、架构、原理、应用场景及常用命令
引言Hadoop分布式文件系统(
HDFS
,HadoopDistributedFileSystem)是Hadoop框架的核心组件之一,它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney
·
2024-09-10 12:39
hdfs
架构
hadoop
解决flume在抽取不断产生的日志文件时,
hdfs
上出现很多小文件的问题
问题在使用flume时,需要编写conf文件,然后执行,明明sinks已经指定了roll的三个参数:a1.sinks.k1.
hdfs
.rollInterval=0(根据写入时间来切割)a1.sinks.k1
lzhlizihang
·
2024-09-10 07:36
flume
hdfs
大数据
Hadoop的搭建流程
、第五步:七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量5、刷新配置文件6、验证hadoop命令是否可以识别八、全分布搭建7、修改配置文件core-site.xml8、修改配置文件
hdfs
-site.xml9
lzhlizihang
·
2024-09-10 07:06
hadoop
大数据
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他