E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云存储hdfs分布式系统
CDH使用Disk Balancer平衡磁盘
HDFS
数据
文章目录前言启用磁盘平衡器生成磁盘平衡器任务执行磁盘平衡任务查询磁盘平衡任务是否完成参考来源前言当集群磁盘空间不足时,需要增加新硬盘到机器,此时新加入的磁盘空间基本为空,而旧磁盘则已占用很多。网上则是通过增减副本的方式达到磁盘平衡方式,但如果磁盘空间大小本身不一致,通过该方法平衡后,磁盘空间不平衡情况依然存在。从CDH5.8.2开始,ClouderaManager提供了一个全面的存储容量管理解决方
Alderaan
·
2024-02-05 16:05
Cloudera
CDH
cloudera
hdfs
disk
balancer
绝对完美解决
hdfs
datanode数据和磁盘数据分布不均调整(
hdfs
balancer )——经验总结
Hadoop集群Datanode数据倾斜,个别节点
hdfs
空间使用率达到95%以上,于是新增加了三个Datenode节点,由于任务还在跑,数据在不断增加中,这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88
·
2024-02-05 16:05
Hadoop
hdfs
Java代码生成器2.0(重制版)
引言:随着微服务架构的流行和
分布式系统
的发展,JavaSpringBoot应用程序变得越来越复杂。开发者经常寻找能够提高效率、减少重复工作的工具,而代码生成器就是其中的佼佼者。
奇遇少年
·
2024-02-05 16:30
java
项目管理: Maven 让事情变得简单 - IBM - developerWorks 中国
Charles的兴趣包括
分布式系统
、高性能计算、国际化和软件设计模式。在业余时间,他为开放源码社区撰稿。可以通过
[email protected]
与Cha
makunyuan123
·
2024-02-05 16:01
java
Maven
Hudi学习6:安装和基本操作
目录1编译Hudi1.1第一步、Maven安装1.2第二步、下载源码包1.3第三步、添加Maven镜像1.4第四步、执行编译命令1.5第五步、HudiCLI测试2环境准备2.1安装
HDFS
2.2安装Spark3
hzp666
·
2024-02-05 14:59
Hudi
学习
hudi
Hudi学习1:概述
Hudi概念Hudi跟hive很像,不存储数据,只是管理
hdfs
数据。
hzp666
·
2024-02-05 14:59
Hudi
学习
hudi
数据湖
湖仓一体
Hudi学习 6:Hudi使用
准备工作:1.安装
hdfs
https://mp.csdn.net/mp_blog/creation/editor/1096891432.安装sparkspark学习4:spark安装_hzp666的博客
hzp666
·
2024-02-05 14:58
Hudi
hudi
数据湖
湖仓一体
湖仓融合
实时数仓
计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计
流程1.爬取17k的小说数据约5-10万,存入mysql数据库;2.使用mapreduce对mysql中的小说数据集进行数据清洗,转为.csv文件上传至
hdfs
文件系统;3.根据.csv文件结构,使用hive
计算机毕业设计大神
·
2024-02-05 14:48
2023.1.31 关于 Redis 分布式锁详解
目录引言分布式锁引入分布式锁引入setnx引入过期时间引入校验机制引入lua脚本引入过期时间续约(看门狗)引入redlock算法结语引言在一个
分布式系统
中,可能会涉及到多个节点访问同一个公共资源的情况此时就需要通过锁来进行互斥控制
茂大师
·
2024-02-05 12:05
Redis
redis
分布式
数据库
SpringCloud-消息驱动(Stream、生产者、消费者)
的诞生是为了解决各种消息中间件之间的兼容性问题,学习过消息中间件的同学都知道现在市面上流行的消息中间件有ActiveMQ、RabbitMQ、RocketMQ、Kafka它们之间的部署于使用都有较大的差异,那么若
分布式系统
下同时用到了多种消息中间件
JolyouLu
·
2024-02-05 12:30
SpringCloud
spring
cloud
rabbitmq
kafka
stream
分布式
面试官:分布式事务了解吗?你们是如何解决分布式事务问题的?
面试官心理分析只要聊到你做了
分布式系统
,必问分布式事务,你对分布式事务一无所知的话,确实会很坑,你起码得知道有哪些方案,一般怎么来做,每个方案的优缺点是什么。
Java码农那些事
·
2024-02-05 12:34
[Hadoop]万字长文Hadoop相关优化和问题排查总结
namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化
hdfs
调优hadoop的优化YARN的优化
HDFS
调优的基本原则
HDFS
调优的常用参数排查哪个任务的
王一1995
·
2024-02-05 10:55
hadoop
jvm
java
2024-02-04(hive)
分区其实就是
HDFS
上的不同文件夹。分区表可以极大的提高特定场景下Hive的操作性能。
陈xr
·
2024-02-05 10:54
随记日志
hadoop
降本增效利器!趣头条Spark Remote Shuffle Service最佳实践
多个业务线依赖于大数据平台展开业务,大数据系统的高效和稳定成了公司业务发展的基石,在大数据的架构上我们使用了业界成熟的方案,存储构建在
HDFS
上、计算资源调度依赖Yarn、表元数据使用Hiv
阿里云技术
·
2024-02-05 09:29
大数据
spark
CDH添加新节点小记
免密,jdk,防火墙及时间同步安装配置CM子节点,创建parcels,后续安装的软件都会分发到该文件夹下启动当前节点的CM,转到CDH管理界面,可以看到节点已添加到主机列表中选择该节点,添加角色:例如:
hdfs
sx_1706
·
2024-02-05 09:59
大数据
大数据
消息队列三|Kafka 如何做到高可用?
副本是
分布式系统
对数据和服务提供的一种冗余方式。Kafka从0.8版本开始为分区引入了多副本的机制,通过增加副本数量来提升数据容灾的能力。
不落叶的榕树
·
2024-02-05 09:11
消息队列
java
消息队列
高并发
Kafka的高可用机制
ApacheKafka是一个分布式流处理平台,它通过复制数据和
分布式系统
的一系列特性来提供高可用性。以下是Kafka高可用性机制的关键方面,以及它们是如何在源码中实现的。
辞暮尔尔-烟火年年
·
2024-02-05 09:37
微服务
消息中间件
kafka
分布式
大数据 - Spark系列《三》- 加载各种数据源创建RDD
中的一些常用配置-CSDN博客目录3.1加载文件(本地)1.加载本地文件路径使用textFile加载本地txt文件使用textFile加载本地json文件使用sequenceFile加载本地二进制文件
HDFS
王哪跑nn
·
2024-02-05 09:28
spark
大数据
spark
分布式
RocketMQ之事务消息原理
分布式系统
调用的特点为一个核心业务逻辑的执行,同时需要调用多个下游业务进行处理。因此,如何保证核心业务和多个下游业务的执行结果完全一致,是分布式事务需要解决的主要
倜傥村的少年
·
2024-02-05 08:19
rocketmq
事务消息
【下一代分布式追踪】将Trace扩展到网络设备
为了有效监控、诊断和优化这些
分布式系统
,分布式追踪技术应运而生。传统的分布式追踪,如Zipkin、Jaeger和OpenTelemetry,已经能够很好地追踪应用程序
沐风—云端行者
·
2024-02-05 08:15
云计算架构
分布式
分布式追踪
trace
关于服务器解析A记录和CNAME记录的分析
问题来源最近搞了一个七牛云上传,然后需要配置融合cdn加速,也就是可以加速域名,中间有一部需要CNAME域名,也就是将七牛云提供的域名CNAME一下,查阅资料其实就是起一个别名,好访问而已.方便我们访问
云存储
ifanatic
·
2024-02-05 08:48
运维工具
服务器
github
运维
impala与kudu进行集成
概要Impala是一个开源的高效率的SQL查询引擎,用于查询存储在Hadoop分布式文件系统(
HDFS
)中的大规模数据集。它提供了一个类似于传统关系型数据库的SQL接口,允许用户使用SQL语言
shandongwill
·
2024-02-05 07:44
大数据
impala
kudu
impala与kudu集成
1.0 Hadoop 教程
其核心部件包括分布式文件系统(HadoopDFS,
HDFS
)和Ma
二当家的素材网
·
2024-02-05 06:38
Hadoop
教程
hadoop
大数据
分布式
3.0 Hadoop 概念
Hadoop主要包含
HDFS
和MapReduce两大组件,
HDFS
负责分布储存数据,MapRed
二当家的素材网
·
2024-02-05 06:38
Hadoop
教程
hadoop
大数据
分布式
大数据框架(分区,分桶,分片)
建议收藏目录Hive分区与分桶ES分片Kafka分区HBase分区Kudu分区HiveHive分区是按照数据表的某列或者某些列分为多区,在hive存储上是
hdfs
文件,也就是文件夹形式。
坨坨的大数据
·
2024-02-05 06:29
日志追踪-Tracing
trace是请求在
分布式系统
中的整个链路视图,span则代表整个链路中不同服务内部的视图,span组合在一起就是整个trace的视图在整个请求的调用链中,请求会一直携带traceid往下游服务传递,每个服务内部也会生成自己的
孤雨蝉鸣
·
2024-02-05 04:34
spring框架
java
spring
cloud
spring
CAP & BASE理论
Consistency):所有节点访问同一份最新的数据副本可用性(Availability):非故障的节点在合理的时间内返回合理的响应(不是错误或者超时的响应)分区容错性(PartitionTolerance):
分布式系统
出现网络分区的时候
孤雨蝉鸣
·
2024-02-05 04:32
spring框架
java
spring
cloud
spring
CDH5.X中使用Sqoop导数据报Cannot run program “mysqldump“: error=2, No such file or director
一、背景CHD5.16环境中,使用sqoop从MySQL中进行ETL导数据到
hdfs
过程中,报了如下错误:20/12/2213:58:48INFOmapreduce.Job:TaskId:attempt
江畔独步
·
2024-02-05 01:49
hadoop
【读红宝书(一)】背景知识
相反,MapReduce市场已经转变为
HDFS
市场,并且似乎准备成为关系型SQL市场。最近,
HDFS
领域出现了另一个值得讨论的重点,即“数据湖”。
三半俊秀
·
2024-02-04 23:41
Flink1.18.0集成Yarn-session模式部署
上次部署了Hadoop集群Hadoop3.3.6(
HDFS
、YARN、MapReduce)完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是:客户端把Flink应用提交给Yarn的ResourceManager
china-zhz
·
2024-02-04 21:34
flink
yarn
hadoop
大数据
Hadoop3.3.6(
HDFS
、YARN、MapReduce)完全分布式集群安装搭建
目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件5、启动hadoop集群6、集群部署验证一、节点部署角色目录节点ipNNSNNDNRMNMHSnode1192.168.88.11√√node2192.168.88.12√√√√node3192
china-zhz
·
2024-02-04 21:33
hdfs
mapreduce
hadoop
yarn
hive小文件合并问题
背景Hivequery将运算好的数据写回
hdfs
(比如insertinto语句),有时候会产生大量的小文件,如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的maptask
DuLaGong
·
2024-02-04 20:16
软件系统架构黄金法则16:海量结构化数据的扩展架构法则
本文将介绍一种基于
分布式系统
和数据分片技术的海量结构化数据扩展架构法则,该法则可以帮助企业和组织高效地存储、处理和分析海量结构化数据,提高
禅与计算机程序设计艺术
·
2024-02-04 19:21
计算
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
Agent
RPA
(三)Hive的分桶详解
Hive分桶通俗点来说就是将表(或者分区,也就是
hdfs
上的目录而真正的数据是存储在该目录下的文件)中文件分成几个文件去存储。
小猪Harry
·
2024-02-04 19:20
HDFS
常用命令
HDFS
常用命令在
hdfs
文件系统上创建一个input文件夹bin/
hdfs
dfs-mkdir-p/user/anna/input将测试文件内容上传到文件系统上bin/
hdfs
dfs-putwc.input
须臾之北
·
2024-02-04 18:41
使用PHPStudy搭建Cloudreve网盘服务
、前言2、本地网站搭建2.1环境使用2.2支持组件选择2.3网页安装2.4测试和使用2.5问题解决3、本地网页发布3.1cpolar云端设置3.2cpolar本地设置4、公网访问测试5、结语1、前言自
云存储
概念兴起已经有段时间了
不会kao代码的小王
·
2024-02-04 18:04
windows
搜索引擎
网络
websocket
网络协议
Redis核心技术与实战【学习笔记】 - 21.Redis实现分布式锁
但是,Redis属于
分布式系统
,当有多个客户端需要争抢锁时,我们必须保证,这把锁不能是某个客户端的本地锁。否则其他客户端是无法访问这把锁的。
陈建111
·
2024-02-04 16:11
Redis核心技术学习
redis
redis分布式锁
alibabacloud学习笔记05(小滴课堂)
高并发下的微服务存在的问题高并发下的微服务容错方案介绍什么是
分布式系统
的流量防卫兵Sentinel微服务引入Sentinel和控制台搭建每个服务都加上这个依赖。
抹茶味的西瓜汁
·
2024-02-04 16:07
alibabaCloud
学习
笔记
MapReduce执行过程
1.JobClient:运行于clientnode,负责将MapReduce程序打成Jar包存储到
HDFS
,并把Jar包的路径提交到Jobtracker,由Jobtracker进行任务的分配和监控。
HenlyX
·
2024-02-04 15:12
redis分布式锁实现方法介绍
一、使用分布式锁要满足的几个条件:1、系统是一个
分布式系统
(关键是分布式,单机的可以使用ReentrantLock或者synchronized代码块来实现)2、共享资源(各个系统访问同一个资源,资源的载体可能是传统关系型数据库或者
爱喝马黛茶的安东尼
·
2024-02-04 14:00
Ranger-Yarn插件安装
登陆
hdfs
安装的用户,garrison/zdh1234(用户组hadoop),获取安装包解压安装scp/home/backup/ranger/ranger-0.6.0-yarn-plugin.tar.gz.tar–zxvfr
木木与呆呆
·
2024-02-04 10:22
消息队列-RabbitMQ
比如在
分布式系统
中,将整个系统按业务进行拆分。分成不同的子系统,系统A负责往redis存数据,系统B从redis中取数据。两个系统借助redis进行协作。
小飞侠要上天
·
2024-02-04 09:39
中间件学习
rabbitmq
分布式
Hive 主要内容一览
Hadoop使用
HDFS
进行存储,使
大数据左右手
·
2024-02-04 07:13
Hive
大数据
面试
大数据
天地伟业接入视频汇聚/
云存储
平台EasyCVR详细步骤
安防视频监控/视频集中存储/
云存储
/磁盘阵列EasyCVR平台可拓展性强、视频能力灵活、部署轻快,可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等,以及支持厂家私有协议与SDK
EasyCVR
·
2024-02-04 06:21
AI智能分析网关
EasyCVR
解决方案
音视频
分布式架构设计之CAP定理
「CAP定理」又被称为布鲁尔定理,它提出对于一个
分布式系统
而言,不能同时满足以下三点:Consisteny(一致性)Availability(可用性)Partitiontolerance(分区容错性)也就是说
JerryAi
·
2024-02-04 02:20
Fabric1.4.4 raft测试
如果一个
分布式系统
可以处理拜占庭故障,那么它就可以容忍任
蒋堪
·
2024-02-04 01:04
完整的 HTTP 请求所经历的步骤及分布式事务解决方案
1.对分布式事务的了解分布式事务是企业集成中的一个技术难点,也是每一个
分布式系统
架构中都会涉及到的一个东西,特别是在微服务架构中,几乎可以说是无法避免。首先要搞清楚:ACID、CAP、BASE理论。
YmovomY
·
2024-02-04 00:32
http
分布式
网络协议
Kafka消息流转的挑战与对策:消息丢失与重复消费问题
消息丢失和重复消费时
分布式系统
重的常见问题,如果处理不好会对业务造成很大的影响。
超越不平凡
·
2024-02-04 00:26
kafka
分布式
消息丢失和重复消费
Zabbix 介绍及部署:
zabbix是一个基于web界面的提供
分布式系统
监控以及网络监视功能的企业级的开源解决方案。zabbix由两部分构成,zabbixserver与可选组件zabbixagent。
努力转型的IT小王
·
2024-02-03 22:33
Zabbix
监控
zabbix
linux
运维
2019-10-08 大数据开发进阶之路
市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握Hadoop生态主流技术,如
HDFS
/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术,如Spark架构/RDD
红瓦李
·
2024-02-03 20:39
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他