E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs参数调优
全面解析基于Hadoop模型的数据分析平台框架
HadoopMapReduce与Hive技术研究♦数据分析平台框架设计与环境配置HadoopMapReduce与Hive技术研究一、Hadoop框架工作机制Hadoop框架定义:Hadoop分布式文件系统(
HDFS
丨程序之道丨
·
2024-01-29 17:04
HDFS
文件系统之存储优化篇1
随着业务数据规模逐渐变大,业务成本越来越高,同时
HDFS
本身的数据冗余多副本机制放大存储成本过高文题,且近年来各大公司都在搞降本增效,所以相关降本要求越来越高,对
HDFS
本身存储系统提出更多的挑战。
风筝Lee
·
2024-01-29 16:35
HDFS
hdfs
数据库
linux
NameNode,NameNode,Secondary NameNode
壹:NameNode(名称节点)
HDFS
采用master/slave架构。一个
HDFS
集群是由一个Namenode和一定数目的Datanodes组成。
Summer_1981
·
2024-01-29 14:59
spark快速入门java_Spark 快速入门
既然本教程中我们不使用
HDFS
,你可以随便下载一个适配任何Hadoop的版本的Spark。
陈兰香
·
2024-01-29 11:54
spark快速入门java
HDFS
HDFS
入门1.1.
HDFS
介绍
HDFS
是HadoopDistributeFileSystem的简称,意为:Hadoop分布式文件系统。是Hadoop核心组件之一,作为最底层的分布式存储服务而存在。
VincentLeon
·
2024-01-29 08:44
Hadoop, HIve, Spark关系简述
HDFS
用于存放多机器的数据并提供相关Api接口。
HDFS
中引入了一个模块:MapReduce(基于磁盘计算)。
小白兔奶糖ovo
·
2024-01-29 07:22
hadoop
hive
spark
【cdh】hive执行SQL提示缺少3.0.0-cdh6.3.2-mr-framework.tar.gz文件
问题:执行SQL报错提示缺少文件异常信息如下在
hdfs
上查看的时候连文件夹都没有,所以这个异常会抛出,但是我是基于CDH搭建的,可以直接基于下面操作执行完成之后查看
HDFS
文件重新执行SQL发现可以正常执行了
谷新龙001
·
2024-01-29 07:46
hive
sql
mr
Hadoop面试题及参考答案
目录1、什么是Hadoop及其组件2、Hadoop的守护进程3、Hadoop的YARN/
HDFS
/MapReduce分别包含哪些组件,每个组件的职能是什么?
zuolixiangfisher
·
2024-01-29 06:02
Hadoop
hadoop
hdfs
大数据
hadoop面试题
0.思维导图1.
HDFS
1.
HDFS
的架构♥♥
HDFS
主要包括三个部分,namenode,datanode以及secondarynamenode。
韩顺平的小迷弟
·
2024-01-29 06:27
大数据面试题
hadoop
大数据
分布式
Spark工作原理
standalone集群,集群中有6个节点左边是Spark的客户端节点,这个节点主要负责向Spark集群提交任务,假设在这里我们向Spark集群提交了一个任务那这个Spark任务肯定会有一个数据源,数据源在这我们使用
HDFS
小崔的技术博客
·
2024-01-28 23:12
大数据学习
spark
大数据
hadoop
Spark | 记录下Spark作业执行时常见的参数属性配置
理解作业基本原理,是进行Spark作业资源
参数调优
的基本前提。
点滴笔记
·
2024-01-28 23:11
Spark
spark
HDFS
_DELEGATION_TOKEN 还原及解决方案
HDFS
_DELEGATION_TOKEN这个BUG在很多文章中都出现着,讲了很多原理,但是只给出了官方引用地扯,完全没有给出如何解决,我们线上的业务就有着这样的问题,7天一到马上出现这问题了,官方明明说这个
kikiki4
·
2024-01-28 23:18
数仓治理-小文件治理
小文件治理本文中将介绍Hive中小文件治理的方法和技巧,希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]
HDFS
爱吃辣条byte
·
2024-01-28 23:40
数据治理
大数据
数据仓库
2021-08-10
HDFS
Web报错Couldn‘t preview the file.
在查看文件内容时,在红框位置出现报错“Couldn’tpreviewthefile”解决方法第一步:修改
hdfs
-site.xml,添加配置信息dfs.web
hdfs
.enabledtrue第二步:配置浏览器所在系统的
学习是一种信仰_zdy
·
2024-01-28 21:28
大数据
hadoop
大数据
hdfs
HDFS
文件系统的根目录和用户主目录解析
HDFS
文件系统的根目录和用户主目录分别是什么?根据这四个截图,你能得出什么结论?
问君何能尔?心远地自偏
·
2024-01-28 21:57
大数据
Name node is in safe mode
安全模式开启通常是由于
hdfs
文件系统数据完整性缺失造成。所以核心就是想办法让
hdfs
文件系统数据变得完整,相对没有损坏。
大数据东哥(Aidon)
·
2024-01-28 21:27
大数据
hadoop
safemode
safemode
hadoop
safe
mode
Name
node
is
in
safe
记一次
HDFS
Web报错Couldn‘t preview the file. NetworkError: Failed to execute ‘send‘ on ‘XMLHttpRequest‘
tpreviewthefile.NetworkError:Failedtoexecute‘send’on‘XMLHttpRequest’:Failedtoload‘http://slave1:9864/web
hdfs
一花一世界~
·
2024-01-28 21:55
Linux-Centos
x.x
Hadoop
大数据
hadoop
hdfs
大数据
经验分享
centos
【JVM故障问题排查心得】「Java技术体系方向」Java虚拟机内存优化之虚拟机
参数调优
原理介绍
Java技术体系方向-JVM虚拟机
参数调优
原理内容简介栈上分配与逃逸分析逃逸分析(EscapeAnalysis)栈上分配基本思想使用场景线程私有对象虚拟机内存逻辑图JVM内存分配源码:代码总体逻辑在某些场景使用栈上分配设置
洛神灬殇
·
2024-01-28 16:00
深入浅出Java原理及实战
#
深入浅出JVM原理及调优
jvm
java
开发语言
4.Doris数据导入导出
导入Doris支持多种数据源导入如S3
HDFS
Kafka本地文件Binlog等官方文档导入的原子性保证Doris的每一个导入作业,不论是使用BrokerLoad进行批量导入,还是使用INSERT语句进行单条导入
夹毛局的程序员
·
2024-01-28 16:27
doris
doris
Doris系列12-数据导入之Broker Load
适用场景:源数据在Broker可以访问的存储系统中,如
HDFS
。数据量在几十到百GB级别。名词解释:Frontend(FE):Doris系统的元数据和调度节点。在导入流程中主要负责导入plan生
只是甲
·
2024-01-28 15:29
大数据处理系统的架构
Lambda架构的主要组成部分包括:批处理层(BatchLayer):存储:使用分布式存储系统(如ApacheHadoop
HDFS
)
demo123567
·
2024-01-28 14:58
大数据
架构
mysql 同步 工具 开源_开源数据同步工具——datax
开源数据同步工具——dataxDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、
HDFS
、Hive、ADS、HBase、
weixin_39942572
·
2024-01-28 12:08
mysql
同步
工具
开源
Presto源码阅读——如何获取Hive中的Metadata(HMS+
HDFS
)
Presto源码阅读——如何获取Hive中的Metadata(HMS+
HDFS
)本文的Metadata定义SQLonHadoop系统在执行一个query时所需要的Metadata主要有两部分Hive中的
stiga-huang
·
2024-01-28 12:38
Presto
Impala元数据简介
SQL-on-Hadoop的ROLAP解决方案如Presto、SparkSQL等不同的是,Impala对元数据(Metadata/Catalog)做了缓存,因此在做查询计划生成时不再依赖外部系统(如Hive、
HDFS
stiga-huang
·
2024-01-28 12:05
Impala
开源数据同步工具DataX
DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、
HDFS
、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
快乐江小鱼
·
2024-01-28 12:34
java
开源
java
Hadoop的基础操作
Hadoop的基础操作
HDFS
是Hadoop的分布式文件框架,它的实际目标是能够在普通的硬件上运行,并且能够处理大量的数据。
陆卿之
·
2024-01-28 12:27
大数据
hadoop
大数据
hdfs
Netty
参数调优
文章目录一、CONNECT_TIMEOUT_MILLIS二、SO_BACKLOG三、TCP_NODELAY四、SO_SNDBUF&SO_RCVBUF五、ALLOCATOR六、RCVBUF_ALLOCATOR一、CONNECT_TIMEOUT_MILLIS属于SocketChannal的参数用在客户端建立连接时,如果在指定毫秒内无法连接,会抛出timeout异常注意:Netty中不要用成了SO_TI
A.iguodala
·
2024-01-28 11:27
Netty
java
linux
netty
多线程
前传04 | Netty性能调优
多网卡队列和软中断二、Netty性能调优01工作线程池优化02心跳优化03接收和发送缓冲区调优04合理使用内存池05防止I/O线程被意外阻塞06I/O线程和业务线程分离07针对端侧并发连接数的流控三、Netty
参数调优
天罚神
·
2024-01-28 11:26
netty4
java
nio
66.管理Hive外部表——Sentry
66.1演示环境介绍操作系统:CentOS6.5CM和CDH版本:5.12.1采用root用户操作集群运行正常,Kerberos/
HDFS
/Hive/Impala/Hue服务已与Sentry集成,Hive
大勇任卷舒
·
2024-01-28 11:57
HBase入门、基础原理介绍
1.2HBase架构二、HBase的读写删流程2.1HBase的写入流程2.2HBase的读流程2.3HBase的数据删除一、HBase介绍HBase是一个面向列式存储的分布式数据库,HBase底层存储基于
HDFS
幸福右手牵
·
2024-01-28 09:07
hbase
hbase
hadoop
大数据
HBase入门:运行机制
服务器工作原理用户读写数据的过程缓存的刷新StoreFile合并Store的工作原理HLog的工作原理HBase系统架构HBase的系统架构包括客户端、ZooKeeper服务器、Master主服务器、Region服务器HBase一般采用
HDFS
缘友一世
·
2024-01-28 09:07
分布式数据库Hbase探究
hbase
数据库
大数据
mac上搭建hbase伪集群
https://blog.csdn.net/a15835774652/article/details/135569456)但是为了模拟一把集群环境我们还是尝试搭建一个伪集群版2.环境准备jdk环境1.8+
hdfs
寂夜了无痕
·
2024-01-28 08:15
大数据
macos
hbase
Hive面试题
1)数据存储位置Hive存储在
HDFS
。数据库将数据保存在块设备或者本地文件系统中。2)数据更新Hive中不建议对数据的改写。
肿么肥四啊哈
·
2024-01-28 07:34
hive学习笔记
大数据面试题
hive
hive面试题
本质上是将SQL转换为MapReduce或者spark来进行计算,数据是存储在
hdfs
上,简单理解来说hive就是MapReduce的一个客户端工具。补充1:你可以说一下HQL转换为MR的任务流程吗?
韩顺平的小迷弟
·
2024-01-28 07:29
大数据面试题
hive
hadoop
数据仓库
【
HDFS
】一天一个RPC系列--updateBlockForPipeline
本文目标是:弄清updateBlockForPipeline这个RPC的作用。弄清updateBlockForPipelineRPC的使用场景,代码里的调用点。一、updateBlockForPipeline的作用其定义在ClientProtocol接口里,是Client与NameNode之间的接口。看其代码注释描述:为一个underconstruction状态下的block获取一个新的GS与ac
叹了口丶气
·
2024-01-28 06:03
HDFS全方位实战
hdfs
rpc
hadoop
【BugFix】java.lang.NoSuchMethodError: java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;
2022-10-2010:43:59,633ERRORorg.apache.hadoop.
hdfs
.server.namenode.FSEditLog:Error:startinglogsegment946759failedfor
叹了口丶气
·
2024-01-28 06:02
HDFS全方位实战
Java语言积累
java
nio
jvm
【
HDFS
】EC写数据时checkStreamerFailures逻辑
本文试图弄清楚以下问题:checkStreamerFailures方法主要目的是做什么的?checkStreamerFailures方法的调用点(调用时机、条件)?checkStreamerFailures及其周边函数的逻辑。RQ1:checkStreamerFailures方法主要目的是做什么的?此方法的目的是在close流或者每次写完一整个stripe时,对streamer做健康判断。因为ce
叹了口丶气
·
2024-01-28 06:02
HDFS全方位实战
hdfs
hadoop
大数据
【
HDFS
】一天一个RPC系列--updatePipeline
建议先阅读【
HDFS
】一天一个RPC系列–updateBlockForPipeline本文目标是弄清楚以下问题:弄清updatePipeline这个RPC的作用。
叹了口丶气
·
2024-01-28 06:27
HDFS全方位实战
hdfs
rpc
hadoop
Ubuntu22.04三台虚拟机Hadoop集群安装和搭建(全面详细的过程)
Ubuntu22.04Hadoop集群安装和搭建(全面详细的过程)环境配置安装安装JDK安装Hadoop三台虚拟机设置克隆三台虚拟机设置静态IP修改虚拟机hostssh免密登录关闭防火墙Hadoop配置core-site.xml
hdfs
-site.xmlyarn-site.xmlmapred-site.xmlworkers
WuRobb
·
2024-01-28 06:41
hadoop
大数据
分布式
java
ClickHouse(22)ClickHouse集成
HDFS
表引擎详细解析
文章目录
HDFS
用法实施细节配置可选配置选项及其默认值的列表lib
hdfs
3支持的ClickHouse额外的配置限制Kerberos支持虚拟列资料分享系列文章clickhouse系列文章知乎系列文章
HDFS
张飞的猪大数据
·
2024-01-27 17:35
clickhouse
hdfs
大数据
hadoop
数据仓库
数据库
粒子群算法pos优化transformer 时间序列预测
对于Transformer模型,使用粒子群优化(ParticleSwarmOptimization,PSO)进行
参数调优
是一种策略。
mqdlff_python
·
2024-01-27 16:40
深度学习神经网络实战100例
transformer
深度学习
人工智能
粒子群算法pos
GBase 8a 数据迁移工具2---数据加载 “SQL 接口 LOAD DATA INFILE”
支持如下功能:支持本地文件加载支持从通用数据服务器拉取数据加载;支持FTP/HTTP/
HDFS
/SFTP等多种协议;支持多加载机对单表的并行加载,最大化加载性能;支持普通文本、gzip压缩、snappy
Linux有意思吗
·
2024-01-27 14:03
GBASE
sql
数据库
database
数据仓库
dba
搭建大数据平台常用的端口号
50070:
HDFS
webUI的端口号8485:journalnode默认的端口号9000:非高可用访问数rpc端口8020:高可用访问数据rpc8088:yarn的webUI的端口号8080:master
修勾勾L
·
2024-01-27 13:51
Linux
大数据
YARN 工作原理
1、Hadoop2新增了YARN,YARN的引入主要有两个方面的变更:其一、
HDFS
的NameNode可以以集群的方式部署,增强了NameNode的水平扩展能力和高可靠性,水平扩展能力对应
HDFS
Federation
无羡爱诗诗
·
2024-01-27 13:43
深入浅出
hdfs
源码
1、hadoop基本介绍2、周边生态图3、
hdfs
读源码解析4、
hdfs
写源码解析5、
hdfs
副本机制解读6、
hdfs
常见管理源码解析7、
hdfs
高可用源码解析-ha8、
hdfs
监控源码解析-dnmetrics-nnmetrics
大数据之家
·
2024-01-27 10:39
hdfs
hadoop
大数据
2021-03-07
HDFS
=====>解决存储问题·MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive
残月冷无声
·
2024-01-27 10:39
深入浅出
hdfs
-hadoop基本介绍
一、Hadoop基本介绍hadoop最开始是起源于ApacheNutch项目,这个是由DougCutting开发的开源网络搜索引擎,这个项目刚开始的目标是为了更好的做搜索引擎,后来Google发表了三篇未来持续影响大数据领域的三架马车论文:GoogleFileSystem、BigTable、Mapreduce开始掀起来了大数据的浪潮,paper原文可以参考我的这篇文章CSDN。这三篇论文介绍了如何
大数据之家
·
2024-01-27 10:03
hdfs
hadoop
大数据
Hadoop三大核心组件,hadoop原理
Hadoop的三大核心组件分别是:
HDFS
(HadoopDistributeFileSystem):hadoop的数据存储工具。
你敢和我比剑吗
·
2024-01-27 09:03
hadoop
大数据
mapreduce
Hadoop2.0架构及其运行机制,HA原理
文章目录一、Hadoop2.0架构1.架构图2.HA1)NameNode主备切换2)watcher监听3)脑裂问题3.组件1.
HDFS
2.MapReduce3.Yarn1.组件2.调度流程一、Hadoop2.0
Toner_唐纳
·
2024-01-27 09:30
大数据
Hadoop 原理及架构详解
视频网址:01-课程内容大纲与学习目标_哔哩哔哩_bilibili一、基础概念1、版本架构变迁2、集群简介主要包括两个集群:
HDFS
、YARN(MapReduce是计算框架,是代码层面的)这两个集群逻辑上分离
Should·L
·
2024-01-27 09:25
大数据
hadoop
架构
大数据
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他