E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
Hive-安装与配置(1)
感谢各位前辈朋友们支持学习~文章目录1.Hive环境介绍2.搭建环境准备3.建立Hive元数据库4.安装配置Hive1.Hive环境介绍Hive在Hadoop生态系统中运行,依赖Hadoop分布式文件系统(
HDFS
beixi@
·
2023-08-31 09:01
大数据技术学习
运维
hadoop
分布式
大数据
hive
大数据高级开发工程师——数据采集框架Flume(1)
FlumeFlume基本介绍概述运行机制Flume采集系统结构图1.简单结构2.复杂结构Flume实战案例采集网络端口数据1.Flume的安装部署2.开发配置文件3.启动4.使用telnet测试采集目录到
HDFS
1
斗志昂-杨
·
2023-08-31 08:08
大数据
flume
hadoop
big
data
大数据
Hadoop优化以及新特性
文章目录
HDFS
-多目录
HDFS
-集群
扩容
以及缩容
HDFS
故障排查NameNode数据丢失集群安全模式&磁盘修复Hadoop企业优化常用的调优参数Hadoop小文件优化方法Hadoop新特性hadoop2
GambleLife
·
2023-08-31 07:02
Hadoop
hadoop
hdfs
小文件问题
hdfs
小文件问题背景原因:1)
hdfs
上每个文件都要在NN的上创建对应的元数据,每个文件对应的元数据大概150byte,这个元数据是要存储在NN的内存中。
咖啡F
·
2023-08-31 07:32
hadoop
hdfs
hadoop
big
data
HDFS
小文件问题及解决方案(Hadoop Archive,Sequence File和CombineFileInputFormat)
方案(HAR)第一步:创建归档文件第二步:查看归档文件内容第三步:解压归档文件三、SequenceFiles方案四、CombineFileInputFormat方案一、前言概述小文件是指文件size小于
HDFS
皮哥四月红
·
2023-08-31 07:31
Hadoop
大数据
hadoop
hdfs
【大数据之Hadoop3.x】
一、基本概念特点:大量、高速、多样、低价值密度(4V)主要解决海里数据存储和分析计算起源:GFS–>
HDFS
;Map-Reduce-->MR;BigTable–>HBase高可靠性:多个数据副本;高扩展性
JMFFFFF
·
2023-08-31 07:01
hadoop
大数据
Hadoop调优思路
目录1
HDFS
—核心参数1.1NameNode内存生产配置1.2NameNode心跳并发配置1.3开启回收站配置2
HDFS
—集群压测2.1测试
HDFS
写性能2.2测试
HDFS
读性能4
HDFS
—集群
扩容
及缩容
首席撩妹指导官
·
2023-08-31 07:30
大数据
hadoop
hdfs
hadoop
hdfs
大数据
【大数据之Hadoop】三十四、Hadoop综合调优之小文件优化方法
1Hadoop小文件弊端
HDFS
上每个文件都要在NameNode上创建对应的元数据,这个元数据的大小约为150byte,这样当小文件比较多的时候,就会产生很多的元数据文件,一方面会大量占用NameNode
阿宁呀
·
2023-08-31 07:28
hadoop
hadoop
大数据
mapreduce
[ hadoop ] 集群性能调优全面总结
hadoop]集群性能调优全面总结_bone_ds的博客-CSDN博客_hadoop集群优化引子文章涵盖了hadoop框架的三个组成架构各自的优化方法,涉及存储,计算,故障排除等多个方面的具体调优内容,先后解决
HDFS
javastart
·
2023-08-31 07:27
hadoop
hdfs
mapreduce
小文件处理专题
小文件处理专题一MapReduce1.1小数据带来的问题在
HDFS
上,每个文件在NameNode上占150Byte(在内存中占用),如果小文件过多的话就占用大量的Namenode内存,并且查找元数据的速度会很慢在处理
long_World
·
2023-08-31 07:27
大数据优化专题
大数据
10、
HDFS
小文件解决方案--Archive
Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、
HDFS
操作-shell客户端3、
HDFS
的使用(读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件
一瓢一瓢的饮 alanchan
·
2023-08-31 07:56
#
hadoop专栏
hdfs
hadoop
大数据
bigdata
mapreduce
没有创业资金如何在手机上日赚500:这些方法我一直在用
原来,淘宝的工程师,当时在计算流量的时候,已经在2017年双十一的基础上,再
扩容
了3倍。结果,春晚一开始,就超了3倍。最后统计数据一看,最高的峰值竟然达到了双十一的15倍。
高省_飞智666600
·
2023-08-31 07:39
Java基础(十二)——内部类、集合(ArrayList、ArrayList
扩容
、LinkedList、相关底层实现、Stack、Queue、迭代器)、泛型初了解
Java基础(十二)一、内部类面向对象的时候学了类的概念以及使用。其实在类的内部,还可以创建类,这种叫内部类。内部类有四种:1、成员内部类2、局部内部类3、静态内部类4、匿名内部类(重点)1、成员内部类成员内部类。在类的内部,再创建一个类,就是成员内部类:想要调用内部类,需要先创建外部类,通过外部类创建内部类,再去调用内部类的属性跟方法:2、局部内部类局部内部类,就是在类中的方法里面,再创建类,因
sp_snowflake
·
2023-08-31 06:54
Java
java
集合
泛型
DataX 异构数据贴源同步产品 - 技术分享篇(一)
DataX是阿里开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、
HDFS
、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
Splicing
·
2023-08-31 06:07
DataX
java
mysql
spark
scala
HBase应用场景、原理与基本架构
1、HBase概述HBase是一个构建在
HDFS
上的分布式列存储系统;HBase是ApacheHadoop生态系统中的重要一员,主要用于海量结构化数据存储;从逻辑上讲,HBase将数据按照表、行和列进行存储
Splicing
·
2023-08-31 06:07
HBase
hbase
架构
hadoop
创建DataFrame的几种方式(以及解决乱码的问题)
SparkSQL的数据源可以是JSON类型的字符串,JDBC,Parquent,Hive,
HDFS
等。
Splicing
·
2023-08-31 06:06
Spark
分布式集群——搭建Hadoop环境以及相关的Hadoop介绍
系列文章目录分布式集群——jdk配置与zookeeper环境搭建分布式集群——搭建Hadoop环境以及相关的Hadoop介绍文章目录前言一hadoop的相关概念1.1Hadoop概念补充:块的存储1.2
HDFS
张小鱼༒
·
2023-08-31 06:54
分布式
hadoop
大数据
centos
Linux
zookeeper
分布式集群
【运维】hadoop3.0.3集群安装(一)多节点安装
Purpose二.Prerequisites三.Installation1.节点规划2.ConfiguringHadoopinNon-SecureMode3.准备工作4.配置core-site.xml
hdfs
-site.xmlyarn-site.xmlmapred-site.xmlworkers4
roman_日积跬步-终至千里
·
2023-08-31 05:22
#
hadoop运维
运维
hadoop
大数据
【运维】hadoop 集群安装(三)
hdfs
、yarn集群配置、nodemanager健康管理讲解
文章目录一.配置说明1.hadoop各进程环境配置2.hadoop各进程配置2.1.etc/hadoop/core-site.xml2.2.etc/hadoop/
hdfs
-site.xml2.2.1.NameNode2.2.2
roman_日积跬步-终至千里
·
2023-08-31 05:52
#
hadoop运维
hadoop
运维
hdfs
HDFS
读写数据流程和NameNode工作机制
HDFS
文件系统写数据1.步骤文件上传步骤:向NameNode请求上传文件+文件路径(验证请求身份,写权限)响应可以上传文件请求上传第一个Block(0-128M),请返回DataNode返回dn1,dn2
十七✧ᐦ̤
·
2023-08-31 03:21
hdfs
hadoop
大数据
Hdfs
的数据磁盘大小不均衡如何处理
现象描述建集群的时候,datanode的节点数据磁盘总共是四块磁盘做矩阵成了一个7.2TB的sdb1(data1),两块通过矩阵做了一个3.6TB的sdc1(data2)磁盘,运维做的,历史原因。刚开始没有发现,然后集群过了一段时间,随着数据量的增加,发现集群有很多磁盘超过使用率90%告警,运维设置磁盘告警阈值是90%,超过阈值就会发短信或者微信告警,提醒我们磁盘将要满了进行预处理,但是通过had
spark大数据玩家
·
2023-08-31 03:18
hadoop
datanode
面试-------
hdfs
文件上传与下载流程
文件上传1、根namenode通信请求上传文件,namenode检查目标文件是否已存在,父目录是否存在2、namenode返回是否可以上传3、client请求第一个block该传输到哪些datanode服务器上4、namenode返回3个datanode服务器ABC5、client请求3台dn中的一台A上传数据(本质上是一个RPC调用,建立pipeline),A收到请求会继续调用B,然后B调用C,
spark大数据玩家
·
2023-08-31 03:18
hadoop
HDFS
文件删除后,HIVE元数据还存在的问题
一.背景手动在
hdfs
上删除了一个表的分区数据(inc_day=2023-08-30),当查询这个表这个分区的数据时报错文件不存在二.原因即
HDFS
数据删除了,但是hivemetastore元数据却没有更新
spark大数据玩家
·
2023-08-31 03:17
hadoop
hdfs
hive
hadoop
记一次hadoop.tmp.dir配置因重启机器导致无法启动
解决方案步骤一在$HADOOP_HOME/etc/hadoop中的core-site.xml有个hadoop.tmp.dir配置的是Hadoop临时目录,比如
HDFS
的NameNode数据默认都存放这个目录下
spark大数据玩家
·
2023-08-31 03:17
spark
hadoop
hadoop重启
自建minio实现doris的快速备份与恢复
一.概述doris支持通过腾讯云bos、阿里云oss、
hdfs
实现备份与恢复,但是我们公司doris部署在线下机房,如采用oss/bos,大数据备份与恢复比较慢,会占用一定的带宽,如采用
hdfs
,担心小文件太多影响现有的
spark大数据玩家
·
2023-08-31 03:47
doris
hadoop
大数据
分布式
doris
minio
利用fsimage分析
HDFS
小文件
一、Hive小文件概述在Hive中,所谓的小文件是指文件大小远小于
HDFS
块大小的文件,通常小于128MB,甚至更少。
spark大数据玩家
·
2023-08-31 03:45
hadoop
hdfs
hadoop
大数据
hadoop大数据集群中更换磁盘,balance的速度缓慢问题(解决)
hadoop大数据集群中更换磁盘,balance的速度缓慢问题(解决)看现象只有4个bloucks在执行的调整参数:增大配置参数,观察重新负载的速度修改配置文件
hdfs
-site.xmldfs.datanode.balance.max.concurrent.moves
墨卿风竹
·
2023-08-31 03:45
大数据
hadoop
分布式
balance
第四章 Kubernetes入门及集群搭建
1Kubernetes的起源和发展Kubernetes的起源Kubernetes最初源于谷歌内部的Borg,Kubernetes的最初目标是为应用的容器化编排部署提供一个最小化的平台,包含几个基本功能:将应用水平
扩容
到多个集群为
扩容
的实例提供负载均衡的策略提供
InsaneLoafer
·
2023-08-31 02:32
【C++】SLT——Vector详解
目录1.vector介绍2.vector的简单实用2.1.简单的无参构造编辑2.2.简单带参构造2.3.迭代器区间初始化2.4.vector的遍历2.5.vector插入数据2.6.
扩容
机制不同平台
扩容
机制
王笃笃
·
2023-08-31 02:57
c++
算法
开发语言
vector
容器
win11安装hadoop3.3.2(当前最新版本)
前提Java已经安装安装准备下载链接:链接解压将hadoop到自己想要解压的路径下(这我解压到D盘下)修改配置文件进入etc/hadoop/下修改core-site.xml,
hdfs
-site.xml,
缘不易
·
2023-08-31 01:05
Hadoop
hadoop
Linux(Redhat6.9) 磁盘格式化/
扩容
预备知识逻辑卷管理LVM是一个硬盘系统工具。无论在Linux或者其他类似的系统,都是非常的好用。传统分区使用固定大小分区,重新调整大小十分麻烦。但是,LVM可以创建和管理“逻辑”卷,而不是直接使用物理硬盘。可以让管理员弹性的管理逻辑卷的扩大缩小,操作简单,而不损坏已存储的数据。可以随意将新的硬盘添加到LVM,以直接扩展已经存在的逻辑卷。LVM并不需要重启就可以让内核知道分区的存在。lvm图中顶部,
MicoCube
·
2023-08-31 00:17
hadoop性能优化
最近的
hdfs
集群出了一些故障,今天总结一下hadoop的几个具体的性能调优方法1)
HDFS
参数调优
hdfs
-site.xml(1)dfs.namenode.handler.count=20*log2(
大道至简_6a43
·
2023-08-31 00:45
oracle vm virtualbox 磁盘
扩容
(亲自测试有效)
场景:主系统是Ubuntu,安装了oraclevmvirtualbox;虚拟机是windows10,之前分配了50G,不够用,现在需要扩大到100G步骤:1、打开oraclevmvirtualbox软件2、关闭正在运行的虚拟机3、选择管理->虚拟介质管理4、参考下图,选中需要调整的vdi文件,正常只有一个,直接调整大小,并点击应用5、启动虚拟机6、登录虚拟机的windows后,运行cmd,输入di
sz_denny
·
2023-08-30 23:33
ubuntu
linux
运维
[JDK8环境下的HashMap类应用及源码分析] 看源码了解HashMap的
扩容
机制
作者主页:青花锁简介:Java领域优质创作者、Java微服务架构公号作者、CSDN博客专家简历模板、学习资料、面试题库、技术互助文末获取联系方式系列文章目录[Java基础]StringBuffer和StringBuilder类应用及源码分析[Java基础]数组应用及源码分析[Java基础]String,分析内存地址,源码[JDK8环境下的HashMap类应用及源码分析]第一篇空构造函数初始化[JD
青花锁
·
2023-08-30 22:26
面试
Java基础
HashMap
扩容
map长度
map元素个数
map阙值比率
[JDK8下的HashMap类应用及源码分析] 数据结构、哈希碰撞、链表变红黑树
Java基础]String,分析内存地址,源码[JDK8环境下的HashMap类应用及源码分析]第一篇空构造函数初始化[JDK8环境下的HashMap类应用及源码分析]第二篇看源码了解HashMap的
扩容
机制
青花锁
·
2023-08-30 22:55
面试
Java基础
数据结构与算法
HashMap
数据结构
哈希碰撞
红黑树
链表
与位运算
哈希冲突
elasticsearch之十集群部署及分布式内部机制
Elasticsearch的垂直
扩容
与水平
扩容
垂直
扩容
:使用
Java及SpringBoot
·
2023-08-30 19:28
嫩模币MosieG,下一阶段以太坊繁荣生态的核心
从中文名称而言,浓浓的山寨币味道,凸显不出主流,实则MosieGo团队在所在业务上根基牢固,在区块链方面并承载了以太坊Plasma
扩容
的理想。
老猫___
·
2023-08-30 19:43
Hadoop学习笔记(六)——分布式文件系统
一简介
HDFS
,它是一个文件系统,用于存储文件,通过目录树来定位文件:其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。
L先生_c77f
·
2023-08-30 18:47
mapreduce 的工作原理以及
hdfs
上传文件的流程
推荐两篇博文mapreduce的工作原理:图文详解MapReduce工作流程_mapreduce工作流程_Shockang的博客-CSDN博客
hdfs
上传文件的流程
HDFS
原理-知乎
超爱慢
·
2023-08-30 18:03
mapreduce
mapreduce
hadoop
学习
大数据
linux
HBase高可用集群安装部署
HBase的版本为hbase-2.4.11-bin.tar.gz环境准备Hadoop:因为HBase的数据时存储在
hdfs
中的,所以我们需要先完成Hadoop的安装,安
似懂非dong
·
2023-08-30 18:43
HBase
hbase
hadoop
大数据
nano主板扩大swap交换交换空间大小 /windows里远程传输文件/ssh远程登陆访问GUI界面报错
nano主板扩大swap交换交换空间大小/windows里远程传输文件/ssh远程登陆访问GUI界面报错1.
扩容
在编译某些文件时由于nano主控内存空间小,在编译工作空间catkin_make时会卡住,
小白很废
·
2023-08-30 17:02
ssh
运维
namenode格式化出错
执行
hdfs
namenode-format出现如下错误:没有找到文件夹或不存在该目录原因分析:hadoop-env.sh配置有误,需要检查
simplycoder
·
2023-08-30 17:24
大数据学习遇到的错误
4、大数据系统组件
大数据生态圈首先是Hadoop,它是大数据系统的基础组件,很多其他组件都依赖它分布式存储、计算,它是Apache旗下一套开源软件平台,在这个平台之下还包括了
HDFS
(分布式文件系统
朗如行玉山_5b30
·
2023-08-30 16:08
Linux服务器
扩容
以下就是Linux根目录
扩容
操作步骤,跟着你也一定能操作成功首先检查服务器是不是lvm卷,若是lvm跟着文档操作即可,不是请参考其他文档1、查询磁盘2、查看磁盘使用情况df-lh3、查询磁盘fdisk-l4
Sean‘
·
2023-08-30 16:46
linux
centos
运维
虚拟机安装centos7之后对 root分区进行动态
扩容
这个时候可以采用动态
扩容
该分区的办法:该LVM分区动态
扩容
分两种情况:一、
扩容
原有磁盘/dev/sdafdisk/dev/sda对/dev/sda磁盘进行操作(新建分区及格式化)np回车默认分区号;回车默认磁盘创建开始位置
苦海觅慈航
·
2023-08-30 13:44
MSCI
扩容
是什么意思?MSCI
扩容
对A股的影响
股票交流QQ群:1025621912在国际市场都编制有当地市场指数以及全球综合指数,基金公司会根据MSCI指数中的公司权重来配置股票,作为世界上影响力较强的指数之一的MSCI指数近期进行了第三次
扩容
,那么
财经天下事
·
2023-08-30 12:57
datax安装+配置+使用文档
1DataX离线同步工具DataX3.0介绍DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、
HDFS
、Hive、ADS
涂作权的博客
·
2023-08-30 12:32
#
datax
datax
Mysql 流增量写入
Hdfs
(二) --Storm +
hdfs
的流式处理
一.概述上一篇我们介绍了如何将数据从mysql抛到kafka,这次我们就专注于利用storm将数据写入到
hdfs
的过程,由于storm写入
hdfs
的可定制东西有些多,我们先不从kafka读取,而先自己定义一个
大数据_zzzzMing
·
2023-08-30 11:44
K8S-集群管理
目录一、pod资源限制(resources)二、重启策略(restartPolicy)三、
扩容
缩容1.手动
扩容
2.自动
扩容
2.1、数据采集组件2.1.1、部署2.2、HPA2.2.1、案例2.2.1.1
芷阳99
·
2023-08-30 11:25
kubernetes
容器
云原生
各个云磁盘
扩容
放啊
google:https://cloud.google.com/compute/docs/disks/add-persistent-disk?hl=zh-cn#resize_partitionsimage.png该界面操作等效Gcloud命令为:gcloudcomputedisksresizeDISK_NAME--size320--zoneus-east4-ayum-yinstallcloud-u
CaptainWhite
·
2023-08-30 08:54
上一页
96
97
98
99
100
101
102
103
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他