E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
18、MapReduce的计数器与通过MapReduce读取/写入数据库示例
Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、
HDFS
操作-shell客户端3、
HDFS
的使用(读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件
一瓢一瓢的饮 alanchan
·
2023-11-10 16:11
#
hadoop专栏
mapreduce
数据库
hadoop
大数据
bigdata
20、MapReduce 工作流介绍
Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、
HDFS
操作-shell客户端3、
HDFS
的使用(读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件
一瓢一瓢的饮 alanchan
·
2023-11-10 16:41
#
hadoop专栏
mapreduce
hadoop
大数据
bigdata
分布式
Linux磁盘挂载及
扩容
操作
Linux磁盘
扩容
操作全介绍1.新增磁盘分区后挂载至新建/data目录下1.1新增磁盘打开Vmware右键需要添加磁盘的虚拟机,点击设置,选择磁盘添加即可,这里我新增了一块20G的磁盘在当前虚拟机下;fdisk-l
NightFall丶
·
2023-11-10 15:57
Linux
linux
运维
服务器
大数据Hadoop之——Spark on Hive 和 Hive on Spark的区别与实现
SparkonHive2)HiveonSpark(本章实现)二、HiveonSpark实现1)先下载hive源码包查看spark版本2)下载spark3)解压编译4)解压5)把sparkjar包上传到
HDFS
6
大数据老司机
·
2023-11-10 15:22
spark
hadoop
大数据
spark
hadoop
大数据
Hadoop YARN的伪分布式安装
//core-site.xmlfs.defaultFS
hdfs
://localhost:9000//
hdfs
-site.xmldfs.replication1//mapred-site.xmlmapreduce.framework.nameyarn
zmx2029
·
2023-11-10 15:19
hadoop
2023.11.8 hadoop学习-概述,
hdfs
dfs的shell命令
目录1.分布式和集群2.Hadoop框架3.版本更新4.hadoop架构详解5.页面访问端口6.Hadoop-
HDFS
HDFS
架构
HDFS
副本7.SHELL命令8.启动hive服务1.分布式和集群分布式
白白的wj
·
2023-11-10 12:54
hadoop
学习
大数据
探讨jdk源码中的二分查找算法返回值巧妙之处
中核心二分查找方法解析4.1为什么low是插入点4.2为什么要进行取反:-(low+1)4.3为什么不直接返回插入点low的相反数,还需要进行+1操作4.4可以将+1改为-1吗5.未找到目标元素时根据返回值进行数组
扩容
是谢添啊
·
2023-11-10 11:24
#
算法思想分析
java
算法
二分查找
jdk源码
K8S集群创建用户并赋权访问特定namespace
文章目录环境集群搭建创建
HDFS
集群目的创建用户赋权切换用户验证环境软件版本centos7.4-1708docker18.03.0-cekubernetes1.17.0集群搭建https://blog.csdn.net
再看我把你吃掉
·
2023-11-10 10:57
Kubernetes
kubernetes
docker
linux
hadoop
数据湖浅析(以hudi为例)
hive的痛点:hive主要特性是提供了sql解析和元数据管理的功能,统一管理了存储在
hdfs
上数据的shcmea信息。
weixin_45626756
·
2023-11-10 06:44
hive
大数据
hadoop
数据湖
hudi
Linux网络编程03
select的缺陷(1)fd,set的本质是一个位图,容量是固定的1024,因此最大只能监听1024个连接(可以
扩容
)(2)监听和就绪用的是同一个数据结构,使用困难(3)存在多次大量的从用户态到内核态的拷贝
一只叮铛
·
2023-11-10 05:43
Linux
linux
网络
服务器
c语言
hadoop、zookeeper、mysql等pid文件权限不对无法启动问题
在学习大数据的阶段,难免会遇到没有一步步关闭
hdfs
、yarn之类就直接关电脑的情况,下次来的时候就会发现,咦,怎么打不开了,一看报错是xxx.pid拒绝访问什么的,这时候就是pid的问题,这里对PID
努力改掉拖延症的小白
·
2023-11-10 05:05
Linux
MySQL
hadoop
linux
java
mysql
hadoop
数据库
go语言之切片
它非常灵活,支持自动
扩容
。切片是一个引用类型,它的内部结构包含地址、长度和容量。切片一般用于快速地操作一块数据集合。
徐佳鑫
·
2023-11-10 04:58
golang
开发语言
后端
Go语言入门【6】切片
,切片是对数组的抽象,数组在声明时指定了长度之后就不可再进行改变,在特定场景下数组就不适用,所以就有了切片类型,切片就是“动态数组”,和数组相比,切片的长度是不固定的,可以在切片后面追加元素,长度自动
扩容
良猿啊
·
2023-11-10 04:27
GoLang
golang
go
开发语言
后端
mysql和redis的应用场景_Redis的应用场景及优缺点
1、MySQL需要不停的拆库拆表,Memcached也需要跟着不断
扩容
;2、Memcached与MySQL之间存在着一定的数据不一致的现象;3、如果Memcached容易命中率变低
弓长丶艮
·
2023-11-10 02:18
大数据开发笔记(十):Hbase实践
✨大数据开发笔记推荐:大数据开发面试知识点总结_GoAI的博客-CSDN博客_大数据开发面试本文详细介绍大数据hadoop生态圈各部分知识,包括不限于
hdfs
、yarn、mapreduce、hive、sqoop
GoAI
·
2023-11-10 02:56
#
Hbase
大数据笔记
大数据
hadoop
mysql
zookeeper
hbase
HBase学习笔记(1)—— 知识点总结
目录HBase概述HBase基本架构HBase安装部署启动HBaseShellHBase数据读写流程HBase优化HBase概述HBase是以
hdfs
为数据存储的,一种分布式、非关系型的、可扩展的NoSQL
THE WHY
·
2023-11-10 02:21
数据库
大数据
hbase
nosql
时序数据库
数据库
Hadoop原理,
HDFS
架构,MapReduce原理
Hadoop原理,
HDFS
架构,MapReduce原理2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开测开的话,你就得学数据库,sql,oracle
冰露可乐
·
2023-11-10 00:27
国考
数据挖掘
hadoop
hdfs
架构
MapReduce
国考网警
Hadoop相关
hdfs
getconf-confKeydfs.namenode.http-address查看Hadoop工作端口的信息
hdfs
getconf-confKeydfs.datanode.http.address
小美美大白蛋
·
2023-11-09 23:56
hadoop
大数据
分布式
linux为 home 目录
扩容
linux为/home目录
扩容
转载地址:linux(centos)新增磁盘后,为指定目录
扩容
其实原理与LVM逻辑卷
扩容
一样,步骤为:创建物理卷,可以是整个磁盘,也可以是分区(分区的话需要是LVM类型)。
神气少年大角牛
·
2023-11-09 21:36
运维
Linux
linux
运维
服务器
spark on yarn idea错误: 找不到或无法加载主类org.apache.spark.deploy.yarn.ExecutorLauncher
依赖的jar包目录.set("spark.yarn.jars","C:\\Users\\han\\Desktop\\test\\dns_project\\target\\dns_project.jar,
hdfs
一位不愿透露姓名的肥宅
·
2023-11-09 20:17
bug
spark
大数据
intellij-idea
yarn
数据结构: 哈希桶
概念具有相同地址的key值归于同一集合中,这个集合称为一个桶,各个桶的元素通过单链表链接2.模拟实现2.1框架a.写出哈希桶的结构:hash_node+hash_table节点+指针数组b.思路:增删查改的实现+
扩容
偶尔有点困Z
·
2023-11-09 18:18
数据结构
C/C++/Linux实例
数据结构
哈希算法
算法
7.2 Kubernetes 实践
文章目录1.kubernetes概述2.RC(ReplicationController)控制器2.1通过部署文件手动启动kubia容器2.2控制器的标签2.3容器
扩容
缩容2.4修改控制器标签2.5修改控制器部署文件
蟑螂恶霸不是恶霸
·
2023-11-09 17:51
零基础入门到就业--JAVA篇
kubernetes
容器
云原生
系统软件架构师写作方法
目录1、摘要2、正文要求3、总结4、云服务的特点弹性伸缩动态
扩容
更优的整体性能根据需求定制方案更好的业务连续性更低的使用成本性能配置好扩展性强高度安全操作便捷性价比高1、摘要编写摘要,一般要求300字左右
boonya
·
2023-11-09 15:03
软件认证
系统软件架构师
备考经验总结
ElasticSearch之节点、集群、分片和副本
数据的可用性,部分节点丢失,不会丢失数据可扩展:请求量提升/数据不断增长(将数据分布到所有节点上),实现水平扩展分布式特性ES分布式架构的好处:存储的水平
扩容
程大帅气
·
2023-11-09 14:59
Elasticsearch
elasticsearch
分布式
java
Elasticsearch基本概念:集群、节点、分片和副本
架构高可用服务可用性-允许部分节点停止服务数据可用性-部分节点丢失数据,整个系统不会丢失数据可扩展性请求量的上升、数据不断增长(将数据分布到所有节点上)Elasticsearch分布式架构的好处储存水平
扩容
系统的高可用性
退休的汤姆
·
2023-11-09 14:57
Java
java
分布式
大数据
hadoop
elasticsearch
使用shardingJDBC中的雪花算法生成id
常用ID解决方案数据库自增id依靠数据库系统的功能实现,但是未来
扩容
麻烦主从切换时的不⼀致可能会导致重复发号性能瓶颈存在单台sql上UUID性能非常高,没有网络消耗无序的字符串,不具备趋势自增特性UUID
小甄笔记
·
2023-11-09 14:11
mysql
shardingJDBC
数据库
java spark读写
hdfs
文件_Spark读取
HDFS
中的Zip文件
1.任务背景近日有个项目任务,要求读取压缩在Zip中的百科HTML文件,经分析发现,提供的Zip文件有如下特点(=>指代对应解决方案):(1)压缩为分卷文件=>只需将解压缩在同一目录中的一个分卷zip即可解压缩出整个文件(2)压缩文件中又包含不同的两个文件夹,且各包含n个小zip文件,小zip文件中包含目录及对应的HTML文本文件采用第一方案:依次解压缩各小zip文件,存放在一个目录中,然后上传到
中国青年郑国成
·
2023-11-09 14:58
java
spark读写hdfs文件
Spark—文件的读取与保存
文件格式分为:text文件、csv文件、sequence文件以及Object文件;文件系统分为:本地文件系统、
HDFS
、HBASE以及数据库。1、text文件//读取输入文件valinputRDD
Jerry Hong
·
2023-11-09 14:58
Spark
spark
scala
大数据
Spark--RDD文件读取与保存
文件格式分为:text文件、csv文件、sequence文件以及Object文件文件系统分为:本地文件系统、
HDFS
、HBASE以及数据库objectSpark_rdd_01{defmain(args:
小陈菜奈-
·
2023-11-09 14:55
Scala&Spark
spark
scala
big
data
SparkCore和SparkSql读取与保存
hdfs
文件的方法
/IP地址:7077”)//这里你可以写local,我这样写是可以看做是在用spark-on-yarnvalsc=newSparkContext(conf);valdata=sc.textFile(“
hdfs
尘世壹俗人
·
2023-11-09 14:24
大数据Spark技术
spark
大数据
【Hadoop】Hadoop体系知识点梳理(目录)
Hadoop体系知识点梳理(目录)核心点第一章:Hadoop背景知识与起源第二章:搭建Hadoop环境第三章:
HDFS
体系架构第四章:
HDFS
第五章:MapReduce第六章:Hbase第七章:Hive
lys_828
·
2023-11-09 11:49
大数据开发工程师
大数据
hadoop
java
目录
2. Spark报错,Task is Failed,errorMsg: FileNotFoundException xxxx
完整报错信息21304,TaskisFailed,errorMsg:FileNotFoundException:Filedoesnotexist:
hdfs
://xxxx-bigdata-nameservice
helloooi
·
2023-11-09 10:27
#
Spark
spark
大数据
分布式
Hadoop学习笔记(持续更新中)
文章目录HadoopHadoop的组成
HDFS
特点NameNode和DataNode文件系统命名空间数据块块缓存MapReducejob、task、inputsplitcombiner其他示例HadoopHadoop
东河西
·
2023-11-09 09:19
大数据
hadoop
SpringBoot整合 MinIO 分布式对象存储
对象存储可以充当主存储层,以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为Hadoop
HDFS
的替代品。可扩展性:
码小呆~
·
2023-11-09 09:36
Springboot
java
docker
spring
boot
minio
MySQL InnoDB引擎优势以及共享表空间
扩容
和日志文件详解
目录InnoDB优势1)支持事务安装2)灾难恢复性好3)使用行级锁4)实现了缓冲处理5)支持外键6)适合需要大型数据库的网站物理存储1.数据文件(表数据和索引数据)1)共享表空间2)独立表空间2.日志文件拓展InnoDB是MySQL中第一个提供外键约束的存储引擎,而且它对事务的处理能力是其它存储引擎无法与之相比的。MySQL5.5版本以后,默认存储引擎由MyISAM修改为InnoDB。InnoDB
it技术分享just_free
·
2023-11-09 08:29
数据库
mysql
数据库
hbase2.5.5安装 hadoop3.3.5
true"exportHBASE_MANAGES_ZK=false2.hbase-site.shhbase.tmp.dir/opt/module/hbase-2.5.5/tmphbase.rootdir
hdfs
weixin_54735428
·
2023-11-09 08:16
hbase
AWS服务器Linux系统存储空间满
扩容
AWS服务器,Linux系统存储空间满,需要
扩容
3个内容:1、卷2、分区#lsblk查看3、文件系统#df-h查看一、
扩容
卷路径:EC2-ElasticBlockStore-卷-操作-修改卷只能调增不能调减少卷要挂载生效后
779醒
·
2023-11-09 06:17
云服务器
Linux
服务器
linux
aws
Oracle表空间
扩容
查看表空间位置SELECTtablespace_name,file_id,file_name,round(bytes/(1024*1024),0)total_spaceFROMdba_data_filesORDERBYtablespace_name;system扩展表空间alterdatabasedatafile'/u01/app/oracle/oradata/XE/system.dbf'auto
冬天小圣
·
2023-11-09 06:17
oracle
数据库
database
EMR 磁盘挂载解读与磁盘
扩容
操作
云上的计算实例挂载的存储盘通常可以在线实现磁盘
扩容
。本文以AWSEMR节点的磁盘
扩容
为例,记录一下具体的操作步骤。
Laurence
·
2023-11-09 06:41
付费专栏
EMR
磁盘
卷
挂载
扩容
lsblk
xfs_growfs
java.lang.IllegalArgumentException: Wrong FS://expected: file:///
有错误提示file:///的提示信息是想需要本地文件系统(file:///为本地文件系统标识),代码无法识别
HDFS
文件系统,需要在Configuration中配置相应的参数。
ZL小屁孩
·
2023-11-09 05:16
hadoop生态
hdfs
6、NIFI综合应用场景-离线同步Mysql数据到
HDFS
中
NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看4、集群部署及验证、监控及节点管理5、NiFiFileFlow示例和NIFI模板示例6、NIFI应用场景-离线同步Mysql数据到
HDFS
一瓢一瓢的饮 alanchan
·
2023-11-09 04:22
大数据相关组件介绍
hdfs
mysql
大数据
big
data
分布式
数仓面经大框架
1.计算机及编程基础:操作系统:进程、线程等数据结构:算法题计算机网络:分层等Linux:常用的指令MySQL(重点)Java/Python基础排序算法(快排、归并等)2.大数据组件Hadoop:
HDFS
Young_IT
·
2023-11-09 02:03
大数据开发
大数据
数据仓库
数据分析
【动态内存管理】【C语言进阶】应用—通讯录contact2.0
InitContact初始化动态版AddContact动态版释放空间静态版本contact【C语言进阶】struct结构体的应用——通讯录(初级)总体思路动态版本目标:通讯录最开始可以放入n个人的信息,如果满了就自动
扩容
畋坪
·
2023-11-09 02:20
学习笔记
c语言
启动hive时报: Call From hadoop /192.168.1.128 to hadoop :9000 failed on connection
core-site.xml文件配置时,目录写错,导致无法正确找到namenode相关信息,修改后保存解决办法:格式化namenode进入hadoop/bin输入命令格式化hadoopnamenode-format(
hdfs
namenode-format
M_y_y
·
2023-11-08 23:58
linux
异常解决
阿里云磁盘格式由MBR调整为GPT步骤示例
oss
扩容
:直接升级到2T。磁盘
扩容
步骤示例:1、停止D盘的tomcat等服务。2、手动打快照(D盘),存放7天。3、以此快照创建云盘(E盘,E盘最好选择一个性能比较好的盘,复制时速度快点)。
XiaoXiao_RenHe
·
2023-11-08 22:00
问题及示例
Windows相关
阿里云
云计算
yarn+MapReduce入门
yarn+MapReduce入门yarn主要模块MapReduceonyarnSchedulerMapReduce入门
hdfs
存储yarn资源调度分配MapReduce计算yarn主要模块ResourceManger
zhangyujie12138
·
2023-11-08 20:49
hadoop
yarn
mapreduce
Linux
扩容
swap分区
当swap也耗尽时,这个时候linux会遵循内核机制,随机会杀掉一些占用内存资源较高的内存,所以一般就需要去
扩容
。
Yonself
·
2023-11-08 19:15
linux
swap
Flink -- 状态与容错
2、CheckPoint:1、CheckPoint:定时将Flink的计算的状态持久化到
Hdfs
上,如果Flink的任务
新手小农
·
2023-11-08 17:37
Flink
1.15.2
flink
大数据
Automatic failover is enabled for NameNode at PS-DEVICE-ID-YDGZ-112012/10.198.112.12:8020 Refusing t
/bin/
hdfs
haadmin-transitionToActivenn1--forceactive执行报错:AutomaticfailoverisenabledforNameNodeatPS-DEVICE-ID-YDGZ
不吃饭的猪
·
2023-11-08 16:20
hadoop
本教程旨在为正在构建,部署和使用CarbonData的最终用户和开发人员提供故障排除。
加载数据时,出现tablestatus.lock问题症状:17/11/1116:48:13ERRORLocalFileLock:main
hdfs
:/localhost:9000/carbon/store
不吃饭的猪
·
2023-11-08 16:20
大数据
上一页
51
52
53
54
55
56
57
58
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他