E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
Hadoop入门学习笔记-第六天(hive数据库命令相关操作)
hive命令行操作/user/hive/warehouse(
hdfs
目录))说明:hive创建的数据库和数据库表都存在
hdfs
,一般默认目录为:/user/hive/warehouse1…创建hive的数据库
渣男程序员007
·
2023-11-30 05:44
Hadoop入门学习笔记
hadoop
数据库
java
hive
mysql
Hadoop入门学习笔记-第四天(wordCount实例代码编写笔记)
文件中引入以下jar包org.apache.hadoophadoop-client2.7.3org.apache.hadoophadoop-common2.7.3org.apache.hadoophadoop-
hdfs
2.7.3org.apache.hadoophadoop-client2.7.33
渣男程序员007
·
2023-11-30 05:43
Hadoop入门学习笔记
java
大数据
hadoop
mapreduce
spark
Hadoop入门学习笔记-第二天 (
HDFS
:NodeName高可用集群配置)
说明:
hdfs
:nn单点故障,压力过大,内存受限,扩展受阻。
hdfs
ha:主备切换方式解决单点故障
hdfs
Federation联邦:解决鸭梨过大。
渣男程序员007
·
2023-11-30 05:13
Hadoop入门学习笔记
hadoop
java
大数据
hdfs
Hadoop入门学习笔记-第三天(Yarn高可用集群配置及计算案例)
什么是mapreduce首先让我们来重温一下hadoop的四大组件:
HDFS
:分布式存储系统MapReduce:分布式计算系统YARN:hadoop的资源调度系统Common:以上三大组件的底层支撑组件
渣男程序员007
·
2023-11-30 05:13
Hadoop入门学习笔记
分布式
hadoop
大数据
spark
mapreduce
COW奶牛!Copy On Write机制了解一下
前言只有光头才能变强在读《Redis设计与实现》关于哈希表
扩容
的时候,发现这么一段话:执行BGSAVE命令或者BGREWRITEAOF命令的过程中,Redis需要创建当前服务器进程的子进程,而大多数操作系统都采用写时复制
Java3y
·
2023-11-30 04:38
2020-12-05 Win10 系统盘被 oem 分区遮挡无法扩展卷的解决办法
由于装的软件比较多,不想重装折腾,就想给C盘
扩容
,把D盘的一部分容量给C盘,但是发现C盘和D盘中间有个占用空间790m的OEM分区,该分区没有盘符,没法删除,在分区上点击右键只有一个「帮助」选项,这就导致
Denholm
·
2023-11-30 04:59
【Spark】on yarn集群模式安装部署
官方文档http://spark.apache.org/docs/latest/running-on-yarn.html前提安装启动Hadoop(需要使用
HDFS
和YARN)安装单机版Spark不需要集群
没去过埃及的法老
·
2023-11-30 03:23
Sprak
大数据
spark
on
yarn集群模式
安装部署
云计算/大数据
Spark on YARN的部署
SparkonYARN的原理就是依靠yarn来调度Spark,比默认的Spark运行模式性能要好的多,前提是首先部署好hadoop
HDFS
并且运行在yarn上,然后就可以开始部署sparkonyarn了
GoodInSun
·
2023-11-30 03:23
spark
spark
on
yarn
ambari运维问题记录
ambari综合问题记录1、
hdfs
无法启动错误:2018-04-2514:36:09,293-Retryingafter10seconds.Reason:Executionof'/usr/hdp/current
人生匆匆
·
2023-11-30 03:23
ambari
ambari
运维
hadoop
【Ambari】
HDFS
基于Ambari的常规运维
目录一、简介1.1Ambari介绍1.2关于本手册二、综合运维2.1Ambari一览2.1.1命令行操作2.1.2登入和登出2.1.3.管理界面首页三、服务的管理和运维3.1
HDFS
运维3.1启动/停止
阿龙先生啊
·
2023-11-30 03:52
#
【====
Ambari
====】
ambari
hdfs
运维
服务重启
添加配置
core-site.xml
k8s中Pod控制器简介,ReplicaSet、Deployment、HPA三种处理无状态pod应用的控制器介绍
目录一.Pod控制器简介二.ReplicaSet(简写rs)1.简介(1)主要功能(2)rs较完整参数解释2.创建和删除(1)创建(2)删除3.
扩容
和缩容(1)scale方式(2)edit方式4.镜像版本更改
树下一少年
·
2023-11-30 02:18
Linux
#
k8s
kubernetes
ReplicaSet
Deployment
HPA
pod控制器
Spark完全分布式搭建(On Yarn)
目录一、集群规划二、配置Spark路径三、修改配置文件1.spark-env.sh2.修改slaves文件四、启动集群1.先起动Hadoop的
HDFS
和Yarn2.启动Spark五、Web查看集群启动情况六
Congee小周
·
2023-11-30 02:00
大数据
hadoop
spark
完全分布式
spark-env.sh
slaves
【解决】
HDFS
JournalNode启动慢问题排查
文章目录一.问题描述二.问题分析1.排查机器性能2.DNS的问题三.问题解决1.修复DNS服务2.添加主机映射为0.0.0.03.修改hadoop源码一句话:因为dns的问题导致journalnode启动时很慢,通过修复dns对0.0.0.0域名解析,修复此问题。一.问题描述从journalnode启动到服务可用,完成RPCListen,需要花费大概1分多钟的问题,而这不符合安装预期。二.问题分析
roman_日积跬步-终至千里
·
2023-11-29 20:12
hadoop运维
hdfs
网络
hadoop
大数据技术之HBase
①HBase是以
hdfs
为数据存储,一个面向
Red-P
·
2023-11-29 20:57
大数据基础
hbase
大数据
数据库
大数据之HBase
HBase介绍Apache的三篇论文,GFS谷歌文件系统->
HDFS
;MR->MR;BigTable->HBase;HBase是hadoop数据库,一种分布式、可扩展的大数据NoSQL数据库之一。
十七✧ᐦ̤
·
2023-11-29 20:55
大数据
hbase
数据库
数据结构:哈希表讲解
哈希表1.哈希概念2.通过关键码确定存储位置2.1哈希方法2.2直接定址法2.3除留余数法3.哈希冲突概念4.解决哈希冲突4.1闭散列4.1.1概念4.1.2哈希表
扩容
4.1.3存储位置的状态4.1.4
派小星233
·
2023-11-29 20:48
高阶数据结构
数据结构
散列表
哈希算法
笔记
算法
如何能打进去idea引入外部jar包
org.apache.maven.pluginsmaven-war-plugin3.2.3${project.basedir}/libWEB-INF/lib/**/*.jar然后导入依赖即可comhadoop-
hdfs
-client2.7
一个正在努力的小白码农
·
2023-11-29 19:57
intellij-idea
jar
Day18 03.19 下 集合框架 ArrayList LinkedList
集合框架基本概念((面试频率很高的哦))集合框架出现是为了解决数组在开发过程中所遇到的问题特点:1、长度不是固定、可以随时
扩容
2、存放不同类型的数据3、提供很多种集合,不同的算法,采用不同的集合框架可以提高开发效率集合的结构虚线表示接口实线是类左边集合框架
The nice day_150
·
2023-11-29 15:00
HBase初识之学生心得总结
c、HBase:理解为Hadoopbase--3.大数据框架:a、数据的存储:
hdfs
/hive/hbaseb、数据的传输:flume/sqoopc、数据的计算
程序员驴子酱
·
2023-11-29 15:33
大数据
FastDFS部署
FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性
扩容
等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、
一码归一码@
·
2023-11-29 14:54
分布式理论&中间件搭建
服务器
java
常见面试题-Redis 切片集群以及主节点选举机制
答:Redis切片集群是目前使用比较多的方案,Redis切面集群支持多个主从集群进行横向
扩容
,架构如下:使用切片集群有什么好处?
无敌少年小旋风
·
2023-11-29 13:46
面试题
redis
java
数据库
运维 | 浅谈云计算的相关概念和分类
如果后续对软件升级
扩容
,硬件服务器资源不够,就需要再花钱进行购买,然后再部署
扩容
,再部署
Andya_net
·
2023-11-29 09:37
网络安全技术
网络运维知识
运维
云计算
K8s --HPA容器水平伸缩
压力测试2、同时监控cpu和memory一、什么是HPAHPA的全称为(HorizontalPodAutoscaling)它可以根据当前pod资源的使用率(如CPU、磁盘、内存等),进行副本数的动态的
扩容
与缩容
一叶存秋
·
2023-11-29 09:35
kubernetes
docker
容器
第15关 K8s HPA:自动水平伸缩Pod,实现弹性扩展和资源优化
我们知道,初始Pod的数量是可以设置的,同时业务也分流量高峰和低峰,那么怎么即能不过多的占用K8s的资源,又能在服务高峰时自动
扩容
pod的数量呢,在K8s上的答案是HorizontalPodAutoscaling
博哥爱运维
·
2023-11-29 09:30
kubernetes
docker
云原生
容器
九、LuaTable(表)
Luatable是不固定大小的,你可以根据自己需要进行
扩容
。Lua也是通过tabl
yolo0616
·
2023-11-29 08:50
LuaNotes
开发语言
lua
HCIA-Big Data华为认证大数据工程师 习题册 含答案
查看课堂笔记(含习题册)目录1.大数据发展趋势与鲲鹏大数据2.
HDFS
分布式文件管理系统和ZooKeeper3.Hive分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark
k Chivalrous man
·
2023-11-29 08:16
大数据
大数据
华为
Redis集群系列五 —— 分区/片概念
什么是分区分区就是将所存储的数据按照一定的规则存储在不同的存储服务或介质上,通过降低单服务或介质的数据量级来提升数据处理能力,从而达到拥有数据处理横向
扩容
的能力的目的。
旷野历程
·
2023-11-29 08:34
#
Redis
redis
分区
某省交控高速公路分公司高效运维
随着IT设备的增加和机房动环设备数量的增长,该公司在跨区域跨网络管理、平台升级和
扩容
方面遇到了挑战。
MXsoft618
·
2023-11-29 07:25
一体化监控平台
运维管理
智能运维管理系统
运维
SparkStreaming基本数据源
SparkStreaming基本数据源案例1.文件流案例SparkStreaming支持各种文件系统中的文件流,如:
HDFS
、本地文件系统创建文件流的方式:读取
HDFS
上面的文件:streamingConte
简丶致
·
2023-11-29 07:06
spark
big
data
spark
Spark Streaming提取数据
它支持的流资包括
HDFS
、Kafka、Flume以及自定义流等。SparkStreaming操作可以从故障中自动恢复,这对于在线数据处理十分重要。
简单不过l
·
2023-11-29 07:29
Spark
spark
streaming
Spark Streaming的基本数据流
在大数据环境中,尤其是使用Hadoop分布式文件系统(
HDFS
)时,数据通常被认为是静态的,这是因为
HDFS
被设计成适合一次写入和多次读取的场景
俺会hello我的
·
2023-11-29 07:55
spark
大数据
数据仓库
centos服务器
扩容
centos服务器
扩容
我的情况是,原服务器是一个80g磁盘,管理员又追加了120G到这块磁盘上,需要把这120G重新追加使用。
小杰s
·
2023-11-29 07:20
linux
运维
linux
服务器
扩容
服务器磁盘扩容
mysql主从复制-redis集群
扩容
缩容、缓存优化(缓存更新策略、穿透,击穿,雪崩)、mysql主从搭建、django实现读写分离
基于Docker实现读写分离1redis集群
扩容
缩容1.1集群
扩容
1.2集群缩容2缓存优化2.1缓存更新策略2.2穿透,击穿,雪崩3mysql主从搭建4django实现读写分离1redis集群
扩容
缩容1.1
林圜围
·
2023-11-29 06:49
mysql
缓存
mysql
redis
MapReduce计算任务的步骤
MapReduce计算任务的步骤第1步:InputFormatInputFormat到
hdfs
上读取数据将数据传给Split第2步:Split//设置读取数据的路径TextInputFormat.addInputPath
未烬丶
·
2023-11-29 06:47
MapReduce
阿里云服务器搭建Hadoop报错“Incompatible clusterIDs”“Excluding datanode”“Cannot assign requested address”
hadoophome下logs文件夹的内容,看具体报错原因1.IncompatibleclusterIDs大致意思是说namenode和datanode的clusterIDs不一致,出现这个的原因应该是多次的
hdfs
namenode-format
暮月七
·
2023-11-29 06:40
云计算
Hadoop
hadoop
服务器
阿里云
hadoop启动datanode报错:Incompatible clusterIDs in
例如我datanode数据目录为/home/hadoop/
hdfs
/data/,将这/home/hadoop/
hdfs
/data里面的文件都删掉即可。
兔帮大人
·
2023-11-29 06:09
大数据
hadoop
修炼k8s+flink+
hdfs
+dlink(七:flinkcdc)
一:flinkcdc官网链接。https://ververica.github.io/flink-cdc-connectors/release-2.1/content/about.html二:在flink中添加jar包。在flinklib目录下增加你所需要的包。https://kdocs.cn/join/gv467qi?f=101邀请你加入共享群「工作使用重要工具」一起进行文档协作三:申请资源。c
宇智波云
·
2023-11-29 05:34
flink
flinkcdc
flink
hdfs
大数据
面试篇spark(spark core,spark sql,spark 优化)
spark执行框架示意图spark的执行中间结果是存储在内存当中的,而
hdfs
的执行中间结果是存储在
hdfs
中的。所以在运算的时候,spark的执行效率是reduce的3-5倍。二:spark是什么?
宇智波云
·
2023-11-29 05:21
面试
spark
sql
hadoop集群环境搭建和常用命令
或者echo$JAVA_HOME3.解压安装包tar-zxvf4.修改配置文件cd$HADOOP_HOME/etc/hadoop/下面是需要修改的配置文件hadoop-env.shyarn-env.sh
hdfs
-site.xmlcore-site.xmlmapred-site.xmlyarn-site.xm
Logan_addoil
·
2023-11-29 05:04
大数据学习之旅
hadoop
大数据
分布式
Hive数据库与表操作
一)Hive数据存储(二)创建数据库(三)查看数据库(四)修改数据库信息一、准备工作二、Hive数据库操作(一)Hive数据存储(二)创建数据库(三)查看数据库注意,我们创建的hive数据库,对应的是
HDFS
howard2005
·
2023-11-29 05:59
数仓技术Hive入门
数据库
表
hive
1分钟了解比特币
扩容
问题的前世今生,速来!
在比特币诞生之初,比特币的创始人中本聪并没有特意限制区块的大小,区块最大可以达到32MB。当时,平均每个区块大小为1-2KB,有人认为区块链上限过高容易造成计算资源的浪费,还容易发生DDOS攻击。因此,为了保证比特币系统的安全和稳定,中本聪决定临时将区块大小限制在1MB。那时比特币的用户数量少,交易量也没有那么大,并不会造成区块拥堵。2013年至今,比特币价格直线飙升,用户越来越多,比特币网络拥堵
烤过的麦芽
·
2023-11-29 04:20
java开发两年,你知道StringBuffer的
扩容
原理吗?来看看阿里大牛是怎么讲的吧
前言在Java中,String是一个常量,一旦创建其值后不能更改但可以共享。如果我们把多个字符串进行连接(拼接)操作,就会开辟很多空间,从而造成了大量内存空间的浪费。为了解决这个问题,我们需要用到StringBuffer类和StringBuilder类。这两个类可牛逼了,它们都是可变长度的字符串类,在字符串的拼接处理上大大提高了效率。一、StringBuffer与StringBuilder的区别共
程序员匡胤
·
2023-11-29 03:54
Java HashMap
HashMap是Map接口中基于哈希表的非同步实现,自身也可以自动
扩容
。使用时可以通过key快速定位到对应的value。key和value同时可以都为null。
lcn29
·
2023-11-29 03:39
Java
java
哈希算法
开发语言
顺序表总结
个人专栏:dapaige的博客专栏☁️宝剑锋从磨砺出,梅花香自苦寒来目录️arraylist的简单实现️arraylist的构造ArrayList常见操作☁️ArrayList的遍历☁️ArrayList的
扩容
机制
da pai ge
·
2023-11-29 01:20
java
开发语言
KerberOS Hadoop 认证安装配置
server端4.配置krb5.conf文件5.配置kdc.conf6.配置kadm5.acl文件7.初始化kerberos库8.Kerberos客户端9.hadoopkerberos认证配置1)配置
HDFS
1
夜古诚
·
2023-11-28 23:54
hadoop
Linux
hadoop
linux
kerberos
Windows下VirtualBox磁盘
扩容
的方法
来源:VirtualBox虚拟机
扩容
方法-哔哩哔哩(bilibili.com)1、打开cmd.exe2、进入VirtualBox安装目录下,通常为C:\ProgramFiles\Oracle\VirtualBox3
naruto2017
·
2023-11-28 22:07
virtualbox
扩容
解决Spark SQL读数据库时不支持某些数据类型的问题
在大数据平台中,经常需要做数据的ETL,从传统关系型数据库RDBMS中抽取数据到
HDFS
中。
alexlee666
·
2023-11-28 20:49
hive总结
Hive是基于Hadoop的数据仓库工具,提供了类似SQL的查询功能,可查询存储在
HDFS
中的数据。Hive的架构和组件包括用户接口、驱动、元数据存储和存储处理层。Hive将HQL转
墨苏玩电脑
·
2023-11-28 18:26
hive
hadoop
数据仓库
和gpt聊天,学一手
hdfs
目录文章目录目录@[toc]计划学习**主题**:1.1
HDFS
概述**问题**:他和mysql有什么区别**主题**:1.1
HDFS
概述
HDFS
的设计和工作原理选择最佳的DataNode策略配置项**
墨苏玩电脑
·
2023-11-28 18:52
gpt
hdfs
hadoop
Doris-Broker Load(二十四)
适用场景源数据在Broker可以访问的存储系统中,如
HDFS
。数据量在几十到百GB级别。
玖玖1704
·
2023-11-28 16:18
Doris
sql
etl
hadoop
上一页
39
40
41
42
43
44
45
46
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他