E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
hdfs
Client_java对
hdfs
进行上传、下载、删除、移动、打印文件信息尚硅谷大海哥
Java可以通过Hadoop提供的
HDFS
JavaAPI来控制
HDFS
。通过
HDFS
JavaAPI,可以实现对
HDFS
的文件操作,包括文件的创建、读取、写入、删除等操作。
hys_guff
·
2023-11-21 21:28
java
hdfs
开发语言
考研&复试数据结构:03顺序表和链表总结
(2)链表优点:离散的小空间分配方便,弹性(可
扩容
)缺点:查找麻烦,时间复杂度O(n),并且存储密度低(因为还得空出来地方存指针)。3、基本操作:(1)创建:顺序表:得先预想以下分配多大空间最划算。
小橘子Orange
·
2023-11-21 19:52
考研&复试数据结构
c++
数据结构
[SparkSQL] 列转行lateral view explode函数和FlatMap算子两种方式实现炸裂
[SparkSQL]列转行lateralviewexplode函数和FlatMap算子两种方式实现炸裂我用了两种方法实现列转行,说一下我平时使用SparkSQL的习惯,我通常1)是先读取
HDFS
中的文件
林沐之森
·
2023-11-21 17:18
Spark
sparksql
spark
类转行
炸裂
flatmap
Mac上搭建Hadoop环境(3) — Hive下载及安装
前言之前已经完成了hadoop集群的安装,测试了
HDFS
的使用,现在准备在此基础上,继续安装Hive。
LestatZ
·
2023-11-21 13:54
Spark---介绍及安装
所开源的类HadoopMapReduce的通用并行计算框架,Spark拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写
HDFS
30岁老阿姨
·
2023-11-21 13:26
Spark
spark
大数据
分布式
Hadoop--
hdfs
1、
HDFS
中的三个进程:NameNode(NN)、DataNode(DN)、SecondNameNode(SNN)2、NameNode(NN)1、作用:1、接收客户端的一个读、写的服务,在namenode
新手小农
·
2023-11-21 11:11
Hadoop
3.1.1
hadoop
hdfs
大数据
hadoop 编写开启关闭集群脚本, hadoop
hdfs
,yarn开启关闭脚本。傻瓜式hadoop脚本 hadoop(九)
1.三台机器:hadoop22,hadoop23,hadoop242.
hdfs
在22机器启动,yarn在hadoop23机器3.脚本需要hadoop用户启动才可以4.脚本必须在hadoop22机器运行。
不努力就种地~
·
2023-11-21 11:30
大数据
hadoop
hdfs
大数据
数据迁移教程 | 从 Postgre/Greenplum 到 DolphinDB
但是,由于存在并发问题和
扩容
问题等,PostgreSQL的发展仍面临着许多瓶颈。DolphinDB是一种高效、分布式的数据管理和分析平台,集成了功能
DolphinDB智臾科技
·
2023-11-21 10:00
postgresql
DBMS
数据迁移
数据库迁移
数据库
Greenplum
Spark 从Hive表中读数据或向Hive中写入数据
ConfigurationofHiveisdonebyplacingyourhive-site.xml,core-site.xml(forsecurityconfiguration),and
hdfs
-site.xml
pageniao
·
2023-11-21 10:27
Spark
原理Redis-Dict字典
Dict1)Dict组成2)Dict的
扩容
3)Dict的收缩4)Dict的rehash5)总结1)Dict组成Redis是一个键值型(Key-ValuePair)的数据库,可以根据键实现快速的增删改查。
中二Espresso
·
2023-11-21 05:27
Redis
redis
数据库
缓存
Golang实现内存数据库
在进行
扩容
时访问哈希表
金戈鐡馬
·
2023-11-21 04:05
Go语言
数据库
golang
Hash
内存
极端情况下Go的Map也会发生内存泄漏
之前写文章跟大家聊过,咱们使用Go的Map时不用像切片那样担心提心吊胆:Go函数的Map型参数,会发生
扩容
后指向不同底层内存的事儿吗?
kevin_tech
·
2023-11-21 04:01
golang
数据结构
开发语言
后端
redis中hash数据结构
目录hash的数据结构ziplist底层实现字典底层实现
扩容
缩容引用hash的数据结构hash底层数据结构的实现包括两种:ziplist和字典当保存的所有键值对字符串长度小于64字节并且键值对数量小于512
酒剑随马@
·
2023-11-21 02:49
redis
redis
数据结构
分布式海量云存储平台的技术创新及应用
成本高:传统存储硬件使用专有设备,通用性差,设备投资加上后期维护、升级
扩容
的成本非常高。性能低:单节点I/O性能瓶颈无法逾越,容量
weixin_33982670
·
2023-11-21 00:03
运维
大数据
区块链
集合
CollectionListArrayList底层:数组实现,动态数组原理:
扩容
时使用Arrays.copy方法进行复制数组操作,自动
扩容
每次增加当前容量+当前容量>>1=1.5倍容量,增加半个容量。
battle_
·
2023-11-21 00:45
栈和队列的初始化,插入,删除,销毁。
实现分配空间,当空间不足时,要动态
扩容
。顺序表在销毁时可以直接free,但链表要一个个删除。链表:不连续的空间靠指针指向下一个地址。不用实现分配空间。优
深中笃行
·
2023-11-20 23:51
数据结构
数据结构
考研
c语言
算法
链表
顺序表和链表的区别和与程序员相关的CPU缓存知识
这里的链表主要指的是带头双向循环链表)不同点顺序表链表存储空间上物理上一定连续逻辑上连续,但物理上不一定连续随机访问支持O(1)不支持O(N)任意位置插入或删除元素可能需要搬移元素,效率低只需修改指针指向插入动态顺序表,空间不够需要
扩容
没有容量的概念应用场景元素高效存储
@A云淡风轻
·
2023-11-20 22:48
数据结构
链表
缓存
数据结构
【顺序表ArrayList】
文章目录顺序表ArrayList说明ArrayList常见操作顺序表的优缺点ArrayList的
扩容
机制1.练习:杨辉三角2.顺序表的实现3.简单的洗牌算法顺序表含义:物理上连续,逻辑上也连续的线性结构
小小啾啾
·
2023-11-20 21:39
java
windows
java
Hive本地模式安装(详细)
Hive是建立在Hadoop文件系统上的数据仓库,它提供了一系列工具,能够对存储在
HDFS
中的数据进行数据提取、转换和加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的工具。
i阿极(暂时无法回复版)
·
2023-11-20 20:48
大数据
hive
数据库
hadoop
综合架构-nfs备份服务(网络文件系统)
NFS系统和Windows网络共享、网络驱动器类似,只不过windows用于局域网,NFS用于企业集群架构中,如果是大型网站,会用到更复杂的分布式文件系统FastDFS,glusterfs,
HDFS
1.1
A宽宽
·
2023-11-20 20:13
分布式架构关键技术
作为这个领域最富盛名的开源项目,Hadoop实现的是分布式的文件系统
HDFS
,和分布式的计算(Map/Reduce)框架。分布式架构关键技术主要有分布式文件系统、分布式存储和分布式数据库。分
talentluke
·
2023-11-20 20:53
架构设计
数据库
运维
java
java集合简单回顾
集合简单回顾Collection下集合List是一个有序集合,维持的顺序是元素插入的顺序,允许元素重复1.ArrayList:数组,查找元素很快,但删除元素和添加元素的效率相对较差,默认大小是10个元素,当需要
扩容
时
hym123456s
·
2023-11-20 19:43
java
开发语言
链表
Flume基本原理及使用
Flume最主要是用在分布式系统中,例如读取服务器本地的磁盘数据,并将数据写入到
HDFS
中。对Flume的学习,最好就是结合官方文档进行学习。
zkyCoder
·
2023-11-20 18:45
Flume
flume
数据仓库
大数据技术之Flume(概述,安装,案例等)
输入的的数据速率大于写入目的存储的速率,flume会进行缓冲,减小
hdfs
的压力。flume中的事务基于channel,使用了两个事务模型(sender+receiver),确保消息被可靠发送
往事随风_h
·
2023-11-20 18:37
Flume
Flume安装
关于Flume
Flume案例
Zabbix深入解析与实战
Zabbix1.1.监控概述监控是指对行为、活动或其他变动中信息的一种持续性关注,通常是为了对人达成影响、管理、指导或保护的目的监控监视主机架构状态控制,事后追责目标:早发现早处理(故障、性能、架构)网站
扩容
某x?
·
2023-11-20 16:32
监控
运维
linux
21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件
Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、
HDFS
操作-shell客户端3、
HDFS
的使用(读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件
一瓢一瓢的饮 alanchan
·
2023-11-20 13:18
#
hadoop专栏
mapreduce
hadoop
hdfs
大数据
big
data
三十分钟学会Hive
Hive的概念与运用Hive是一个构建在Hadoop之上的数据分析工具(Hive没有存储数据的能力,只有使用数据的能力),底层由
HDFS
来提供数据存储,可以将结构化的数据文件映射为一张数据库表,并且提供类似
地球魔
·
2023-11-20 12:11
hive
hadoop
数据仓库
让你彻底学会HBase
利用Hadoop
HDFS
作为其文件存储系统,利用ZooKeeper作为其分布式协同服务。主要用来存储非结构化和半结构化的松散数据(列式存储NoSQL数据库)。
地球魔
·
2023-11-20 12:11
hbase
数据库
大数据
HDFS
完全分布式集群搭建与配置及常见问题总结
思路:1.准备3台虚拟机(静态IP,IP映射,主机名称,防火墙关闭,普通用户创建等等)2.安装JDK,配置环境变量3.安装Hadoop,配置环境变量4.配置免密登录5.编写同步脚本,配置集群(前三步已完成)搭建集群步骤1.首先要关闭防火墙systemctlstopfirewalldsystemctldisablefirewalldsystemctlstatusfirewalld2.还要关闭SELi
HUNG4050
·
2023-11-20 12:03
分布式
hdfs
java
hadoop
HDFS
常见面试题
HDFS
小文件问题小文件过多有什么坏处?主要是NameNode内存会受限。由于NameNode会将文件系统的元数据都存储在内存中,因此所能存储的文件总量受限于NameNode的内存总容量。
海中大咸鱼
·
2023-11-20 12:02
hadoop
hdfs
hadoop
big
data
dfs
hdfs
修改文件名称_第五讲:hadoop的分布式存储
HDFS
常见操作
HDFS
是一个分布式文件系统,像任何其它文件系统,允许用户使用shell命令操作文件系统。
西岸先生
·
2023-11-20 12:31
dfs
hdfs
修改文件名称
HDFS
常见API操作
HDFS
常见API操作一个刚开始学习大数据的小白,愿意和大家分享所学所得。
_小张要敲代码
·
2023-11-20 12:58
java
hdfs
hadoop
大数据
HDFS
权限管理以及ACL介绍
一篇文章搞懂
HDFS
权限管理
HDFS
承载了公司内多个部门几十条业务线的几十PB数据,这些数据有些是安全级别非常高的用户隐私数据,也有被广泛被多个业务线使用的基础数据,不同的业务之间有着复杂的数据依赖。
Hellooorld
·
2023-11-20 12:57
大数据
hdfs权限
POSIX
POSIX
ACLS
hdfs
集群启动的常见问题
hdfs
集群启动的常见问题1、用浏览器访问namenode的50070端口,不正常,需要诊断问题出在哪里:a、在服务器的终端命令行使用jps查看相关进程观察节点是否存活b、如果已经知道了启动失败的服务进程
一溪云~
·
2023-11-20 12:27
Hadoop
Hadoop
hdfs
*
HDFS
完全分布式集群搭建与配置及常见问题总结*
小组介绍:哈喽大家好!我们是---哈了个Doop小组,接下来为大家做一下小组介绍。一共有六个成员。主要特点是由一名男生和五名女生组成,又称为“一汉娘子组”,由无所不能且帅气的文组长带领。成员有:优秀的诺同学和芝同学、有创意的灵同学、两位颜值担当的杰同学和张同学。组员介绍已完毕。使用电脑时很多朋友会发现一台计算机虽然可以安装多个操作系统,但是对电脑的硬件有着极大的要求,而虚拟机的出现则完美的解决了这
哈了个Doop
·
2023-11-20 12:26
hadoop
hdfs
大数据
HDFS
常见的异常处理方式汇总
ERRORorg.apache.hadoop.
hdfs
.server.datanode.DataNode:jav
Shockang
·
2023-11-20 12:21
大数据技术体系
hdfs
hadoop
big
data
四、
hdfs
文件系统基础操作-保姆级教程
1、启动Hadoop集群想要使用
hdfs
文件系统,就先要启动Hadoop集群。
弦之森
·
2023-11-20 12:20
Hadoop
hdfs
hadoop
大数据
数据库
五、
hdfs
常见权限问题
1、常见问题2、案例(1)问题(2)
hdfs
的超级管理员(3)原因没有使用Hadoop用户对
hdfs
文件系统进行操作。
弦之森
·
2023-11-20 12:48
Hadoop
hdfs
hadoop
大数据
HDFS
命令操作
常用命令一、hadoopfs(
hdfs
dfs)文件操作1)ls显示目录下的所有文件或者文件夹使用方法:hadoopfs-ls[uri形式目录]示例:hadoopfs–ls/显示根目录下的所有文件和目录显示目录下的所有文件可以加
ly稻草
·
2023-11-20 12:55
浅谈交互式查询⼯工具Impala(一)
一、Impala概述(Impala是什什么,优势,劣势,与Hive对⽐)Impala是什什么Impala是Cloudera提供的⼀一款开源的针对
HDFS
和HBASE中的PB级别数据进⾏行行交互式实时查询
顾子豪
·
2023-11-20 11:14
数据结构--顺序表
目录1.顺序表的定义2.顺序表的初始化3.顺序表的
扩容
4.顺序表的尾插5.顺序表的头插6.顺序表的尾删7.顺序表的头删8.顺序表的最后处理9.顺序表指定位置进行插入10.顺序表指定位置进行删除1.顺序表的定义定义了一个结构体
徐凤年lll
·
2023-11-20 11:42
数据结构
数据结构
Polygon zkEVM Trustless L2 State Management 技术文档
1.引言著名的区块链不可能三角由以太坊创始人VitalikButerin首次提出,具体为:去中心化安全性可扩展性以太坊面临的
扩容
问题即为不可能三角中的可扩展性问题。
mutourend
·
2023-11-20 10:47
zkVM
zkVM
Polygon zkEVM zkProver基本设计原则 以及 Storage状态机
PolygonzkEVMzkRollup
扩容
策略在于:开发zkProver,输入abatchofmanytransactions,证明该batch内所有交易的有效性,然后仅发布最小化size的vali
mutourend
·
2023-11-20 10:17
zkVM
zkVM
Polygon zkEVM 基本概念
1.引言前序博客有:ZK-Rollups工作原理PolygonzkEVM——Hermez2.0简介PolygonzkEVM网络节点PolygonzkEVM为zk-rolluplayer2
扩容
方案,其:executesmartcontractstransparentlypublishzero-knowledgevalidityproof
mutourend
·
2023-11-20 10:11
zkVM
零知识证明
HDFS
、MapReduce原理--学习笔记
(2)狭义解释从狭义上来说,Hadoop是指Hadoop这个开源框架,它的核心组件有:a)
HDFS
(分布式文件系统):解决海量数据存储;b)MapReduce(分布式计算):解决海
祈愿lucky
·
2023-11-20 06:33
大数据
hdfs
mapreduce
学习
hadoop关于
hdfs
详细解答
HDFS
内容大数据的概念及其特征Hadoop简介及其生态圈
HDFS
的内部组件介绍
HDFS
的安装模式介绍独立模式伪分布式模式完全分布式的搭建
HDFS
的常用命令
HDFS
的设计思想
HDFS
的体系结构
HDFS
的工作机制
一个人的小样
·
2023-11-20 04:58
hadopp的hdfs详细解答
hdfs
Java集合源码剖析
ArrayList底层是数组,允许元素是null,能够动态
扩容
size、isEmpty、get、s
yang_zhen_wei
·
2023-11-20 03:51
java
java ArrayList源码分析(深度讲解)
6°逐层返回,第一次
扩容
eleme
Cyan_RA9
·
2023-11-20 03:44
#
源码分析
Java进阶
java
jvm
算法
后端
ArrayList
源码分析
Hive 剖析
Hive分区表分区为
HDFS
上表目录的子目录,数据按照分区存储在子目录中。
zhixingheyi_tian
·
2023-11-20 03:33
hive
hadoop
数据仓库
k8s 运维
文章目录一、测试环境二、开启k8s的IPVS模式1.各节点集群的状态2.修改K8s的代理三、调度master节点四、Pod的
扩容
和缩放五、滚动升级和回滚六、Node的隔离和恢复1.隔离2.恢复七、将Pod
ball-4444
·
2023-11-20 03:00
Kubernetes
linux
运维
k8s
上一页
45
46
47
48
49
50
51
52
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他