E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
Hadoop介绍——
HDFS
•Hadoop简介:hadoop官网–分布式存储系统
HDFS
(HadoopDistributedFileSystem)POSIX•分布式存储系统•提供了高可靠性、高扩展性和高吞吐率的数据存储服务–分布式计算框架
南宫萧言
·
2023-10-04 01:15
hashmap的
扩容
机制,腾讯Android开发面试记录,系列篇
一、开始的开始**Android框架体系架构(高级UI+FrameWork源码)**这块知识是现今使用者最多的,我们称之Android2013~2016年的技术,但是,即使是这样的技术,Android开发者也往往因为网上Copy代码习惯了而导致对这块经常“使用”的代码**熟悉而又陌生:**熟悉的是几乎天天在和它们打交道,天天在复制这些代码;陌生的是虽然天天和这些代码打交道,但是并没有深入研究过这些
web苍南县
·
2023-10-04 00:18
程序员
android
移动开发
面试
第26期教师转正培训
知识可
扩容
,时间是棉花,潜力无极限。凡心所向,素履以往;生如逆旅,一苇以航。——当代作家七董年《尘曲》心之所向,虽远必达。没有人天生强大,强大者都是因为天生要强。
雪中小草
·
2023-10-04 00:09
spark 算子使用类变量_《Spark 官方文档》Spark编程指南
RDD通常是通过,
HDFS
(或者其他Hadoop支持
Muses Station
·
2023-10-04 00:58
spark
算子使用类变量
hadoop 小文件处理方案
hadoop
hdfs
被设计用作海量数据存储,适合存储大文件,文件在
hdfs
中是以block的形式存储的,在hadoop1.x中,
hdfs
block的默认大小为64m,而在hadoop2.x中,block
Ivan_030c
·
2023-10-03 23:49
Ubuntu中启动
HDFS
后没有NameNode解决办法
关闭进程:stop-dfs.sh格式化:hadoopnamenode-format出现报错信息:23/10/0322:27:04WARNfs.FileUtil:Failedtodeletefileordir[/usr/data/hadoop/tmp/dfs/name/current/fsimage_0000000000000000000.md5]:itstillexists.23/10/0322:
马龙强_
·
2023-10-03 23:13
hdfs
hadoop
大数据
简历项目描述过程详解
第一个Flume1.3.1.1碰到的问题1.3.2kafka1.3.2.1框架介绍1.3.2.2碰到的问题1.3.2.3优化1.3.3第二个flume1.3.3.1框架1.3.3.2遇到的问题1.3.4
hdfs
1.3.4.1
明月清风,良宵美酒
·
2023-10-03 21:48
大数据技术栈
java
kafka
hive
面试
flink
hadoop wordcount示例运行
0.安装hadoop集群前提是hadoop集群已经安装好1.在本地建立1.txt文件txt中内容.png2.将文件拷贝至
hdfs
创建文件夹
hdfs
dfs-mkdir文件夹名拷贝文件
hdfs
dfs-put
五百一十七XX
·
2023-10-03 20:38
哈希环如何用在直播调度系统
能尽快索引到缓存CDN服务器上;传统方案N台服务器,编号0到N-1请求作为key值,计算哈希值h=Hash(key)%N,定向到指定服务器存在问题哈希重定向出现故障节点,大量请求需要迁移到其他节点集群
扩容
时
dong_beijing
·
2023-10-03 18:25
网络
哈希算法
算法
DS线性表之链表
并且分析了顺序表的优缺点,优点是:尾插、尾删效率很高,其时间复杂度是O(1);缺点是:在头部插入、删除的时候效率低,其时间复杂度是O(N);而且即使是动态版本的
扩容
也是会浪费空间的(这里在动态内存管理介绍
暗恋 懒羊羊
·
2023-10-03 18:59
DS初阶
链表
数据结构
算法
c语言
hadoop面试题!这6个!经常问!
简而言之,Hadoop由以下部分组成:
HDFS
(Hadoop分布式文件系统):
HDFS
允许您以分布式和冗余的方式存储大量数据。
yoku酱
·
2023-10-03 17:41
Jenkins分布式构建与并行构建
Jenkinsmaster负责提供界面、处理HTTP请求及管理构建环境;构建的执行则由Jenkinsagent负责Jenkinsagent的横向
扩容
:只需要增加agent就可以轻松支持更多的项目同时执行
昂迪梵德
·
2023-10-03 15:31
linux 离线安装pymysql
linux离线安装pymysql1背景1.1环境说明2操作步骤2.1下载2.2安装2.2.1安装setuptools工具2.2.2安装pymysql库1背景生产服务器为离线局域网服务器,维护功能的
扩容
需要使用到
水步天
·
2023-10-03 12:42
服务器环境搭建
linux
mysql
服务器
ConcurrentHashMap源码分析(1.8)
源码分析2、`sizeCtl`含义解释二、jdk1.8添加安全1、源码分析1.1、添加元素put/putVal方法1.2、数组初始化,initTable方法2、图解2.1、put加锁图解三、jdk1.8
扩容
安全
励志成为大牛的小牛
·
2023-10-03 11:47
java基础
java
算法
开发语言
Kubernetes学习笔记-StatefulSet:部署有状态的多副本应用(2)20220625
为每个有状态实例提供稳定的专属存储StatefulSet在创建pod时,也需要创建持久卷声明,StatefulSet可以拥有一个或多个卷声明模版,这些持久卷声明会在创建pod前创建出来,绑定到一个pod实例上持久卷的创建和删除
扩容
dudu妈
·
2023-10-03 06:26
学习笔记
kubernetes
docker
运维
【复盘】记录一次锁库的生产故障
空间不足,只能仅仅
扩容
,联系DBA进行从500G升级到800G。系统恢复正常。
qxlxi
·
2023-10-03 05:07
#
数据库原理
#
复盘
服务器
Java基础知识大纲
1、HashMap的put方法处理逻辑以及线程不安全体现的场景,基于HashMap实现线程安全该怎么改代码,hashMap在jdk7和jdk8的
扩容
过程,ConcurrentHashMap的jdk7和jdk8
w孤风
·
2023-10-03 05:11
【适合小白】区块链之我用可视化的方式部署Webase
可视化部署是指通过WeBASE管理平台(WeBASE-Web+WeBASE-Node-Manager),在多台主机上快速部署FISCO-BCOS底层节点和WeBASE-Front前置以及对底层节点的
扩容
操作
Mr.white_G
·
2023-10-03 05:24
运维
区块链
Spark SQL 与 Hive 的小文件调优
文章目录小文件危害表的缓存shuffle分区数调整SparkSQL客户端设置合并Hive客户端处理小文件合并动态分区调优小文件归档小文件危害小文件会造成nn处理压力变大,大大降低了读取性能,整个
HDFS
月亮给我抄代码
·
2023-10-03 03:51
spark
hive
sql
大数据
Spark on Yarn资源调优
背景一般公司的大数据项目基础设施都是建立在
hdfs
之上,所以在大部分的公司里,Spark都是跑在Yarn之上,yarn作为一
chimchim66
·
2023-10-03 02:50
Hadoop
spark
big
data
hadoop
数据结构: 数组与链表
目录1数组1.1数组常用操作1.初始化数组2.访问元素3.插入元素4.删除元素5.遍历数组6.查找元素7.
扩容
数组1.2数组优点与局限性1.3数组典型应用2链表2.1链表常用操作1.初始化链表2.插入节点
timberman666
·
2023-10-02 23:49
数据结构学习总结
数据结构
链表
算法
c++
c语言
学习
娱乐
redis 系列,要懂redis,首先得看懂sds(全网最细节的sds讲解)
文章目录前言一、sds的结构sds的定义sds的初始化sds图解sds
扩容
为什么要使用内存不对齐(非常重要,全网讲sds唯一讲到这点就在这里)总结前言上篇文章我们分析了redis如何通过监听端口,获取到客户端传过来的数据
偷懒的程序员-小彭
·
2023-10-02 21:32
redis
字符串
算法
redis
面试
vector模拟实现之构造函数初始化
(4)通过对象初始化(拷贝构造)目录一、类的基本框架二、迭代器、size()、capacity()实现三、构造函数1、默认构造函数2、输入开辟的元素个数,根据元素个数开辟空间3、通过迭代器初始化(1)
扩容
仲夏夜之梦~
·
2023-10-02 17:17
C/C++
c++
vector的模拟实现
vector是一种动态数组,可以根据需要自动
扩容
和缩容,提供了常用的操作函数如插入、删除、访问等。
ZHENGZJM
·
2023-10-02 17:44
c++
c++
算法
开发语言
JAVA面经整理--JAVA基础
6.HashMap
扩容
7.wait()怎么唤醒?—使用notify或者notifyAll8.HashMap和HashTable的区别?9.Synchronized修饰方法和代码块?10.J
知与君同。
·
2023-10-02 15:29
java
面试
Spark思维导图
简介SparkSpark是分布式计算框架Spark可以和多种存储系统结合使用,如Kafka、HBase、Hive、
HDFS
以及关系型数据库。
亼珏
·
2023-10-02 14:14
对VMware已经创建的虚拟机进行磁盘
扩容
过程以及会遇到的问题
对VMware已经创建的虚拟机进行磁盘
扩容
过程以及会遇到的问题一.对VMware已经创建的虚拟机进行磁盘
扩容
过程1.虚拟机扩展磁盘容量2.扩展操作系统磁盘2.1查看扩展前磁盘容量信息2.2对新增加的磁盘进行分区
silhouette10
·
2023-10-02 12:48
centos
linux
服务器
虚拟机中对已经存在的磁盘
扩容
如图所示,将虚拟机中已经存在的磁盘进行
扩容
:扩展之后重启虚拟机,然后输入命令:lsblk进行查看虚拟机大小;发现这个盘的大小已经改变,如果想要给某个卷组或者逻辑卷进行
扩容
的话还需要将这个磁盘进行新建分区
475.35
·
2023-10-02 12:43
linux
运维
Flink动态添加依赖Jar包提交到Yarn
此外这种模式提交任务的时候会把本地flink的所有jar包先上传到
hdfs
上相应的临时目录,这个也会带来大量的网络的开销
javastart
·
2023-10-02 12:55
flink
jar
flink
yarn
win+ubuntu双系统
扩容
挂NTFS硬盘
ubuntu下查看win下划出分区,进入ubuntu,打开终端df-h新建目录,挂载磁盘sudomkdir/home/zgf/dpdata在win下磁盘为ntfs格式,转为ext4sudomkfs.ext4/dev/nvme1n1p5//nvme1n1p5为挂载盘名临时挂载sudomount/dev/nvme1n1p5/home/zgf/dpdata查看挂载的磁盘格式sudoblkid/dev/n
model2005
·
2023-10-02 10:30
ubuntu
linux
运维
数据结构C语言版 —— 顺序表增删改查实现
文章目录顺序表1.线性表2.顺序表3.顺序表基本概念4.顺序表实现顺序表初始化顺序表的
扩容
顺序表的插入顺序表的删除顺序表的查找顺序表的修改顺序表的销毁5.顺序表总结顺序表1.线性表线性表:线性表是由n个具有相同特性的数据元素组成的序列
爱敲代码的三毛
·
2023-10-02 07:21
数据结构
数据结构
c语言
链表
NiFi 实战
Demo1localto
HDFS
1场景:文件批量上传
HDFS
2数据源local文件系统中,/opt/nifiData/raw下批量文件:root@machine001:/opt/nifiData/raw
JokerRun
·
2023-10-02 06:47
ES快速入门-语法操作
比较ESmysqlindex(索引库)Database(数据库)Type(类型)Table(表)Document(文档)Row(行)field(字段)column(列)ES也有分片和副本机制,便于横向
扩容
YHH学JAVA
·
2023-10-02 04:03
#
ELK
elasticsearch
Hbase 基础面试题
(1)Hbase一个分布式的基于列式存储的数据库,基于Hadoop的
hdfs
存储,zookeeper进行管理。
Tim在路上
·
2023-10-02 03:33
闪电网络是什么
为解决交易拥堵的问题,提出了区块
扩容
方案,区块
扩容
的方案有其利弊的方面,可参见《比特币区块
扩容
那些事》;也提出了隔离见
等风的猴子
·
2023-10-02 01:29
k8s之Pod管理和部署
pod1.什么是pod2.静态pod4.pod容器共享volume二.pod的管理和配置1.pod的基本操作1>创建pod节点2>删除pod3>创建指定数量的pod4>查看节点标签5>暴露端口6>Pod
扩容
和缩容
小聪不吃葱
·
2023-10-01 22:00
k8s
企业实战
运维
深度解密Go语言之 map
目录什么是map为什么要用mapmap的底层如何实现map内存模型创建map哈希函数key定位过程map的两种get操作如何进行
扩容
map的遍历map的赋值map的删除map进阶可以边遍历边删除吗key
weixin_30496431
·
2023-10-01 20:55
runtime
golang
数据结构与算法
深度解密Go语言之map
课程详情:OLLQ对战平台实战课程预售开始这篇文章主要讲map的赋值、删除、查询、
扩容
的具体执行过程,仍然是从底层的角度展开。结合源码,看完本文一定会彻底明白map底层原理。
Golang语言社区
·
2023-10-01 20:53
定位
编程语言
python
java
webgl
HDFS
真死和假死
HDFS
真死和假死,其实就是processinformationunavailable状态的真假判断。一、真死我们先在/opt/software/hadoop-2.8.1/sbin目录下使用命令.
怀夕
·
2023-10-01 18:28
java大数据之hive
(1)建立在Hadoop
HDFS
上的数据仓库基础架构(2)可以用来进行ETL(3)定义了类似于SQL,成为HQL(4)允许MapReduce自定义1.2Hive官网http://hive.apache.org
这一刻_776b
·
2023-10-01 18:12
【备忘】 HADOOP技术内幕 PDF 下载
内容简介“hadoop技术内幕”共两册,分别从源代码的角度对“common+
hdfs
”和“mapreduce的架构设计和实现原理”进行了极为详细的分析。
javaxuexize
·
2023-10-01 17:10
做灵魂有香气的女子
有幸在现场聆听了宁静致远会长逐字逐句对主题和内容的分享,再一次提升了我的认知高度,
扩容
了我的格局。最近繁忙的工作,为了赶这场分享会中午没有午休,马不停歇加班做完各项工作赶到现场。
南飞雁_a82b
·
2023-10-01 16:42
hadoop
hdfs
命令行
创建
hdfs
目录\子目录hadoopfs-mkdir/userhadoopfs-mkdir/user/hduser查看目录hadoopfs-ls/hadoopfs-ls/user一次性查看所有目录hadoopfs-ls-R
竞媒体
·
2023-10-01 16:20
Kafka原理详解
为了做到水平扩展,一个topic实际是由多个partition组成的,遇到瓶颈时,可以通过增加partition的数量来进行横向
扩容
。
Yaphets丶混世大魔王
·
2023-10-01 15:35
#
kafka
kafka
kafka原理
百度网盘的
扩容
百度网盘的
扩容
怎么扩百度网盘的
扩容
通常需要购买额外的存储空间。以下是
扩容
百度网盘存储空间的一般步骤:登录百度网盘:首先,在您的计算机或移动设备上打开百度网盘,并使用您的百度账号登录。
Arenaschi
·
2023-10-01 14:03
截图其他
java
分布式
开发语言
Hadoop 系列(一)—— 分布式文件系统
HDFS
一、介绍
HDFS
(HadoopDistributedFileSystem)是Hadoop下的分布式文件系统,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。
heibaiying
·
2023-10-01 13:27
StarRocks调优 - Broker Load导入
BrokerLoad是StarRocks离线导入方式,用于将存储在
HDFS
、S3、OSS等外部存储的数据导入到StarRocks,支持CSV、ORCFile、Parquet等文件格式,适用于几十GB到上百
Asware
·
2023-10-01 12:39
数据仓库
数据仓库
第十五章 LVM 管理和ssm 存储管理器使用
本节所讲内容15.1LVM的工作原理15.2创建LVM的基本步骤15.3实战ssm工具为公司的邮件服务创建可动态
扩容
的存储池LVM的基本概念实战场景:对于生产环境下的服务器来说,如果存储数据的分区磁盘空间不够了怎么办
西南蔡徐坤
·
2023-10-01 11:30
感恩美好的一天21.1.24
我是光,我是爱,持续敞开,管道
扩容
,吸入光,呼出爱!赏赞美祝福自己,爱人,孩子,来到我的所有人事物今日收获点:【不用力】很重要用力得来的也很容易失去,
霁风
·
2023-10-01 11:35
准备用HashMap存1W条数据,构造时传10000还会触发
扩容
吗?存1000呢?
.面试题问题1.分析源码2.答案3.如何选择initialCapacity4.总结5.拓展:tableSizeFor的计算方式一.面试题问题准备用HashMap存1W条数据,构造时传10000还会触发
扩容
吗
Knight_AL
·
2023-10-01 11:28
java
java
面试
开发语言
上一页
77
78
79
80
81
82
83
84
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他