hdfs扩容

Java 中 HashMap 的扩容机制是怎样的？

当存储的元素数量增加时，为了保持较好的性能，HashMap需要进行扩容。HashMap的扩容机制是为了减少哈希碰撞，提高查询效率。
这孩子叫逆·2024-08-27 05:55

STL 容器和适配器的特性简介

底层数据结构为一个中央控制器和多个缓冲区，详细见STL源码剖析P146，支持首尾（中间不能）快速增删，也支持随机访问stack底层一般用23实现，封闭头部即可，不用vector的原因应该是容量大小有限制，扩容耗时
小菜鸡的蜕变之路·2024-08-27 04:24

doris跨hdfs集群迁移数据

官网-数据备份步骤一，在dorisA集群执行：CREATEREPOSITORY`repotestall`WITHBROKER`broker_name`ONLOCATION"hdfs://xx.xx.xx.xx
州周·2024-08-27 00:27

【初阶数据结构】顺序表与链表的比较（附题）

目录一、顺序表和链表的区别（其他链表存在缺陷，比较意义不大，这里用带头双向循环链表与顺序表进行比较）1.1插入、扩容与随机访问二、缓存利用率的比较2.1前置知识详解及补充知识（本文仅为比较顺序表及链表，
ZLRRLZ·2024-08-26 22:21

Java笔试面试题AI答之集合（5）

1.底层实现2.性能3.线程安全4.扩容机制5.构造方法3
工程师老罗·2024-08-26 22:45

Java重修笔记 第四十一天 ArrayList的扩容机制、ArrayList和Vector的区别

ArrayList集合的扩容机制1.ArrayList中维护了一个Object类型的数组elementData，其数据就存放在里面transientObject[]elementData;2.使用无参构造创建的
Super Minion·2024-08-26 17:31

Java重修笔记 第四十二天 LinkedList 类、ArrayList 和 LinkedList 比较

的内部类Node对象）中有三个属性，prev指向前一个结点、next指向后一个结点、item存储元素的值，来实现双向链表4.双向链表只需要操作prev和next的指向就可以完成添加的删除操作，不存在数组扩容和数据前
Super Minion·2024-08-26 17:00

zookeeper+KAFKA 集群搭建

因为Kafka集群是把状态信息保存在Zookeeper中的，并且Kafka的动态扩容是通过Zookeeper来实现的，所以需要优先搭建Zookeer
懵逼的运维弟弟·2024-08-26 16:28

“扩容”你的内在生命力

这个内在的生命力就像一个容器，每当我们跟随内心，遵从自己的意志，在现实世界中创造（达成）了一个在外之物（成就或目标），无论大小，都会拓宽这个内在的空间，也就是“扩容”。
宁静雪·2024-08-26 13:28

Hadoop入门基础（五）：Hadoop 常用 Shell 命令一网打尽，提升你的大数据技能！

1.2启动和停止Hadoop集群start-dfs.shstart-yarn.shstop-dfs.shstop-yarn.shstart-dfs.sh和stop-dfs.sh分别用于启动和停止HDFS
william.zhang(张)·2024-08-25 15:52

2022年靠信息差赚钱的项目——专做大众不知道的行业

原来，淘宝的工程师，当时在计算流量的时候，已经在2017年双十一的基础上，再扩容了3倍。结果，春晚一开始，就超了3倍。最后统计数据一看，最高的峰值竟然达到了双十一的15倍。
高省APP大九·2024-08-25 10:27

HDFS的编程

一、HDFS原理HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分
卍king卐然·2024-08-25 07:02

Hadoop 的基本 shell 命令

Hadoop的基本shell命令主要用于与Hadoop分布式文件系统（HDFS）和MapReduce进行交互。
难以触及的高度·2024-08-24 14:22

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark
我码玄黄·2024-08-24 12:09

ArrayList动态扩容机制(长度可变原理)

当数组添加满了后，会自动扩容为1.5倍。原理讲解：1.用空参构造函数创建ArrayList集合容器。
冷雪言·2024-08-24 04:43

vmware 虚拟机磁盘扩容

扩容关闭虚拟机设置->硬盘->扩展，输入扩展后的磁盘大小使用fdisk工具p显示分区信息d删除分区n创建分区t修改分区id挂载该分区到文件系统扩展根目录由于已经有分区挂载在该目录下我们只要扩展这个分区的大小即可使用
kur0mi·2024-08-23 10:59

Java面试题-分布式

单体项目将不同服务进行拆分，拆分后的服务可以支持横向扩容，避免因为单台服务器问题影响整体项目。场景2:数据库拆分。数据库读写分离，分库分表等提升性能。
迷茫的21世纪的新轻年·2024-08-22 04:18

大数据存储

曾经负责过一款底层存储系统的测试工作，最近看hdfs的文章发现，从架构上真心没啥特别大的区别。
龙哥vw·2024-08-22 02:32

docker swarm如何让两个副本分别跑在两台不同的主机上

虽然dockerswarm支持自动扩容部署，但是为了服务的稳定性、可靠性，有的时候甲方巴巴会要求一定要服务分散部署在不同的服务器上。
GaoJamie·2024-08-22 00:22

服务器扩容时该如何选择合适大小的CPU和内存？

服务器扩容时，CPU和内存的搭配是一个重要的考虑因素，因为它直接影响到服务器的性能和资源利用率。
Jtti·2024-08-21 19:50

Azkaban各种类型的Job编写

Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java任务hive：支持执行hiveSQLpig：pig脚本任务spark：spark任务hdfsToTeradata
__元昊__·2024-03-28 21:00

Linux（centos7）部署hive

前提环境：已部署完hadoop(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL
灯下夜无眠·2024-03-28 12:44

关于HDP的20道高级运维面试题

HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive
编织幻境的妖·2024-03-26 15:34

云服务器 linux 扩容后不生效问题

//查看磁盘信息fdisk-ldf-h//操作mount/dev/vda//文件系统类型是xfs执行下面xfs_growfs/dev/vda1//如果有必要就重启服务器init6
GoToDinner·2024-03-20 04:12

【笔记】HDFS基础笔记

启动hadoop命令（未配环境变量）：进入hadoop安装目录输入./sbin/start-dfs.sh已配环境变量：start-dfs.sh关闭hadoop命令：stop-dfs.sh启动完成后，可以通过命令jps来判断是否成功启动，若成功启动则会列出如下进程:"NameNode"、"DataNode"和"SecondaryNameNode"三种Shell命令方式：1.hadoopfs2.had
哇咔咔哇咔·2024-03-20 04:12

了解比特币分叉：演变与分歧

文章目录一、分叉的定义1.1软件分叉1.2共识分叉二、货币分叉类型2.1软件分叉2.2Blackcoin三、共识分叉和扩容争论3.1比特币软分叉3.2扩容辩论和硬分叉提案3.31MB块限制的起源3.4早期对区块大小的不满
杰哥的技术杂货铺·2024-03-16 13:49

hive库表占用空间大小的命令

1、查每个hive表占用的空间大小hdfsdfs-du-h/user/hive/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/hive/warehouse/ipms.db|
刀鋒偏冷·2024-03-15 13:13

redis的优缺点和为什么要用redis做缓存

Zset五种数据类型，满足多场景需求支持主从复制，实现读写分离，分担读的压力支持哨兵机制，实现自动故障转移缺点数据存储在内存，主机断电则数据丢失存储容量受到物理内存的限制，只能用于小数据量的高性能操作在线扩容比较困难
菜鸡的我想成为高手·2024-03-15 11:40

AMEYA360 | 兆易创新推出GD32F5系列Cortex®-M33内核MCU

GD32F5系列高性能MCU具备显著扩容的存储空间、优异的处理能效和丰富的接口资源，该系列MCU符合系统级IEC61508SIL2功能安全标准，并且提供完整的软硬件安全方案
皇华ameya·2024-03-14 06:29

HDFS

（一）HDFS简介及其基本概念  HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般
weixin_51987187·2024-03-12 14:32

Oracle将归档日志从 ASM 拷贝到 Linux 文件系统中操作步骤

Oracle–将归档日志从ASM拷贝到Linux文件系统中操作步骤适用场景：备份出现问题，ASM中归档日志磁盘组空间不足，暂时无法扩容，数据库不可用。
冥净·2024-03-12 14:01

大数据开发（Hadoop面试真题-卷二）

2、请解释一下HDFS架构中NameNode和DataNode之间是如何通信的？3、请解释一下Hadoop的工作原理及其组成部分？4、HDFS读写流程是什么样子？
Key-Key·2024-03-12 02:15

docker-swarm集群管理命令

我的需求场景：不想直接用docker或者java-jar直接跑，修改前是使用java-jar方式，这两种方式想要动态扩容和动态负载均衡在没有比较好的CI/CD工具的条件下还是比较麻烦的。
chenzfp·2024-03-09 12:39

大数据开发（Hadoop面试真题-卷九）

2、既然HBase底层数据是存储在HDFS上，为什么不直接使用HDFS，而还要用HBase?3、Sparkmapjoin的实现原理？4、Spark的stage如何划分？
Key-Key·2024-03-09 10:06

大数据开源框架技术汇总

目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖·2024-03-08 20:48

39

很意外的是樊星平时说句话都费劲谈单时候还挺专业他明显不太懂技术方面对于产品知识却非常了解盛赫咺使坏故意摆了他一道原本根据恒业的需求樊星提出三种配置祝谨言原本比较倾向最高配那种盛赫咺说暂时用不到以后如果有必要可以扩容对于熙凝来说即便是比较中庸的配法也已经是不少钱了最高的那种在樊星出方案时候她就没报什么希望她看小祝总和对方技术态度都差不多了就赶快趁热打铁
盛菸兒·2024-03-07 10:04

hbase、hive、clickhouse对比

概念架构hbasemaster存储元数据、regionServer实际控制表数据，存储单位是Region，底层数据存储使用HDFShive通过driver将sql分解成mapreduce任务元数据需要单独存储到一个关系型数据库
freshrookie·2024-03-05 16:40

数据结构·顺序表实现通讯录

目录1基本格式2结构体的声明3初始化销毁扩容插入删除4增加联系人5查看通讯录6删除联系人7查找联系人8修改联系人9整体代码引言：有了前面顺序表的基础，我们可以尝试利用顺序表实现通讯录，日常使用中，通讯录可以实现的功能有增加联系人
XY.散人·2024-03-03 21:44

【Hadoop】使用Metorikku框架读取hive数据统计分析写入mysql

一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置，具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:
方大刚233·2024-03-03 06:23

什么是云容灾？它与传统数据备份有什么不同？

云容灾，也叫做云灾备（英文名：CloudDRaaS）是以云服务的方式为企业提供提供数据容灾备份服务，企业无需投入大量时间、人力、资源成本，具有即开即用，按需付费，弹性扩容，方便管理等特点。
北京数据中心机房·2024-02-25 22:49

迅雷网盘免费扩容方法，分享5个迅雷网盘超级会员便宜购买渠道

因此，本文将分享一些免费扩容迅雷网盘的方法，并介绍5个迅雷网盘超级会员的便宜购买渠道。迅雷网盘是一款非常受欢迎的云存储服务，它允许用户上传和存储文件，并与其他人共享。然而，它的默认
全网优惠分享君·2024-02-25 12:47

zookeeper动态扩缩容（无需重启）

目录一、启动一个zk二、扩容一个zk三、缩容一个zk四、重新配置集群的节点前言：zookeeper动态扩/缩容的reconfig命令旨在不需要重启zookeeper中任何一个节点的情况下，对整个zookeeper
cj_eryue·2024-02-24 19:02

【云学院干货】数据仓库服务：在冗余海量数据中找到正确决策

传统数据仓库在大数据时代处于劣势，用户需要自己搭建软硬件，运维维护的成本非常大，投入高周期长，而且如果数据量大，扩容的工作非常难以实现。业务数据上云，在公有云上托管成为必然趋势。
舒意从生·2024-02-24 07:21

明天股市大盘走势预测

金融板块大涨时，大多数个股跌跌不休，金融下跌，也跟着下跌，这就是不断扩容的后果。睁大
05ccd5c4766a·2024-02-20 23:00

基于Docker搭建hdfs分布式实验环境

理论知识DockerDocker是一个开源的应用容器引擎，基于Go语言并遵从Apache2.0协议开源。Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口，容器性能开销极低。Docker能够将应用程序与基础架构分开，从而可以快速交付软件。借助Docker，开发者可以与管
dejiedoor·2024-02-20 22:38

docker搭建hadoop hdfs完全分布式集群

这里注意，在做好的镜像里，要安装which工具，否则在执行hdfs命令时会报命令不存在异常。
shangcunshanfu·2024-02-20 22:08

基于docker安装HDFS

1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau/hadoop-cluster-docker4.创建网桥由于Hadoop的master节点需要与slave节点通信，需要在各个主机节点配置节点IP，为了不用每次启动都因为IP改变了而重新配置
core512·2024-02-20 22:02

Go切片数组深度解析

Go数组原理Go切片的特性Go切片的扩容Go数组原理数组简单描述就由相同类型元素组成的数据结构,在创建初期就确定了长度，是不可变的。
Tim在路上·2024-02-20 21:49

HIVE中MAP和REDUCE数量

1、输入就不用说了，数据一般放在HDFS上面就可以了，而且文件是被分块的。关于文件块和文件分片的关系，在输入分片中说明。2、输入分片：在进行Map阶段之前，MapReduce框架会根据输入文件计算输
这孩子谁懂哈·2024-02-20 20:38

Kafka痛点与Puslar介绍

ApacheKafka作为一款成熟的消费队列得到了很广泛地运用.但以2019年的角度来看,存在一些痛点.存储计算没有分离,难以扩容和缩容没有IO隔离,写高了读不动,读高了写不动没有多租户IO模型过于简单
weidajiangjiang·2024-02-20 19:34
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他