hdfs扩容

flume系列之：flume消费kafka数据到HDFS生产参数配置

flume系列之：flume消费kafka数据到HDFS生产参数配置一、声明source、channel、sink二、通过channel关联source、sink三、source配置四、interceptor
最笨的羊羊·2023-08-29 08:19

深入理解ArrayList的动态扩容机制及应用

其中，其独特的动态扩容机制更是为其赢得了广泛的应用。我们不管在工作还是面试中，都会遇到ArrayList，本文将深入探讨ArrayList的动态扩容机制，以便我们在工作或者面试中用到。
修己xj·2023-08-29 08:18

flume系列之：记录一次消费大量Debezium数据，数据包含dml语句比较大，造成数据堆积在channel的解决方法

flume消费了大量的KafkaTopic数据，数据堆积在了channel中，造成数据sink到HDFS的时间比
最笨的羊羊·2023-08-29 08:48

Mycat教程+面试+linux搭建

面向企业应用开发的“大数据库集群”·支持事务、ACID、可以替代Mysql的加强版数据库·一个可以视为“Mysql”集群的企业级数据库，用来替代昂贵的Oracle集群·一个融合内存缓存技术、Nosql技术、HDFS
天雨编程·2023-08-29 08:38

redis学习笔记

数据结构String(二进制安全)底层结构是array（类似与java的ArrayList）内容小于1M时扩容是加倍现有的空间大于1M时每次扩容1M，最大长度512MList元素较少时会为元素分配一块连续的内存
一个坏人_9c31·2023-08-29 08:34

大数据之Sqoop1.99.7部署实战

Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS
涟漪海洋·2023-08-29 08:41

技术实践｜Hive数据迁移干货分享

近几年，随着行业内数据体量的不断增大，再加上国产化的趋势下，很多企业都开始着手对自己已有的大数据平台进行扩容、
中电金信·2023-08-29 07:56

Kubernetes 对接 GlusterFS 磁盘扩容实战

前言知识点定级：入门级使用HeketiTopology扩容磁盘使用HeketiCLI扩容磁盘实战服务器配置(架构1:1复刻小规模生产环境，配置略有不同)主机名IPCPU内存系统盘数据盘用途ks-master
KubeSphere 云原生·2023-08-29 07:56

两个hdfs之间迁移传输数据

本文参考其他大数据大牛的博文做了整理和实际验证，主要解决hdfs跨集群复制/迁移问题。
Data宁·2023-08-29 07:48

大数据集群需定期清理的文件（节省空间）

大数据集群需定期清理的文件（节省空间）1.由于HDFS有回收站，如何设置不合理的话，它会长时间占用集群资源，因此我们首先清理HDFS回收站。
墨卿风竹·2023-08-29 05:11

【Hadoop】DataNode 详解

目录一、DataNode简介二、DataNode工作机制三、DataNode文件结构四、HDFS中的chunk、packet和block五、心跳机制一、DataNode简
开着拖拉机回家·2023-08-29 04:11

释放低代码原力，用友YonBuilder助力太湖云打造多云管理平台

出品|常言道作者|丁常彦日前，在2021商业创新大会生态峰会上，用友ISV生态再次扩容，最新32家ISV融合产品与联合解决方案重磅发布。
常言道_·2023-08-29 01:38

epoll数据结构

查找频率很高的数据结构1.红黑树2.哈希（扩容缩容）3.b/b+tree（降低树的高度，磁盘）2、Epoll数据结构Epoll主要由两个结构体：eventpoll与epitem。
在三年之后·2023-08-29 00:49

[Rust]字符串

本质上&str是一个&[u8]切片，所以它没有所有权，它无权给这个字符串扩容或者释放内存。StringString存储在Vec中，它有管理的内存空间的所有权，所以可以增加内容。
Tsun424·2023-08-29 00:49

Nautilus Chain 主网上线拉开模块化序幕，一文纵览生态项目

自去年以来，以太坊创始人VitalikButerin提出了Layer3概念，他表示：●L2用于扩容，L3用于自定义功能，例如隐私。●L2用于通用扩容，L3用于定制化扩容。
金马1988·2023-08-29 00:35

VMware 虚拟机中 Linux 系统Centos7磁盘空间扩容

由于前期规划的磁盘空间过小，之前没有接触过虚拟机的扩容，简单的认为可以直接修改机器配置，修改磁盘大小，就可以进行扩容，解决
Le`soleil·2023-08-29 00:48

分布式数据存储建设方法论——从HDFS架构优化与实践分析

HDFS(HadoopDistributedFileSystem)就是
禅与计算机程序设计艺术·2023-08-29 00:44

服务器扩容是什么意思？

随着业务的发展和数据量的增长，服务器扩容成为提升性能和满足需求的重要解决方案。本文将介绍服务器扩容的概念、常见的扩容方式以及一些注意事项，帮助您有效地进行服务器扩容。什么是服务器扩容?
聚名网·2023-08-28 23:04

深入分析 Arbitrum 的安全机制

原作：Jun.CLayer2扩容解决方案是当前以太坊社区热议的话题，也是整个区块链技术社区正在讨论的热门话题。
DW5566·2023-08-28 22:19

Hive数据的导入

导入HDFS上的数据loaddatainpath'/home/centos/a.txt'in
一个人一匹马·2023-08-28 21:56

xfs ext4 结合lvm 扩容、缩容 —— 筑梦之路

ext4文件系统扩容、缩容操作扩容系统根分区根文件系统在/dev/VolGroup/lv_root逻辑卷上，文件系统类型为ext4，大小为10G，现在要将其扩容成20G。
筑梦之路·2023-08-28 19:34

k8s的学习篇1

通过k8s能够进行应用的自动化部署和扩容缩容。
健康平安的活着·2023-08-28 19:24

运维架构师：驱动企业运维向高效发展“

他们的职责包括设计各种运维解决方案，例如自动化代码上线、云计算和Docker微服务架构、服务自动化扩容等。他们还负责构建高可用系统，优化性能和架构，设计多IDC机房互联和全网数据备份方案。
枪哥玩转嵌入式·2023-08-28 18:24

信息化发展5

5）扩容骨干网互联节点，新设一批国际通信出入口，全面推进互联网
AbelZ_01·2023-08-28 17:32

【集合学习ConcurrentHashMap】ConcurrentHashMap集合学习

由很多个Segment组合，而每一个Segment是一个类似于HashMap的结构，其可以进行扩容。但是Seg
时间_wys·2023-08-28 12:30

FastDFS

FastDFS简介fdfs是一款有c语言开发的高性能文件服务器，专门存储中小型文件（互联网），支持在线扩容、冗余备份、负载均衡等功能。
舒十三·2023-08-28 11:15

Kubernetes入门 八、StatefulSet控制器

目录概述创建StatefulSetPod的管理策略扩容缩容镜像更新滚动更新分区更新删除更新删除概述Stateful翻译为有状态的，也是pod控制器的一种。
coder Ethan·2023-08-28 11:09

Kubernetes 对接 GlusterFS 磁盘扩容实战

前言知识点定级：入门级使用HeketiTopology扩容磁盘使用HeketiCLI扩容磁盘实战服务器配置(架构1:1复刻小规模生产环境，配置略有不同)主机名IPCPU内存系统盘数据盘用途ks-master
·2023-08-28 10:22

2 hadoop的目录

1.目录结构：其中比较的重要的路径有：hdfs,mapred,yarn（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本（2）etc目录：Hadoop的配置文件目录
水无痕simon·2023-08-28 09:24

4 hadoop集群配置案例

3）配置集群（1）核心配置文件，core-site.xmlcd$HADOOP_HOME/etc/hadoopvimcore-site.xml文件内容如下：fs.defaultFShdfs://hadoop102
水无痕simon·2023-08-28 09:48

ZooKeeper运维——集群动态迁移与扩缩容（不停机+不丢失）

文章目录一、前言二、zk集群动态迁移1、利用Observer机制2、切换客户端zk地址3、修改目的集群配置4、依次重启目的集群三、zk集群动态扩容1、Observer扩容2、Follower扩容（1）修改扩容节点配置
zxfBdd·2023-08-28 08:40

windows系统旧服务器RAID5硬盘全部更换扩容实例

目录一、场景二、要解决的问题三、问题分析和解决思路四、具体操作（重新配置磁盘阵列）各菜单项解释说明一、场景因业务需求，要架设1台服务器，而为了节约成本，利旧约10年前的1台旧服务器。二、要解决的问题将旧的3块160G容量RAID5硬盘（品牌型号相同）更换成3块容量为500G的硬盘（品牌型号相同），重新安装高版本的windows操作系统。三、问题分析和解决思路如果用500G硬盘逐一替换，最后全都替换
义一·2023-08-28 07:29

hadoop - 节点的服役和退役（HDFS）

1.首先需要克隆一台主机现在我这里已经有五台虚拟机，要克隆的目标主机为CentOS7-1810_04：当前状态启动集群后webUI如下：把要克隆的目标虚拟机关机，在VMware上选中目标主机->右键->管理->克隆：右键->管理->克隆然后下一步，选择克隆自：虚拟机中的当前状态：克隆自虚拟机中的当前状态继续下一步，克隆方法选择：创建完整克隆：创建完整克隆继续下一步，修改虚拟机名称和位置：修改虚拟机
静水流深ylyang·2023-08-28 07:34

0201hdfs集群部署-hadoop-大数据学习

文章目录1前言2集群规划3hadoop安装包上传与安装3.1上传解压4hadoop配置5从节点同步和环境变量配置6创建用户7集群启动8问题集8.1InvalidURIforNameNodeaddress(checkfs.defaultFS):file:///hasnoauthority.结语1前言下面我们配置下单namenode节点hadoop集群，使用vmware虚拟机环境搭建。vmware虚拟
gaog2zh·2023-08-28 06:31

Java后端开发面试题——集合篇

ArrayList底层的实现原理是什么底层数据结构ArrayList底层是用动态的数组实现的初始容量ArrayList初始容量为0，当第一次添加数据的时候才会初始化容量为10扩容逻辑ArrayList在进行扩容的时候是原来容量的
零维展开智子·2023-08-28 05:12

Kubernetes(K8s)2020版 介绍与特点（1）

k8s基本介绍1开源系统，主要用于自动部署、扩容缩容和管理容器化应用。它将诸多应用的容器分为若干个逻辑单元以便于管理和发现。
天海华兮·2023-08-28 03:49

【Java面试】HashMap和HashTable的区别、HashMap底层实现原理和扩容机制

一HashMap和HashTable的区别HashMap和HashTable都是Java中用于存储键值对的数据结构，但它们有一些重要的区别。以下是HashMap和HashTable的主要区别：线程安全性：HashMap是非线程安全的。多个线程可以同时访问和修改HashMap，如果没有适当的同步措施，可能会导致数据不一致或竞争条件。HashTable是线程安全的。它的方法都被同步（synchroni
良枫·2023-08-28 02:29

Java集合相关

扩容时ArrayList会扩容至原来容量的1.5倍，而Vector如果指定了自增量capacit
小胖六·2023-08-28 00:03

Centos虚拟机文件系统根目录扩容

一、查看centos7系统挂载点信息  使用df-h一查，虚拟机的文件系统根目录磁盘占用超过了98%，赶紧扩容二、扩展VMWare-centos7硬盘空间  关闭虚拟机，在虚拟机硬盘设置的位置将其容量调大三
小胡_鸭·2023-08-28 00:02

【大数据】PySpark 使用 FileSystem 操作 HDFS

需求：spark可以直接使用textFile读取HDFS，但是不能判断hdfs文件是否存在，不过pyspark可以调用java程序，因此可以调用FileSystem来实现：#coding=utf-8frompysparkimportSparkContextsc
焰火青春·2023-08-28 00:04

Apache Pulsar 技术系列 - GEO replication 中订阅状态的同步原理

导语ApachePulsar是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制（GEOReplication）、快速扩容、灵活容错等特性，GEOReplication
·2023-08-27 23:10

contOS7 Spark StandAlone HA 环境搭建

1.确定环境是否安装好搭建环境之前先确定自己的环境是否做好1.jdk1.8版本2.HDFSMapReduceHadoop3.2.1+3.zookeeper4.python环境3.8+点击直接查看1,23,4
大白菜程序猿·2023-08-27 23:11

写给钱宝宝的情书

亲爱的，可爱的，最爱的，我又开始给你写情书了，每当我开始给你写情书的时候，我感觉我又增加了一份对于你的爱随着我每天的表白，我发现，我的财富意识又扩容了，今天有几个瞬间，我的意识告诉我，2千万对我来说，是很容易的事
走路去南极·2023-08-27 22:24

ELK高级搜索（二）

7.6文档删除7.7文档bulk8．图解es内部机制8.1es分布式基础8.2分片shard、副本replica8.3单node环境创建index8.4多node环境replicashard8.5横向扩容
South.return·2023-08-27 21:55

阿里面试

阿里面试纪要记不清先后顺序了,想到什么记录什么JDKhashMaphashmap的实现原理,什么时候进行初始化为什么初始容量总是二的次幂多线程下的问题,扩容的实现线程线程实现顺序调度的方案thread.join
水表学Java·2023-08-27 19:44

大数据日常运维命令

1、HDFSNameNode/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.shstartnamenode/usr/local/fqlhadoop/hadoop
bigdata-余建新·2023-08-27 19:20

集合类-List

5、方法：add，添加元素到集合列表中，添加时需要判断数组长度是否超出初始容量，超出则对数组进行扩容处理。调用底层的System.CopyOf方法对数组进
struggle小青年·2023-08-27 19:51

二. hadoop环境搭建

image.png配置hadoopTODO格式化HDFS这一步操作，只是在第一次时执行，每次如果都格式化的话，那么HDFS上的数据就会被清空。
yanghx·2023-08-27 18:39

深入分析 Arbitrum 的安全机制

Layer2扩容解决方案是当前以太坊社区热议的话题，也是整个区块链技术社区正在讨论的热门话题。基于OptimisticRollups的Arbitrum是目前最具有吸引力的Layer2扩容解决方案之一。
DW5566·2023-08-27 17:47

[C++] STL_vector 迭代器失效问题

文章目录1、前言2、情况一：底层空间改变的操作3、情况二：指定位置元素的删除操作4、g++编译器对迭代器失效检测4.1扩容4.2erase删除任意位置（非尾删）4.3erase尾删5、总结1、前言**迭代器的主要作用就是让算法能够不用关心底层数据结构
小白在努力jy·2023-08-27 16:12
上一页 98 99 100 101 102 103 104 105 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他