hdfs扩容

HADOOP：：Fsimage和Edits解析

curent目录中产生如下文件fsimage_0000000000000000000fsimage_0000000000000000000.md5seen_txidVERSION(1)Fsimage文件:HDFS
星星失眠️·2023-12-04 09:15

Presto基础学习--学习笔记

1，Presto背景2011年，FaceBook的数据仓库存储在少量大型hadoop/hdfs集群，在这之前，FaceBook的科学家和分析师一直靠hive进行数据分析，但hive使用MR作为底层计算框架
祈愿lucky·2023-12-04 09:21

redis集群玩法全过程笔记（redis7+版本）

redis集群之哈希槽分区算法redis集群之为什么哈希槽数是16384redis集群之分片不保证一致性redis集群之三主三从集群搭建redis集群之集群读写redis集群之容错切换redis集群之扩容
肥学·2023-12-04 09:00

【大数据】区分 hdfs dfs -ls 与 hdfs dfs -ls /

区分hdfsdfs-ls与hdfsdfs-ls/1.hdfsdfs-lshdfsdfs-ls表示HDFS中的当前用户目录，即/user/用户名。
G皮T·2023-12-04 07:19

带你涨姿势，Hbase 概念原理扫盲 ！

Hbase是一个高可靠性（存储在hdfs上，有副本机制），高性能，面向列，
码农小光·2023-12-04 07:06

技术前沿丨Teranode如何实现无限扩容

发表时间：2023年9月15日BSV区块链协会的技术团队目前正在努力开发Teranode，这是一款比特币节点软件，其最终目标是实现比特币的无限扩容。
BSV区块链·2023-12-04 07:11

虚拟机扩容磁盘/dev/mapper/centos-root

虚拟机扩容磁盘/dev/mapper/centos-root1.在虚拟机管理界面增加磁盘大小或添加磁盘2.扩容操作lsblk-l#下面/dev/sdb每个人的可能不同，有/dev/sda或/dev/sdc
一个不专业的码农·2023-12-04 07:40

阅读 Flink 源码前必会的知识 - 命令行解析库 Apache Commons Cli

一、介绍一下ApacheCommonsCli，有一个感官的认识我们在使用一些开源项目时，会敲一些命令，有简单的，比如hadoopversion；有复杂的，比如flinkrun…，hdfsdfs-ls，等等
KK架构·2023-12-04 06:22

flink-connector-mysql-cdc_2.0.2

ververica.github.io/flink-cdc-connectors/master/content/connectors/mysql-cdc.html1、测试步骤：1）开启MySQLBinlog并重启MySQL2）启动HDFS
ykqidev·2023-12-04 06:49

Hadoop——分布式存储HDFS

HDFS集群环境部署VMware虚拟机中部署一、https://hadoop.apache.org中下载安装包二、环境分配三、上传、解压确认服务器创建、固定IP、防火墙关闭、Hadoop用户创建、SSH
A尘埃·2023-12-04 06:13

大数据技术合集（持续更新）

0.大数据技术演变史（来自通信院）1.起源：Google的三驾马车1.1GFS1.2BigTable1.3MapReduce2.开源大数据文件、对象、块存储2.1分布式文件系统：HDFS、Ceph、GlusterFS
amuseme_lu·2023-12-04 05:39

九、hdfs中Namenode元数据处理

1、元数据的由来在hdfs文件系统中，用户的每一次操作，都会对文件系统产生响应的影响，那么谁来记录这些影响呢？
弦之森·2023-12-04 05:37

八、hdfs文件系统副本块数量的配置

1、配置方式2、实际操作演示（1）在Hadoop用户的根目录下创建text.txt文件（2）上传文件hadoop@node1:~$hdfsdfs-lshdfs://node1:8020/Found4itemsdrwxr-xr-x-hadoopsupergroup02023
弦之森·2023-12-04 05:05

04数据平台Flume

Flume功能Flume主要作用，就是实时读取服务器本地磁盘数据，将数据写入到HDFS。Flume是Cloudera提供的高可用，高可靠性，分布式的海量日志采集、聚合和传输的系统工具。
kk_io·2023-12-04 04:20

LeetCode刷题 -- DFS

深度优先搜索算法，depth-first-searchDFS，是一种用于遍历或者搜索树、图的算法，这个算法会尽可能深的去搜索树的分支。
材料小菜鸟·2023-12-04 04:02

linux磁盘的LVM、交换分区以及文件系统

目录逻辑卷LVMLVM管理LVM特点LVM的制作创建物理卷创建卷组创建逻辑卷格式化文件系统挂载逻辑卷LVM的扩容添加硬盘做物理卷卷组扩容扩容逻辑卷给文件系统扩容LVM移除LVM的缩容交换分区查看当前交换分区
丨析木丨·2023-12-04 02:09

《财富计划》46天 复盘能量和意识卡点现在状况（一）

一、现在依然存在的扩容卡点是什么？1、还是会怕自己还不上信用卡，未来开启新的旅程没有足够的收入怎么办？之前的积蓄画完了入不敷出怎么办？还有50%卡住。
如果我是一只肥美的猪·2023-12-04 01:53

由红黑树引出的HashMap扩容机制的思考

红黑树是什么？三大特点：根节点是黑色，叶节点是不存储数据的黑色空节点任何相邻的两个节点不能同时为红色任意节点到其可到达的节点间包含相同数量的黑色节点联想：JavaHashMap底层红黑树原理HashMap基于哈希表Map接口实现，是以key-value存储形式存在，即主要用于存储键值对。HashMap特点：存取无序键和值位置都可以为null，但是键的位置为null只能有一个键位置是唯一的，底层数据
Benaso·2023-12-04 00:20

Kafka 集群增加节点（Broker）

背景：原集群三台主机节点，由于业务增长迅速，现需扩容三台节点，增加至六节点集群；原三台Zookeeper节点无需扩容。
天空海阔linan·2023-12-03 23:38

java学习part32StringBuffer和StringBuilder

Java中的值传递和引用传递（详解）-知乎(zhihu.com)146-常用类与基础API-StringBuffer与StringBuilder的源码分析、常用方法_哔哩哔哩_bilibili1.2.扩容机制不够用
BigOrangeSama·2023-12-03 22:04

Java集合之List集合

List的特点三、遍历方式3.1foreach3.2for循环3.3迭代器四、ArrayList4.1ArrayList概述4.1.1概念4.1.2数据结构4.2ArrayList的特点4.2.1自动扩容
许潜行·2023-12-03 17:48

java集合ArrayList常见使用合集

随着容器中的元素不断增加，容器的大小也会随着增加，在每次向容器中增加元素的同时都会进行容量检查，当快溢出时，就会进行扩容操作。所以如果我们明确所插入元素的多少，最好指定一个初始容量值，避免过多的进行扩
花落残月时·2023-12-03 17:24

Arraylist案例

Arraylist是使用最频繁的一个集合，它与数组类似，不同之处在于它可以动态改变长度，不够了可以扩容。
bit_Sakura·2023-12-03 16:26

大数据基础设施搭建 - 业务数据同步策略

文章目录一、全量同步1.1梳理需要全量同步的业务表1.2Sqoop:MySQLToHDFS1.2.1开发脚本1.2.2授予脚本执行权限1.2.3执行脚本1.2.4定时调度二、增量同步2.1梳理需要增量同步的业务表
m0_46218511·2023-12-03 16:42

Hadoop 1 ~ Hadoop 3 的发展史

Hadoop1的核心设计就是HDFS(HadoopDistributedFileSystem)和Map
大数据狂人·2023-12-03 14:34

大数据开发：HDFS Erasure Coding机制

Hadoop的分布式文件系统HDFS，其冗余备份机制，确保了数据存储的容错，但是同时也增加了冗余存储成本。今天的大数据开发分享，我们就来讲讲HDFSErasureCoding机制。
成都加米谷大数据·2023-12-03 14:29

Kubernetes-pod管理、资源清单的使用、Pod生命周期、控制器

目录一.pod基本操作1.创建pod节点2.删除pod3.创建指定数量的pod4.暴露端口5.Pod扩容6.pod缩容7.更新pod镜像8.版本回滚二.资源清单1.生成模板2.自主式Pod资源清单3.设定监听端口
dudududu--·2023-12-03 14:06

Hbase与Hive的区别与联系

Hive，通过元数据来描述HDFS上的结构化文本数据。因此，严格地讲，Hive并非数据库，主要是让开发人员能够通过SQL(HQL语
阿乐_822e·2023-12-03 12:13

一张图介绍集合框架

该图展示了集合框架图二是精简描述了各个集合实现类的默认大小，扩容机制的区别，常用哪些场景等等（其中操作（crud）的速度，其实是put，set等操作方法，只是由于集合的不同实现类，其添加元素的方法有所区别
浅爱542·2023-12-03 10:11

安装HammerDB遇到的问题

通过自己在配置好的yum源安装好缺少libXScrnSaver包之后启动在启动之后点击选择·语言之后系统开始报错，在网上也看了很多问题去办法去解决，但是没有解决好问题刚开始以为是内存以及cpu的问题然后我们进行扩容和添加内存和
加油鸭啦啦啦啦·2023-12-03 10:30

财富训练营55课（财富冥想）

激发身体赚钱冥想（放大爱钱的感受）经常用身体扩容钱的感觉，身体会对钱很兴奋、有幸福的感觉、开心的感觉，你就自发的能够接纳越来越多的钱宝宝。也就是从身体上开始扩容财富了！
12f223e9244a·2023-12-03 09:17

Redis hash表源码解析

整体数据结构：链式hash解决hash冲突、采用渐进式hash来完成扩容过程。
我不是攻城狮·2023-12-03 08:56

Linux文件系统 -- LVM

目录LVMLVM的创建流程扩容LVMLVM（LogicalVolumeManager）逻辑卷管理，底层是多块磁盘拼凑起来的，跟raid很像。
C000kie·2023-12-03 08:25

自动化部署 / 扩容openGauss —— Ansible for openGauss

前言大家好，今天我们为大家推荐一套基于Ansible开发的，自动化部署及扩容openGauss的脚本工具：AnsibleforopenGauss（以下简称AFO）。
openGauss社区·2023-12-03 07:56

Golang语言基础之切片

它非常灵活，支持自动扩容。切片是一个引用类型，它
小信啊啊·2023-12-02 21:01

Elasticsearch集群工作原理

引言ELasticsearch作为一个分布式搜索引擎，能够出色地支持集群模式、动态水平扩容、故障转移等分布式系统特性，这是其作为全文搜索引擎首选的重要原因。
MCNU云原生·2023-12-02 21:16

Hive----基本概念

3、本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上4.Hive的优缺点优点1)操作接口采用类
Hi杯酒故人·2023-12-02 21:21

Hadoop架构---HDFS补充知识点---三个模式/机制

1.安全模式在安全模式下不允许HDFS客户端进行任何修改文件的操作,包括上传文件，删除文件等操作。
Yan_bigdata·2023-12-02 19:29

Hive环境准备[重点学习]

1.前提启动hadoop集群hadoop在统一虚拟机中已经配置了环境变量启动hdfs和yarn集群命令:start-all.sh[root@node1/]#start-all.sh启动mr历史服务命令:
Yan_bigdata·2023-12-02 19:59

Hadoop进阶学习---HDFS分布式文件存储系统

1.hdfs分布式文件存储的特点分布式存储:一次写入,多次读取HDFS文件系统可存储超大文件,时效性较差.HDFS基友硬件故障检测和自动快速恢复功能.HDFS为数据存储提供很强的扩展能力.HDFS存储一般为一次写入
Yan_bigdata·2023-12-02 19:59

推荐系统lambda架构学习笔记之Hadoop、HDFS、YARN&MapReduce（三）

HadoopHadoop介绍Hadoop名字的由来作者：DougcuttingHadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名Hadoop的概念:Apache™Hadoop®是一个开源的,可靠的(reliable),可扩展的(scalable)分布式计算框架允许使用简单的编程模型跨计算机集群分布式处理大型数据集可扩展:从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储可
吃一口桃酥·2023-12-02 19:50

Hadoop之MapReduce学习笔记（一）

1、mapreduce整体工作机制介绍回顾第HDFS第一天单词统计实例（HDFS版wordcount）：统计HDFS的/wordcount/input/a.txt文件中的每个单词出现的次数——wordcount
weixin_30752377·2023-12-02 19:50

hadoop学习笔记——NO.4_HADOOP集群搭建与使用初步

HADOOP集群搭建与使用初步HADOOP集群搭建集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有
蔡茂昌·2023-12-02 19:20

2018-09-02

LinuxDNS查询剖析（第一部分）LinuxDNS查询剖析（第二部分）LinuxDNS查询剖析（第三部分）ADiveintotheElasticsearchStorage请教下es扩容的问题推荐30个用于微服务的顶级工具逐层拼接云原生栈深入了解
baitu·2023-12-02 19:44

用c语言实现通讯录

目录静态简易通讯录代码：功能模块展示：设计思路：动态简易通讯录（本质顺序表）代码：扩容模块展示：设计思路：文件版本通讯录代码：文件模块展示：设计思路：静态简易通讯录代码：//头文件内容#pragmaonce
想成为传火者·2023-12-02 19:47

Hdoop学习笔记（HDP）-Part.20 安装Flume

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:46

Hdoop学习笔记（HDP）-Part.17 安装Spark2

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:45

Hdoop学习笔记（HDP）-Part.18 安装Flink

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:45

Hdoop学习笔记（HDP）-Part.11 安装Kerberos

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:15

Hdoop学习笔记（HDP）-Part.12 安装HDFS

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:15
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他