hdfs扩容第23页

笔记：分布式大数据技术原理（一）Hadoop 框架

Hadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MapReduce

WeeeicheN·2024-01-09 22:17

大数据技术原理与应用学习笔记（八）

大数据技术原理与应用学习笔记（八）本系列历史文章Hadoop再探讨Hadoop的优化与发展Hadoop1.0到Hadoop2.0不断完善的Hadoop生态系统HDFS2.0新特性HDFSHA（高可用性）

Ragnaros the Firelord·2024-01-09 22:46

大数据技术原理与应用笔记

参考：课程教学（林子雨老师）程序羊大数据学习路线HDFS入门Hbase入门NoSql入门文章目录一、大数据概述1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术1.5大数据

Moliay·2024-01-09 22:16

欲无缘·2024-01-09 22:03

HDFS概述

文章目录HDFS背景定义HDFS优缺点HDFS组成HDFS文件块大小HDFS背景定义背景先给大家介绍一下什么叫HDFS，我们生活在信息爆炸的时代，随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中

欲无缘·2024-01-09 22:32

扩容逻辑卷LVM流程

扩容流程信息采集挂载点及扩容大小扩容的文件系统类型VolumeGroup扩容扩容LVM扩容文件系统回测扩展信息采集挂载点及扩容大小确定挂载点，确定可扩容大小（比如本例89G->890.7G）$lsblksda8

SchopenhauerZhang·2024-01-09 21:21

Flume实时读取本地/目录文件到HDFS

目录一、准备工作二、实时读取本地文件到HDFS（一）案例需求（二）需求分析（三）实现步骤三、实时读取目录文件到HDFS（一）案例需求（二）需求分析（三）实现步骤一、准备工作Flume要想将数据输出到HDFS

Francek Chen·2024-01-09 18:38

系统存储架构升级分享 | 京东云技术团队

系统网络架构:部署架构对切量上线的影响-内部管理系统上线对其他系统的读业务无影响分布式缓存可进行单独扩容,与存储及查询功能升级无关通过缓存层的隔离,系统扩展期间外部系统可保持不变,只对内部管理系统升级内部系统上线

京东云技术团队·2024-01-09 18:36

EXSi 无法更改主机配置

Cannotchangethehostconfiguration_k月光疾风k的博客-CSDN博客_无法扩展vmfs数据存储datastore1官网：VMwareKnowledgeBase核心问题：你将硬盘扩容后

sxpnp·2024-01-09 16:08

深入解析Java线程池的扩容机制与拒绝策略

深入解析Java线程池的扩容机制与拒绝策略Java线程池是多线程编程中一项重要的工具，它能够有效地管理和调度线程，提高程序的并发性能。

极客李华·2024-01-09 15:14

6.1.CentOS7下安装Sqoop安装与使用

IT瘾君·2024-01-09 15:29

sqoop 安装与使用

1.上传sqoop2.安装和配置在添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用第一类：数据库中的数据导入到HDFS上sqoopimport--connectjdbc

麦香鸡翅·2024-01-09 15:27

秋招复习之哈希表

目录前言1哈希表哈希表常用操作哈希表简单实现哈希冲突与扩容2哈希冲突链式地址开放寻址线性探测平方探测多次哈希编程语言的选择3哈希算法哈希算法的目标哈希算法的设计常见哈希算法数据结构的哈希值总结前言秋招复习之哈希表

阿如村保安·2024-01-09 14:50

Hive基础知识（一）：Hive入门与Hive架构原理

2）Hive本质：将HQL转化成MapReduce程序（1）Hive处理的数据存储在HDFS（2）Hive分析数据底层的实现是MapReduce（3）执行程序运行在Yarn上2.Hive的

依晴无旧·2024-01-09 13:25

Hive基础知识(个人总结)

Hive的特点:Hive的执行延迟比较高,不支持直接修改,只能进行insertowewrite覆盖迭代式算法无法表达Hive架构:Hive和数据库比较Hive并不是数据库,自身没有存储数据的能力;本质是HDFS

hellosrc | forward·2024-01-09 13:54

hive基础知识大全

一、Hive基本概念1.1hive是什么hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据telupdown138383843813451567138383843953451567138383844012411657713838384413453157571383838434353551567567

不爱吃鱼的馋猫·2024-01-09 13:23

Hive基础知识

2）其本质是将SQL语句转换为MapReduce/Spark程序进行运算，底层数据由HDFS分布式文件系统进行存储。3）可以理解Hive就是MapReduce/SparkSql的客户端。

巷子里的猫X·2024-01-09 13:52

Hive 基础知识

1.Hive和HBase的区别HBase是一个用来处理HDFS上文件的NoSQL数据库，建立于HDFS之上。

辰阳星宇·2024-01-09 13:22

基于hadoop的hive数据仓库基础操作知识整理

Hive本质：将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn上1.2Hive的优

大包丫·2024-01-09 13:51

新加磁盘扩容Lvm

场景：服务器“/”分区不够用，新加了200G磁盘以供使用，现在需要扩容挂载并扩容。

checkQQ·2024-01-09 11:40

Java基础——HashMap

一、初始化HashMap实例赋值负载因子——扩容的阀值默认四分之三二、第一次新增元素1）put()方法hash(key)2）hash(key)方法key.hashCode()3）查看整型Integer和字符串

一幕戏龙·2024-01-09 10:54

PySpark的RDD持久化

是依照血缘关系，使用持久化技术->1.RDD缓存,把某个RDD保留，rdd.cache()缓存到内存，rdd.persist(StorageLevel.DISK_ONLY_2)缓存到本地硬盘上,2个副本，不支持存HDFS

February13·2024-01-09 07:32

hive基本操作与应用

1、通过hadoop上的hive完成WordCount启动hadoop2、Hdfs上创建文件夹/3、上传文件至hdfs4、启动Hive5、创建原始文档表6、导入文件内容到表docs并查看7、用HQL进行词频统计

weixin_34416649·2024-01-09 06:16

Hive基本操作

hive简单认识Hive是建立在HDFS之上的数据仓库，所以Hive的数据全部存储在HDFS上。

X晓·2024-01-09 06:45

Redis底层原理篇（SDS与IntSet）

1.SDS动态字符串2.intSetcontents[]整数数组存的是地址具备有序的特性有自动扩容机制，自动扩容时倒序赋值

Dennis_nafla·2024-01-09 06:48

Redis原理篇(Dict的收缩扩容机制和渐进式rehash)

Dict（即字典）Redis是一种键值型数据库，其中键与值的映射关系就是Dict实现的。Dict通过三部分组成：哈希表（DictHashTable），哈希节点(DictEntry)，字典（Dict）其中哈希表的底层是数组（发生冲突时扩展成链表），用来存放哈希节点。下面是哈希表和哈希节点的源码首先看到dictht,即DictHashTable的缩写，下面是对其中属性的解释：dictEntry**ta

Dennis_nafla·2024-01-09 06:13

大数据开发-某外包公司

1.用过那些组件2.说下HDFS读写流程3.说下varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别

劝学-大数据·2024-01-09 06:10

pulsar原来是这样操作topic的

在pulsar中，一个Topic的新建、扩容以及删除操作都是由Broker来处理的，而Topic相关的数据是存储在zookeeper上的。

林崇辉·2024-01-09 06:37

python虚拟环境可以运行pyspark_pyspark 与 python 环境配置

本篇主要介绍通过anaconda创建虚拟环境，并打包上传到hdfs目录。1.Anaconda安装bash~/Downloads/Anaconda2-5.0.1-Linux-x86_64.sh#如

weixin_39663729·2024-01-09 06:33

『HDFS』伪分布式Hadoop集群

博客引流本文是『Hadoop』MapReduce处理日志log(单机版)的旭文,maybe还有后续在搭建环境的时候发现很难搜到合适的教程，所以这篇应该会有一定受众伪分布式就是假分布式，假在哪里，假就假在他只有一台机器而不是多台机器来完成一个任务,但是他模拟了分布式的这个过程，所以伪分布式下Hadoop也就是你在一个机器上配置了hadoop的所有节点但伪分布式完成了所有分布式所必须的事件伪分布式Ha

gunjianpan·2024-01-09 04:31

【Java集合篇】HashMap 是如何扩容的

HashMap是如何扩容的✔️为什么需要扩容?✔️桶元素重新映射✔️链表重新链接✔️取消树化✔️拓展知识仓✔️除了rehash之外，哪些操作也会将树会退化成链表?✔️为什么需要扩容?

昕宝爸爸爱编程·2024-01-09 03:52

并发（11）

72.ConcurrentHashMapJDK1.7是如何扩容的？73.ConcurrentHashMapJDK1.8实现的原理是什么？

龙贝子·2024-01-09 01:07

配置日志聚集

所谓日志聚集，就是指应用运行完以后，将程序的运行日志信息上传到HDFS系统上。日志聚集可以方便的查看程序的运行详情，方便开发调试。

Manfestain·2024-01-08 21:30

ubuntu20.04扩容

ubuntu20.04对系统盘进行扩容先去阿里云后台购买扩容，然后在服务器执行扩容参考官方指导获取目标云盘信息fdisk-luDisk/dev/vda:50GiB,53687091200bytes,104857600sectorsUnits

F_angT·2024-01-08 20:55

linux根分区扩容教程,Linux教程CentOS根分区扩容方法

weixin_39966376·2024-01-08 19:46

centos7根分区扩容

Centos7根分区扩容以下操作演示使用一块新磁盘进行分区后对根分区进行扩容1.df-TH查看当前根分区容量，如图，只有4.3G。2.lsblk查看现在有块vdb磁盘可用来扩容根分区。

吴所谓@·2024-01-08 19:46

linux centos7根分区扩容

需求centos7默认安装后，“/home"分区很大，而”/"root分区很小。#查看分区名大小$df-h文件系统容量已用可用已用%挂载点devtmpfs32G032G0%/devtmpfs32G032G0%/dev/shmtmpfs32G53M32G1%/runtmpfs32G032G0%/sys/fs/cgroup/dev/mapper/centos-root50G25G25G50%//dev

_HooY·2024-01-08 19:39

hadoop命令汇总

启动和关闭hadoop服务一键启动/停止start-hdf.shstop-hdf.sh单进程关闭启动hdfs--daemonstop/start/statusnamenode或者hadoop--daemonstop

你很棒滴·2024-01-08 19:17

HDFS常用命令（方便大家记忆版）

1.文件操作(1)列出HDFS下的文件/usr/local/hadoop$bin/hadoopdfs-ls(2)列出HDFS文件下名为in的文档中的文件/usr/local/hadoop$bin/hadoopdfs-lsin

姚兴泉·2024-01-08 18:01

python3使用pyhdfs向hdfs中上传文件示例

1概述本文为使用pyhdfs包向hdfs中上传文件。主要用来测试hdfs当前服务的状态。同时，脚本支持namenodeha的方式。2包安装pip3installhdfs3脚本示例#!

杨航的技术博客·2024-01-08 16:11

C++中vector的insert参数问题

今天模拟实现vector的过程中，发现pos传参给insert后是不能直接使用的，如果扩容的话，就要更新pos，于是就像用引用来解决这个问题一般的pos还是能正常传参，但是如果传某容器的迭代器的话，就会报错原因

Hsifles·2024-01-08 15:41

全网最简单关于C盘扩容的方法(docker镜像文件过大需要迁移也可以看这里！)

下载spacesniffer找到占空间比较大的文件夹，将文件夹剪切到其他盘创建软连接，相当于一个快捷方式以管理员身份，运行命令行，输入命令mklink/d源文件夾路径(c盘里的)新文件夹路径tips:1.文件夹路径需要包含文件夹名字2.把文件夹剪切过去后,调用命令会自动生成对应快捷方式不需要手动创建！3.我把docker镜像文件和nutge包文件都映射了，C盘一下子多了20个G，不影响软件正常使用

ou.cs·2024-01-08 12:57

Hadoop学习之路（四）HDFS 读写流程详解

1.HDFS写操作1.1图解HDFS读过程hdfs写操作流程图.pngimage.png1.2数据写入过程详解1、使用HDFS提供的客户端Client,向远程的NameNode发起RPC请求；2、NameNode

shine_rainbow·2024-01-08 12:21

hashmap,hashtable,concurrenthashmap的介绍

底层数组+链表实现，无论key还是value都不能为null，线程安全，实现线程安全的方式是在修改数据时锁住整个HashTable，效率低，ConcurrentHashMap做了相关优化初始size为11，扩容

青青子衿zq·2024-01-08 11:48

实战Flink Java api消费kafka实时数据落盘HDFS

启动kafka生产3JavaAPI开发3.1依赖3.2代码部分4实验验证STEP1STEP2STEP35时间窗口1需求分析在Javaapi中，使用flink本地模式，消费kafka主题，并直接将数据存入hdfs

大数据程序终结者·2024-01-08 11:13

虚拟机扩容和内核编译

1.虚拟机扩容需要将虚拟机的快照全都删除，并且将运行的系统关机点击扩展，改为需要的磁盘大小安装gparted工具sudoapt-getinstallgparted如果报错，则按照出错内容修改，一般是出现下载错误

笔wei生花·2024-01-08 10:16

大数据 Yarn - 资源调度框架

Hadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn。

善守的大龙猫·2024-01-08 10:48

【技术分享】Hbase列式存储入门

分布式是因为HBase底层使用HDFS存储数据，可扩展也是基于HDFS的横向扩展能力，作为大数据的存储当然支持海量数据的存储，NoSQL非关系型数据库表结构和关系型数据库（如Mysql）的逻辑结构、物理结构很不一样

yestolife123·2024-01-08 08:44

服务器硬盘raid5扩容,超实用，物理服务器RAID扩容详解

服务器RAID卡，也称阵列卡，用于将多块物理硬盘组建成逻辑的卷，RAID卡是一个硬件，上面通常会配置Cache和电池，用于提升RAID性能和保护在断电情况下避免未落盘的数据丢失。配置RAID卡，通常有二种方式，第一种是在服务器启动的时候进入RAID卡图形配置界面；第二种是通过服务器远程控制卡。对RAID的一些普通操作，使用图形和web，比如新建raid，删除raid，添加热备盘，清除foreign

weixin_39705931·2024-01-08 08:14

Spark基础二

一.Spark入门案例总结1.读取文件:textFile(path):读取外部数据源,支持本地文件系统和hdfs文件系统.2.将结果数据输出文件上:saveAsTextFile(path):将数据输出到外部存储系统

MSJ3917·2024-01-08 07:52

推荐频道

hdfs扩容