hdfs扩容

打造自己的分布式MinIO对象存储

MinIO支持向现有MinIO集群中增加一个或多个ServerPool，从而实现水平扩容。当Min
张冲andy·2023-08-15 20:22

Apache Doris 入门教程26：资源管理

为了节省Doris集群内的计算、存储资源，Doris需要引入一些其他外部资源来完成相关的工作，如Spark/GPU用于查询，HDFS/S3用于外部存储，Spark/MapReduce用于ETL,通过ODBC
sunjian286·2023-08-15 19:13

大数据传输的定义与大数据传输解决方案的选择

常用的大数据传输技术有Hadoop分布式文件系统（HDFS）、基于TCP/IP协议的传输控制协议（TCP）、用户数据报协议（UDP）、文件传输协议（FTP）和远程复制协议（rsync）等。
镭速·2023-08-15 18:14

Java集合容器详解：ArrayList、LinkedList和HashMap、HashTable及其区别

文章目录一、简介二、ArrayList详解2.1动态数组2.2扩容机制2.3特点2.4操作三、LinkedList详解3.1双向链表结构3.2双向链表结构3.3操作四、HashMap详解4.1概述4.2
夏诗曼CharmaineXia·2023-08-15 17:34

Springboot实现文件上传

实现图片上传服务，需要有存储的支持，那么我们的解决方案有以下几种：1.直接将图片保存到服务的硬盘优点：开发便捷，成本低缺点：扩容困难2.使用分布式文件系统进行存储(MinioFastDFS)优点：容易实现扩容缺点
·2023-08-15 16:16

更强大、更智能的任务调度框架 - Openjob 1.0.6 发布

支持多种定时任务、延时任务、工作流设计，采用无中心化架构，底层使用一致性分片算法，支持无限水平扩容。
·2023-08-15 16:12

clickhouse分片集群部署与错误记录

副本虽然能够提高数据的可用性，降低丢失风险，但是每台服务器实际上必须容纳全量数据，对数据的横向扩容没有解决。要解决数据水平切分的问题，需要引入分片的概念。
滑冰选手库里·2023-08-15 12:29

Hadoop组件

HDFS（hadoop分布式文件系统）是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。
叱咤少帅（少帅）·2023-08-15 08:20

C++的vector

empty()reserve()operator[]insert()erase()resize()迭代器失效问题迭代器失效,实际就是迭代器底层对应指针所指向的空间被销毁了,而使用一块已经被释放的空间1.扩容导致迭代器失效问题在对容器进行
梦想很美·2023-08-15 07:54

Kubernetes 部署DolphinScheduler 创建租户失败

后台日志如下源代码跟踪org.apache.dolphinscheduler.api.service.impl.TenantServiceImpl/ifhdfsstartupif(PropertyUtils.getResUploadStartupState
ATM006·2023-08-15 07:07

Clickhouse基于文件复制写入

背景目前clickhouse社区对于数据的写入主要基于文件本地表、分布式表方式为主，但缺乏大批量快速写入场景下的数据写入方式，本文提供了一种基于clickhouselocal客户端工具分布式处理hdfs
humanity11·2023-08-15 06:11

算法通过村第三关-数组基础笔记|爱不起的数组

文章目录前言线性表的概念什么是线性表从语言实现的角度看从存储的角度看从访问限制的角度看从扩容的角度看数组的概念数组元素的特征数组的基本操作数组的创建和初始化查找一个元素增加一个元素删除一个元素总结前言提示
师晓峰·2023-08-15 05:27

一致性哈希分片与取余分片扩容指南

一致性哈希分片与取余分片扩容指南假设有10个分片节点，1000万的数据量，主键从100万开始自增。
小小哭包·2023-08-15 03:44

太能“装”了，只要学会这些扩容技巧，小户型也能有大胃口

购买新房有的人可能会买大一点的，有这个人会买小一点的，如果是小一点的房子，装修的时候如何才能让房子更大，更有空间呢，其实这里面是有一些技巧的，今天教大家，希望能有帮助。【客厅】客厅的装修是家居装修当中非常重要的一个环节，巧妙的选择材料，利用材料本身的特色就可以打造出一个视觉上的通透效果，让客厅看起来更加的大。风格客厅功能区域的隔断类型比较多，我们可以使用简单的玻璃隔断，在划分的时候也不影响室内整体
钢结构车间·2023-08-15 02:01

解决WSL2的docker删除镜像后，磁盘空间不释放问题

这个vhdx后缀的虚拟磁盘文件特点是可以自动扩容，但是一般不会自动缩容。一旦有很多文件把它“撑大”，即使把这些文件删除它也不会自动“缩小”。所以删除文件后还需要我们手动进行压缩才能释放磁盘空间。
清晨的光明·2023-08-15 01:45

大数据面试题：说下Spark中的Transform和Action，为什么Spark要把操作分为Transform和Action？

输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallel
蓦然_·2023-08-15 01:37

大数据面试题全面总结（范围广超详细）

Hadoop面试题总结Hadoop面试题（一）Hadoop面试题总结（二）——HDFSHadoop面试题总结（三）——MapReduceHadoop面试题（四）——YARNHadoop面试题总结（五）—
蓦然_·2023-08-15 01:06

大数据面试题：介绍下Hadoop

2、说下Hadoop核心组件Hadoop自诞生以来，主要有Hadoop1.x、2.x、3.x三个系列多个版本；Hadoop1.x组成：HDFS（具有高可靠性、高吞吐量的分布式文件系统，用于数据存储），MapReduce
蓦然_·2023-08-15 01:06

大数据面试题：Hadoop中的几个进程和作用

面试题来源：《大数据面试题V4.0》大数据面试题V3.0，523道题，679页，46w字可回答：1）启动Hadoop，都会有什么进程参考答案：1）NameNode：Master，它是一个主管、管理者管理HDFS
蓦然_·2023-08-15 01:06

代码随想录一刷day60

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、力扣84.柱状图中最大的矩形前言一、力扣84.柱状图中最大的矩形Stackst=newStack();//数组扩容，在头和尾各加入一个元素
乱世在摸鱼·2023-08-14 23:12

SparkStreaming优雅关闭

开启另外一个线程每5秒监听HDFS上一个文件是否存在。
Map_Reduce·2023-08-14 23:41

服务器扩展未生效

服务器扩容未生效在阿里云付费扩容后，在服务器里面看未生效。阿里云->实例与镜像->实例->选择实例->云盘->扩容进入linux服务器查看：df-hvda1扩容未生效。
摩尔小哥·2023-08-14 23:04

13、分布式架构-MyCat

缺点：扩容麻烦按照范围分片：比较好扩容，数据分布不均匀按照时间分片：比较容易将热点数据区分出来按照枚举值分片：例如按照地区分片按照目标字段前缀指定进行分区：自定义业务规则分片2架构图两个服务器节点10.0.0.51
一个反派人物·2023-08-14 22:04

CentOS重新调整分区大小

的时候分配的动态扩充虚拟磁盘，共1T大小，在安装Centos时默认分区，系统仅给/分配50G，而大量空间都挂载到/home下，最近Nextcloud使用中发现空间已不足够，所以就想如何将/home下的空间重新分配扩容到
c61975976533·2023-08-14 21:09

2020-08-08：ConcurrentHashMap学习

ConcurrentHashMap中的原子操作全部用的时Unsafe的方法，这个Unsafe方法要了解下ConcurrentHashMap的功能实现1.ConcurrentHashMap初始化重要的参数sizeCtl：初始化和扩容都有用到
Mr钧·2023-08-14 20:51

使用 Amazon MemoryDB for Redis 作为 JuiceFS 的元数据引擎

JuiceFS也提供如HDFS兼容的API、S3兼容的API等多种类型接口，适用于不同的数据使用场景。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技
亚马逊云开发者·2023-08-14 17:21

Redis集群(Cluster和Codis)

当我们遇到一个大数据量存储情况时，有两种解决方案：纵向扩容：升级单个redis实例的配置，包括增加内存容量、磁盘容量，以及使用更高的cpu配置。纵向扩容：简单直接。
木木没有夕·2023-08-14 15:06

数据分析工具篇——MapReduce结构

公众号后台回复“图书“，了解更多号主新书内容作者：livan来源：数据python与算法前面我们介绍了HDFS，作为HDFS的第一代上层架构，我们必须讲解一下hadoop的MapReduce结构，可以说这一结构促进了大数据的兴起
IT农民工1·2023-08-14 14:39

【原创 Hadoop&Spark 动手实践 3】Hadoop2.7.3 MapReduce理论与动手实践

开始聊MapReduce，MapReduce是Hadoop的计算框架，我学Hadoop是从Hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。
weixin_33812433·2023-08-14 14:09

谁能讲清楚Spark之Spark逻辑处理流程

一.spark处理流程概览spark典型的逻辑处理流程包括四部分：1数据源：数据源表示的是原始数据，数据可以存放在本地文件系统和分布式文件系统中，如HDFS、分布式Key-Value数据（HBase）等
数据咩·2023-08-14 14:39

ZDH大数据采集平台-采集mysql数据到hdfs

目录项目源码创建mysql数据源创建本地hdfs数据源配置采集任务配置调度点击执行记录查看具体日志高级使用项目源码数据采集平台管理端https://github.com/zhaoyachao/zdh_web
啊大海全是水·2023-08-14 12:30

ZDH大数据采集平台-数据源管理

数据采集平台支持的多种数据源，在4.7.18版本中支持以下数据源JDBC：（常用数据库，oracle,mysql,postgresql,sqlserver,clickhouse,gbase,达梦，greenplum,hive）HDFS
啊大海全是水·2023-08-14 12:00

Python 使用Hadoop 3 之HDFS 总结

Hadoop实现一个分布式文件系统（HadoopDistributedFileSystem,HDFS）。
在奋斗的大道·2023-08-14 08:31

JAVA面试知识点

HashMap为什么要进行扩容，扩容后原来的元素怎么进行处理？JDK8为什么在链表长度大于8时改用红黑树？为什么说HashMap是线程不安全的？
Toplhyi·2023-08-14 06:35

07-HDFS入门及shell命令

1文件系统是一种存储和组织数据的方法，它使得文件访问和查询变得容易使得文件和树形目录的抽象逻辑概念代替了磁盘等物理设备使用数据块的概念，用户使用文件系统来保存数据不必关心数据底层存在硬盘哪里，只需记住这个文件的所属目录和文件名文件系统通常使用磁盘和光盘这样的存储设备，并维护文件在设备中的物理位置。文件系统是一套实现了数据的存储、分级组织、访问和获取等操作的抽象数据类型（Abstractdataty
书香恋仁心·2023-08-14 05:36

从虚拟化到云原生，企业和工程师应该怎么做？---思考分享

2.为了解决业务系统的弹性扩容、业务连续性、高可用性加速催生了云时代的快速迭代。
A ?Charis·2023-08-14 05:51

Hadoop数据压缩

4.1概述压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。
码农GG·2023-08-14 02:17

golang—面试题大全

目录标题sliceslice和array的区别slice扩容机制slice是否线程安全slice分配到栈上还是堆上扩容过程中是否重新写入go深拷贝发生在什么情况下？
终生成长者·2023-08-14 01:35

nginx负载均衡

并且当服务器出现宕机或者扩容时，也能正常运行。负载
两三仟·2023-08-13 19:47

顺序表和链表的区别

不同点顺序表链表存储空间物理上一定连续逻辑上连续，但物理上不一定连续随机访问支持O(1)不支持：O(N)任意位置插入或者删除元素可能需要搬移元素，效率低O(N)只需修改指针指向插入动态顺序表，空间不够时需要扩容没有容量的概念应用场景元素高效存储
Hiland.·2023-08-13 18:20

springboot mongodb 配置多数据源

网上大多都是明确知道自己是几个数据源，然后每个数据源具体配置，然后业务代码调用的时候，直接注入不同的数据源，这样的话，不太利于以后的数据库扩容。
rgbhi·2023-08-13 17:11

Java集合底层源码剖析-ArrayList和LinkedList

文章目录ArrayList基本原理优缺点核心方法的原理数组扩容以及元素拷贝LinkedList基本原理优缺点双向链表数据结构插入元素的原理获取元素的原理删除元素的原理Vector和Stack栈数据结构的源码剖析
猿与禅·2023-08-13 15:31

Linux命令 -- grep

Linux命令--grep查找文件内容，输出满足条件的行递归查找目录下的子文件查找文件内容，输出满足条件的行文件完整内容如下[hdfs@vml~]$catasd.txthellohelloworldHelloHelloWorldintheasd.txttodayisasunnyday
今天多喝热水·2023-08-13 15:29

Linux命令 -- find

find按文件名查找按类型查找按用户或用户组搜索按时间查找按文件名查找[root@192root1]#pwd/home/root1[root@192root1]#lltotal4-rw-r--r--.1hdfshdfs400Aug801
今天多喝热水·2023-08-13 15:28

反向代理、DNS轮询与负载均衡

DNS轮询是通过在DNS服务器上对一个域名设置多个ip解析，每一个ip对应的是一个Ng，可以增加入口的Nginx实例个数，起到水平扩容的作用，解决反向代理层的扩展问题。
萝灏·2023-08-13 14:37

HDFS 节点Decommission速度优化

dfs.namenode.replication.work.multiplier.per.iteration32每次复制的块的个数为dn的个数*该参数dfs.namenode.replication.max-streams64进行复制任务分配时，单个DN任务的最大值dfs.namenode.replication.max-streams-hard-limit128若DN的复制任务大于改值时，不会将
迷茫_小青年·2023-08-13 14:48

重启服务器引发的Docker异常

公司使用云服务器需要硬盘扩容，服务器重启才生效。重启以后发现拉取远程镜像的命令登录失败了！然后发现找不到容器和镜像列表了，但是容器都启动了。
钦拆大仁·2023-08-13 12:07

IDEA 中使用 Big Data Tools 连接 Flink Kafka HDFS

IDEA中使用BigDataTools连接大数据组件https://mp.weixin.qq.com/s?__biz=Mzg3MDE0MjUzMA==&mid=2247484619&idx=1&sn=5afd58da2392ff0cef2204bd994fdce9&chksm=ce9303e6f9e48af0527bb3c6532f7d10f68d1a147cbb94a7900a883b1bfb9
JasonLee实时计算·2023-08-13 12:02

1.阿里云对象存储OSS

实现文件上传服务，需要有存储的支持，解决方案有以下几种：存储方式优点缺点直接保存到硬盘开发便捷，成本低扩容困难分布式文件系统容易实现扩容开发复杂，需要成熟产品支持第三方存储服务开发简单，强大功能，免维护付费
LB_bei·2023-08-13 12:08

虚拟机/双系统Ubuntu扩容

虚拟机Ubuntu扩容1.需要删除所有的快照2.扩展虚拟机磁盘大小虚拟机(M)→设置(s)→硬盘(SCSI)→扩展磁盘容量3.Ubuntu内调整分区大小安装gparted分区工具：sudoapt-getinstallgparted
C++有手就行·2023-08-13 11:02
上一页 106 107 108 109 110 111 112 113 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他