hdfs扩容

hive数据调优

hive作为数据仓库工具，可以查看HDFS结构化文件内容，使用sql进行数据加工处理。
稻草人_d41b·2023-08-27 16:59

VMWare 16.0给Ubuntu虚拟机扩容

不知道为什么，在平台搜索“虚拟机扩容”时，出来的都是一些长篇大论；要在扩容之后，再在虚拟机系统的命令行大动一番干戈。
学书才浅·2023-08-27 15:20

java线程池自动扩容

线程池构造方法有几个重要参数：publicThreadPoolExecutor(intcorePoolSize,//核心线程数intmaximumPoolSize,//最大线程数longkeepAliveTime,//当线程数大于核心线程数时，空闲线程存活时间TimeUnitunit,//空闲时间单位BlockingQueueworkQueue//任务大于线程池数量时，用于保存任务的队列){thi
爱吃鱼aichiyu·2023-08-27 14:41

虽然当下股市跌跌不休，但A股终将是全球最佳的投资市场，您相信吗？

外资在不断加码A股优质股票，MCSI和罗素不断的在扩容，都想投资更多的优质A股企业。这是我们了解到的好的一方面，同时我们要时刻关注A股自身存在的问题。
毓美·2023-08-27 14:53

散列表（中）：如何打造一个工业级的散列表？

我会从这三个方面来考虑设计思路：设计一个合适的散列函数；定义装载因子阈值，并且设计动态扩容策略；选择合适的散列冲突解决方法。1.如何设计散列函数首先，散列函数的设计不能太复杂。
落英坠露·2023-08-27 12:22

HashMap源码解析JDK8

publicclassHashMapextendsAbstractMapimplementsMap,Cloneable,Serializable1.2HashMap的属性//默认容量staticfinalintDEFAULT_INITIAL_CAPACITY=1=threshold时，就会扩容
笨笨翔·2023-08-27 12:18

C++ STL 标准模板库

C++STL标准模板库标准容器顺序容器vectorvector向量容器底层数据结构：动态开辟的数组，每次以原来空间大小的2倍进行扩容。采用allocator进行空间开辟和释放，对象创建和析构的分离。
Trouble..·2023-08-27 12:02

大数据时代之java操作hdsf

前面已经讲过hadoop伪分布式和分布式环境搭建，参考大数据时代之Hadoop集群搭建本来想直接搞java代码操作hdfs的，想了想还是先简单的复习下命令行操作hdfs吧。
小小的人儿居然已存在·2023-08-27 11:49

非常详细HDFS读写流程+完美视觉的HDFS读写流程图

一、写数据流程：客户端（Client通过java虚拟机）向NameNode请求上传文件（内部过程：客户端通过对DistributedFileSystem对象调用create()函数来创建文件），参数：路径/a.txt，块规格，副本数。NameNode检查目标文件是否已存在，父目录是否存在。做出响应返回是否可以上传。过程：1、namenode执行各种不同的检查以确保这个文件不存在，并且客户端有创建该
陈的打怪升级之道·2023-08-27 10:20

Hadoop Hdfs基本命令

0目录1.hadoop安装问题处理2.hdfs基本命令3.上传/下载文件和文件夹1.hadoop安装问题处理如果安装有进程无法启动，如下图重新检查6个配置文件Core-site.xml\hdfs-site.xml
请给我一串代码好吗·2023-08-27 10:20

Hadoop（四）HDFS 读写流程

HDFS的读写流程  HDFS将文件切割为默认大小的块（block）存放在不同的DataNode上；  上传文件和读取文件是HDFS重要的流程；HDFS的写文件流程图文解释：  1、Client连接HDFS
车了个车子·2023-08-27 10:48

Hadoop之HDFS简介

Hadoop有3大核心组件，分别是HDFS、MapReduce和YARN，本次我们重点介绍HDFS。一、HDFS简介HDFS全称HadoopDistributedFileSystem，是一个分布
数新网络·2023-08-27 10:18

Hadoop：HDFS读写流程详解

目录1HDFS写数据流程2HDFS读数据流程HDFS写数据流程1）客户端通过分布式文件系统模块向namenode请求上传某个数据（2）namenode根据客户端请求，先查看该用户是否有权限上传数据，再查看客户端所请求的目录是否存在
小M姐姐呀~·2023-08-27 10:17

Hadoop笔记 HDFS读写流程

HDFS读写流程一、写流程二、读流程三、总结一、写流程（1）客户端通过DistributedFileSystem（我翻译成分布式文件系统？）
程序员的账号·2023-08-27 10:47

【Hadoop】HDFS读写流程和客户端命令使用

目录一、HDFS产出背景及定义1.1.HDFS产生背景1.2.HDFS简介1.3.HDFS的优缺点1、优点2、缺点二、HDFS的特点三、HDFS组成架构1、Client：
开着拖拉机回家·2023-08-27 10:17

自行更换锐捷RG-EG2000系列的内置硬盘

近期因公司网络扩容，又订购了一台锐捷的RG-EG2000CE业务保障网关。（这东西优点在于升级不要钱，而且售后技术支持做的比较好。之前因为疑难情况接触过几次，比较满意。）
robur·2023-08-27 09:48

实战：大数据Spark简介与docker-compose搭建独立集群

docker-composedocker-compose编排docker-compose编排并运行容器Spark集群官方案例测试写在最后前言很多同学都使用过经典的大数据分布式计算框架hadoop，其分布式文件系统HDFS
小沈同学呀·2023-08-27 09:28

Hadoop 2.10.1 HDFS 透明加密原理 + 实战 + 验证

一、背景介绍越来越多的用户关注安全问题，都在寻找一种有效的，方便的加密方式。hadoop提供了几种不同形式的加密，最底层的加密，加密所有节点数据，有效地保护了数据，但是却缺乏更细粒度的加密；kms透明加密可以做到更细粒度的加密；加密可以在不同的层级进行，包括软件/软件堆栈，选择不同的加密层级各有优缺点应用程序级加密。这是最安全、最灵活的方法。应用程序最终控制是什么加密,可以准确地反映用户的需求。然
_lizhiqiang·2023-08-27 08:37

Flink minicluster 报错，因为 JDK 版本引起的错误

2022-10-2415:06:58.411[ORC_GET_SPLITS#1]WARNorg.apache.hadoop.hdfs.client.impl.BlockReaderFactory-I/Oerrorconstructingremoteblockreader.java.io.IOException
_lizhiqiang·2023-08-27 08:36

饿了么大数据计算引擎实践与应用

其中6人的离线团队需要维护大数据集群规模如下：Hadoop集群规模1300+HDFS存量数据40+PB，Read3.5PB+/天，Write500TB+/天14WMRJob/天，10WSparkJob/
Alukar·2023-08-27 08:39

Java 集合扩容概括

参考博文：java集合的扩容机制_这个名字先用着的博客-CSDN博客#ArrayList可随着元素的增长而自动扩容，正常扩容的话，每次扩容到原来的1.5倍。
其然乐衣·2023-08-27 05:00

【大数据】图解 Hadoop 生态系统及其组件

图解Hadoop生态系统及其组件1.HDFS2.MapReduce3.YARN4.Hive5.Pig6.Mahout7.HBase8.Zookeeper9.Sqoop10.Flume11.Oozie12
G皮T·2023-08-27 05:27

算法修炼Day60|● 84.柱状图中最大的矩形

注意首尾节点的左侧索引和右侧索引需要单独声名为0.单调栈，在原数组的基础上定义一个新的数组，对其进行首尾节点的扩容。思路延续收集雨水。2.代码实现classSolution{publicintla
dannky_Z·2023-08-27 05:09

生长学园

2020至2021年，**进入了涪城幼教全面收官“80.50”、实现区域教育振兴的关键期，全体**人面对“正编缺口大、聘用占比高（80%）、扩容增量任务重”等巨大挑战，奋力拼搏，完成了老园扩容6个班、新园增量
羲有时光·2023-08-27 03:10

HDFS NN与2NN

HDFS元数据管理机制问题1：NameNode如何管理和存储元数据？
森林森·2023-08-27 03:30

HashMap 底层分析

其中有两个重要的参数：容量负载因子容量的默认大小是16，负载因子是0.75，当HashMap的size>16*0.75时就会发生扩容(容量和负载因子都可以自由调整)。
codingJanson·2023-08-27 02:34

ClickHouse 与 Hbase的对比

2.1Hbase架构编辑2.2ClickHouse的架构编辑3基本操作对比3.1HBase3.2ClickHouse4数据查询操作5各维度对比1ClickHouse与Hbase的基础hadoop生态圈技术繁多，HDFS
芋辕-·2023-08-27 01:05

TiDB离线安装教程

研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)的融合型分布式数据库产品，具备水平扩容或者缩容
芋辕-·2023-08-27 01:35

机器学习及其matlab实现竞争神经网络与SOM神经网络进阶与提高视频教程

实现竞争神经网络与SOM神经网络进阶与提高视频教程大数据，云计算，架构，数据分析师，Hadoop，Spark，Storm，Docker，Mapreduce，Kafka，Flume，OpenStack，Hive，HDFS
平蝶与波澜·2023-08-27 01:56

5G预计在2020年进入商用阶段

会上，深南电路表明，公司2018年业绩增长主要是来自于国内4G扩容和海外市场4G的建设，2018年5G主要处于研发板和样本阶段，对公司营收贡献较小。
chenmingdai·2023-08-26 22:10

[javase高级] HashMap实现原理

HashMap是数组+链表实现的，既然用到hash散列，那么肯定不可避免的会出现冲突问题，HashMap解决冲突的方法是拉链法，因为这里有用到数组，那么当容量不足的时候就需要进行扩容操作了，在HashMap
海清源·2023-08-26 20:11

LVM磁盘扩容

一：一块磁盘新增容量后加到lv里面去（一般在虚拟机里面出现这种情况多）这种方式需要重启1.对新增磁盘空间进行分区fdisk/dev/sda#注意：Selectedpartition后要对分区的类型做改变#一定要选择t，8e改变分区类型到LVMCommand(mforhelp):tHexcode(typeLtolistcodes):8eChangedsystemtypeofpartition4to8
c4tch·2023-08-26 20:50

Java中hashTable的基本介绍，细节讨论，使用注意事项，常用方法和底层的扩容机制

Hashtable是Java标准库中提供的一个古老的散列表（HashTable）实现，用于存储键值对。它是线程安全的，基于哈希表的数据结构。然而，由于其线程安全性引入的同步机制，使得在多线程环境下性能相对较低。在现代Java中，更推荐使用HashMap或者ConcurrentHashMap。基本介绍：Hashtable是通过哈希表来存储键值对的数据结构。它是线程安全的，多线程环境下可以安全使用。H
WM之辈·2023-08-26 19:28

【Hadoop】Hadoop入门概念简介

目录一、概述二、优点三、核心架构3.1、HDFS3.2、NameNode3.2、DataNode四、Hadoop发行版本4.1、ApacheHadoop4.2、CDP4.
开着拖拉机回家·2023-08-26 19:21

MYSQL业务查询卡顿无返回数据被锁怎么样优化

每一次详情查询会进行查询三张表，耗时基本上1.5秒左右，但是最近业务量飙升导致查询卡顿，用户业务操作员也激增好多人，导致钉钉群，经常被艾特，被吐槽怎么又卡顿了，然后预发布系统数据库容量和配置也受限，需要扩容
道阻且长-行则将至-行而不辍-未来可期·2023-08-26 19:48

Hbase

1.Hbase基本概念一.为什么要用hbase相比于HDFSHDFS适合批处理场景,但不支持数据的随机查找HDFS不支持数据的更新相比于HiveHive适合批处理的数据分析场景Hive不适合实时的数据访问
lj72808up·2023-08-26 17:11

CTW数据集解析与处理

1.先吐槽一下CTW数据集的下载相关链接是真烦人，要么再去outlook要么在腾讯云你需要花钱扩容，就问你开心不开心。
weixin_43751285·2023-08-26 17:19

Redis扩容机制与一致性哈希算法解析

推荐阅读AI文本OCR识别最佳实践AIGamma一键生成PPT工具直达链接玩转cloudStudio在线编码神器玩转GPUAI绘画、AI讲话、翻译,GPU点亮AI想象空间资源分享史上最全文档AI绘画stablediffusion资料分享AI绘画关于SD,MJ,GPT,SDXL百科全书「java、python面试题」来自UC网盘app分享，打开手机app，额外获得1T空间https://drive.
KK_crazy·2023-08-26 17:17

go语言中的切片

它非常灵活，支持自动扩容。切片是一个引用类型，它的内部结构包含地址、长度和容量。切片一般用于快速地操作一块数据集合。
编程小菜鸡~~·2023-08-26 16:47

Hive学习之路 （五）hive使用beeline配置远程连接

hive以hadoop集群为基础，提供hdfs的SQL支持；hive一般可以以mysql为元数据存储，默认Derby；hadoop，hive安装自行百度吧；介绍hive的远程访问：未配置之前使用beeline
hello_world!·2023-08-26 16:06

Redis数据结构

文章目录Redis数据结构动态字符串(SDS)IntSet自动升级DictDict的扩容Dict的收缩Dict的rehashZipListZipListEntryEncoding连锁更新问题特性QuickList
DreamBoat_Onism·2023-08-26 16:01

数据结构：线性表之-顺序表

目录1.线性表概念1.1什么是顺序列表1.2线性表2.顺序表实现将有以下功能：详细过程顺序表的动态存储顺序表初始化尾插扩容头插更改后的尾插尾删头删打印释放内存优化顺序表(任意位置插入删除)优化后的头插尾插优化后的头删尾删查找和删除进行装饰
努力学c的楼下小王·2023-08-26 16:28

ArrayList源码解读

文章目录一、故事背景二、知识点主要构成1、创建ArrayList对象-构造方法2、添加元素-add方法2.1、扩容操作3、更新元素-set方法4、删除元素-remove方法4.1、remove(intindex
王梦杰.·2023-08-26 14:36

flink開啟歷史服務器

==================================================================#指定由JobManager归档的作业信息所存放的目录，这里使用的是HDFSjobmanager.archive.fs.dir
m0_37759590·2023-08-26 13:17

第三课 Hive的分桶详解

Hive分桶通俗点来说就是将表（或者分区，也就是hdfs上的目录而真正的数据是存储在该目录下的文件）中文件分成几个文件去存储。
Arroganter·2023-08-26 13:19

Java：数组的扩容与缩容

前言：记录数组的扩容与缩容！扩容：现有数组int[]arr=newint[]{1,2,3,4,5}，需要将数组长度扩容1倍，并将10，20，30三个数据添加到arr数组中。扩容一倍有两种写法。
Jay丶萧邦·2023-08-26 13:28

从零开始的Hadoop学习（二）| Hadoop介绍、优势、组成、HDFS架构

1.Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop通常是指一个更广泛的概念—Hadoop生态圈。2.Hadoop的优势高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节
庭前云落·2023-08-26 11:08

1 Hadoop入门

(3)广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈2.Hadoop的优势3Hadoop组成4HDFS概述5YARN架构概述YetAnotherResourceNegotiator
水无痕simon·2023-08-26 11:08

Hadoop streaming 问题记录

其他用户没有读权限其他用户访问我的数据，发现出现Permissiondenied:user=,access=READ_EXECUTE,inode=，drwxr-x--x，该问题发现其他用户读我的hdfs
sf705·2023-08-26 10:11

从零开始的Hadoop学习（二）| Hadoop介绍、优势、组成、HDFS架构

1.Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop通常是指一个更广泛的概念—Hadoop生态圈。2.Hadoop的优势高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节
庭前云落·2023-08-26 10:26
上一页 99 100 101 102 103 104 105 106 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他