hdfs扩容

大数据之Hive

本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的默认实现是MapReduce3）执行程序运行在Yarn上1.2Hi
不如打代码·2023-08-05 22:18

对微服务网关的一些总结

由于网关可编码，对安全，扩容，认证等通用的需求，变得比较容易实现。二.为什么用网关1.聚合支持服务注册与发现，根据不同的服务前缀，转发请求到不同的微服务。与NGINX的反向代理功能
listening2009·2023-08-05 20:26

Redis学习--集群

数据分布数据分布理论常见的分区规则有哈希分区和顺序分区两种:分布式存储数据分区哈希分区和顺序分区对比哈希分区:1.节点取余分区(如Redis的键或用户ID，再根据节点数量N使用公式：hash（key）%N计算出哈希值)翻倍扩容迁移约
何何与呵呵呵·2023-08-05 18:42

Hadoop Multi Node Cluster的安装

HadoopMultiNodeCluster的规划如图5-1所示：由多台电脑组成:有一台主要的电脑master，在HDFS担任NameNode角色，在MapReduce2(YARN)担任ResourceManager
qclonle·2023-08-05 17:50

分布式文件系统HDFS

分布式文件系统HDFS（按块存储，默认一个block块128M）一、分布式文件系统HDFS1、产生背景传统的本地文件系统（单机式），在数据量过快、数据备份、数据安全性、操作使用便捷性上存在严重不足。
fakerlove·2023-08-05 16:41

vSphere6.7创建Windows10虚拟机及磁盘扩容

说明：Vsphere6.7中安装Windows10虚拟机是很特别的，而且版本也有很多问题，后期还有不稳定之处。安装步骤：VC平台配置1找一台要存放虚拟机的主机，点击主机名称IP地址，右键“新建虚拟机”2点击“创建新虚拟机”点击“NEXT”3填写虚拟机名称，随便写，下面的保持默认，然后点击“NEXT”4选择虚拟机所存放的位置，也就是目标资源位置，点击“NEXT”5存储的选择，我这里是本地存储，如果有
莫非冢虎·2023-08-05 15:34

Hadoop学习指南：探索大数据时代的重要组成——HDFS(上)

HDFSHDFS概述1.1HDFS产出背景及定义1）HDFS产生背景2）HDFS定义1.2HDFS优缺点1.3HDFS组成架构1.4HDFS文件块大小（面试重点）2.HDFS的Shell操作（开发重点）
老虎也淘气·2023-08-05 13:09

Hadoop权威指南读书笔记（三）——认识HDFS

一、什么是HDFS尽管磁盘容量的发展速度很快，但单台物理机的存储能力面对海量数据是远远不够的。分布式的存储是大数据的基石。管理跨多台计算机存储的数据/文件，是分布式文件系统角色的定位。
StevenPeng的学习之路·2023-08-05 13:39

Hadoop分布式文件系统——HDFS原理简介

阅读前必看这篇文章与其说是一篇文章，不如说是一篇在家学习的笔记，其中大部分内容来自于github上一个大神的开源笔记，在此附上链接，表达版权所属以及敬意:github源地址一、介绍HDFS(HadoopDistributedFileSystem
Brave_man_O·2023-08-05 13:08

《Hadoop权威指南》学习笔记（3）——Hadoop分布式文件系统

Hadoop分布式文件系统，即HDFS(HadoopDistributedFileSystem)。
啜晓伟·2023-08-05 13:08

《Hadoop权威指南》学习笔记（4）——关于YARN

YARN运行在集群存储层（HDFS和HBase）上，一些分布式计算框架（如MapReduce和Spark等）作为YARN应用运行在集群计算层（YARN）和集群存储层上。
啜晓伟·2023-08-05 13:08

Hadoop 系列（六）—— HDFS 常用 Shell 命令

创建目录#创建目录hadoopfs-mkdir#递归创建目录hadoopfs-mkdir-p3.删除操作#删除文件hadoopfs-rm#递归删除目录和文件hadoopfs-rm-R4.从本地加载文件到HDFS
hei bai ying·2023-08-05 13:08

Hadoop学习指南：探索大数据时代的重要组成——HDFS(下)

这里写目录标题HDFS的读写流程（面试重点）HDFS写数据流程1.2网络拓扑-节点距离计算机架感知（副本存储节点选择）HDFS读数据流程NameNode和SecondaryNameNode1NN和2NN
老虎也淘气·2023-08-05 13:38

【数据结构】— 线性表之「顺序表」的实现

顺序表概念及结构静态顺序表动态顺序表动态顺序表的接口实现顺序表初始化顺序表销毁顺序表扩容顺序
甘宸しぐれ·2023-08-05 10:19

kubernetes 增加节点后coredns没有增加

手动扩容主节点上的coredns的deployment的数量kubectl--namespace=kube-systemscaledeploymentcoredns--replicas=X（数量）
MrJ_Cola·2023-08-05 10:41

yo！这里是STL::vector类简单模拟实现

目录前言重要接口模拟实现默认成员函数1.构造函数2.析构函数3.拷贝构造函数4.赋值运算符重载迭代器简单接口1.size()2.capacity()3.swap()操作符重载1.操作符[]扩容接口1.reserve
大写的酷·2023-08-05 09:38

HDFS的操作及高级特性笔记

1、讲解Hadoop三种操作方式1）、通过WebConsole:50070、500902）、命令行（1）操作命令hdfsdfs*****-mkdir创建目录举例：hdfsdfs-mkdir/aaahdfsdfs-mkdir-p
若兰幽竹·2023-08-05 08:36

记一次hive调优之旅

我们肯定要明确调优方向：hive，那么这就涉及到hdfs、hive、y
LearnBigData·2023-08-05 08:23

Docker

然后通过统一的访问接口vitio2.docker应用容器引擎，虚拟的是操作系统《1》docker功能特性1.隔离环境（系统，网络，文件系统）与应用2.解决依懒与版本问题3.易于分发，开箱即用4.节点与容器快速扩容
huigqing301·2023-08-05 08:32

CentOS 虚拟机磁盘扩容（非常实用）

这时候，新手村的选手可能会在网络上随便找一个“磁盘扩容文档”，然后跟着一顿操作（一顿操作猛如虎，一看战绩零杠五），时间也没少耽误，问题也没解决！下面对CentOS虚拟机磁盘扩容具体方案进行整理：
散修-小胖子·2023-08-05 06:15

【运维部署】亚马逊云服务器安装后通过Xhell远程登录提示“所选的用户密钥未在远程主机上注册。请再试一次”

这里写自定义目录标题背景解决方案第一步确认配置第二步确认权限方案C背景最新亚马逊云服务准备扩容，新建了一台Ubuntu服务器，密钥对使用原来服务器上的密钥对，创建后直接迁移到了新的服务器上。
疯狂小草·2023-08-05 06:11

Golang: 高效使用切片

在切片元素数量较少情况下还好，如果切片元素数量过多，或者扩容速度太快，会导致频繁的切片扩容，频繁分配新的底层数组，降低切片添加元素的速度。
Leave_97·2023-08-05 06:08

golang 切片原理与性能优化

目录一、切片原理1.1数组与切片1.2切片的结构1.3切片的创建1.4切片的重组1.5切片的复制二、切片的优化2.1空数组，nil切片和空切片2.2切片扩容优化2.3sync.Pool2.4切片复用三、
qq_26372385·2023-08-05 06:37

Docker目录迁移

如何避免：1.在安装前对/var/lib/docker（docker默认数据存储目录）目录进行扩容；2.在docker安装完成后，修改docker默认存储位置为磁盘容量较大的位置；规避迁移数据过程中造成的风险
wuyongde0922·2023-08-05 05:32

LinkedHashSet底层机制

LinkedHashMap2底层数据结构二、使用示例一、LinkedHashSet底层结构1底层使用LinkedHashMapLinkedHashMap是HashMap的一个子类，具有和HashMap相同的存储结构和扩容机制
学不思则罔·2023-08-05 04:47

Go 语言切片是如何扩容的？

它非常灵活，支持自动扩容。切片是一种引用类型，它有三个属性：指针，长度和容量。
2301_76429513·2023-08-05 03:18

关于大数据你不得不知的问题(文末有福利)

1.选择题1.1.下面哪个程序负责HDFS数据存储。
AMF梦想团队·2023-08-05 03:48

大数据-重新学习hadoop篇-完成

hadoop优势1.高可靠性：Hadoop底层的hdfs会进行副本存储，当一台机器挂了的时候，它有副本就可以重新启动恢复2.高扩展性：当双11这种网络拥堵情况出现的时候，可以扩充机器进行负
时间幻象·2023-08-05 02:39

Kubernetes（K8s）介绍

它构建在Docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等一整套功能。Kubernetes的发展历史为：2014年6月：谷歌宣布Kubernetes开源。
zhaimj29·2023-08-05 00:54

深入了解服务发现

并且，随着应用集群的扩容、缩容、滚动升级等操作，服务实例也是一直在
云逸Dean·2023-08-04 22:54

风很大的“云数仓”到底怎么用？三家企业交出答卷

求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近年来，数字化转型的浪潮席卷全球，百行千业都在面临着前所未有的海量、复杂的数据处理任务，传统OLAP技术架构中的痛点变得越来越明显，如扩容缩容耗时长
字节数据平台·2023-08-04 22:23

Spark RDD详解

它可以通过YARN或Spark的Standalone在Hadoop集群中运行，并且可以处理HDFS、Hbase、Cassandra、Hive和任何HadoopInputFormat中的数据。
丿沐染烟忱丶·2023-08-04 18:03

【报告分享】2021抖音家居生态年度报告-巨量算数(附下载)

正是因为市场空间扩容受阻，因此存量市场的竞争更加激烈。在家居行业面临渠道之变的阵痛，通过抖音数据，我们看到虽然经历了艰难的开始，但是收效也更加显著。不管是企业端的线上增长，还是用户端的内容获取，都
行业报告智库·2023-08-04 18:27

PoseiSwap：基于 Nautilus Chain ，构建全新价值体系

在DeFiSummer后，以太坊自身的弊端不断凸显，而以Layer2的方式为其扩容成为了行业很长一段时间的叙事方向之一。
BTColdman·2023-08-04 18:51

部署一套完整的Kubernetes高可用集群（二进制，最新版v1.18）下

七、高可用架构（扩容多Master架构）Kubernetes作为容器集群系统，通过健康检查+重启策略实现了Pod故障自我修复能力，通过调度算法实现将Pod分布式部署，并保持预期副本数，根据Node失效状态自动在其他
李振良·2023-08-04 18:19

[一起学Hive]之七-向Hive表中加载数据

6.1建表时候直接指定如果你的数据已经在HDFS上存在，已经为结构化数据，并且数据所在的HDFS路径不需要维护，那么可以直接在建表的时候使用location指定数据所在的HDFS路径即可。
antyzhu·2023-08-04 17:24

栈和队列第二弹，完结篇

队列的基本底层实现publicclassMyQueue{intarray[];intusedsize=0;publicMyQueue(){this.array=newint[5];}2.判断是否满，满了需要扩容
轮到我狗叫了·2023-08-04 16:26

Hive数据误删除，一定条件下数据还原

例如我有一个表，表名为：biao_ceshi，表的所属库是jwy_sdm，表的分区是etl_rkrq，我误删除了，如果时间来得及的话（一般自动清理回收站的时间是集群配置的，6小时等），恢复方法：1、在Hdfs
承缘丶·2023-08-04 15:20

通过MySQL删除Hive元数据信息

之前安装时，经过特定的配置后，Hive上所有元数据均保存在Mysql中，所以可以从Mysql上删除表相关信息即可删除hive表，而且不会影响Hdfs上数据。
承缘丶·2023-08-04 15:14

基础篇——ArrayList扩容机制

文章目录引言扩容规则1.ArrayList()无参构造扩容2.ArrayList(intinitialCapacity)扩容3.publicArrayList(Collectionc)扩容4.add(Objecto
允诺@晴天·2023-08-04 14:01

Hadoop HDFS 教程（一）介绍

这个HadoopHDFS教程的目标是教会你，什么是HDFS,什么是不同节点，在HDFS中数据是如何存储的，HDFS的结构和HDFS的一些特点，比如分布式存储，容错能力，可用性高和依懒性高和一些关于块的知识等等
Simple_Coder·2023-08-04 12:17

hadoop使用

1：使用命令将文本上传到HDFS中1.1创建文件夹hdfsdfs-mkdir-pinput1.2将*.txt放到input目录hdfsdfs-put*.txtinput1.3查看input目录中的文件hdfsdfs-lsinput
醉舞经阁半卷书A·2023-08-04 12:15

2019-04-21

59、自我诚实对他人尽量保持坦诚、真实，你的肌肉都是放松的，财富就慢慢被扩容出来了。如果长期说假话，不能一下接受说实话，那就一点一点慢慢来，我再不侵占他人的利益的情况下说实话、或保持沉默、不说话。
唐丽萍520·2023-08-04 12:54

PoseiSwap：基于 Nautilus Chain ，构建全新价值体系

在DeFiSummer后，以太坊自身的弊端不断凸显，而以Layer2的方式为其扩容成为了行业很长一段时间的叙事方向之一。
QiJublockchain·2023-08-04 09:06

PoseiSwap：基于 Nautilus Chain ，构建全新价值体系

在DeFiSummer后，以太坊自身的弊端不断凸显，而以Layer2的方式为其扩容成为了行业很长一段时间的叙事方向之一。
WilliamMeta·2023-08-04 09:06

HDFS Erasure coding-纠删码介绍和原理

HDFSErasurecoding-纠删码介绍和原理三副本策略弊端ErasureCoding（EC）简介Reed-Solomon（RS）码EC架构三副本策略弊端为了提供容错能力，hdfs回根据replicationfactor
fiveym·2023-08-04 09:23

Hadoop-HDFS的Namenode及Datanode（参考Hadoop官网）

HDFS有什么特点，被设计做什么Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。
Matrix70·2023-08-04 09:51

HDFS架构刨析

HDFS架构刨析概述HDFS架构图整体概述主角色：namenodefsimage内存元数据镜像文件editslog（Journal）编辑日志从角色：datanode主角色辅助角色：secondarynamenode
fiveym·2023-08-04 09:48

将AI和机器学习集成到Serverless架构中：API和服务调用

其主要特征包括自动扩容、按量计费、事件驱动、快速部署及迭代、弹性伸缩等。因此，Serverless计算平台可以非常有效地满足用户对快速交付和低成本要求的需求。近年来，
禅与计算机程序设计艺术·2023-08-04 09:47

org.apache.hadoop.hdfs.DataStreamer[]-Slow ReadProcessor read fields...82171ms(threshold=30000ms)

报错信息：2023-07-3114:31:02,502INFOorg.apache.hadoop.yarn.client.RMProxy[]-ConnectingtoResourceManagerathadoop102/172.18.0.202:80322023-07-3114:31:02,756INFOorg.apache.flink.yarn.YarnClusterDescriptor[]-N
满头秀发的码农·2023-08-04 09:13
上一页 111 112 113 114 115 116 117 118 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他