E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop;hdfs
【分布式理论17】分布式调度3:分布式架构-从中央式调度到共享状态调度
**典型案例:
Hadoop
YARN**三、共享状态调度器1.**核心思想**2.**工作流程**3.优缺点4.
roman_日积跬步-终至千里
·
2025-04-22 07:29
#
分布式架构
分布式
架构
Hadoop
-3.3.0-Centos7安装详解
Hadoop
3.1.3–Centos7伪分布式安装安装包目录软件安装目录mkdir-p/opt/sofwaremkdir-p/opt/servers一、基础配置我们规划整个
Hadoop
集群由三台服务器组成
star _chen
·
2025-04-22 00:17
大数据
hadoop
大数据
分布式
Flink SQL SavePoint最佳实践
高效管理作业状态:一、Savepoint的配置与触发1.基础配置存储路径:在flink-conf.yaml中全局设置Savepoint存储目录,避免每次手动指定路径:state.savepoints.dir:
hdfs
fzip
·
2025-04-20 13:54
Flink
flink
sql
前端
Ubuntu安装
Hadoop
3.1.3教程
环境本教程使用Ubuntu16.0464位作为系统环境前期准备进入终端,输入命令创建新用户为
Hadoop
sudouseradd-m
hadoop
-s/bin/bash使用命令设置密码,这里“
Hadoop
”
敲码到头秃
·
2025-04-20 03:44
ubuntu
linux
hadoop
Android学习总结之算法篇七(图和矩阵)
*;publicclassGrap
hDFS
{privatefinalintV;//顶点数量privatefinalLinkedList[]adj;//邻接表//构造函数Grap
hDFS
(intv){V=
每次的天空
·
2025-04-20 01:27
Android面试算法总结
android
学习
算法
hadoop
-yarn常用命令
一、YARN命令介绍1.YARN命令简介YARN提供了一组命令行工具,用于管理和监控YARN应用程序和集群。2.yarnapplication命令(1)yarnapplication命令的基本语法yarnapplication命令的基本语法如下:yarnapplication[genericOptions][command][commandOptions](2)常用的yarnapplication
金州饿霸
·
2025-04-20 00:55
Hadoop
Big
Data
hadoop
大数据
前端
最新分布式存储Ceph(一)_ceph 元数据
非分布式nfs网络文件系统--称之为nas存储(网络附加存储)分布式
hdfs
分布式网络文件系统glusterfs分布式网络文件系统,不需要管理服务器ceph分布式网络文件系统,块存储,对象存储#分布式文件系统特点
2401_84300128
·
2025-04-19 22:44
程序员
分布式
ceph
Hadoop
项目结构及其主要作用
组件功能
HDFS
分布式文件系统MapReduce分布式并行编程模型YARN资源管理和调度器Tez运行在YARN之上的下一代
Hadoop
查询处理框架Hive
Hadoop
上的数据仓库HBase
Hadoop
上的非关系型的分布式数据库
张半仙掐指一算yyds
·
2025-04-19 17:08
数据类
hadoop
大数据
分布式
Hadoop
-几种列式存储比较
第一章相关理论1.1Parquet格式介绍1.1.1起源与发展Parquet,作为
Hadoop
生态系统中的一种新型列式存储格式,由Cloudera和Twitter公司联手开发,并已跻身至Apache软件基金会的顶级项目之列
xyz2011
·
2025-04-19 17:07
Hive面试题(持续更新)
hadoop
hdfs
大数据
数据仓库
yarn的定义,yarn的三大组件及各自作用,yarn的三个资源调度策略
yarn的定义:YARN是一个通用的集群资源管理系统,它能够为运行在
Hadoop
集群上的各种应用程序(如MapReduce、Spark、Flink等)提供统一的资源调度和管理服务。
嗯.~
·
2025-04-19 17:07
前端
Hadoop
的三大结构及其作用?
Hadoop
是一个分布式存储和计算框架,其三大核心组件是
HDFS
(
Hadoop
DistributedFileSystem)、YARN(YetAnotherResourceNegotiator)和MapReduce
End928
·
2025-04-19 17:35
hadoop
大数据
分布式
Hadoop
集群常用命令
Hadoop
集群常用命令##集群管理命令1.
夏天吃哈密瓜
·
2025-04-19 17:05
spark
mapreduce的工作原理
#MapReduce工作原理详解MapReduce是
Hadoop
的核心计算框架,用于大规模数据集的并行处理。
夏天吃哈密瓜
·
2025-04-19 17:05
spark
hadoop
的三大结构及其各自的作用
Hadoop
是一个开源的分布式计算框架,主要用于处理大规模数据集。
田园百合
·
2025-04-19 17:05
hadoop
大数据
分布式
【
hadoop
】master一键启动
hadoop
集群(高可用)
之前写了一篇【
hadoop
】master一键启动zkServer-CSDN博客现在是最好的安排:1.cd~vim
hadoop
-all.sh#!
火龙谷
·
2025-04-19 03:36
hadoop
hadoop
linux
【
hadoop
】基于hive的B站用户行为大数据分析
1.需求分析b站现在积累有用户数据和视频列表数据,为了配合市场部门做好用户运营工作,需要对b站的用户行为进行分析,其具体需求如下所示:统计b站视频不同评分等级(行转列)的视频数。统计上传b站视频最多的用户Top10,以及这些用户上传的视频观看次数在前10的视频。统计b站每个类别视频观看数topn。统计b站视频分类热度topn。统计b站视频观看数topn。2.表结构2.1user表结构2.2vide
火龙谷
·
2025-04-19 03:35
hadoop
hive
hadoop
数据仓库
第4章 分布式数据库HBase(又是一篇呕心力作,一文详讲HBase)
利用
Hadoop
HDFS
(
Hadoop
DistributedFileSystem)作为其文件存储系统,提供实时读写的分布式数据库系统。利用ZooKeeper作
wyz191
·
2025-04-18 17:30
大数据技术原理与应用
-
概念
存储
处理
分析与应用
大数据
hbase
Atlas安装详解
Atlas简介1.Atlas概述ApacheAtlas为组织提供开放式元数据管理和治理功能,用以构建其数据资产目录,对这些资产进行分类和管理,并为数据分析师和数据治理团队,提供围绕这些数据资产的协作功能,它为
Hadoop
g511266804
·
2025-04-18 16:25
大数据
大数据
hadoop
hive
zookeeper
大数据面试题目_综合面试_
hadoop
面试题_hive面试题_sqoop面试题_spark面试题_flume面试题_kafka面试题---大数据面试题007
大数据面试:1.说一下
hadoop
的集群部署模式有哪几种,完全分布式如何部署以及配置?2.
hadoop
的守护进程有哪些?2.之前的公司,为什么要离职?3.之前公司的待遇工资多少?
添柴程序猿
·
2025-04-18 03:00
大数据
hadoop
hive
大数据面试题
flume
大数据面试问答-HBase/ClickHouse
1.HBase1.1概念HBase是构建在
Hadoop
HDFS
之上的分布式NoSQL数据库,采用列式存储模型,支持海量数据的实时读写和随机访问。适用于高吞吐、低延迟的场景,如实时日志处理、在线交易等。
孟意昶
·
2025-04-18 03:00
数据开发面试经验记录
大数据
面试
hbase
Hadoop
:大数据时代的基石
Apache
Hadoop
作为大数据处理领域的核心框架,为解决这些问题提供了强大的支持。本文将深入探讨
Hadoop
的架构、核心组件以及它在大数据生态系统中的重要性。
麻芝汤圆
·
2025-04-17 19:09
spark大数据分析
大数据
hadoop
分布式
web安全
安全
linux
centos
hadoop
3.2+zookeeper集群搭建
hadoop
3.2集群搭建版本选择JDK:jdk1.8.0_141zookeeper:apache-zookeeper-3.5.9
hadoop
:
hadoop
-3.2.3我这里是本机虚拟机搭建,使用三个节点
liu137612432
·
2025-04-17 13:56
大数据
hadoop
hadoop集群搭建
大数据
hadoop
zookeeper
【
Hadoop
】Yarn资源管理调度
一、Yarn产生背景Yarn(全称为YetAnotherResourceNegotiator,译为"另一个资源协调者")在
Hadoop
2.0版本中引入,其诞生是为了解决
Hadoop
1.x架构中MapReduce
·
2025-04-17 03:16
大数据hadoopyarn
uml活动图 各个功能的操作流程和分支_uml活动图
uml是程序员需要掌握一个重要工具,特别在研究
hadoop
(http://www.iigrowing.cn/
hadoop
)系统中,有很多相关的uml图形需要绘制,为了方便大家了解uml,在网络上找了些uml
Furumomo
·
2025-04-16 16:40
uml活动图
各个功能的操作流程和分支
探索
Hadoop
:构建大数据处理的基石
摘要:本文深入且全面地探讨
Hadoop
这一强大的大数据处理框架。从其核心概念与架构剖析入手,详细阐述了
HDFS
、MapReduce和YARN的工作机制与协同关系。
大数据 王秀权
·
2025-04-16 08:44
hadoop
大数据
分布式
资产管理存储技术栈的二十年演进:从大数据存储到AI驱动的智能管理
本文将详细分析资管存储技术栈从以
HDFS
为代表的大数据存储,发展到S3全闪存,再到适应AI应用的三个阶段,探讨各阶段的特性、优势与面临的挑战。
上海川源信息科技
·
2025-04-16 06:08
AI
存储
全闪存储系统揭秘
资产管理
存储技术栈
HDFS
大数据存储
S3
全闪存储
AI
存储
大数据学习笔记(三):
HDFS
分布式文件系统架构原理详解
HDFS
分布式文件系统解决问题:海量数据的存储——>分布式结构设计分布式的特点:集群,有多台机器共同协作完成存储主从架构设计
HDFS
设计思想1.namenode-主节点-领导主要存储文件的属性信息,即文件的元数据
weixin_34303897
·
2025-04-16 00:52
大数据
系统架构
分布式架构的分布式文件系统
还有开源的
HDFS
Leon_Jinhai_Sun
·
2025-04-16 00:49
大数据面试问答-批处理性能优化
df.write.parquet("
hdfs
://path/output.parquet")列式存储减少I/O的核心机制:列裁剪(ColumnPruning)原理:查询时只读取需要的列,跳过无关列。
孟意昶
·
2025-04-15 13:17
大数据
性能优化
hadoop
spark
大数据学长面试-------腾讯面试
怎么查看分区对应
hdfs
路径?怎么计算某个分区的数据量大小?怎么计算某个分区的文件总数?(3)有一hivesql,怎么计算这个sql会产生多少个map数?(4)怎么查看hive有什么自带函数?
大数据小理
·
2025-04-15 13:14
数仓
大数据1
数据仓库
大数据
大数据面试
数据仓库
Hadoop
最全八股文总结
本文整理了
Hadoop
技术栈的全量八股文内容,涵盖
HDFS
、MapReduce、YARN各大模块,适合用于面试复习与系统性学习,也适合作为生产实践查阅资料。1.
Hadoop
是什么?
YTHX516
·
2025-04-15 11:03
面试八股
hadoop
大数据
分布式
spark编程基础python版实验报告_Spark课后实验报告
请注意,自Spark2.2.0起,对2.6.5之前的Java7,Python2.6和旧
Hadoop
版本的支持已被删除。自2.3.0起,对Scala2.10的支持被删除。自Spark2.4.1起,对S
weixin_39714191
·
2025-04-15 09:50
关于unbuntu启动
hadoop
时报错org.apache.
hadoop
.
hdfs
.BlockMissingException: Could not obtain block的解决方案
关于unbuntu启动hbase时报错org.apache.
hadoop
.
hdfs
.BlockMissingException:Couldnotobtainblock的解决方案背景报错情况解决初步检查进一步检查删除损坏的
小李汶子
·
2025-04-15 07:35
hadoop
hdfs
大数据
【
Hadoop
入门】
Hadoop
文件操作指南:文件上传下载详解
1
Hadoop
文件操作基础概念
Hadoop
分布式文件系统(
HDFS
)是
Hadoop
生态的核心存储组件,专为大规模数据存储设计。
IT成长日记
·
2025-04-15 06:02
大数据成长笔记
hadoop
大数据
分布式
HADOOP
之配置
HDFS
集群,修改四个文件workers,
hadoop
-env.sh,core-site.xml,
hdfs
-site.xml
1.配置workers文件进入
hadoop
所在的文件夹cdetc/
hadoop
vimworkersnode1node2node32.配置
hadoop
-env.sh文件我的jdk,
hadoop
都在/export
从零开始大数据
·
2025-04-15 06:01
hadoop
hdfs
Hadoop
之 Hive安装
一:ApacheHive元数据HiveMetadataHiveMetadata即Hive的元数据。包含用Hive创建的database、table、表的位置、类型、属性、字段顺序类型等元数据。元数据存储在关系型数据库中。如hive内置的Derby、或者第三方如MySQL等。HiveMetastoreMetastore即元数据服务。Metastore服务的作用是管理metadata元数据,对外暴露服
家在水草丰茂的地方
·
2025-04-15 06:31
大数据
Hive
hadoop
hive
大数据
大数据
Hadoop
+HBase+Spark+Hive集群搭建教程:一站式掌握大数据技术
大数据
Hadoop
+HBase+Spark+Hive集群搭建教程:一站式掌握大数据技术【下载地址】大数据
Hadoop
HBaseSparkHive集群搭建教程七月在线1本资源文件提供了关于如何搭建大数据集群的详细教程
贾诺翼
·
2025-04-15 06:01
【
hadoop
】Hive数据仓库安装部署
一、MySQL的安装与配置换源:最下面附加部分1、在master上直接使用yum命令在线安装MySQL数据库:sudoyuminstallmysql-server途中会询问是否继续,输入Y并按回车。2、启动MySQL服务:sudoservicemysqldstart3、设置MySQL的root用户密码:MySQL安装完成后,默认root用户是没有密码的,需要先登录并设置其密码:mysql-uroo
火龙谷
·
2025-04-15 06:29
hadoop
数据仓库
hive
hadoop
Hadoop
-
Hadoop
详解
hadoop
.apache.org
Hadoop
是一个开源的可拓展的分布式并行处理计算平台,利用服务器集群根据用户的自定义业务逻辑,对海量数据进行分布式处理。
weixin_33836223
·
2025-04-14 20:20
运维
大数据
Hadoop
大数据技术原理与应用 (1)
第一章初识
Hadoop
1、了解大数据,能够描述大数据的概念、数据类型、特征、和研究意义a.概念:从字面意思来看,大数据指海量数据;从特点来看,大数据具有海量、流转快、数据类型丰富及价值密度低等特点b.数据类型
做个尘世俗人
·
2025-04-14 20:50
知识点
笔记
大数据
hadoop
分布式
职业院校大数据开发与运维实训室建设可行性分析
Hadoop
和Spark作为大数据处理的核心技术,已经广泛应用于金融、电信、互联网等多个领域。
Hadoop
凭借其高可靠性和低成本,成为大规模数据存储和处理的首选框架。Spark则以其
武汉唯众智创
·
2025-04-14 19:45
大数据
运维
大数据开发与运维
大数据开发与运维实训室
开发与运维
大数据开发
大数据运维
面向OLAP的列式存储DBMS-1-[ClickHouse]的发展历程
文章目录1背景1.1
Hadoop
生态1.2OLAP概述1.2.1数据立方体的常见操作1.2.2OLAP架构分类1.2.3OLAP实现技术的演进1.3ClickHouse的性能2ClickHouse的功能特性
皮皮冰燃
·
2025-04-14 13:39
ClickHouse
clickhouse
通过分治策略解决内存限制问题完成大型Hive表数据的去重的PySpark代码实现
有一张历史交易记录表,要从这张历史交易记录表中抽取一年的数据按某些字段进行Spark去重,由于这一年的数据超过整个集群的内存容量,需要分解成每个月的数据,分别用Spark去重,并保存为Parquet文件到临时的
hdfs
weixin_30777913
·
2025-04-14 12:58
hive
开发语言
数据仓库
算法
大数据
最全大数据学习路线指南:大数据知识点汇总保姆级教程(2万字长文)
目录第一章大数据基础篇1.1Linux基础学习1.2SQL基础学习1.3Java与Scala基础学习第二章数据采集与存储技术2.1
Hadoop
基础及实战2.2Hive与Hbase技术2.3ETL流程及原理第三章数据管理与查询技术
大模型大数据攻城狮
·
2025-04-14 06:17
大数据知识
大数据思维导图
大数据学习
大数据入门
大数据入行
大数据面试
大数据BI
MapReduce1中资源预先划分为固定数量的map slot和reduce slot,具体是怎么划分的?
MapReduce1(MRv1)中mapslot与reduceslot的固定划分机制在
Hadoop
MapReduce1(MRv1)中,资源管理采用静态分配的方式,mapslot和reduceslot的数量在集群启动时预先配置
BenBen尔
·
2025-04-13 10:45
java
数据库
大数据
hadoop
【详解】使用原生Python编写
Hadoop
MapReduce程序
目录使用原生Python编写
Hadoop
MapReduce程序
Hadoop
Streaming简介Python环境准备示例:单词计数1.Mapper脚本2.Reducer脚本3.运行MapReduce作业
牛肉胡辣汤
·
2025-04-13 01:14
c#
开发语言
【
Hadoop
入门】
Hadoop
生态之Pig简介
Pig是Apache
Hadoop
生态系统中的一个高级数据分析平台,它提供了一种称为PigLatin的脚本语言,用于简化大规模数据集的并行处理。
IT成长日记
·
2025-04-12 18:29
大数据成长笔记
hadoop
大数据
分布式
Hadoop
之Oozie
Oozie简介对于我们的工作,可能需要好几个
Hadoop
作业来协作完成,往往一个job的输出会被当做另一个job的输入来使用,这个时候就涉及到了数据流的处理。
_TIM_
·
2025-04-12 18:58
hadoop
【
Hadoop
入门】
Hadoop
生态之Oozie简介
Oozie是Apache基金会下的一个开源工作流调度系统,专门设计用于管理
Hadoop
作业。
IT成长日记
·
2025-04-12 18:27
大数据成长笔记
hadoop
大数据
分布式
从Oracle和TiDB的HTAP说起
除了数据库行业其他技术群体很多不知道HTAP的时至今日还是有很多人迷信
Hadoop
,觉得大数据就是
Hadoop
。这是不正确的。也难怪这样,很多人OLTP和OLAP也分不清,何况HTAP。
薛晓刚
·
2025-04-12 07:49
数据库
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他