E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HDFS
Hadoop_Yarn实践 (三) => (Yarn的基础架构、原理、容量/公平调度器、Tool接口、Yarn常用命令、核心参数)
目录Hadoop_
HDFS
、Hadoop_MapReduce、Hadoop_Yarn实践(三)一、Hadoop_
HDFS
二、Hadoop_MapReduce三、Hadoop_Yarn1、Yarn资源调度
常名先生
·
2023-12-18 09:23
hadoop
大数据
hdfs
Hadoop_MapReduce实践 (二) => (核心架构、序列化、Inputformat/切片、Shuffile/分区/排序、outputformat、join、ETL、压缩)
目录Hadoop_
HDFS
、Hadoop_MapReduce、Hadoop_Yarn实践(二)一、Hadoop_
HDFS
二、Hadoop_MapReduce1、MapReduce概述1.1、MapReduce
常名先生
·
2023-12-18 09:52
hadoop
mapreduce
架构
MapReduce工作原理(重点)
3将运行作业所需要的资源文件复制到
HDFS
上,包括MapReduce程序打包的jar文件、配置文件和客户端计算所得的计算划分信息。这些
Yobhel
·
2023-12-18 07:24
Ubuntu-报错
NAT模式相互切换后导致两种模式都不能访问互联网(1)具体错误:(2)错误原因:(3)解决方案:(4)问题解决:错误2:Exceptioninthread"main"org.apache.hadoop.
hdfs
.server.namenode.SafeModeException
春风LiuK
·
2023-12-18 06:23
Linux
ubuntu
linux
【
HDFS
面试】
HDFS
面试题&答案
题目
HDFS
文件写入和读取流程
HDFS
组成架构介绍下
HDFS
,说下
HDFS
优缺点,以及使用场景
HDFS
作用
HDFS
的容错机制
HDFS
的存储机制
HDFS
的副本机制
HDFS
的常见数据格式,列式存储格式和行存储格式异同点
话数Science
·
2023-12-18 06:22
大数据
Hadoop
面试
hdfs
hadoop
大数据
【Hadoop面试】
HDFS
读写流程
HDFS
(HadoopDistributedFileSystem)是GFS的开源实现。
话数Science
·
2023-12-18 06:16
大数据
面试
Hadoop
hadoop
hdfs
大数据
Datax学习整理
一、简介DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、
HDFS
、Hive、ADS、HBase、TableStore(
耗子背刀PK猫
·
2023-12-18 02:53
学习
Hadoop (海量数据存储及计算) 基本概念
[1]Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称
HDFS
。
ronmy
·
2023-12-18 02:51
大数据
Hadoop
大数据
海量数据
存储
Hive问题
1.Hive基本概念数据仓库工具,底层存储为
HDFS
,类SQL的查询,转化为mapreduce。执行程序运行在Yarn上2.hive内部表和外部表的区别?
July2333
·
2023-12-18 02:57
HBase基础知识
HBase是基于
HDFS
的NOSql数据库,它的数据逻辑存储在Region里,实际物理都存储于
hdfs
里。
陈超Terry的技术屋
·
2023-12-17 23:18
分布式文件系统之
HDFS
前言一、
HDFS
简介1.1
HDFS
产出背景及定义1)
HDFS
产生背景先给大家介绍一下什么叫
HDFS
,我们生活在信息爆炸的时代,随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中
僖僖cc
·
2023-12-17 17:41
hdfs
hadoop
大数据
分布式数据库HBase
因为HBase是在
HDFS
的基础之上构建的,
HDFS
是分布式文
僖僖cc
·
2023-12-17 17:41
分布式
数据库
hbase
从传统型数据库到非关系型数据库
其本质是一个具有数据存储功能的复杂系统软件,数据库最终把数据保存在计算机硬盘,但数据库并不是直接读写数据在硬盘,而是中间隔了一层操作系统,通过文件系统把数据保存为本地文件系统的数据文件;我们讲过Hadoop,分布式文件系统
HDFS
僖僖cc
·
2023-12-17 17:38
数据库
nosql
高效存储大规模数据的方法与实现
HadoopDistributedFileSystem(
HDFS
)是一个常用的分布式文件系统,它使用主从架构,
静谧星光c
·
2023-12-17 11:47
大数据
HDFS
介绍+Shell操作
看黑马网课记录第二章-wwww操]使用命令操作
HDFS
文件系统_哔哩哔哩_bilibili
HDFS
1.什么是
HDFS
hadoop三大组件之一,负责海量数据的分布式存储2.
HDFS
架构角色:主节点(领导)
Y蓝田大海
·
2023-12-17 10:14
大数据开发
hdfs
hadoop
大数据
2018-06-14
Hadoop:1.官网:http://hadoop.apache.org/2.Hadoop的狭义和褒义认识:狭义:软件(
HDFS
、MapReduce、Yarn)褒义:以Hadoop为主的生态圈3.Hadoop
hoose
·
2023-12-17 09:26
服务器新加磁盘进行挂载
Ambair增加
hdfs
的空间大小可以增加多个目录每台集群服务器都要操作1、查看磁盘列表命令:fdisk-l或者lsblk2、格式化新加的磁盘/dev/vdb命令:mkfs-text4/dev/vdb3
lz_matlab
·
2023-12-17 09:38
linux
服务器
运维
电商数仓项目----笔记三(用户行为数据同步)
离线数仓同步数据对于用户行为数据,由Flume从Kafka直接同步到
HDFS
,没错,又来一个Flume......按照规划,该Flume需将Kafka中topic_log的数据发往
HDFS
。
zmx_messi
·
2023-12-17 08:43
笔记
Spark sql 写分区表,设置format报错
,我写的是一个用ymd分区的表,我想设置输出格式format("hive"),然后报错了代码如下ds.write().partitionBy(partitionsStr).option("path",
hdfs
path
南修子
·
2023-12-17 07:25
Hadoop,Hive和Spark大数据框架的联系和区别
Hadoop主要包括两个方面,分别是分布式存储框架(
HDFS
)和分布式计算框架(Mapreduce)。1.1
HDFS
分布式存储
HDFS
全称为hadoopdistributedfilesystem。
Weiyaner
·
2023-12-17 06:00
数据库
大数据
hadoop
mapreduce
spark
大数据生态中‘Hadoop’、‘Hive’、‘Spark’、‘Mapreduce’、‘
HDFS
’、‘Yarn’是什么关系
Hadoop生态中
HDFS
:处理存储,管理信息的分布式存储、提供接口,让用户感觉集群中的信息
小书生啊
·
2023-12-17 06:29
大数据
hadoop
hive
[AIGC ~大数据] 深入理解Hadoop、
HDFS
、Hive和Spark:Java大师的大数据研究之旅
在这个充满机遇和挑战的领域中,我深入研究了Hadoop、
HDFS
、Hive和Spark等关键技术。本篇博客将从"是什么"、"为什么"和"怎么办"三个角度,系统地介绍这些技术。文章目录是什么?
程序员三木
·
2023-12-17 06:55
AI
大数据
hadoop
AIGC
Hadoop
文章目录1、Hadoop是什么2、Hadoop优势3、Hadoop组成(1)
HDFS
(2)YARN(3)MapReduce架构概述(4)
HDFS
、YARN、MapReduce三者关系(5)大数据技术生态体系
Gong_yz
·
2023-12-17 06:39
大数据
hadoop
分布式
Spark-Streaming+
HDFS
+Hive实战
文章目录前言一、简介1.Spark-Streaming简介2.
HDFS
简介3.Hive简介二、需求说明1.目标:2.数据源:3.数据处理流程:4.
HDFS
文件保存:5.Hive外部表映射:三、实战示例演练
大数据魔法师
·
2023-12-17 06:38
大数据
spark
hdfs
hive
【Hive】(三)Hive数据导入,导出,分区
动态分区一、导入数据loaddata1、语法loaddata(local)inpath'文件路径'into|overwritetablestudents;local:表示从本地加载数据,不加local则是从
HDFS
cbigchaos
·
2023-12-17 05:02
#
Hive
hive 增加表字段语录_HIVE常用SQL语句及语法
countint,seqnoint,addressstring)rowformatdelimitedfieldsterminatedby'\t';创建字段中含有数组类型,对象类型的表,并查询特殊字段外部表默认存在
HDFS
weixin_39811386
·
2023-12-17 05:32
hive
增加表字段语录
hadoop面试题 5 ---有用
host主机名4配置SSH免密码登录5关闭防火墙6安装JDK6解压hadoop安装包7配置hadoop的核心文件hadoop-env.sh,core-site.xml,mapred-site.xml,
hdfs
-site.xml8
okbin1991
·
2023-12-17 05:00
hadoop
hdfs
大数据
分布式
java
【Hive】【Hadoop】工作中常操作的笔记-随时添加
文章目录1、Hive复制一个表:2、字段级操作3、
hdfs
文件统计1、Hive复制一个表:直接Copy文件createtablenew_tableliketable_name;
hdfs
dfs-get/apps
cbigchaos
·
2023-12-17 05:57
#
Hive
#
Hadoop
hadoop
hive
笔记
大数据
hadoop学习大纲
Hadoop集群环境搭建Hadoop集群环境搭建
HDFS
图说
HDFS
基本原理hadoop的shell命令操作javaapi操作
HDFS
HDFS
之namenode管理元数据机制MapReduce初识MapReduceintelij
piziyang12138
·
2023-12-17 00:12
查看hive表储存在
hdfs
的哪个目录下
查看hive表储存在
hdfs
的哪个目录下使用Hive的DESCRIBEFORMATTED命令。具体步骤如下:打开Hive终端,并连接到Hive数据库。
言之。
·
2023-12-16 22:58
hive
hdfs
hadoop
【
HDFS
】FsDatasetSpi#adjustCrcChannelPosition
FsDatasetSpi接口里定义adjustCrcChannelPosition方法。应用场景在:append,blockrecovery等场景。方法的作用是设置checksum流(datanode上meta文件)的文件指针,来让最后一个checksum被覆写。/***Setsthefilepointerofthechecksumstreamsothatthelastchecksum*willb
叹了口丶气
·
2023-12-16 20:53
HDFS全方位实战
hdfs
hadoop
大数据
【Apache Pinot】Data upload jobtype 粗略分析
背景目前我司大部分实时数据和离线数据都存储在pinot数据库中,离线数据需要通过脚本去生成对应的数据上传到数据库里面,但是其中config中有个jobtype让人有点迷惑,本文简单的做一个概念的整理用处先说一下流程,目前我以
hdfs
彭笳鑫
·
2023-12-16 20:05
数据库
apache
pinot
数据库
olap
大数据
Sqoop基础理论与常用命令详解(超详细)
文章目录前言一、Sqoop概述1.Sqoop简介2.Sqoop架构(1)SqoopClient(2)SqoopServer(3)Connector(4)Metastore(5)Hadoop/
HDFS
3.
大数据魔法师
·
2023-12-16 15:57
大数据
sqoop
hadoop
hive
Mapreduce小试牛刀(1)
1.与
hdfs
一样,mapreduce基于hadoop框架,所以我们首先要启动hadoop服务器-----------------------------------------------------
printcsr
·
2023-12-16 12:51
mapreduce
Mapreduce小试牛刀(2)--java api
1.同
hdfs
的javaapi,我们首先要在IDE中建立一个maven项目pom.xml中配置如下:org.apache.hadoophadoop-mapreduce-client-common3.3.4org.apache.hadoophadoop-mapreduce-client-jobclient3.3.4org.apache.hadoophadoop-client3.3.4org.slf4
printcsr
·
2023-12-16 12:51
学习
Hdfs
java API
1.在主机上启动hadoopsbin/start-all.sh这里有一个小窍门,可以在本机上打开8088端口查看三台机器的连接状态,以及可以打开50070端口,查看
hdfs
文件状况。
printcsr
·
2023-12-16 12:21
学习
Hive命令操作
linux语句;3.运行
hdfs
命令-->dfs–
hdfs
语句;4.运行sq
xinxinyydss
·
2023-12-16 08:38
hive
hadoop
数据仓库
华为大数据开发者教程知识点提纲
一、线下处理1.离线处理方案数据支持:
HDFS
调度:YARN收入:Flume,sqoop,loader处理:Mapreduce,SparkSql,spark,hive(,Flink)2.HadoopNamenode
qq_1418269732
·
2023-12-16 06:08
大数据
【Hive】——DDL(TABLE)
describeformattedstudent;2删除表如果已配置垃圾桶且未指定PURGE,则该表对应的数据实际上将移动到
HDFS
垃圾桶,而元数据完全丢失。
那时的样子_
·
2023-12-16 05:05
hive
hadoop
数据仓库
使用sqoop操作
HDFS
与MySQL之间的数据互传
一,数据从
HDFS
中导出至MySQL中1)开启Hadoop、mysql进程start-all.sh/etc/init.d/mysqldstart/etc/init.d/mysqldstatus2)将学生数据
冬瓜的编程笔记
·
2023-12-16 05:44
大数据
sqoop
hdfs
mysql
【Hadoop-Distcp】通过Distcp的方式进行两个
HDFS
集群间的数据迁移
【Hadoop-Distcp】通过Distcp的方式进行两个
HDFS
集群间的数据迁移1)Distcp工具简介及参数说明2)Shell脚本1)Distcp工具简介及参数说明【Hadoop-Distcp】工具简介及参数说明
bmyyyyyy
·
2023-12-16 05:45
Hadoop
hadoop
hdfs
【Hadoop-CosDistcp-Distcp】通过命令方式将Cos中的数据迁移至
HDFS
,再将
HDFS
数据迁移至S3
【Hadoop-CosDistcp-Distcp】通过命令方式将Cos中的数据迁移至
HDFS
,再将
HDFS
数据迁移至S31)Shell脚本2)参数说明1)Shell脚本注意:此Shell脚本内置了按照sample_date
bmyyyyyy
·
2023-12-16 05:15
Hadoop
hadoop
hdfs
大数据
【Hadoop-Distcp】通过Distcp的方式迁移Hive中的数据至存储对象
Distcp的方式迁移Hive中的数据至存储对象1)了解Distcp1.1.Distcp的应用场景1.2.Distcp的底层原理2)使用Distcp4)S3可视化App下载4)S3可视化App使用5)跨集群迁移
HDFS
bmyyyyyy
·
2023-12-16 05:14
Hadoop
hadoop
hive
大数据
【Hadoop-OBS-Hive】利用华为云存储对象 OBS 作为两个集群的中间栈 load 文件到 Hive
利用华为云存储对象OBS作为两个集群的中间栈load文件到Hive1)压缩文件2)上传文件到OBS存储对象3)crontab定时压缩上传4)从obs上拉取下来文件后解压缩5)判断对应文件是否存在6)上传至
HDFS
bmyyyyyy
·
2023-12-16 04:04
Hadoop
hadoop
hive
华为云
Spark编程实验一:Spark和Hadoop的安装使用
一、目的与要求1、掌握在Linux虚拟机中安装Hadoop和Spark的方法;2、熟悉
HDFS
的基本使用方法;3、掌握使用Spark访问本地文件和
HDFS
文件的方法。
Francek Chen
·
2023-12-16 04:32
Spark编程基础
spark
hadoop
大数据
pyspark on yarn
直接下载hive组件的客户端配置就可以,它里面包含了
hdfs
和yarn的配置。如下所示:
[email protected]
骑着蜗牛向前跑
·
2023-12-16 03:34
大数据
pyspark
on
yarn
python
大数据
十四、YARN核心架构
1、目标(1)掌握YARN的运行角色和角色之间的关系(2)理解使用容器做资源分配和隔离2、核心架构(1)和
HDFS
架构的对比
HDFS
架构:YARN架构:(主从模式)(2)角色解释ResourceManager
弦之森
·
2023-12-16 01:52
Hadoop
hdfs
hadoop
yarn
mapreduce
大数据
基于spark的音乐数据分析系统的设计与实现
收藏关注不迷路文章目录前言一、项目介绍二、开发环境三、功能介绍四、核心代码五、效果图六、文章目录前言本文主要对音乐数据,进行分析,系统技术主要使用,1.对原始数据集进行预处理;3.使用python语言编写Spark程序对
HDFS
QQ2743785109
·
2023-12-16 01:05
spark
python
spark
大数据
分布式
单节点hadoop搭建
tar.gz解压文件,配置HADOOP_HOME编辑文件etc/hadoop/hadoop-env.sh配置JAVA_HOME配置etc/hadoop/core-site.xml文件fs.defaultFS
hdfs
曾阿伦
·
2023-12-16 00:04
hadoop
hadoop
大数据
分布式
ambari 开启
hdfs
回收站机制
hdfs
回收站类似于我们常用的windows中的回收站,被删除的文件会被暂时存储于此,和回收站相关的参数有两个:fs.trash.interval:默认值为0代表禁用回收站,其他值为回收站保存文件时间,
dogplays
·
2023-12-16 00:01
hdfs
ambari
hdfs
上一页
14
15
16
17
18
19
20
21
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他