E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs基础架构
搭建大数据平台常用的端口号
50070:
HDFS
webUI的端口号8485:journalnode默认的端口号9000:非高可用访问数rpc端口8020:高可用访问数据rpc8088:yarn的webUI的端口号8080:master
修勾勾L
·
2024-01-27 13:51
Linux
大数据
YARN 工作原理
1、Hadoop2新增了YARN,YARN的引入主要有两个方面的变更:其一、
HDFS
的NameNode可以以集群的方式部署,增强了NameNode的水平扩展能力和高可靠性,水平扩展能力对应
HDFS
Federation
无羡爱诗诗
·
2024-01-27 13:43
深入浅出
hdfs
源码
1、hadoop基本介绍2、周边生态图3、
hdfs
读源码解析4、
hdfs
写源码解析5、
hdfs
副本机制解读6、
hdfs
常见管理源码解析7、
hdfs
高可用源码解析-ha8、
hdfs
监控源码解析-dnmetrics-nnmetrics
大数据之家
·
2024-01-27 10:39
hdfs
hadoop
大数据
2021-03-07
HDFS
=====>解决存储问题·MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive
残月冷无声
·
2024-01-27 10:39
深入浅出
hdfs
-hadoop基本介绍
一、Hadoop基本介绍hadoop最开始是起源于ApacheNutch项目,这个是由DougCutting开发的开源网络搜索引擎,这个项目刚开始的目标是为了更好的做搜索引擎,后来Google发表了三篇未来持续影响大数据领域的三架马车论文:GoogleFileSystem、BigTable、Mapreduce开始掀起来了大数据的浪潮,paper原文可以参考我的这篇文章CSDN。这三篇论文介绍了如何
大数据之家
·
2024-01-27 10:03
hdfs
hadoop
大数据
使用.minio实现元对象的存储学习笔记
使用MinIO为机器学习、分析和应用程序数据工作负载构建高性能
基础架构
。
IT界的_彭于晏_
·
2024-01-27 10:29
java
全栈工程师
一、技能储备全栈工程师是一个综合性的职业,需要掌握多种技能,包括前端和后端开发、数据库和数据存储、服务器和
基础架构
等。由
wd90119
·
2024-01-27 09:21
职场和发展
Hadoop三大核心组件,hadoop原理
Hadoop的三大核心组件分别是:
HDFS
(HadoopDistributeFileSystem):hadoop的数据存储工具。
你敢和我比剑吗
·
2024-01-27 09:03
hadoop
大数据
mapreduce
Hadoop2.0架构及其运行机制,HA原理
文章目录一、Hadoop2.0架构1.架构图2.HA1)NameNode主备切换2)watcher监听3)脑裂问题3.组件1.
HDFS
2.MapReduce3.Yarn1.组件2.调度流程一、Hadoop2.0
Toner_唐纳
·
2024-01-27 09:30
大数据
Hadoop 原理及架构详解
视频网址:01-课程内容大纲与学习目标_哔哩哔哩_bilibili一、基础概念1、版本架构变迁2、集群简介主要包括两个集群:
HDFS
、YARN(MapReduce是计算框架,是代码层面的)这两个集群逻辑上分离
Should·L
·
2024-01-27 09:25
大数据
hadoop
架构
大数据
Hive实战 —— 电商数据分析(全流程详解 真实数据)
目录前言需求概述数据清洗数据分析一、前期准备二、项目1.数据准备和了解2.确定数据粒度和有效列3.
HDFS
创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2.明细层建表为什么要构建时间维度表
Byyyi耀
·
2024-01-27 08:25
hive
数据分析
hadoop
[AIGC 大数据基础] 浅谈
hdfs
HDFS
介绍什么是
HDFS
?
HDFS
(HadoopDistributedFileSystem)是ApacheHadoop生态系统的一部分,是一个分布式文件系统。
程序员三木
·
2024-01-27 01:00
大后端
大数据
AIGC
hdfs
Flume1.9基础学习
文章目录一、Flume入门概述1、概述2、Flume
基础架构
2.1Agent2.2Source2.3Sink2.4Channel2.5Event3、Flume安装部署3.1安装地址3.2安装部署二、Flume
魅Lemon
·
2024-01-27 00:01
大数据
flume
大数据开发必备工具——Hadoop及整体架构介绍
它由几个关键的组件组成,其中最核心的是Hadoop分布式文件系统(
HDFS
)和MapReduce计算模型。
love6a6
·
2024-01-26 21:03
大数据
hadoop
架构
Spring、SpringBoot、SpringCloud的区别
什么是Spring作为Java开发人员,大家都Spring都不陌生,简而言之,Spring框架为开发Java应用程序提供了全面的
基础架构
支持。
在代码的路上奔跑
·
2024-01-26 20:07
框架对比
java
spring和springboot的区别
spring:Spring框架为开发Java应用程序提供了全面的
基础架构
支持。
肆〇
·
2024-01-26 20:36
spring
spring
boot
java
思腾合力邀您共赴第二十五届高交会(CHTF2023)
思腾合力作为行业领先的人工智能
基础架构
解决方案商,受邀参加本次盛会。
STGPU
·
2024-01-26 19:00
深度学习
机器学习
神经网络
自然语言处理
人工智能
HBase 2.3.2 集群部署
HBase2.3.2集群部署依赖服务系统优化查看ZooKeeper集群状态查看
HDFS
集群状态创建路径配置/etc/profile配置$HBASE_HOME/conf/hbase-env.sh配置$HBASE_HOME
JP.Hu
·
2024-01-26 19:07
HBase
hbase
数据库
大数据
Hadoop 3.1.1
HDFS
集群部署
Hadoop3.1.1
HDFS
集群部署依赖服务系统优化查看ZooKeeper集群状态创建路径配置/etc/profile配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh配置
JP.Hu
·
2024-01-26 19:37
Hadoop
hadoop
hdfs
大数据
hadoop安装遇到的一些障碍
start-dfs.sh(开启不成功)原因:1.dadoop文件所属者与执行时登陆者不一致(权限不足)报错:WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedby
HDFS
_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.Startingnamenodeson
GetIdea
·
2024-01-26 18:30
搭建Hive3.x并整合MySQL8.x存储元数据
另外一点就是
HDFS
上
端碗吹水
·
2024-01-26 16:06
C语句的作用和分类,赋值表达式和赋值语句、空语句等
它们分别是:if()...else...for()...循环语句while()...do...while()continuebreakswitchreturngoto2、函数调用语句比如printf(“d
hdfs
al
qq_263_tohua
·
2024-01-26 16:04
c语言
算法
开发语言
轻量级3D姿态估计
网络结构:编码器-解码器在编码器用于全局特征提取,而解码器进行姿态估计的
基础架构
,研究团队对其主干网络、激活函数,以及Skipconcatenation功能都
AI视觉网奇
·
2024-01-26 15:04
姿态检测
深度学习宝典
深度学习
神经网络
135.如何进行离线计算-1
应用场景用户流失预警系统基于用户购买的挽回系统用户特征和规则提取系统数据分析系统用户画像系统流程数据采集数据预处理数据建模ETL数据导出工作流调度135.1数据采集Flume收集服务器日志到
hdfs
type
大勇任卷舒
·
2024-01-26 15:03
用户画像项目背景
1,用户画像项目介绍大数据平台简介数据仓库+用户画像+推荐系统(1)数据仓库:加快数据的分析和查询数据仓库分层:ODS层(映射
HDFS
的数据)—DW(数据仓库层)–APP(层)—BI(层)DW:DWD明细数据层
祈愿lucky
·
2024-01-26 13:20
大数据
spark
kafka
详解BLDC和PMSM的特点
文章目录前言BLDC和PMSM的优点
基础架构
前言在电机领域中,有刷电机和无刷电机代表着两种不同的技术路径。有刷电机的绕组通常位于转子,即电机的旋转部分。
小麦大叔
·
2024-01-26 07:43
电机控制
电机控制
单片机
嵌入式硬件
Kafka3学习笔记
文章目录一、Kafka概述和入门1、Kafka概述1.1定义1.2消息队列1.3Kafka
基础架构
2、Kafka快速入门2.1安装部署2.2集群启停脚本3、Kafka命令行操作3.1Topic命令行操作
魅Lemon
·
2024-01-26 06:03
大数据
kafka
Flink1.13集成Hadoop3.x以上版本
org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:Couldnotfindafilesystemimplementationforscheme'
hdfs
未来影子
·
2024-01-26 04:22
Flink
hadoop
hdfs
flink
HDFS
操作
文章目录主要内容1.编程实现以下指定功能,并利用Hadoop提供的Shell命令完成相同任务:一.shell命令行实现1.向
HDFS
中上传任意文本文件,如果指定的文件在
HDFS
中已经存在,则由用户来指定是追加到原有文件末尾还是覆盖原有的文件
K要努力
·
2024-01-26 02:43
算法与数据结构
hdfs
hadoop
大数据
eclipse
Pyspark 读 DataFrame 的使用与基本操作
一、安装基于mac操作系统安装jdkjdk下载地址安装pysparkpipinstallpyspark二、读取
HDFS
文件读json注意,如果是多行的json,需要用“multiLine”模式,否则会报错
苏学算法
·
2024-01-26 02:10
spark
sql
hadoop
spark
sql
pyspark
pyspark学习-RDD转换和动作
RDDsc.parallelize(param:list)#demosc.parallelize(['tom','jack','black'])#2.textFile方法:读取文件,创建RDD,参数为
hdfs
heiqizero
·
2024-01-26 02:39
spark
spark
python
使用CDH的api接口对cdh服务进行滚动重启
写了个py脚本实现此功能importtimeimportrequestsimportjsonimportsys#可操作的服务列表server_list=['
hdfs
','yarn','zookeeper
Mumunu-
·
2024-01-26 01:32
大数据
python
HDFS
的优缺点、写流架构、访问方式、可靠性策略新特性
HDFS
优点高容错性数据自动保存多个副本副本丢失后,自动恢复适合批处理移动计算而非数据数据位置暴露给计算框架适合大数据处理GB、TB、甚至PB级数据百万规模以上的文件数量10K+节点规模流式文件访问一次性写入
木迪_2a4e
·
2024-01-26 00:49
CDH浏览器安装流程
选择所有得主机列出所有得主机3然后根据自己安装得版本来进行选择选择对应版本4然后等待安装等待配置5出现问题根据提示进行操作进行相关设置(安装得时候,一般做了配置)6然后下一步,然后选择自定义安装,先安装最基本得几个组件:
HDFS
HbaseZooKeePerYARN7
PunkP
·
2024-01-25 23:41
大数据开发之Spark(spark streaming)
sparkstreaming支持的数据源很多,例如:kafka、flume、
hdfs
等。数据输入后可以用spark的高度抽象原语如:map、reduce、join、window等进行计算。
Key-Key
·
2024-01-25 21:07
大数据
spark
分布式
面试涉及的知识点
重点:javascript(闭包,作用域,高级特性)重点:es6async,作用域,模块化,promise,类,结构析构html5css3React几种数据传递的方法,生命周期,React原理Redux
基础架构
向布谷鸟说早安
·
2024-01-25 21:18
《深入浅出》Apache Kafka实战
2011年年初,美国领英公司(LinkedIn)开源了一款
基础架构
软件,以奥地利作家弗兰兹.卡夫卡(FranzKafka)的名字命名,之后LinkedIn将其贡献给Apache基金会,随后该软件于2012
Java架构互联网大数据
·
2024-01-25 20:00
sqoop之hive数据仓库和oracle数据库数据转换
,主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递,可以将一个关系型数据库(例如:MySQL,Oracle,Postgres等)中的数据导进到Hadoop的
HDFS
Summer_1981
·
2024-01-25 20:37
java打jar包添加第三方依赖
org.apache.maven.pluginsmaven-shade-plugin2.4.3packageshadeaddMain-Classtomanifestfilecom.shine.
Hdfs
APImergeMETA-INF
久生情123
·
2024-01-25 18:25
笔记
java
jar
开发语言
HDFS
高可用架构涉及常用功能整理
HDFS
高可用架构涉及常用功能整理1.
hdfs
的高可用系统架构和相关组件2.
hdfs
的核心参数2.1常规配置2.2特殊优化配置2.1.1NN优化2.1.2DN优化3.
hdfs
常用命令3.1常用基础命令3.2
李姓门徒
·
2024-01-25 16:31
大数据
Hdfs
hdfs
hadoop
大数据
hadoop集群部署
hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统
基础架构
,是一个存储系统+计算框架的软件框架,主要解决海量数据存储与计算的问题,是大数据技术中的基石。
Cat God 007
·
2024-01-25 12:45
笔记
大数据
大数据
hdfs
hadoop集群规划部署
hadoop102hadoop103hadoop104
HDFS
NameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManagerNodeM
Snower_2022
·
2024-01-25 12:43
hadoop
hadoop
java
大数据
阿里云云计算助理工程师ACA证书笔记2024.1.10 云计算基础 第四节(持续更新中....)
aliyun.com)四、云计算分类与主流产品目标:了解,解释云计算的分类体系,理解,辨别云计算的应用场景了解,认识主流的云计算产品云计算主要分为:私有云,公有云,混合云和多云云计算的服务模式目前主要有三种:
基础架构
即服务
MadisonRing
·
2024-01-25 10:12
阿里云
云计算
阿里云
笔记
一篇文章学会Kafka
消息队列组件Kafka一、Kafka概述二、Kafka
基础架构
三、Kafka快速入门1.Topic操作命令2.Producer操作命令3.consumer操作命令四、Kafka生产者1.生产者分区2.ACK
Aimyon_36
·
2024-01-25 10:00
消息中间件
kafka
大数据
分布式
上万字详解Spark Core(建议收藏)
虽然MapReduce提供了对数据访问和计算的抽象,但是对于数据的复用就是简单的将中间数据写到一个稳定的文件系统中(例如
HDFS
),
废柴程序员
·
2024-01-25 09:06
Hadoop-
HDFS
写流程(从命令行到完成)
一、简单回顾下
HDFS
的架构如果不了解
HDFS
的可以看下我写的一篇博客,这里先贴下官网架构图:二、源码分析源码中写的肯定是最真实的,下面是hadoop官方源码下载地址,我下载的是hadoop-3.2.4
隔着天花板看星星
·
2024-01-25 09:23
hadoop
hdfs
大数据
Hadoop-
HDFS
高可用
一、说明在我的博客中已经包含了
HDFS
高可用的搭建,这里描述下它的原理。
隔着天花板看星星
·
2024-01-25 09:52
hadoop
hdfs
大数据
Hadoop-
HDFS
读流程(从输入命令到回显)
一、简单回顾下
HDFS
的架构如果不了解
HDFS
的可以看下我写的一篇博客,这里先贴下官网架构图:二、静静的思考一会儿爱因斯坦说过:想象力比知识更重要。想象力推动世界,是知识进化的源泉。
隔着天花板看星星
·
2024-01-25 09:52
hadoop
hdfs
大数据
HBase学习五:运维排障之备份与恢复
HBase的所有文件都存储在
HDFS
上,因此只要使用Hadoop提供的文件复制工具distcp将HBASE目录复制到同一
HDFS
或者其他
HDFS
的另一个目录中,就可以完成对源HBase集群的备份工作copyTable
Studying!!!
·
2024-01-25 09:49
中间件
hbase
学习
运维
Spring和Spring Boot的区别
首先,Spring是一个全面的
基础架构
支持,它提供了依赖注入和模块化功能,并且支持Maven和Gradle等通用包管理技术。
love6a6
·
2024-01-25 07:42
spring
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他