E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfshadoop大数据
带你涨姿势,Hbase 概念原理扫盲 !
Hbase是一个高可靠性(存储在
hdfs
上,有副本机制),高性能,面向列,
码农小光
·
2023-12-04 07:06
阅读 Flink 源码前必会的知识 - 命令行解析库 Apache Commons Cli
一、介绍一下ApacheCommonsCli,有一个感官的认识我们在使用一些开源项目时,会敲一些命令,有简单的,比如hadoopversion;有复杂的,比如flinkrun…,
hdfs
dfs-ls,等等
KK架构
·
2023-12-04 06:22
Flink
flink
flink源码
命令行
解析
Apache
Commons
flink-connector-mysql-cdc_2.0.2
ververica.github.io/flink-cdc-connectors/master/content/connectors/mysql-cdc.html1、测试步骤:1)开启MySQLBinlog并重启MySQL2)启动
HDFS
ykqidev
·
2023-12-04 06:49
flink
flink
mysql
java
Hadoop——分布式存储
HDFS
HDFS
集群环境部署VMware虚拟机中部署一、https://hadoop.apache.org中下载安装包二、环境分配三、上传、解压确认服务器创建、固定IP、防火墙关闭、Hadoop用户创建、SSH
A尘埃
·
2023-12-04 06:13
hadoop
分布式
hdfs
大数据技术合集(持续更新)
0.大数据技术演变史(来自通信院)1.起源:Google的三驾马车1.1GFS1.2BigTable1.3MapReduce2.开源大数据文件、对象、块存储2.1分布式文件系统:
HDFS
、Ceph、GlusterFS
amuseme_lu
·
2023-12-04 05:39
BigData
大数据
九、
hdfs
中Namenode元数据处理
1、元数据的由来在
hdfs
文件系统中,用户的每一次操作,都会对文件系统产生响应的影响,那么谁来记录这些影响呢?
弦之森
·
2023-12-04 05:37
Hadoop
hdfs
hadoop
大数据
八、
hdfs
文件系统副本块数量的配置
1、配置方式2、实际操作演示(1)在Hadoop用户的根目录下创建text.txt文件(2)上传文件hadoop@node1:~$
hdfs
dfs-ls
hdfs
://node1:8020/Found4itemsdrwxr-xr-x-hadoopsupergroup02023
弦之森
·
2023-12-04 05:05
Hadoop
hdfs
hadoop
大数据
04数据平台Flume
Flume功能Flume主要作用,就是实时读取服务器本地磁盘数据,将数据写入到
HDFS
。Flume是Cloudera提供的高可用,高可靠性,分布式的海量日志采集、聚合和传输的系统工具。
kk_io
·
2023-12-04 04:20
数据仓库
数据仓库
flume
大数据
LeetCode刷题 -- DFS
深度优先搜索算法,depth-first-searc
hDFS
,是一种用于遍历或者搜索树、图的算法,这个算法会尽可能深的去搜索树的分支。
材料小菜鸟
·
2023-12-04 04:02
深度优先
leetcode
算法
大数据基础设施搭建 - 业务数据同步策略
文章目录一、全量同步1.1梳理需要全量同步的业务表1.2Sqoop:MySQLTo
HDFS
1.2.1开发脚本1.2.2授予脚本执行权限1.2.3执行脚本1.2.4定时调度二、增量同步2.1梳理需要增量同步的业务表
m0_46218511
·
2023-12-03 16:42
大数据基础设施搭建
大数据
业务数据同步
Hadoop 1 ~ Hadoop 3 的发展史
Hadoop1的核心设计就是
HDFS
(HadoopDistributedFileSystem)和Map
大数据狂人
·
2023-12-03 14:34
hadoop
大数据开发:
HDFS
Erasure Coding机制
Hadoop的分布式文件系统
HDFS
,其冗余备份机制,确保了数据存储的容错,但是同时也增加了冗余存储成本。今天的大数据开发分享,我们就来讲讲
HDFS
ErasureCoding机制。
成都加米谷大数据
·
2023-12-03 14:29
Hbase与Hive的区别与联系
Hive,通过元数据来描述
HDFS
上的结构化文本数据。因此,严格地讲,Hive并非数据库,主要是让开发人员能够通过SQL(HQL语
阿乐_822e
·
2023-12-03 12:13
Hive----基本概念
3、本质是:将HQL转化成MapReduce程序1)Hive处理的数据存储在
HDFS
2)Hive分析数据底层的实现是MapReduce3)执行程序运行在Yarn上4.Hive的优缺点优点1)操作接口采用类
Hi杯酒故人
·
2023-12-02 21:21
Hadoop架构---
HDFS
补充知识点---三个模式/机制
1.安全模式在安全模式下不允许
HDFS
客户端进行任何修改文件的操作,包括上传文件,删除文件等操作。
Yan_bigdata
·
2023-12-02 19:29
hadoop
架构
hdfs
学习
Hive环境准备[重点学习]
1.前提启动hadoop集群hadoop在统一虚拟机中已经配置了环境变量启动
hdfs
和yarn集群命令:start-all.sh[root@node1/]#start-all.sh启动mr历史服务命令:
Yan_bigdata
·
2023-12-02 19:59
hive
学习
hadoop
Hadoop进阶学习---
HDFS
分布式文件存储系统
1.
hdfs
分布式文件存储的特点分布式存储:一次写入,多次读取
HDFS
文件系统可存储超大文件,时效性较差.
HDFS
基友硬件故障检测和自动快速恢复功能.
HDFS
为数据存储提供很强的扩展能力.
HDFS
存储一般为一次写入
Yan_bigdata
·
2023-12-02 19:59
hadoop
分布式
学习
hdfs
推荐系统lambda架构学习笔记之Hadoop、
HDFS
、YARN&MapReduce(三)
HadoopHadoop介绍Hadoop名字的由来作者:DougcuttingHadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名Hadoop的概念:Apache™Hadoop®是一个开源的,可靠的(reliable),可扩展的(scalable)分布式计算框架允许使用简单的编程模型跨计算机集群分布式处理大型数据集可扩展:从单个服务器扩展到数千台计算机,每台计算机都提供本地计算和存储可
吃一口桃酥
·
2023-12-02 19:50
笔记
hadoop
hdfs
mapreduce
Hadoop之MapReduce学习笔记(一)
1、mapreduce整体工作机制介绍回顾第
HDFS
第一天单词统计实例(
HDFS
版wordcount):统计
HDFS
的/wordcount/input/a.txt文件中的每个单词出现的次数——wordcount
weixin_30752377
·
2023-12-02 19:50
大数据
操作系统
java
hadoop学习笔记——NO.4_HADOOP集群搭建与使用初步
HADOOP集群搭建与使用初步HADOOP集群搭建集群简介HADOOP集群具体来说包含两个集群:
HDFS
集群和YARN集群,两者逻辑上分离,但物理上常在一起
HDFS
集群:负责海量数据的存储,集群中的角色主要有
蔡茂昌
·
2023-12-02 19:20
hadoop学习笔记
Hdoop学习笔记(HDP)-Part.20 安装Flume
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:46
hadoop
学习
笔记
flume
hadoop
Hdoop学习笔记(HDP)-Part.17 安装Spark2
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:45
hadoop
学习
笔记
spark
hadoop
Hdoop学习笔记(HDP)-Part.18 安装Flink
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:45
hadoop
学习
笔记
flink
hadoop
Hdoop学习笔记(HDP)-Part.11 安装Kerberos
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:15
hadoop
学习
笔记
hadoop
Hdoop学习笔记(HDP)-Part.12 安装
HDFS
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:15
hadoop
学习
笔记
hdfs
hadoop
Hdoop学习笔记(HDP)-Part.19 安装Kafka
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:15
hadoop
学习
笔记
kafka
hadoop
Hdoop学习笔记(HDP)-Part.10 创建集群
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:14
hadoop
hadoop
学习
笔记
Hdoop学习笔记(HDP)-Part.09 安装OpenLDAP
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:44
hadoop
学习
笔记
hadoop
Hdoop学习笔记(HDP)-Part.02 核心组件原理
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:14
hadoop
学习
笔记
hadoop
Hdoop学习笔记(HDP)-Part.05 Yum源配置
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:14
hadoop
学习
笔记
hadoop
Hdoop学习笔记(HDP)-Part.07 安装MySQL
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:14
hadoop
学习
笔记
mysql
hadoop
Hdoop学习笔记(HDP)-Part.08 部署Ambari集群
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:14
hadoop
学习
笔记
ambari
hadoop
Hadoop Core -
HDFS
, MapReduce, YARN
HadoopCore-
HDFS
,MapReduce,YARN参加拉勾教育大数据训练营课程笔记引用:《Hadoop-TheDefinitiveGuide,4thEdition》,《拉勾导师笔记》简介大数据特性
DataPeak
·
2023-12-02 19:13
大数据
hadoop
big
data
java
Hdoop学习笔记(HDP)-Part.03 资源规划
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:43
hadoop
学习
笔记
hadoop
Hdoop学习笔记(HDP)-Part.06 安装OracleJDK
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 19:43
hadoop
学习
笔记
hadoop
Hdoop学习笔记(HDP)-Part.04 基础环境配置
Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 18:40
hadoop
学习
笔记
hadoop
HDFS
JAVA API的应用
(简答题)使用
HDFS
的JAVAAPI进行编程:(1)获取自己
HDFS
集群下的所有文件和目录;//获取自己
HDFS
集群下的所有文件和目录;importorg.apache.hadoop.conf.Configuration
星星失眠️
·
2023-12-02 16:28
大数据开发技术
hdfs
java
hadoop
HIVE SQL 、Hive MR参数设置
1、知识点回顾hive数据库是
hdfs
上的文件夹,表也是文件夹,表里的数据是文件hive建表createtable表名(字段1类型1,字段2类型2……)rowformatdelimitedfieldsterminatedby
故里良田
·
2023-12-02 15:39
hbase thrift2 jar包冲突导致启动失败问题排查记录
1、启动命令${HBASE_HOME}/bin/hbase-daemon.shstartthrift22、异常情况hbase-root-thrift2-
hdfs
-test07.yingzi.com.out
Java小田
·
2023-12-02 12:53
hbase
大数据
jar冲突
java: 通过URL读取hadoop
HDFS
packagetju;importorg.apache.hadoop.fs.FsUrlStreamHandlerFactory;importorg.apache.hadoop.io.IOUtils;importjava.io.InputStream;importjava.net.MalformedURLException;importjava.net.URL;importjava.net.URLS
amadeus_liu2
·
2023-12-02 11:28
Hadoop
hadoop
java
hdfs
hadoop:通过Configuration读取
hdfs
packagetju;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FSDataInputStream;importorg.apache.hadoop.fs.FSDataOutputStream;importorg.apache.hadoop.fs.FileSystem;importorg.apache.
amadeus_liu2
·
2023-12-02 11:28
Hadoop
hadoop
hdfs
大数据
【Spark数仓项目】需求八:MySQL的DataX全量导入和增量导入Hive
hive1.增量导入的第一种实现方法2.另一种方法是时间字段3.dataX脚本三、利用Python自动生成Datax的json脚本1.创建mysql和hive数据库2.修改python脚本里面的密码(2处)和
hdfs
程序终结者
·
2023-12-02 10:22
spark
mysql
hive
Hive中parquet压缩格式分区表的跨集群迁移记录
文章目录环境与需求集群环境需求描述操作步骤STEP1STEP2STEP3STEP4STEP5STEP6环境与需求集群环境华为FushionInsightA华为FushionInsightB华为集群管理机localHive3.1.0
HDFS
3.3.1
程序终结者
·
2023-12-02 10:17
hive
hadoop
数据仓库
SparkSQL 学习笔记----将RDD转换成DataFrame
一、RDD转换成DataFrame1、为什么要将RDD转换成DataFrame转换成DataFrame之后就可以直接针对
HDFS
等任何可以构建为RDD的数据,进行SparkSQL进行SQL查询了。
PZ~浪味仙
·
2023-12-02 10:46
Spark
SQL
Hadoop -- hadoop介绍
特性优点hadoop发展hadoop介绍hadoop底层是Java语言实现是Apache软件基金会的一款开源软件允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理hadoop核心组件
hdfs
小陈菜奈-
·
2023-12-02 07:07
Hadoop
hadoop
大数据
Hdoop学习笔记(HDP)-Part.14 安装YARN+MR
十四、安装YARN+MR1.MR中间结果存储权限使用Yarn提交MapReduce任务的时候,中间结果会保存在
HDFS
,/user/username/,如果/user目录下用户目录下不存在,则被创建,当
这啥命啊
·
2023-12-02 07:35
hadoop
学习
笔记
mr
yarn
hadoop
Hdoop学习笔记(HDP)-Part.1 关于HDP
源配置Part.6安装OracleJDKPart.7安装MySQLPart.8部署Ambari集群Part.9安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装
HDFS
Part
这啥命啊
·
2023-12-02 07:35
hadoop
学习
笔记
hadoop
hadoop的几个接口
8088接口:MapReduce50070接口:
HDFS
19888接口:jobhistoryseverjob历史服务器端口9000:namenode50090:secondarynamenode
Stephen6Yang
·
2023-12-02 04:03
hadoop
hadoop
HDFS
SecondaryNameNode监控
HDFS
状态的辅助后台程序,合并fsimage与edits。
歌哥居士
·
2023-12-02 02:22
主要分布式文件系统架构对比分析:GFS vs. Tectonic vs. JuiceFS
GFS开创了商品硬件的使用,并影响了大数据领域的Hadoop分布式文件系统(
HDFS
)等系统。Tectoni
沃趣数据库管理平台
·
2023-12-02 00:34
技术专栏
架构
分布式
云原生
数据库
上一页
17
18
19
20
21
22
23
24
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他