E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs透明加密
大数据小白初探Hbase从零到入门
目录1.前言2.初识Hbase2.1有了
HDFS
为什么还需要HBase呢?2.2HBase主要做什么的?2.3HBase架构特点?2.4HBase的适用场景?2.5HBase的数据模型和物理储存格式?
北京-景枫
·
2024-01-18 09:10
hbase
大数据
列簇式存储
HBASE学习一:原理架构详解
HBase的存储是基于
HDFS
的,
HDFS
有着高容错性的特点,被设计用来部署在低廉的硬件上,基于Hadoop意味着HBase与生俱来的超强的扩展性和吞吐量。HBase采用的时ke
Studying!!!
·
2024-01-18 08:34
中间件
hbase
学习
架构
大数据分析之ClickHouse技术选型
文章目录1.快速入门2.企业应用与实践3.踩坑4.优化最近公司的战略上需要更多的数据支撑,目前在构思打造一个用户数据分析平台,由于团队人力有限,没有
Hdfs
生态的技术人员。
凡尘技术
·
2024-01-18 08:12
数据库
数据分析
clickhouse
数据挖掘
Spark—shell,Hbase—shell
Spark:SPARKSQLresults=spark.sql("SELECT*FROMpeople")//读取JSON文件valuserScoreDF=spark.read.json("
hdfs
://
꧁༺朝花夕逝༻꧂
·
2024-01-18 07:21
spark
大数据
分布式
基于华为MRS实时消费Kafka通过Flink落盘至
HDFS
的Hive外部表的调度方案
文章目录1Kafka1.1Kerberos安全模式的认证与环境准备1.2创建一个测试主题1.3消费主题的接收测试2Flink1.1Kerberos安全模式的认证与环境准备1.2Flink任务的开发3
HDFS
大数据程序终结者
·
2024-01-18 06:25
Hadoop生态
Flink
华为
kafka
flink
fusioninsight
hdfs
hive
sqoop事务如何实现
场景1:如Sqoop在导出
hdfs
数据到Mysql时,某个字段过长导致任务失败,该错误记录之前的数据正常导入,之后的数据无法导入。如何保证错误发生后数据回滚?
qzWsong
·
2024-01-18 06:50
sqoop
sqoop
hadoop
hive
ecryptfs
透明加密
构建思想
透明加密
一直是安全领域比较热门的领域,了解了下linux内核自带的ecryptfs。首先作者为了实现
透明加密
,构造了一个ecryptfs的文件系统。
inquisiter
·
2024-01-18 04:06
linux
阿里云大数据ACA及ACP复习题(21~40)
(D)A:
HDFS
B:DFSC:RDDD:MapReduce解析:MAPREDUCE(分布式运算编程框架)22.以下选项中不属于MaxCompute特点的是(D)A:支持多种多种经典的分布式计算模型B:
周周的奇妙编程
·
2024-01-18 03:08
阿里云
大数据
云计算
HDFS
系统架构
HDFS
ArchitectureIntroductionHadoopDistributedFileSystem(
HDFS
)是设计可以运行于普通商业硬件上的分布式文件系统。
偷油考拉
·
2024-01-18 03:52
spark-udf函数
frompyspark.sqlimportSparkSessionfrompyspark.sql.typesimport*创建连接ss=SparkSession.builder.getOrCreate()读取
hdfs
中长跑路上crush
·
2024-01-17 23:34
Spark阶段
spark
大数据
分布式
常用图算法实现--Spark
1211523242526273134251151261676871788189810914911011013111211112113141412151网页:123456789101112131415将这两个文件放入
HDFS
zealscott
·
2024-01-17 19:45
本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法
1.背景在开发大数据平台XSailboat中的查看Flink任务的状态数据工具时,用StateProcessAPI解析保存点数据,将其从
HDFS
上读取出来再将其解析过后下沉到
HDFS
以CSV格式保存,然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat
·
2024-01-17 18:05
大数据平台开发问题解决笔记
flink
java
nio
迅软科技丨适合企业用的文档加密软件!
迅软科技丨企业文档安全防护方案1、文档
透明加密
防护迅软科技通过驱动级动态加解密技术,实现对企业常用的办公软件进行强制加密处理,无论加密文档通过微信、邮件、U盘等手段传输到授权范围以外,都无法被正常打开或者
迅软科技总部
·
2024-01-17 18:39
科技
网络
泄密危机升级:2023年监管收紧,数据泄露事件频发揭秘!
迅软科技丨企业文档安全防护方案1、文档
透明加密
防护迅软科技通过驱动级动态加解密技术,实现对企业常用的办公软件进行强制加密处理,无论加密文档通过微信、邮件、U盘等手段传输到授权范围以外,都无法被正常打开或者
迅软科技总部
·
2024-01-17 18:09
科技
网络
HDFS
简介与常用API
HDFS
简介
HDFS
是一个文件系统(HadoopDocumentFileSystem),通过目录树来定位文件。其次,它是分布式的。
HDFS
适用于:一次写入,多次读出的场景。
正橙橙橙橙
·
2024-01-17 16:45
Hadoop入门
hadoop
hdfs
java
大数据开发之Hadoop(
HDFS
)
第1章:
HDFS
概述1.1
HDFS
产出背景及定义1、
HDFS
产生背景随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件
Key-Key
·
2024-01-17 10:22
大数据
hadoop
hdfs
Hadoop——
HDFS
、MapReduce、Yarn期末复习版(搭配尚硅谷视频速通)
一、
HDFS
1.
HDFS
概述1.1
HDFS
定义
HDFS
(HadoopDistributedFileSystem),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能
革斤要加油
·
2024-01-17 06:10
专业课
hadoop
hdfs
mapreduce
yarn
HDFS
机架感知配置导致数据不均衡
HDFS
机架感知介绍
HDFS
机架感知是一种逻辑上的网络架构设计,它主要是用来区分不同节点的网络拓扑情况下,保证数据是能够高性能写入和查询的一种机制,毕竟跨网络的数据读写是有网络带宽消耗的,当没有配置机架信息时
KubeData
·
2024-01-17 02:41
hdfs
hadoop
大数据
【状态管理|概述】Flink的状态管理:为什么需要state、怎么保存state、对于state过大怎么处理
文章目录一.state相关1.state种类2.State的存在形式3.state在哪产生4.state内存设置二.statebackend1.三种状态后端2.如何在
hdfs
中存储?
roman_日积跬步-终至千里
·
2024-01-17 01:13
#
flink
实战
flink
java
大数据
flume
为什么选用FlumePython爬虫数据Java后台日志数据服务器本地磁盘文件夹
HDFS
FlumeFlume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到
HDFS
。
添柴少年yyds
·
2024-01-17 00:55
flume
大数据
Hadoop详解
核心内容包含
hdfs
和mapreduce。hadoop2.0以后引入yarn.
hdfs
是提供数据存储的,mapreduce是方便数据计算的。
武昌库里写JAVA
·
2024-01-16 21:20
高手面试
hadoop
大数据
分布式
hive:创建自定义python UDF
addfile
hdfs
://home/user/py3_script/;setspark.yarn.dist.archives=
hdfs
://home/user/py3.tar.gz;setspark.shuffle.
hdfs
.enabled
青盏
·
2024-01-16 16:35
other
hive
hadoop
数据仓库
企业级大数据安全架构(四)Ranger安装
作者:楼高Ranger是支持审计功能的,安装时可以选择审计数据保存的位置,默认支持Solr和
HDFS
。
云掣YUNCHE
·
2024-01-16 16:50
企业级大数据安全架构
大数据
安全架构
安全
只知道
HDFS
和GFS?你其实并不懂分布式文件系统
一、概述分布式文件系统是分布式领域的一个基础应用,其中最著名的毫无疑问是
HDFS
/GFS。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景/问题时,具有借鉴意义。
王知无(import_bigdata)
·
2024-01-16 13:14
分布式
大数据
hadoop
数据库
java
分布式文件系统应该从哪些方面考虑
分布式文件系统是分布式领域的一个基础应用,其中最著名的毫无疑问是
HDFS
/GFS。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景/问题时,具有借鉴意义。
吃胖点儿
·
2024-01-16 13:44
分布式系统
DataX&数据同步(全量)
1.DataX简介1.1DataX概述 DataX是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、
HDFS
、Hive、ODPS、HBase、FTP
韩顺平的小迷弟
·
2024-01-16 11:29
大数据
数据同步
Flume用法总结
可以实时读取服务器的日志写入
HDFS
。
天选之子123
·
2024-01-16 10:53
大数据
flume
大数据
HIVE总结
HIVE总结一、创建数据库CREATEDATABASEIFNOTEXISTSTEST;数据库在
HDFS
的默认位置为:/user/hive/warehouse/test.dbCREATEDATABASEIFNOTEXISTSTESTLOCATION
天选之子123
·
2024-01-16 10:52
大数据
hive
hadoop
数据仓库
【
HDFS
】
HDFS
-16348:将慢节点标记为badnode进而从pipeline中踢除并进行pipeline恢复
本文的主要内容是介绍这个PR(PullRequest):
HDFS
-16348.Markslownodeasbadnodetorecoverpipeline(#3704)通过本文可以获得如下知识:datanode
小北觅
·
2024-01-16 07:09
Hive 数据迁移
/hadoopdistcp
hdfs
://${NameNode_IP}:${NameNode_RPC_IP}/${源文件}
hdfs
://${NameNode_I
bigdata-余建新
·
2024-01-16 07:14
Hive
hive
hadoop
数据仓库
Hive知识点
基本概念:由Facebook开源,构建在Hadoop之上的数据仓库,数据计算是mapreduce,数据存储是
HDFS
目的是构建面向分析的集成的数据环境,为企业提供决策支持(面向分析的存储系统)主要特征:
꧁༺朝花夕逝༻꧂
·
2024-01-16 07:25
hive
hadoop
数据仓库
HDFS
HA 集群搭建 - 基于Quorum Journal Manager(hadoop2.7.1)
0、前置概念0.1checkpoint检查点在Hadoop分布式文件系统(
HDFS
)中,检查点(Checkpointing)是一个关键的过程,它涉及到将文件系统的命名空间状态持久化到磁盘。
Studying!!!
·
2024-01-16 06:36
中间件
hdfs
hadoop
大数据
mac上搭建 hadoop 伪集群
它主要由以下几个部分组成:
HDFS
(HadoopDistributedFileSystem):
HDFS
是Hadoop的分布式文件系统,具有较高的读写速度,很好的容错性和可伸缩性,为海量的数据提供了分布式存储
寂夜了无痕
·
2024-01-16 06:30
大数据
macos
hadoop
大数据
HDFS
和MapReduce综合实训
文章目录第1关:WordCount词频统计第2关:
HDFS
文件读写第3关:倒排索引第4关:网页排序——PageRank算法第1关:WordCount词频统计测试说明以下是测试样例:测试输入样例数据集:文本文档
柔雾
·
2024-01-16 06:24
hdfs
mapreduce
hadoop
Hive基础知识(十六):Hive-SQL分区表使用与优化
1.分区表分区表实际上就是对应一个
HDFS
文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。
依晴无旧
·
2024-01-16 05:11
大数据
hive
hadoop
数据仓库
Clickhouse集成离线hive、实时kafka数据实操
Clickhouse集成hive一、官网介绍:1、clickhouse集成hive、kafka官网介绍:2、clickhouse支持的数据类型:二、创建对应hive的clickhouse表1、利用clickhouse的
HDFS
Engine
静听枫语
·
2024-01-16 05:11
大数据
hive
数据仓库
big
data
kafka
Hadoop 3.2.4 集群搭建详细图文教程
一、集群简介Hadoop集群包括两个集群:
HDFS
集群、YARN集群。两个集群逻辑上分离、通常物理上在一起;两个集群都是标准的主从架构集群。
༺࿈誓言࿈༻
·
2024-01-16 05:10
hadoop
大数据
分布式
MapReduce总结
执行分布式计算和任务处理split读取数据,一个map任务处理一个分片,通常一个分片对应一个
HDFS
文件Block。
w未然
·
2024-01-16 05:51
大数据技术原理与应用 第三版 林子雨 期末复习(二) Hadoop
HDFS
HBase
大数据技术原理与应用第三版林子雨期末复习(二)Hadoop
HDFS
HBaseHadoop生态系统
HDFS
HDFS
结构块NameNode与SecondNameNode与DataNode数据冗余存储
HDFS
头发多多,肆意生长
·
2024-01-16 05:21
大数据技术
hadoop
hdfs
hbase
大数据
ClickHouse - 01
1、ClickHouse与其特性在大数据处理场景中,流处理和批处理使用到的技术大致如下:大数据处理场景流程.png批处理会将源业务系统中的数据通过数据抽取工具(例如Sqoop)将数据抽取到
HDFS
中,这个过程可以使用
ArthurHC
·
2024-01-16 02:17
任务12:使用Hadoop Streaming解压NCDC天气原始数据
任务描述知识点:NCDC原始的气象数据上传到
HDFS
MapReduce程序处理NCDC原始数据重点:熟练使用
HDFS
基础命令查看
HDFS
文件块的分布情况掌握Linux系统Shell脚本的编写熟练使用MapReduce
Dija-bl
·
2024-01-15 22:21
hadoop
npm
大数据
Hive导入数据的五种方法
在Hive中建表成功之后,就会在
HDFS
上创建一个与之对应的文件夹,且文件夹名字就是表名;文件夹父路径是由参数hive.metastore.warehouse.dir控制,默认值是/user/hive/
冬瓜的编程笔记
·
2024-01-15 12:04
大数据
hive
hadoop
数据仓库
大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)
第1章:Hive基本概念1.1Hive1.1.1Hive产生背景
HDFS
来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key
·
2024-01-15 12:04
大数据
hive
hadoop
大数据开发之HA
HA严格来说应该分成各个组件的HA机制:
HDFS
的HA和YARN的HA。NameNode主要在以下两个方面影响
HDFS
集群NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启。
Key-Key
·
2024-01-15 12:03
大数据
hadoop
大数据开发之Hive(详细版,最后有实战训练)
第1章:Hive基本概念1.1Hive1.1.1Hive产生背景
HDFS
来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key
·
2024-01-15 12:29
hive
hadoop
大数据
Datax同步(高可用
HDFS
版本)
这是一个mysql同步到hive的json脚本,hive的底层使用的是
HDFS
存储,同步到hive,只能用
hdfs
writermysql->hive{"job":{"setting":{"speed":
暴走的贼宇
·
2024-01-15 12:59
hdfs
hadoop
大数据
分布式计算平台 Hadoop 简介
其主要采用MapReduce分布式计算框架,包括根据GFS原理开发的分布式文件系统
HDFS
、根据BigTable原理开发的数据存储系统HBase以及资源管理系统YARN。
rookiexiong
·
2024-01-15 08:19
Hadoop学习
分布式
hadoop
大数据
java大数据hadoop2.92 Java连接操作
hadoop文件系统,需要给文件系统权限(1)需要在/usr/local/hadoop/etc/hadoop/core-site.xmlcore-site.xml文件配置具体ipfs.defaultFS
hdfs
crud-boy
·
2024-01-15 06:29
java大数据
大数据
java
hadoop
java大数据hadoop2.9.2 Java编写Hadoop分析平均成绩
org.apache.hadoophadoop-common2.9.2org.apache.hadoophadoop-client${hadoop.version}org.apache.hadoophadoop-
hdfs
crud-boy
·
2024-01-15 06:23
java大数据
大数据
hadoop
分布式
.‘: No such file or directory:
hdfs
://bdp/user/root‘ Linux上传本地文件到
HDFS
中时,出现“No such file or dir“
2.如果没有目标文档就在网页进行创建3.创建完毕后在Linux命令行中查看在
hdfs
中是否有目标目录hadoopfs-ls/bdp4.有目标目录后就可以上传资料和文件到hadoop上hadoopfs-putfile
YoYoYoWhatIsUp
·
2024-01-15 05:28
大数据学习
大数据
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他