E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs源码分析
Spark—shell,Hbase—shell
Spark:SPARKSQLresults=spark.sql("SELECT*FROMpeople")//读取JSON文件valuserScoreDF=spark.read.json("
hdfs
://
꧁༺朝花夕逝༻꧂
·
2024-01-18 07:21
spark
大数据
分布式
基于华为MRS实时消费Kafka通过Flink落盘至
HDFS
的Hive外部表的调度方案
文章目录1Kafka1.1Kerberos安全模式的认证与环境准备1.2创建一个测试主题1.3消费主题的接收测试2Flink1.1Kerberos安全模式的认证与环境准备1.2Flink任务的开发3
HDFS
大数据程序终结者
·
2024-01-18 06:25
Hadoop生态
Flink
华为
kafka
flink
fusioninsight
hdfs
hive
sqoop事务如何实现
场景1:如Sqoop在导出
hdfs
数据到Mysql时,某个字段过长导致任务失败,该错误记录之前的数据正常导入,之后的数据无法导入。如何保证错误发生后数据回滚?
qzWsong
·
2024-01-18 06:50
sqoop
sqoop
hadoop
hive
DPDK 中断处理流程
本文整理下之前的学习笔记,基于DPDK17.11版本
源码分析
。主要分析一下中断处理流程。
分享放大价值
·
2024-01-18 05:55
阿里云大数据ACA及ACP复习题(21~40)
(D)A:
HDFS
B:DFSC:RDDD:MapReduce解析:MAPREDUCE(分布式运算编程框架)22.以下选项中不属于MaxCompute特点的是(D)A:支持多种多种经典的分布式计算模型B:
周周的奇妙编程
·
2024-01-18 03:08
阿里云
大数据
云计算
HDFS
系统架构
HDFS
ArchitectureIntroductionHadoopDistributedFileSystem(
HDFS
)是设计可以运行于普通商业硬件上的分布式文件系统。
偷油考拉
·
2024-01-18 03:52
JStorm
源码分析
-6.Worker
1.程序分析1.1入口JStorm
源码分析
-5.Supervisor中的最后,我们已经知道了Worker由com.alibaba.jstorm.daemon.worker.Worker启动。
史圣杰
·
2024-01-18 01:44
spark-udf函数
frompyspark.sqlimportSparkSessionfrompyspark.sql.typesimport*创建连接ss=SparkSession.builder.getOrCreate()读取
hdfs
中长跑路上crush
·
2024-01-17 23:34
Spark阶段
spark
大数据
分布式
Golang学习笔记-defer关键字学习
作为一个编程语言中的关键字,defer的实现一定是由编译器和运行时共同完成的,不过在深入
源码分析
它的实现之前我们还是需要了解defer关键字的常见使用场景以及使用时的注意事项。
LegendGo
·
2024-01-17 20:24
常用图算法实现--Spark
1211523242526273134251151261676871788189810914911011013111211112113141412151网页:123456789101112131415将这两个文件放入
HDFS
zealscott
·
2024-01-17 19:45
本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法
1.背景在开发大数据平台XSailboat中的查看Flink任务的状态数据工具时,用StateProcessAPI解析保存点数据,将其从
HDFS
上读取出来再将其解析过后下沉到
HDFS
以CSV格式保存,然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat
·
2024-01-17 18:05
大数据平台开发问题解决笔记
flink
java
nio
Material Design - CoordinatorLayout、SnackBar
源码分析
1.说明这节课我们来看下CoordinatorLayout、SnackBar的源码,通过对源码的分析,我们来看下他们的工作原理。2.分析CoordinatorLayout的behavior是怎样工作的?2.1自定义Behavior放的是全类名;parseBehavior解析布局文件中指定的BehaviorBehavior到底是怎么实例的?是调用parseBehavior解析我们设置的layout_
世道无情
·
2024-01-17 17:38
HDFS
简介与常用API
HDFS
简介
HDFS
是一个文件系统(HadoopDocumentFileSystem),通过目录树来定位文件。其次,它是分布式的。
HDFS
适用于:一次写入,多次读出的场景。
正橙橙橙橙
·
2024-01-17 16:45
Hadoop入门
hadoop
hdfs
java
【
源码分析
】不同类型hashcode和equals方法
hashCode实现约定:同一对象调用多次调用hashCode方法必须始终返回相同的整数,且整数不必在应用程序的一次执行与另一次执行之间保持一致equals两对象相等,hashCode方法必须产生相同的整数结果equals两对象不相等,hashCode方法必须产生不相同的整数结果注意:每当重写hashCode方法时,通常都需要重写equals==在基本数据类型:值内容,引用类型时:地址equals
半度、
·
2024-01-17 14:32
源码分析
哈希算法
散列表
算法
【
源码分析
】Object中的“鸡肋“函数
具体使用可以看【
源码分析
】HashMap真源码阅读hashCode的总契约是:在Java应用程序的执行过程中,只要在同一对象上多次调用hashCode方法,hashCode方法必须始终返回相同的整数,前提是对象上用于相等比较的信息没有被修改
半度、
·
2024-01-17 14:32
源码分析
java
python
开发语言
Android 事件分发机制详解(下)
2.3View事件分发机制从上面ViewGroup事件分发机制知道,View事件分发机制从dispatchTouchEvent()开始
源码分析
/***
源码分析
:View.dispatchTouchEvent
龙之叶
·
2024-01-17 13:53
技术
Android
framework
android
Netty源码研究笔记(1)——开篇
1.2.
源码分析
方法我
倾听铃的声
·
2024-01-17 11:49
后端
java
websocket
开发语言
数据结构
大数据开发之Hadoop(
HDFS
)
第1章:
HDFS
概述1.1
HDFS
产出背景及定义1、
HDFS
产生背景随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件
Key-Key
·
2024-01-17 10:22
大数据
hadoop
hdfs
Hadoop——
HDFS
、MapReduce、Yarn期末复习版(搭配尚硅谷视频速通)
一、
HDFS
1.
HDFS
概述1.1
HDFS
定义
HDFS
(HadoopDistributedFileSystem),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能
革斤要加油
·
2024-01-17 06:10
专业课
hadoop
hdfs
mapreduce
yarn
死磕以太坊
源码分析
之Kademlia算法
死磕以太坊
源码分析
之Kademlia算法KAD算法概述Kademlia是一种点对点分布式哈希表(DHT),它在容易出错的环境中也具有可证明的一致性和性能。
mindcarver
·
2024-01-17 03:48
HDFS
机架感知配置导致数据不均衡
HDFS
机架感知介绍
HDFS
机架感知是一种逻辑上的网络架构设计,它主要是用来区分不同节点的网络拓扑情况下,保证数据是能够高性能写入和查询的一种机制,毕竟跨网络的数据读写是有网络带宽消耗的,当没有配置机架信息时
KubeData
·
2024-01-17 02:41
hdfs
hadoop
大数据
【状态管理|概述】Flink的状态管理:为什么需要state、怎么保存state、对于state过大怎么处理
文章目录一.state相关1.state种类2.State的存在形式3.state在哪产生4.state内存设置二.statebackend1.三种状态后端2.如何在
hdfs
中存储?
roman_日积跬步-终至千里
·
2024-01-17 01:13
#
flink
实战
flink
java
大数据
并发编程(七)——JUC并发工具
一、CountDownLatch应用&
源码分析
1.1CountDownLatch介绍CountDownLatch就是JUC包下的一个工具,整个工具最核心的功能就是计数器。
小灰灰-58
·
2024-01-17 00:26
并发编程
java
开发语言
flume
为什么选用FlumePython爬虫数据Java后台日志数据服务器本地磁盘文件夹
HDFS
FlumeFlume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到
HDFS
。
添柴少年yyds
·
2024-01-17 00:55
flume
大数据
Redis Sentinel
源码分析
- Sentinel 选举机制和主备倒换
作者:WenHui转载:中间件小哥Sentinel的选举机制在上面的文章我们提到过,Sentinel在主备倒换的过程中会使用is-master-down-by-addr命令来与其他Sentinel进行通信以取得其他Sentinel的投票。每个Sentinel实例都有被选举成领头Sentinel的机会,领头Sentinel会主导整个主节点下线进行主备倒换的过程。image如上面代码所示,当Senti
中间件小哥
·
2024-01-17 00:10
Spring Boot - Application Events 的发布顺序_ApplicationContextInitializedEvent
文章目录Pre概述Code
源码分析
PreSpringBoot-ApplicationEvents的发布顺序_ApplicationEnvironmentPreparedEventSpringBoot-ApplicationEvents
小小工匠
·
2024-01-16 23:08
【Spring
Boot2.X】
spring
boot
事件发布
Hadoop详解
核心内容包含
hdfs
和mapreduce。hadoop2.0以后引入yarn.
hdfs
是提供数据存储的,mapreduce是方便数据计算的。
武昌库里写JAVA
·
2024-01-16 21:20
高手面试
hadoop
大数据
分布式
SpringMVC请求
源码分析
文章目录一、SpringMVC简介1.概念2.从Servlet到SprigMVC3.SpringMVC的XML实现4.SpringMVC的请求流程二、SpringMVC
源码分析
1.SpringMVC启动流程验证
jakiechaipush
·
2024-01-16 20:57
重温Spring源码系列
java
Spring事务源码详解
文章目录一、事务的使用二、
源码分析
1.
jakiechaipush
·
2024-01-16 20:56
重温Spring源码系列
spring
数据库
java
Spring之AOP源码(二)
书接上文文章目录一、简介1.前文回顾2.知识点补充二、ProxyFactory
源码分析
1.ProxyFactory2.JdkDynamicAopProxy3.ObjenesisCglibAopProxy
jakiechaipush
·
2024-01-16 20:25
重温Spring源码系列
spring
java
后端
spring Security
源码分析
-13种过滤器详解
13种核心过滤器springsecurity的13个核心过滤器(按执行顺序陈列):WebAsyncManagerIntegrationFilterSecurityContextPersistenceFilterHeaderWriterFilterLogoutFilterUsernamePasswordAuthenticationFilterDefaultLoginPageGeneratingFil
不穿铠甲的穿山甲
·
2024-01-16 18:58
security
hive:创建自定义python UDF
addfile
hdfs
://home/user/py3_script/;setspark.yarn.dist.archives=
hdfs
://home/user/py3.tar.gz;setspark.shuffle.
hdfs
.enabled
青盏
·
2024-01-16 16:35
other
hive
hadoop
数据仓库
企业级大数据安全架构(四)Ranger安装
作者:楼高Ranger是支持审计功能的,安装时可以选择审计数据保存的位置,默认支持Solr和
HDFS
。
云掣YUNCHE
·
2024-01-16 16:50
企业级大数据安全架构
大数据
安全架构
安全
只知道
HDFS
和GFS?你其实并不懂分布式文件系统
一、概述分布式文件系统是分布式领域的一个基础应用,其中最著名的毫无疑问是
HDFS
/GFS。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景/问题时,具有借鉴意义。
王知无(import_bigdata)
·
2024-01-16 13:14
分布式
大数据
hadoop
数据库
java
分布式文件系统应该从哪些方面考虑
分布式文件系统是分布式领域的一个基础应用,其中最著名的毫无疑问是
HDFS
/GFS。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景/问题时,具有借鉴意义。
吃胖点儿
·
2024-01-16 13:44
分布式系统
干货|app自动化测试之Appium
源码分析
Appium是由Node.js来实现的HTTP服务,它并不是一套全新的框架,而是将现有的优秀的框架进行了集成,在SeleniumWebDriver协议(JsonWireProtocol/Restfulwebservice)的基础上增加了移动端的支持,使Appium满足多方面的需求。官方提供更详细的Appium结构说明:https://appium.io/docs/en/contributing-t
橙子_菇凉
·
2024-01-16 12:00
DataX&数据同步(全量)
1.DataX简介1.1DataX概述 DataX是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、
HDFS
、Hive、ODPS、HBase、FTP
韩顺平的小迷弟
·
2024-01-16 11:29
大数据
数据同步
C++ stl库中vector的简单实现
vector图示详解:图来自《stl
源码分析
》namespaceyhy{templateclassvector{public:typedefT*iterator;//定义了一个简单的迭代器,迭代器在stl
kurayamasy
·
2024-01-16 10:00
c++
数据结构
开发语言
算法
Flume用法总结
可以实时读取服务器的日志写入
HDFS
。
天选之子123
·
2024-01-16 10:53
大数据
flume
大数据
HIVE总结
HIVE总结一、创建数据库CREATEDATABASEIFNOTEXISTSTEST;数据库在
HDFS
的默认位置为:/user/hive/warehouse/test.dbCREATEDATABASEIFNOTEXISTSTESTLOCATION
天选之子123
·
2024-01-16 10:52
大数据
hive
hadoop
数据仓库
scratch3.0 虚拟机
源码分析
scratch软件的逻辑不复杂,就是用blockly生成语句块,然后用虚拟机抽象成底层语法,最后再调用render渲染到界面,但是因为网上几乎没有资料,源代码又嵌套的极深,看起来还是很头疼的,所以我把我这一周看代码的心得分享一些出来,以后再慢慢更新.希望大家也能少走些弯路.首先什么是虚拟机:用来屏蔽底层硬件差异和dom渲染差异,使得程序可以跨端移植,react本质上也是虚拟机,虚拟dom屏蔽设备渲
hanxianshe_9530
·
2024-01-16 08:21
【
HDFS
】
HDFS
-16348:将慢节点标记为badnode进而从pipeline中踢除并进行pipeline恢复
本文的主要内容是介绍这个PR(PullRequest):
HDFS
-16348.Markslownodeasbadnodetorecoverpipeline(#3704)通过本文可以获得如下知识:datanode
小北觅
·
2024-01-16 07:09
Hive 数据迁移
/hadoopdistcp
hdfs
://${NameNode_IP}:${NameNode_RPC_IP}/${源文件}
hdfs
://${NameNode_I
bigdata-余建新
·
2024-01-16 07:14
Hive
hive
hadoop
数据仓库
Hive知识点
基本概念:由Facebook开源,构建在Hadoop之上的数据仓库,数据计算是mapreduce,数据存储是
HDFS
目的是构建面向分析的集成的数据环境,为企业提供决策支持(面向分析的存储系统)主要特征:
꧁༺朝花夕逝༻꧂
·
2024-01-16 07:25
hive
hadoop
数据仓库
HDFS
HA 集群搭建 - 基于Quorum Journal Manager(hadoop2.7.1)
0、前置概念0.1checkpoint检查点在Hadoop分布式文件系统(
HDFS
)中,检查点(Checkpointing)是一个关键的过程,它涉及到将文件系统的命名空间状态持久化到磁盘。
Studying!!!
·
2024-01-16 06:36
中间件
hdfs
hadoop
大数据
mac上搭建 hadoop 伪集群
它主要由以下几个部分组成:
HDFS
(HadoopDistributedFileSystem):
HDFS
是Hadoop的分布式文件系统,具有较高的读写速度,很好的容错性和可伸缩性,为海量的数据提供了分布式存储
寂夜了无痕
·
2024-01-16 06:30
大数据
macos
hadoop
大数据
HDFS
和MapReduce综合实训
文章目录第1关:WordCount词频统计第2关:
HDFS
文件读写第3关:倒排索引第4关:网页排序——PageRank算法第1关:WordCount词频统计测试说明以下是测试样例:测试输入样例数据集:文本文档
柔雾
·
2024-01-16 06:24
hdfs
mapreduce
hadoop
Hive基础知识(十六):Hive-SQL分区表使用与优化
1.分区表分区表实际上就是对应一个
HDFS
文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。
依晴无旧
·
2024-01-16 05:11
大数据
hive
hadoop
数据仓库
Clickhouse集成离线hive、实时kafka数据实操
Clickhouse集成hive一、官网介绍:1、clickhouse集成hive、kafka官网介绍:2、clickhouse支持的数据类型:二、创建对应hive的clickhouse表1、利用clickhouse的
HDFS
Engine
静听枫语
·
2024-01-16 05:11
大数据
hive
数据仓库
big
data
kafka
Hadoop 3.2.4 集群搭建详细图文教程
一、集群简介Hadoop集群包括两个集群:
HDFS
集群、YARN集群。两个集群逻辑上分离、通常物理上在一起;两个集群都是标准的主从架构集群。
༺࿈誓言࿈༻
·
2024-01-16 05:10
hadoop
大数据
分布式
上一页
17
18
19
20
21
22
23
24
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他