E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs源码分析
Dubbo 3.x
源码分析
系列 - 基础篇
本篇章主要是描述工程的原始信息,后面的大多数文章里都会进行引用,作为一个公共部分把。源码地址:https://github.com/woaijiadanoo/dubbo_3.git核心框架版本:1、Dubbo版本:3.0.12、Springboot版本:2.5.03、zookeeper版本:3.7.0Dubbo基本配置对外提供的服务packagecom.jiangzh.course.dubbo.s
蒋征
·
2024-01-28 14:51
【Go】锁相关 ③
文章目录Mutex锁mutex
源码分析
LockUnLockmutex两种运行模式mutexnormal正常模式自旋mutexstarvation饥饿模式锁的底层实现类型RWMutexRWMutex实现其他共享内存线程安全的方式思考如何设计一个并发更高的锁
curd_boy
·
2024-01-28 12:51
#
Go基础知识
golang
领略Quartz源码架构之美——源码实弹之Job
本章阅读收获:可了解Quartz框架中的Job部分源码源码起航人之初,专门找软柿子捏,所以我就又忍不住先拿Job进行开刀,作为一个敲门砖进行
源码分析
。Quartz中的Job是什么?
向光奔跑_
·
2024-01-28 12:39
mysql 同步 工具 开源_开源数据同步工具——datax
开源数据同步工具——dataxDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、
HDFS
、Hive、ADS、HBase、
weixin_39942572
·
2024-01-28 12:08
mysql
同步
工具
开源
Presto源码阅读——如何获取Hive中的Metadata(HMS+
HDFS
)
Presto源码阅读——如何获取Hive中的Metadata(HMS+
HDFS
)本文的Metadata定义SQLonHadoop系统在执行一个query时所需要的Metadata主要有两部分Hive中的
stiga-huang
·
2024-01-28 12:38
Presto
Impala元数据简介
SQL-on-Hadoop的ROLAP解决方案如Presto、SparkSQL等不同的是,Impala对元数据(Metadata/Catalog)做了缓存,因此在做查询计划生成时不再依赖外部系统(如Hive、
HDFS
stiga-huang
·
2024-01-28 12:05
Impala
开源数据同步工具DataX
DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、
HDFS
、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
快乐江小鱼
·
2024-01-28 12:34
java
开源
java
Hadoop的基础操作
Hadoop的基础操作
HDFS
是Hadoop的分布式文件框架,它的实际目标是能够在普通的硬件上运行,并且能够处理大量的数据。
陆卿之
·
2024-01-28 12:27
大数据
hadoop
大数据
hdfs
Redis数据类型及底层实现
1.3.1.2.3数据模型解析(重点)1.3.1.2.4redisObjec1.3.1.2.5SDS1.3.1.3String1.3.1.3.1底层分析1.3.1.3.1.1数据结构1.3.1.3.1.2
源码分析
野心与梦
·
2024-01-28 11:16
redis专栏
redis
数据库
缓存
66.管理Hive外部表——Sentry
66.1演示环境介绍操作系统:CentOS6.5CM和CDH版本:5.12.1采用root用户操作集群运行正常,Kerberos/
HDFS
/Hive/Impala/Hue服务已与Sentry集成,Hive
大勇任卷舒
·
2024-01-28 11:57
HBase入门、基础原理介绍
1.2HBase架构二、HBase的读写删流程2.1HBase的写入流程2.2HBase的读流程2.3HBase的数据删除一、HBase介绍HBase是一个面向列式存储的分布式数据库,HBase底层存储基于
HDFS
幸福右手牵
·
2024-01-28 09:07
hbase
hbase
hadoop
大数据
HBase入门:运行机制
服务器工作原理用户读写数据的过程缓存的刷新StoreFile合并Store的工作原理HLog的工作原理HBase系统架构HBase的系统架构包括客户端、ZooKeeper服务器、Master主服务器、Region服务器HBase一般采用
HDFS
缘友一世
·
2024-01-28 09:07
分布式数据库Hbase探究
hbase
数据库
大数据
mac上搭建hbase伪集群
https://blog.csdn.net/a15835774652/article/details/135569456)但是为了模拟一把集群环境我们还是尝试搭建一个伪集群版2.环境准备jdk环境1.8+
hdfs
寂夜了无痕
·
2024-01-28 08:15
大数据
macos
hbase
Hive面试题
1)数据存储位置Hive存储在
HDFS
。数据库将数据保存在块设备或者本地文件系统中。2)数据更新Hive中不建议对数据的改写。
肿么肥四啊哈
·
2024-01-28 07:34
hive学习笔记
大数据面试题
hive
hive面试题
本质上是将SQL转换为MapReduce或者spark来进行计算,数据是存储在
hdfs
上,简单理解来说hive就是MapReduce的一个客户端工具。补充1:你可以说一下HQL转换为MR的任务流程吗?
韩顺平的小迷弟
·
2024-01-28 07:29
大数据面试题
hive
hadoop
数据仓库
【五一创作】Linux---I2C应用编程
硬件框架:(3)I2C软件框架(4)I2C数据格式二、SMBus协议三、I2C系统重要的结构体四、访问I2C设备(AP3216C)(1)使用SMBus协议:(2)使用I2C协议:(3)I2C-Tools
源码分析
希希雾里
·
2024-01-28 07:55
嵌入式Linux驱动
驱动开发
嵌入式硬件
Gin-session中Redis-based session的原理
Ginsession库本文讨论的Gin相关的session库为:https://github.com/gin-contrib/sessionsRedis-basedsession
源码分析
gin-contrib
布丁老厮
·
2024-01-28 07:54
Gin
Session
Redis
go
session
【
HDFS
】一天一个RPC系列--updateBlockForPipeline
本文目标是:弄清updateBlockForPipeline这个RPC的作用。弄清updateBlockForPipelineRPC的使用场景,代码里的调用点。一、updateBlockForPipeline的作用其定义在ClientProtocol接口里,是Client与NameNode之间的接口。看其代码注释描述:为一个underconstruction状态下的block获取一个新的GS与ac
叹了口丶气
·
2024-01-28 06:03
HDFS全方位实战
hdfs
rpc
hadoop
【BugFix】java.lang.NoSuchMethodError: java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;
2022-10-2010:43:59,633ERRORorg.apache.hadoop.
hdfs
.server.namenode.FSEditLog:Error:startinglogsegment946759failedfor
叹了口丶气
·
2024-01-28 06:02
HDFS全方位实战
Java语言积累
java
nio
jvm
【
HDFS
】EC写数据时checkStreamerFailures逻辑
本文试图弄清楚以下问题:checkStreamerFailures方法主要目的是做什么的?checkStreamerFailures方法的调用点(调用时机、条件)?checkStreamerFailures及其周边函数的逻辑。RQ1:checkStreamerFailures方法主要目的是做什么的?此方法的目的是在close流或者每次写完一整个stripe时,对streamer做健康判断。因为ce
叹了口丶气
·
2024-01-28 06:02
HDFS全方位实战
hdfs
hadoop
大数据
【
HDFS
】一天一个RPC系列--updatePipeline
建议先阅读【
HDFS
】一天一个RPC系列–updateBlockForPipeline本文目标是弄清楚以下问题:弄清updatePipeline这个RPC的作用。
叹了口丶气
·
2024-01-28 06:27
HDFS全方位实战
hdfs
rpc
hadoop
Ubuntu22.04三台虚拟机Hadoop集群安装和搭建(全面详细的过程)
Ubuntu22.04Hadoop集群安装和搭建(全面详细的过程)环境配置安装安装JDK安装Hadoop三台虚拟机设置克隆三台虚拟机设置静态IP修改虚拟机hostssh免密登录关闭防火墙Hadoop配置core-site.xml
hdfs
-site.xmlyarn-site.xmlmapred-site.xmlworkers
WuRobb
·
2024-01-28 06:41
hadoop
大数据
分布式
java
【数据结构】源码角度剖析PriorityQueue
PriorityQueue构造方法
源码分析
PriorityQueue的属性构造方法JDK1.8传入不可比较的对象JDK17传入不可比较的对象传入带有Collection接口的对象Offer方法分析PriorityQueue
不应该热爱
·
2024-01-28 01:51
数据结构
算法
PriorityQueue
从壹开始微服务 [ DDD ] 之十一 ║ 基于
源码分析
,命令分发的过程(二)
缘起哈喽小伙伴周三好,老张又来啦,DDD领域驱动设计的第二个D也快说完了,下一个系列我也在考虑之中,是Id4还是Dockers还没有想好,甚至昨天我还想,下一步是不是可以写一个简单的Angular入门教程,本来是想来个前后端分离的教学视频的,简单试了试,发现自己的声音不好听,真心不好听那种,就作罢了,我看博客园有一个大神在Bilibili上有一个视频,具体地址忘了,有需要的留言,我找找。不过最近年
SAYLINING
·
2024-01-28 01:10
SpringBoot 源码解析5:ConfigurationClassPostProcessor整体流程和@ComponentScan
源码分析
SpringBoot源码解析5:ConfigurationClassPostProcessor整体流程和@ComponentScan
源码分析
1.知道以下几点,读ConfigurationClassPostProcessor
hao9e
·
2024-01-28 00:51
spring
boot
java
后端
Glide缓存模块
源码分析
在开始之前,我们先了解Java中的四种引用和ReferenceQueue,为什么要了解这些知识呢?大家都知道Glide的缓存使用三级缓存,分别是磁盘缓存和两级内存缓存,而Glide的两级内存缓存就是用WeakReference+ReferenceQueue监控GC回收,这里的回收是指JVM在合适的时间就会回收该对象。Java的四种引用熟悉Java的同学都知道Java内存管理分为内存分配和内存回收,
有没有口罩给我一个
·
2024-01-28 00:12
Handler机制
源码分析
Handler是Android里面线程间通信的手段,它可以向自身持有的looper所在的线程发送消息进行通信。先看看典型的带looper的线程的创建方法。*classLooperThreadextendsThread{*publicHandlermHandler;**publicvoidrun(){*Looper.prepare();**mHandler=newHandler(){*publicv
月光明亮
·
2024-01-28 00:26
Go切片扩容机制详解
目录切片扩容的理解扩容机制
源码分析
分配大小修正/cap调整切片扩容的理解关于切片的“扩容”,我们先来理解一下有一个初印象。
ProblemTerminator
·
2024-01-27 23:38
开发问题解决合集
golang
算法
后端
rocket mq 底层存储
源码分析
(2)-业务消息持久化
本章主要详细分析Rocketmq消息持久化底层源码实现。先讲解几个核心的业务抽象类MappedFile,该类为一个存储文件的直接内存映射业务抽象类,通过操作该类,可以把消息字节写入pagecache缓存区(commit),或者原子性的消息刷盘(flush)publicclassMappedFile{protectedfinalAtomicIntegerwrotePosition;protected
萝卜头4lbt
·
2024-01-27 23:40
ElementUI
源码分析
2 - 组件篇
ElementUI是一套为开发者、设计师和产品经理准备的基于Vue2.0的桌面端组件库。0、前言老规矩,带着问题看源码:组件的两种使用方式是如何做的(Tag模式|API模式)?scss文件是如何优雅组织的?1、组件分析3.1、基本结构组件的共性分析:1、结构都是类似的,以Alert为例:importAlertfrom'./src/main';//单文件组件/*istanbulignorenext*
风之化身呀
·
2024-01-27 23:02
源码分析
DiskLruCache
功能介绍DiskLruCache是一个硬盘缓存工具类,它可以将数据持久化到硬盘上,且可以根据Lru算法,超限后删除长久不用的数据。误区先确定这些误区,对源码理解很有帮助。1.DiskLruCache只有存储和获取缓存的功能,当无缓存时返回null,不对任何网络情景进行判断。即即使对于某个key本地有缓存,调用DiskLruCache的存储方法时,会不加判断的进行覆盖。2.LinkHashMap只有
Parallel_Lines
·
2024-01-27 19:08
LeakCannary使用方法及实现原理探究(二)—— LeakCannary实现原理及
源码分析
写在前头这里首先将LeakCannary的原理写在这里,让大家有一个初步的印象,然后我们再一步步去分析具体的实现逻辑LeakCannary原理1.ActivityonDestroy之后将它放到一个WeakReference2.这个WeakReference关联到一个ReferenceQueue3.查看ReferenceQueue是否存在Activity的引用4.如果该Acitivty泄漏了,Dum
immrwk
·
2024-01-27 19:15
Android
Android第三方源码
LeakCananry
内存泄漏
内存泄漏检测
深入探究 Android 内存泄漏检测原理及 LeakCanary
源码分析
深入探究Android内存泄漏检测原理及LeakCanary
源码分析
一、什么是内存泄漏二、内存泄漏的常见原因三、我为什么要使用LeakCanary四、LeakCanary介绍五、LeakCanary的
源码分析
及其核心代码六
Just_Paranoid
·
2024-01-27 19:42
Android
android
leakcanary
oom
2.10、mybatis
源码分析
之sql执行过程以select为例
在研究select执行过程之前先来介绍一个重要的类一、SqlNode和SqlSource在myabtis初始化过程中可以知道,映射配置文件中的sql节点会被解析为MappedStatement对象,其中sql语句解析成SqlSource对象,sql语句中定义的Sql节点、文本节点等,则由SqlNode接口的响应实现。1、SqlSource接口SqlSource接口结构publicinterface
小manong
·
2024-01-27 19:59
ClickHouse(22)ClickHouse集成
HDFS
表引擎详细解析
文章目录
HDFS
用法实施细节配置可选配置选项及其默认值的列表lib
hdfs
3支持的ClickHouse额外的配置限制Kerberos支持虚拟列资料分享系列文章clickhouse系列文章知乎系列文章
HDFS
张飞的猪大数据
·
2024-01-27 17:35
clickhouse
hdfs
大数据
hadoop
数据仓库
数据库
Springboot
源码分析
之jar探秘
摘要:利用IDEA等工具打包会出现springboot-0.0.1-SNAPSHOT.jar,springboot-0.0.1-SNAPSHOT.jar.original,前面说过它们之间的关系了,接下来我们就一探究竟,它们之间到底有什么联系。文件对比:进入target目录,unzipspringboot-0.0.1-SNAPSHOT.jar-djar命令将springboot-0.0.1-SNA
dqqzj
·
2024-01-27 17:39
【apollo在springboot中运行原理】
系列文章目录Springboot
源码分析
之apollo配置文章目录系列文章目录前言一、apollo是如何完成初始化的,拉取配置的呢1.apollo的初始化阶段2.初始化RemoteConfigRepository3
不务专业的程序员--阿飞
·
2024-01-27 16:18
springboot源码分析
spring
boot
后端
java
ansible-1.9.6
源码分析
ansible1.9.6
源码分析
ansible-1.9.6
源码分析
开篇说明源码详细解读源码结构分析utils目录cache目录inventory目录playbook目录modules目录runner目录小结
spyinx
·
2024-01-27 15:00
python项目源码分析
Kolla-ansible
源码分析
1.基本认识1.1.kolla-ansiblekolla-ansible是从kolla项目中分离出来的一个可交付的项目。kolla-ansible负责部署容器化的openstack各个服务和基础设施组件;而kolla项目现在则单独负责镜像的构建,为kolla-ansible部署提供生产级别的openstack各服务镜像。1.2.ansible和dockerkolla-ansible利用ansibl
〆一缕阳光ご
·
2024-01-27 15:29
OpenStack
kolla-ansible
kolla
ansible
openstack
GBase 8a 数据迁移工具2---数据加载 “SQL 接口 LOAD DATA INFILE”
支持如下功能:支持本地文件加载支持从通用数据服务器拉取数据加载;支持FTP/HTTP/
HDFS
/SFTP等多种协议;支持多加载机对单表的并行加载,最大化加载性能;支持普通文本、gzip压缩、snappy
Linux有意思吗
·
2024-01-27 14:03
GBASE
sql
数据库
database
数据仓库
dba
搭建大数据平台常用的端口号
50070:
HDFS
webUI的端口号8485:journalnode默认的端口号9000:非高可用访问数rpc端口8020:高可用访问数据rpc8088:yarn的webUI的端口号8080:master
修勾勾L
·
2024-01-27 13:51
Linux
大数据
YARN 工作原理
1、Hadoop2新增了YARN,YARN的引入主要有两个方面的变更:其一、
HDFS
的NameNode可以以集群的方式部署,增强了NameNode的水平扩展能力和高可靠性,水平扩展能力对应
HDFS
Federation
无羡爱诗诗
·
2024-01-27 13:43
JUC并发编程与
源码分析
学习笔记(三)
目录五十六、JMM之入门简介五十七、JMM之学术定义和作用五十八、JMM之三大特性五十九、JMM之多线程对变量的读写过程六十、JMM之happens-before-上集六十一、JMM之happens-before-下集五十六、JMM之入门简介Java内存模型之JMM1、先从大厂面试题开始①、你知道什么是Java内存模型JMM吗?②、JMM与volatile它们两个之间的关系?(下一章详细讲解)③、
突然好想你之路在脚下
·
2024-01-27 12:07
多线程
学习
笔记
java
字节十年程序员分享Spring AOP介绍及
源码分析
软件开发经历了从汇编语言到高级语言和从过程化编程到面向对象编程;前者是为了提高开发效率,而后者则使用了归纳法,把具有共性的东西进行归类并使之模块化,达到便于维护和扩展的目的;如果说面向对象编程可以对业务需求进行很好的分解使之模块化;那么面向切面编程AOP(Aspect-OrientedProgramming)则可以对系统需求进行很好的模软件开发经历了从汇编语言到高级语言和从过程化编程到面向对象编程
就要学Java
·
2024-01-27 12:25
spring
代理模式
java
深入浅出
hdfs
源码
1、hadoop基本介绍2、周边生态图3、
hdfs
读源码解析4、
hdfs
写源码解析5、
hdfs
副本机制解读6、
hdfs
常见管理源码解析7、
hdfs
高可用源码解析-ha8、
hdfs
监控源码解析-dnmetrics-nnmetrics
大数据之家
·
2024-01-27 10:39
hdfs
hadoop
大数据
2021-03-07
HDFS
=====>解决存储问题·MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive
残月冷无声
·
2024-01-27 10:39
深入浅出
hdfs
-hadoop基本介绍
一、Hadoop基本介绍hadoop最开始是起源于ApacheNutch项目,这个是由DougCutting开发的开源网络搜索引擎,这个项目刚开始的目标是为了更好的做搜索引擎,后来Google发表了三篇未来持续影响大数据领域的三架马车论文:GoogleFileSystem、BigTable、Mapreduce开始掀起来了大数据的浪潮,paper原文可以参考我的这篇文章CSDN。这三篇论文介绍了如何
大数据之家
·
2024-01-27 10:03
hdfs
hadoop
大数据
新手都能学懂的SpringBoot
源码分析
!
概述日志是一个系统必不可缺少的东西,记录了系统运行时的点点滴滴,便于我们了解自己系统的运行状态,在我们使用SpringBoot时,默认就已经提供了日志功能,使用Logback作为默认的日志框架。那么,接下来我们依赖来看看SpringBoot是如何初始化好日志系统的。关于Spring的知识点总结了一个图谱,分享给大家:Spring知识总结.jpg为什么SpringBoot默认的日志框架是Logbas
W998
·
2024-01-27 09:19
ThreadLocal
源码分析
参考:https://www.cnblogs.com/xzwblog/p/7227509.html开局一张图,内容全靠编!!!ThreadLocal结构图ThreadLocal是什么?官方描述如下:*Thisclassprovidesthread-localvariables.Thesevariablesdifferfrom*theirnormalcounterpartsinthateachthr
Kevin_Lv
·
2024-01-27 09:49
Hadoop三大核心组件,hadoop原理
Hadoop的三大核心组件分别是:
HDFS
(HadoopDistributeFileSystem):hadoop的数据存储工具。
你敢和我比剑吗
·
2024-01-27 09:03
hadoop
大数据
mapreduce
上一页
11
12
13
14
15
16
17
18
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他