E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs源码分析
【Spring
源码分析
】BeanFactory系列接口解读
认识Bean工厂一、认识Bean工厂BeanFactoryListableBeanFactoryHierarchicalBeanFactoryAutowireCapableBeanFactoryConfigurableBeanFactoryConfigurableListableBeanFactory二、总结一、认识Bean工厂SpringBean工厂是Spring框架提供的一种机制,用于创建和管
假正经的小柴
·
2024-01-20 13:17
Java源码分析
spring
原型模式
javascript
hdfs
元数据为什么分fsimage和edits,合并操作怎么进行的
在NameNode中,命名空间(namespace,指文件系统中的目录树、文件元数据等信息)是被全部缓存在内存中的,一旦NameNode重启或者宕机,内存中的所有数据将全部丢失,所以必须要有一种机制能够将整个命名空间持久化保存,并且能在NameNode重启时重建命名空间。这里就是通过fsimage(FSImage类)和edits(FSEditLog类)共同实现的。fsimage:命名空间镜像,存储
sf_www
·
2024-01-20 11:53
hadoop
hdfs
hadoop
big
data
Quorum Journal实现
HDFS
HA配置dfs.ha.fencing.methods
1.为什么使用QuorumJournal方式实现
hdfs
ha配置dfs.ha.fencing.methods只需要写shell(true)?
sf_www
·
2024-01-20 11:22
hadoop
hadoop
hdfs
Hadoop配置文件加载
hadoop使用org.apache.hadoop.conf.Configuration类来加载配置文件2.一般我们在写客户端程序等需要连接hadoop集群时,需要自己准备好core-site.xml和
hdfs
-site.xml
sf_www
·
2024-01-20 11:52
hadoop
hadoop
大数据
hdfs
HDFS
垃圾回收源码解析
1.TrashPolicy类:所有的垃圾回收策略都需要实现该类,
hdfs
默认的实现方式是:TrashPolicyDefault,可通过fs.trash.classname来配置。
sf_www
·
2024-01-20 11:52
hadoop
hadoop
hdfs
大数据
Hadoop基础知识
狭义上说,Hadoop指Apache这款开源框架,它的核心组件有:
HDFS
(分布式文件系统):解决海量数据存储YARN(作业调度和集群资源管理的框架):解决资源任务调度MAPREDUCE(分布式运算编程框架
坐在风口上de猪
·
2024-01-20 10:10
hadoop
大数据
分布式
令牌桶算法与Guava的实现RateLimiter
源码分析
令牌桶算法与Guava的实现RateLimiter
源码分析
令牌桶RateLimiter简介RateLimiter使用示例导入maven依赖编写测试代码RateLimiter的实现源码解析SmoothRateLimiterSmoothBursty
迷思特王
·
2024-01-20 09:39
算法
guava
mixin看这篇事半功倍
这里写目录标题一、mixin是什么二、使用场景三、
源码分析
一、mixin是什么Mixin是面向对象程序设计语言中的类,提供了方法的实现。
花言儿
·
2024-01-20 09:11
vue.js
javascript
前端
Spring-Boot-配置刷新
#I.配置动态刷新本篇将介绍并演示如何实现配置信息的刷新,但不会涉及到底层的实现原理,想要探究里面的神奇,可以网上google一下,或者期待后续的
源码分析
篇#1.ContextReferer我们这里主要借助这
无心六神通
·
2024-01-20 08:20
Spring
java
spring
boot
开发语言
配置刷新
hdfs
命令参考1-判断文件存在后删除
#cleanoutputPath
hdfs
dfs-test-e$outputPathif[$?
liuzx32
·
2024-01-20 05:24
SpringMVC父子容器
源码分析
书接上文文章目录一、Spring整合SpringMVC1.Spring整合SpringMVC案例分析2.Spring和SpringMVC父子容器的关系3.SPI机制详解二、
源码分析
1.注册父子容器2.加载父子容器一
jakiechaipush
·
2024-01-20 05:06
重温Spring源码系列
Spring
spring
RockerMQ
源码分析
——Broker消息发送流程
org.apache.rocketmq.example.quickstart.Producer创建一个消息的生产者,且指定一个组设置namesrv地址,可以从此地址获取topic的队列信息启动生产者实例循环中创建消息对象,并指定topic、tag和消息体在循环中发送消息,采用默认的负载策略,调用org.apache.rocketmq.client.producer.DefaultMQProduce
fustcyasdy
·
2024-01-20 05:01
队列
java
kafka
分布式
redis
Kylin基础教程(一)
一、Kylin介绍1.1现状Hadoop于2006年初步实现,改变了企业级的大数据存储(基于
HDFS
)和批处理(主要基于MR)问题,10几年过去了,数据量随着互联网的发展井喷式增长,如何高速、低延迟的分析数据成为后续面临的挑战
GOD_WAR
·
2024-01-20 03:43
Kylin
技术博览
Kylin
【深入设计模式】单例模式—从
源码分析
内部类单例、枚举单例以及单例模式在框架中的应用
@[toc]前面我们介绍了单例模式的饿汉式和懒汉式写法,以及从最简陋的懒汉式到DCL版本的演进,相信你对单例模式已经有了很深刻的认识。这一章节将继续介绍另外两种单例模式的写法——静态内部类和枚举类单例,在介绍完成后从底层代码剖析这两种写法的优势和原理。最后便是单例模式在JDK和其他框架下的的源码以及应用。1.使用静态内部类实现单例模式1.1静态内部类单例写法前面介绍了饿汉式的单例模式确保了线程安全
SK_Jaco
·
2024-01-20 01:34
Apollo 应用与
源码分析
:Monitor监控-软件监控-定位、camera、功能安全、数据记录监控
目录定位监控代码分析备注camera监控代码分析功能安全监控代码分析CheckSafty函数分析RunOnce函数分析记录功能监控代码分析SmartRecorderStatusproto状态的上报位置分析监控信息汇总服务代码分析定位监控代码classLocalizationMonitor:publicRecurrentRunner{public:LocalizationMonitor();void
Ym影子
·
2024-01-19 23:53
算法
java
服务器
servlet
自动驾驶
mybatis
源码分析
-日志
Mybatis没有提供日志实现类,需要接入第三方的日志组件,但第三方组件都有自己的log级别,并且各不相同,Mybatis统一提供了tracedebugwarnerror四个日志级别。Mybatis使用适配器模式,在每个第三方日志厂商和自己的log之间都存在一个XXXlog适配器,将第三方的日志级别适配为自己的log级别。接下来看一下是如何接入日志的,在LogFactory中存在一个logCons
大可_6e11
·
2024-01-19 22:54
Kotlin协程的JVM实现
源码分析
(上)
本文从协程的启动launch源码入手分析,协程JVM实现分为两篇:协程启动和执行
源码分析
无栈协程和Continuation基本环境:IntelliJIDEA2023.3.2Kotlin1.8.20kotlinx-coroutines-core1.7.3gradle8.2
ClassOps
·
2024-01-19 18:58
Kotlin
Kotlin协程
kotlin
jvm
开发语言
浅析Redis①:命令处理核心
源码分析
(上)
写在前面Redis作为我们日常工作中最常使用的缓存数据库,其重要性不言而喻,作为普调开发者,我们在日常开发中使用Redis,主要聚焦于Redis的基层数据结构的命令使用,很少会有人对Redis的内部实现机制进行了解,对于我而言,也是如此,但一直以来,我对于Redis的内部实现都很好奇,它为什么会如此高效,本系列文章是旨在对Redis源代码分析拆解,通过阅读Redis源代码,了解Redis基础数据结
wtopps
·
2024-01-19 17:55
缓存
redis
redis源代码
redis命令处理
redis源码
缓存
spring之AOP
源码分析
上
目录动态代理cglib动态代理jdk动态代理ProxyFactoryAdvice的分类Advisor的理解spring创建代理对象的方式ProxyFactoryBean(相对灵活,可以更精细地控制代理对象的创建过程)BeanNameAutoProxyCreator(适合对特定Bean进行简单代理的场景)DefaultAdvisorAutoProxyCreator(适合使用切面(Aspect)来定义
山鸟与鱼!
·
2024-01-19 16:23
spring源码
spring
java
后端
大数据学长面试之OPPO面试题
1)技术部分(1)SparkStreaming消费方式及区别,Spark读取
HDFS
的数据流程(2)Kafka高性能(3)Hive调优,数据倾斜(4)Zookeeper怎么避免脑裂,什么是脑裂。
大数据小理
·
2024-01-19 16:01
大数据1
大数据
面试
职场和发展
html流控官源码,Sentinel
源码分析
----流控规则与FlowSlot
FlowSlot主要是用来进行流控规则的处理,直接看下代码@Overridepublicvoidentry(Contextcontext,ResourceWrapperresourceWrapper,DefaultNodenode,intcount,booleanprioritized,Object...args)throwsThrowable{checkFlow(resourceWrapper,
weixin_39604516
·
2024-01-19 13:11
html流控官源码
大数据开发之Hadoop(优化&新特征)
第1章:
HDFS
-故障排除注意:采用三台服务器即可,恢复到Yarn开始的服务器快照。
Key-Key
·
2024-01-19 10:50
大数据
hadoop
分布式
centos中安装nfs实现服务器文件共享
如果一个服务使用集群方式部署,在文件读写时就需要考虑多个服务之间文件共享的问题,在共享文件时可以考虑部署一个单独的文件服务器,比如
hdfs
、minio、fastdfs等,也可以使用简单的文件目录共享方式实现
腊笔不小新xingo
·
2024-01-19 09:18
服务器
centos
linux
任务15:使用Hive进行全国气象数据分析
进行数据分析重点:掌握Hive基本语句熟练使用Hive对天气数据进行分析内容:使用Hive创建外部表使用Hive对数据进行统计分析任务指导1.使用Hive创建基础表将China_stn_city.csv文件上传到
HDFS
Dija-bl
·
2024-01-19 08:44
hive
数据分析
hadoop
Java 读写锁 ReentrantReadWriteLock
源码分析
本文内容:读写锁ReentrantReadWriteLock的
源码分析
,基于Java7/Java8。阅读建议:虽然我这里会介绍一些AQS的知识,不过如果你完全不了解AQS,看本文就有点吃力了。
Java圈子
·
2024-01-19 08:47
EventBus
源码分析
本篇文章是EventBus的
源码分析
,以了解其实现的精髓`。EventBus是针对Android优化的发布-订阅事件总线,简化了Android组件间的通信。
老师好我是小明同学
·
2024-01-19 07:43
Jackson标签的高阶使用样例--多继承/子类、对象id、JsonIdentityInfo、JsonTypeInfo、JsonSubTypes
我们支持的资产类型不仅有关系数据库表,也支持Kafka主题,
hdfs
上的文件等。
OkGogooXSailboat
·
2024-01-19 06:19
java
json
Spark基础学习--基础介绍
首先我们回顾一下MapReduce的架构:MR基于
HDFS
实现大数据存储,基于Yarn做资源调度,且MR是基于进程处理数据的总结一下MR的缺点:1.MR是基于进程进行数据处理,进程相对
Yan_bigdata
·
2024-01-19 06:37
spark
学习
大数据
mapreduce
对比
入门案例
词频统计
Spring Boot - Application Events 的发布顺序_ApplicationFailedEvent
文章目录Pre概述Code
源码分析
PreSpringBoot-ApplicationEvents的发布顺序_ApplicationEnvironmentPreparedEvent概述SpringBoot
小小工匠
·
2024-01-19 04:08
【Spring
Boot2.X】
spring
boot
事件发布
Uboot-5(U-Boot
源码分析
1-启动第一阶段)
来源:朱有鹏老师的嵌入式linux核心教程1、start.S引入1.1、u-boot.lds中找到start.S入口(1)、在C语言中整个项目的入口就是main函数(这是C语言规定的),所以譬如说一个有10000个.c文件的项目,第一个要分析的文件就是包含了main函数的那个文件。(2)、在uboot中因为有汇编阶段参与,因此不能直接找main.c。整个程序的入口取决于链接脚本中ENTRY声明的地
ant-small
·
2024-01-19 04:38
Uboot
U-Boot
FineBI实战项目一(25):实战项目一总结
没有集群,
hdfs
、hive、spark、kafka、flink等等都没有2解决方案mysql数据同步尽量和业务系统保持一致,以便后期出现问题排查。mysql同步到数仓,数仓
不死鸟.亚历山大.狼崽子
·
2024-01-19 02:39
FineBI
finebi
HBase第一章:集群搭建
ApacheHBase™是以
hdfs
为数据存储的,一种分布式、可扩展的NoSQL数据库。一、环境准备再开始之前,我们要先安装
超哥--
·
2024-01-19 00:57
HBase
hbase
hadoop
大数据
hbase学习笔记-hbase集群安装部署
tar-zxvfhbase-2.0.0-bin.tar.gz-C/opt/bigdata5、重命名解压目录mvhbase-2.0.0hbase6、修改配置文件1、需要把hadoop中的配置core-site.xml、
hdfs
陈同学:
·
2024-01-19 00:22
hbase
hbase
zookeeper
HBase学习三:集群部署
>启动HBase—>关闭HBase—>关闭Hadoop1环境准备1.0环境前期准备参考基础环境配置1.1机器准备hostnameipvm1ip1vm2ip2vm3ip31.2机器分配
hdfs
Studying!!!
·
2024-01-19 00:50
中间件
HBase
HDFS
使用QJM(Quorum Journal Manager)实现的高可用性以及备份机制
目录前言1.NameNode的启动和对edits和QJM相关配置文件的解析2.使用FSImage和FSEditLog类对image和editlog文件进行读写和管理3.EditsDoubleBuffer双缓存,让flush和write同时进行,互不干扰4.AsyncLoggerSetl类代理对QJM集群的读写6.QuorumCall封装了对基于paxos算法的QJM集群的异步操作7.StandBy
麦兜和小可的舅舅
·
2024-01-18 22:56
hadoop
namenode
QJM
HA
HDFS
HADOOP
Hadoop的心脏:中央异步调度器AsyncDispatcher代码和设计解析
以Yarn、
HDFS
和MapReduce为主要组成的Hadoop,涉及到大量复杂的、交互的事件处理、状态转换,同时,这些事件调度和状态转换又对实时性和效率提出了极高的要求。
麦兜和小可的舅舅
·
2024-01-18 22:56
yarn
hadoop
hadoop
yarn
dispatcher
异步调度器
Hadoop RPC Server基于Reactor模式和Java NIO 的架构和原理
尤其是作为Master/Slave结构的Hadoop设计,比如
HDFS
NameNode或者YarnResourceMan
麦兜和小可的舅舅
·
2024-01-18 22:26
hadoop
yarn
open-source
hadoop
reactor
yarn
nio
RPC
HDFS
Web
HDFS
读写文件分析及HTTP Chunk Transfer Encoding相关问题探究
文章目录前言需要回答的首要问题DataNode端基于Netty的Web
HDFS
Service的实现基于重定向的文件写入流程写入一个大文件时Web
HDFS
和HadoopNative的块分布差异基于重定向的数据读取流程尝试读取一个小文件尝试读取一个大文件读写过程中的
麦兜和小可的舅舅
·
2024-01-18 22:52
大数据架构
实现
hadoop
open-source
hdfs
http
hadoop
【数据采集与预处理】数据传输工具Sqoop
Sqoop原理三、Sqoop安装配置(一)下载Sqoop安装包并解压(二)修改配置文件(三)拷贝JDBC驱动(四)验证Sqoop(五)测试Sqoop是否能够成功连接数据库四、导入数据(一)RDBMS到
HDFS
Francek Chen
·
2024-01-18 22:19
大数据技术基础
sqoop
hadoop
大数据
数据库
Hive入门
Hive把表和字段转换成
HDFS
中的文件夹和文件,并将这些元数据保持在关系型数据库中,如derby或mysql。Hive查询的数据存储在
HDFS
上,运行在Yarn上。Hive适合做离线数
kongxx
·
2024-01-18 17:11
canal server初始化
源码分析
CanalLauncher类是canalserver端启动的入口类,跟随代码进行深入。在开始之前,我们可以先了解下,canal配置方式ManagerCanalInstanceGenerator:基于manager管理的配置方式,实时感知配置并进行server重启SpringCanalInstanceGenerator:基于本地springxml的配置方式,对于多instance的时候,不便于扩展,
程序媛-jjl
·
2024-01-18 17:38
canal源码
canal增量同步
apache dubbo核心
源码分析
dubbo版本:2.7.5dubbo源码下载地址spi自适应扩展点:ExtensionLoader.getExtensionLoader(XXX.class).getAdaptiveExtension();指定名称扩展点:ExtensionLoader.getExtensionLoader(XXX.class).egtExtension(name);激活扩展点:ExtensionLoader.ge
Angela龙
·
2024-01-18 15:47
apache
dubbo
驱动开发
深入学习SpringMVC以及学习总结
微服务、Spring,MyBatis,Netty
源码分析
的朋友可以加我的Java高级交流:854630135,群里有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费分享给大家。①.
程序员日常填坑
·
2024-01-18 13:13
【Java基础知识 54】Java BeanUtils用法详解,附
源码分析
目录一、org.apache.commons.beanutils.BeanUtils简介二、使用的前置条件三、添加pom四、org.apache.commons.beanutils.BeanUtils代码实例1、为属性赋值2、拷贝对象,为对象赋值3、map转bean4、bean转map五、Apache的BeanUtils与Spring的BeanUtils六、org.springframework.
哪 吒
·
2024-01-18 12:54
java
Android Launcher3各启动场景
源码分析
文章目录一、概述二、开机启动Launcher2.1、开机启动Launcher流程图2.2、开机启动流程
源码分析
三、短压Home键启动Launcher3.1、短压Home键启动Launcher流程图3.2
Coder个人博客
·
2024-01-18 11:35
Android
android
车载系统
系统架构
系统安全
Android CarService
源码分析
文章目录一、CarService的基本架构1.1、AndroidAutomative整体框架1.2、FrameworkCarService1.3、目录结构1.3.1、CarService1.3.2、CarAPP二、CarService的启动流程2.1、系统启动后在SystemServer进程中启动CarServiceHelperService2.2、CarService启动三、CarService
Coder个人博客
·
2024-01-18 11:34
Android
android
汽车
车载系统
SpringMVC的执行流程与
源码分析
引言通过深入分析SpringMVC的源码,我们可以更好地理解其工作原理和内部机制。这有助于我们更好地使用该框架进行Web应用程序的开发,并解决实际开发中遇到的问题。同时,对于学习和研究SpringMVC框架的人来说,阅读源码并进行分析也是一种重要的学习和提升手段。SpringMVC概述SpringMVC属于SpringFrameWork的后续产品,已经融合在SpringWebFlow里面。Spri
玉韬
·
2024-01-18 11:48
java
后端
大数据小白初探Hbase从零到入门
目录1.前言2.初识Hbase2.1有了
HDFS
为什么还需要HBase呢?2.2HBase主要做什么的?2.3HBase架构特点?2.4HBase的适用场景?2.5HBase的数据模型和物理储存格式?
北京-景枫
·
2024-01-18 09:10
hbase
大数据
列簇式存储
HBASE学习一:原理架构详解
HBase的存储是基于
HDFS
的,
HDFS
有着高容错性的特点,被设计用来部署在低廉的硬件上,基于Hadoop意味着HBase与生俱来的超强的扩展性和吞吐量。HBase采用的时ke
Studying!!!
·
2024-01-18 08:34
中间件
hbase
学习
架构
大数据分析之ClickHouse技术选型
文章目录1.快速入门2.企业应用与实践3.踩坑4.优化最近公司的战略上需要更多的数据支撑,目前在构思打造一个用户数据分析平台,由于团队人力有限,没有
Hdfs
生态的技术人员。
凡尘技术
·
2024-01-18 08:12
数据库
数据分析
clickhouse
数据挖掘
上一页
16
17
18
19
20
21
22
23
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他