E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs源码分析
HDFS
及各组件功能介绍
Hadoop分布式文件系统(HadoopDistributedFileSystem,
HDFS
)是Hadoop生态系统的核心组件之一,它是设计用于存储和处理大规模数据集的分布式文件系统。
思旭�
·
2024-01-13 12:32
hdfs
hadoop
大数据
HDFS
组成及架构
HDFS
的组成与架构
HDFS
的组成架构图及各部分功能如下所示:2.1NameNode节点当用户访问数据文件时,为了保证能够读取到每一个数据块,
HDFS
有一个专门负责保存文件属性信息的节点,这个节点就是NameNode
思旭�
·
2024-01-13 12:59
hdfs
架构
hadoop
OKHTTP
源码分析
关于OkHttp网上有很多分析的文章,本篇文章为个人对OkHttp的了解
源码分析
,自己复习使用,特此总结出来,okHttp为什么这么牛,为什么这么多人使用,以及框架有点,使用的到设计模式等等,从源码角度去分析
努力的小王同学
·
2024-01-13 10:58
OKHttp
源码分析
OKHttp是一个来自Square的HTTP客户端框架,用于Java和Android应用程序。它的设计是为了更快地加载资源并节省带宽。OKHttp源码地址:https://github.com/square/okhttpOKHttp的简单使用下面让我们从一个简单的Demo来开始OKHttp的源码阅读。classOKHttpGetDemo{privatevalclient=OkHttpClient(
星流星
·
2024-01-13 10:46
Hive基础知识(十):Hive导入数据的五种方式
overwrite]intotablestudent[partition(partcol1=val1,…)];(1)loaddata:表示加载数据(2)local:表示从本地加载数据到hive表;否则从
HDFS
依晴无旧
·
2024-01-13 09:20
大数据
hive
hadoop
数据仓库
Mysql Connector/J
源码分析
(普通Connection)
构造连接2.1连接的实现类2.2连接的构造过程2.2.1Socket层面的握手2.2.2数据库管理软件层面的握手三、使用连接四、异常分析五、通讯异常对于连接的影响总结前言《MysqlConnector/J
源码分析
yyb_gz
·
2024-01-13 07:11
Java阵营
【Mysql
源码分析
】mysql协议分析(一)
前言 在近期的mysql学习过程中,一直想做的一件事就是分析下mysql的协议。了解Mysql协议也是深入了解Mysql的过程。本章的内容由于篇幅过大,会拆分成两章来讲述。Mysql版本:8.0.20抓包工具:Wireshark1.Mysql协议分析 在分析mysql之前我们首先要把mysql的ssl关掉,抓包过程中TLS解析比较麻烦。1.1关闭MysqlSSL 可以通过配置my.cnf文件
c-rain
·
2024-01-13 07:01
C++
Mysql
mysql
源码分析
Mysql源码
crain
mysql
源码分析
——插件Plugin架构
一、Mysql中的Plugin在程序设计的发展过程中,插件(Plugin)形式的设计存在的时间很长了,这种源于硬件的插件接口设计,优势在于可以很从容的进行不同场景应用的切换,甚至在运行时也可以通过动态的参数配置来实现整个功能应用场景的快速适配。从Eclipse到Idea等IDE开发工具,到实际的项目开发中,只要开发经验较多的程序员一定会遇到过类似的工程实践。插件一般是基于一定的插件协议,通过开放不
fpcc
·
2024-01-13 07:57
数据库开发
mysql
数据库
java
从
源码分析
MySQL 身份验证插件的实现细节
最近在分析ERROR1045(28000):Accessdeniedforuser'root'@'localhost'(usingpassword:YES)这个报错的常见原因。在分析的过程中,不可避免会涉及到MySQL身份验证的一些实现细节。加之之前对这一块就有很多疑问,包括:一个明文密码,是如何生成mysql.user表中的authentication_string?在进行身份验证时,客户端是否
快乐非自愿
·
2024-01-13 07:23
mysql
adb
android
基于Hadoop的网上购物行为大数据分析及预测系统【flask+echarts+机器学习】前后端交互
首先我们将大数据集上传到Hadoop中的
HDFS
存储,之后利用Hadoop的Flume组件,配置好自动加载数据的环境,将数据加载到hive数据库中进行大数据分析。通过对常见的电商指标
王小王-123
·
2024-01-13 06:53
hadoop
flask
网上购物行为分析
Hadoop大数据淘宝
Hadoop系统
【深入学习51单片机】二、一个极简RTOS
源码分析
目录一、书接上回二、初始化过程三、任务的创建四、任务的切换五、任务的等待(系统延时)一、书接上回上回写了一个测试程序,可以直观的体会PC指针和堆栈指针的变化和影响。这章写下参考程序的过程原理。源码我已上传,免积分,贴在第一章末尾上回链接:【深入学习51单片机】一、基于8051的RTOS内核任务切换堆栈过程剖析二、初始化过程main函数:intmain(void){system_init();os_
来碗豆腐脑
·
2024-01-13 06:28
单片机
51单片机
RTOS
任务调度
SpringBoot3自动配置原理
自动配置-
源码分析
程序引入spri
冯宝宝^
·
2024-01-13 05:23
spring
boot
Hive数据分析实验报告
文章目录Hive数据分析实验报告实验要求1完成本地数据user_log文件上传至
HDFS
中2完成
HDFS
文件上传至Hive中3Hive操作IP地址规划表实验步骤1数据集预处理2数据集上传
HDFS
3从
HDFS
Stories Untold.
·
2024-01-13 04:53
双十一大数据分析
hive
数据分析
大数据
Hive学习之 DDL(数据定义)心得
Hive之DDL(数据定义):1.创建数据库:createdatabase***;(数据库在
HDFS
上的默认存储路径是/user/hive/warehouse/)标准写法:createdatabaseifnotexists
顺其自然的济帅哈
·
2024-01-13 04:21
Hive
hive
Spring Boot - Application Events 的发布顺序_ApplicationPreparedEvent
文章目录Pre概述Code
源码分析
PreSpringBoot-ApplicationEvents的发布顺序_ApplicationEnvironmentPreparedEvent概述SpringBoot
小小工匠
·
2024-01-13 04:12
【Spring
Boot2.X】
spring
boot
事件发布
K8s 是如何完成调度和权重调整?
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、调度流程二、kuble-scheduler调度原理1kubernetes1.23版本调度器filter阶段和score阶段
源码分析
LemonMadison
·
2024-01-13 03:26
kubernetes
容器
云原生
Qt
源码分析
:Qt程序是怎么运行起来的?
一、从exec()谈起一个标准的Qt-gui程序,在启动时我们会coding如下几行简洁的代码:#include"widget.h"#includeintmain(intargc,char*argv[]){QApplicationa(argc,argv);Widgetw;w.show();returna.exec();}在这里我们首先考虑第一个问题,如果主程序中没有调用a.exec(),在编译运行
键盘会跳舞
·
2024-01-13 03:46
Qt
qt
数据库
开发语言
Flink
GoogleFileSystemBigTableMapReduce
HDFS
HBaseHadoopHadoop基于硬盘,可以处理海量数据;Spark基于内存,性能提高百倍,微批(500ms);Flink基于
三半俊秀
·
2024-01-13 01:53
NodeController
源码分析
在早期的版本中NodeController只有一种,v1.16版本中NodeController已经分为了NodeIpamController与NodeLifecycleController,本文主要介绍NodeLifecycleController。NodeLifecycleController的功能NodeLifecycleController主要功能是定期监控node的状态并根据node的c
田飞雨
·
2024-01-13 00:00
MyBatis
源码分析
(五):异常模块
对应exceptions包,如下图所示:在MyBatis
源码分析
(二):项目结构中,简单介绍了这个模块:定义了MyBatis专有的PersistenceException和TooManyResultsException
小徐很努力
·
2024-01-12 23:53
源码解读
mybatis
java
开发语言
MyBatis
源码分析
(六):数据源模块
如下图所示:在MyBatis
源码分析
(二):项目结构中,简单介绍了这个模块如下:数据源是实际开发中常用的组件之一。
小徐很努力
·
2024-01-12 23:53
源码解读
mybatis
Xposed 实现原理分析
的方法Hook基于ART的方法HookXposed工作流程Xposed项目结构XposedXposedBridgeXposedInstallerandroid_artXposedToolsXposed
源码分析
l0neman
·
2024-01-12 23:11
Android
逆向工程
android
framework
ndk
ResponseEntity的
源码分析
文章目录一、ResponseEntity深入简介使用场景1、场景一2、场景二3、场景三:父类HttpEntityResponseEntity的研究1、ResponseEntity的属性2、ResponseEntity的6个构造方法:3、HttpStatus简介HTTP状态码属性构造方法其他方法序列号4、ResponseEntity的其他方法5、BodyBuilder和HeadersBuilder介
李傻2019
·
2024-01-12 23:36
Java基础
Java
springmvc
hadoop(4)--NameNode元数据管理
对了,就爱带着问题去探索,NameNode是
HDFS
的一个组件,可以说一个进程,
HDFS
中共有三个组件NameNode,DataNode,SecondNameNode。这三个都是做什么的呢?
ROCK_杰哥
·
2024-01-12 22:41
如何进行大数据系统测试
大数据系统常见的架构形式有如下几种:Hadoop架构:HadoopDistributedFileSystem(
HDFS
):这是一种分布式文件系统,设计用于存储海量数据并允许跨多台机器进行高效访问。
Feng.Lee
·
2024-01-12 21:41
系统测试
项目管理
测试工具
大数据
AdaM: An Adaptive Fine-Grained Scheme for Distributed Metadata Management——泛读论文
现有方法缺陷基于哈希的方法:zFS[16],CalvinFS[21],DROP[24],AngleCut[8]静态子树划分:
HDFS
[6],NFS[14],PVFS2[25],CXFS[10]andCoda
妙BOOK言
·
2024-01-12 21:41
论文阅读
论文阅读
OkHttp
源码分析
:五大拦截器详解
OkHttp
源码分析
:五大拦截器详解一、RetryAndFollowUpInterceptor(重试与重定向拦截器)主要完成两件事:重试与重定向@OverridepublicResponseintercept
w达不溜w
·
2024-01-12 20:19
Spring配置类以及扫描过程源码解析
书接上文文章目录一、拾遗1.回顾2.
源码分析
二、配置类扫描
源码分析
1.
源码分析
2.BeanDefinition覆盖问题3.full配置类和lite配置类的区别一、拾遗1.回顾前面我们分析了Spring框架器启动过程要做的事情
jakiechaipush
·
2024-01-12 18:39
重温Spring源码系列
spring
rpc
java
Spring之整合Mybatis底层源码
文章目录一、整体核心思路1.简介2.整合思路二、
源码分析
1.环境准备2.
源码分析
一、整体核心思路1.简介有很多框架需要与Spring进行整合,而整合的核心思路就是把其他框架所产生的对象放到Spring容器中
jakiechaipush
·
2024-01-12 18:34
重温Spring源码系列
mybatis
spring
数据库
SpringBoot
源码分析
(三)之源码编译
SpringBoot
源码分析
(三)之源码编译文章目录SpringBoot
源码分析
(三)之源码编译前言一、源码下载二、本地编译1.修改根pom文件2.编译源码三、源码环境的使用1.源码的工程下创建SpringBoot
春来秋罔
·
2024-01-12 17:42
spring
boot
java
SpringBoot3.X
源码分析
(启动流程)
@SpringBootApplication(scanBasePackages={"com.javaedge.base"})publicclassBaseApplication{publicBaseApplication(){}publicstaticvoidmain(String[]args){SpringApplication.run(BaseApplication.class,args);}
zhangjunli
·
2024-01-12 17:42
spring
boot
java
开发语言
spring
boot
源码
线程池 - TaskDecorator线程的装饰(跨线程传递ThreadLocal的方案)
1.
源码分析
源码:org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor#initializeExecutor@OverrideprotectedExecutorServiceinitializeExecutor
zhangjunli
·
2024-01-12 17:12
java
开发语言
SpringBoot
源码分析
:SpringBoot启动源码(一)
一、概述SpringBoot启动的源码分为前期初始化,和后期启动两个部分,我们从这两个部分开始介绍。二、前期初始化SpringBoot前期初始化主要由下面三行代码组成。进入SpringApplication.getSpringFactoriesInstances方法最终进入SpringFactoriesLoader.loadFactoryNames方法最后SpringFactoriesLoader
小海海不怕困难
·
2024-01-12 17:11
Spring
spring
boot
java
spring
rocketmq集成springboot
源码分析
我们知道无论是mybatis-plus、rocketmq等第三方优秀的框架都继承了springboot。那么如果我们想自己写一个简单的功能集成到springboot当中需要怎么做到呢?接下来我们分下下rocketmq集成springboot的代码:@RocketMQMessageListener是我们实现业务代码的监听实现类,通常它长这个样子:@Slf4j@Component@RocketMQMe
hyssop2019
·
2024-01-12 17:10
rocketmq系列
spring
boot
java-rocketmq
rocketmq
Springboot
源码分析
(一):环境准备
Springboot源码解析–源码下载文章目录前言一、下载源码二、编译源码三、导入IDEA四、创建项目总结前言结合源码探究SpringBoot的启动机制、自动装配的原理以及内嵌Tomcat的实现原理等,本次先把SpringBoot源码环境给搭建起来,在2.2.9之前是用maven搭建的,之后用的gradle搭建的,为了方便阅读,所以我们这里选择的2.2.9版本进行下载。下载地址:https://g
浮生_半日闲
·
2024-01-12 17:37
spring-boot
java
SpringBoot
源码分析
(请求部分)
SpringBoot
源码分析
(请求部分)引言看了尚硅谷雷神的SpringBoot2
源码分析
,颇有感触,请求处理这部分的源码真的是太精彩了,决定自己在好好的debug几次,再记录下笔记!
Rex·Lin
·
2024-01-12 17:01
SpringBoot
spring
boot
java
SpringBoot
源码分析
一:简介由Pivotal团队提供的全新框架其设计目的是用来简化新Spring应用的初始搭建以及开发过程使用了特定的方式来进行配置快速应用开发领域二:运行原理以及特点运行原理:SpringBoot为我们做的自动配置,确实方便快捷,今天来了解一下它的原理:特点:可以创建独立的Spring应用程序,并且基于其Maven或Gradle插件,可以创建可执行的JARs和WARs;内嵌Tomcat或Jetty等
zhangjunli
·
2024-01-12 17:59
spring
boot
spring
boot
后端
java
Java并发之同步三:Condition条件队列
一、总览二、
源码分析
2.1人口publicConditionnewCondition(){returnsync.newCondition();}finalConditionObjectnewCondition
上海第一shen 深情
·
2024-01-12 17:13
#
java并发
java
开发语言
java多线程
java并发
Contiditon
Hadoop常用命令
启动Hadoop所有进程:start-all.sh关闭Hadoop所有进程:stop-all.sh单进程启动:start-dfs.sh和start-yarn.sh分别启动
HDFS
和YARN
hdfs
dfs-xxx
在努力的Jie
·
2024-01-12 16:16
Flutter 75: 图解基本 TabBar 标签导航栏 (一)
小菜今天学习一下常用的TabBar标签导航栏使用方法;
源码分析
constTabBar({Keykey,@requiredthis.tabs,//顶部标签Tab组件列表this.controller,//
阿策神奇
·
2024-01-12 16:49
Hadoop 的核心 ——
HDFS
(1)
Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=
HDFS
(分布式文件系统)+MapReduce(分布式计算)Hadoop的两个核心:
HDFS
分布式文件系统:存储是大数据技术的基础
土冥王
·
2024-01-12 16:13
2022-03-08_spring@EnableCaching注解
源码分析
学习笔记
20220308_spring@EnableCaching注解
源码分析
学习笔记.md1概述1.1涉及知识点EnableCaching启动入口AnnotationAwareAspectJAutoProxyCreator
kikop
·
2024-01-12 16:47
Logstash应用-同步ES(elasticsearch)到
HDFS
1.场景分析现有需求需要将elasticsearch的备份至
hdfs
存储,根据以上需求,使用logstash按照天级别进行数据的同步2.重难点数据采集存在时间漂移问题,数据保存时使用的是采集时间而不是数据生成时间采用
tuoluzhe8521
·
2024-01-12 13:03
数据同步
elasticsearch
hdfs
logstash
HBase实际应用中常见的问题 解决方案
解决方案:可以通过增加RegionServer、优化
HDFS
、调整HBase配置参数、使用SSD等方式来提升性能。
KevinAha
·
2024-01-12 13:31
hbase
数据库
大数据
一键部署!这样搭建一个文档网站真的很简单!
而线上大多
源码分析
大多都是自己搭建的文档网站,于是就到了这篇文章的主题,快速搭建一个文档网
前端瓶子君
·
2024-01-12 11:19
java
web
javascript
nginx
html
SpringCloud 之HttpClient、HttpURLConnection、OkHttpClient切换源码
HttpClient、HttpURLConnection、OkHttpClient切换源码HttpClient、HttpURLConnection、OkHttpClient区别切换HttpClient
源码分析
总结切换
小咸鱼的技术窝
·
2024-01-12 10:25
springcloud源码
spring
cloud
java
spring
boot
OkHttpClient
HttpClient
Spring Boot - Application Events 的发布顺序_ApplicationStartingEvent
文章目录概述Code
源码分析
概述SpringBoot的广播机制是基于观察者模式实现的,它允许在Spring应用程序中发布和监听事件。
小小工匠
·
2024-01-12 09:22
【Spring
Boot2.X】
spring
boot
事件发布
ReentrantReadWriteLock
源码分析
以及 AQS 共享锁 (二)
前言上一篇讲解了AQS的独占锁部分(参看:ReentrantLock
源码分析
以及AQS(一)),这一篇将介绍AQS的共享锁,以及基于共享锁实现读写锁分离的ReentrantReadWriteLock。
烟雨星空
·
2024-01-12 09:33
hadoop分布式文件系统
Hadoop的分布式文件系统称为
HDFS
(HadoopDistributedFilesystem)。
HDFS
的设计
HDFS
以流式数据访问模式来存储超大文件,运行在商用硬
Alonzo de blog
·
2024-01-12 08:27
hadoop
hadoop
大数据
hdfs
【数据库学习】hive
1,HIVEHadoop的数据仓库处理工具,数据存储在Hadoop兼容的文件系统(例如,AmazonS3、
HDFS
)中。
兔兔西
·
2024-01-12 08:50
数据库
学习
hive
上一页
20
21
22
23
24
25
26
27
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他