E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs源码分析
Gunicorn
源码分析
(四)入口
前面的博客已经将Gunicorn的核心流程给讲完了,剩下的最后其实就是Gunicorn的启动入口了下面是Gunicorn入口函数:defrun():"""\The``gunicorn``commandlinerunnerforlaunchingGunicornwithgenericWSGIapplications."""fromgunicorn.app.wsgiappimportWSGIAppli
喵帕斯0_0
·
2024-02-14 19:46
hive中的Load data 和 insert的区别
OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]local关键字:有,表示从本地文件系统中导入没有,表示从
HDFS
日写BUG八百行
·
2024-02-14 19:10
hive
mysql
大数据
java
数据库
spring步步前行(IOC)-整理篇
从之前的ioc部分的
源码分析
等,我们对spring-ioc部分的相关已经有了一部分认识和了解,但是还是有很多人对里面一些部分的理解还是很模糊,好比既然有了beanFactory那factoryBean是干什么的
7868758c6196
·
2024-02-14 16:16
【Canal
源码分析
】Canal Instance启动和停止
一、序列图1.1启动instance启动.png1.2停止instance停止.png二、
源码分析
2.1启动这部分代码其实在ServerRunningMonitor的start()方法中。
端木轩
·
2024-02-14 15:42
学习总结 - swift适配器 为 Hadoop 的存储层增加对 OpenStack Swift 的支持
虽然文档内所涉及的版本有点旧,但内容很精彩,值得推荐背景在Hadoop中有一个抽象文件系统的概念,它有多个不同的子类实现,由DistributedFileSystem类代表的
HDFS
便是其中之一。
天地不仁以万物为刍狗
·
2024-02-14 07:37
分布式解决方案
hadoop
HDFS
的API封装
FSDataInputStream和FSDataOutputStream:这两个类是
HDFS
中的输入输出流。
Cynicism_Kevin
·
2024-02-14 07:37
大数据
java
hadoop
hdfs
ButterKnife使用方式
源码分析
+手写一个IOC注解框架
概述我在之前的一篇文章xUtils
源码分析
+手写一个IOC注解框架讲过IOC的概念,并自己实现过一个IOC注解框架。其实这也是根据xUtils框架的
源码分析
而写的,是基于注解+反射来实现事件注入的。
碧云天EthanLee
·
2024-02-14 05:58
Netty Review - ServerBootstrap源码解析
文章目录概述
源码分析
小结概述ServerBootstrapbootstrap=newServerBootstrap();bootstrap.group(bossGroup,workerGroup).channel
小小工匠
·
2024-02-14 04:39
【Netty】
ServerBootstrap
Netty
Netty Review - NioServerSocketChannel
源码分析
文章目录概述入口NioServerSocketChannel类继承关系实例化过程中做的事情小结概述入口ChannelFuturechannelFuture=serverBootstrap.bind(9000).sync();我们进入bind方法/***Createanew{@linkChannel}andbindit.*/publicChannelFuturebind(intinetPort){/
小小工匠
·
2024-02-14 02:10
【Netty】
netty
serversocket
linux中du的常见用法和查看文件大小并排序
du-s应用在想知道目录具体有多大的时候du-h这样方便看,常常du-s查询的时候也可以加上-h但是有一种情况例外,就是如下这种查看文件大小并排序前两天我想看下有个目录下(
HDFS
的和linux的用法一样
早点起床晒太阳
·
2024-02-13 23:18
利用 Docker 安装 Hadoop 集群并通过 Java API 访问
HDFS
前言最近刚好在学习Hadoop,在安装过程中遇到了一些小麻烦,正好将此次过程记录并分享出来,希望能对准备学习本块内容的读者们有所帮助。本次操作在Ubuntu中完成,如何安装Ubuntu本文不再赘述。本文所涉及到的代码及配置文件可在微信公众号「01二进制」后台回复「hadoop」获取。在Ubuntu中安装配置Docker使用官方安装脚本自动安装安装命令如下:curl-fsSLhttps://get.
qq_33419925
·
2024-02-13 21:38
docker
hadoop
linux
java
大数据
NSQ
源码分析
之概述
罗道文的私房菜消息队列在互联网公司使用非常普遍,因此也促使我去学习研究消息队列的原理以及细节问题;之前也有接触过消息队列,最主要就是在异步处理方面,当然消息队列还解耦,流量削峰等功能;目前消息队列产品也比较多,例如kafka,ActiveMQ,RabbitMQ,NSQ等等;之前原本打算看kafka,但是处于学习成本(kafka是scala编写,之前scala接触的比较少),所以就先不看kafka,
faunjoe
·
2024-02-13 12:29
hadoop 分布式集群安装与原理
我们分享一套能让您轻松完成集群搭建的方法,包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理,请点击下面连接按笔记顺序进行学习服务器基础环境批量操作多台服务器zookeeper编译hadoop源码高可用(HA)
HDFS
海牛大数据_青牛老师
·
2024-02-13 12:44
Contractfuzzer 框架分析(
源码分析
)
最近阅读了Contractfuzzer的源代码,总结了Contractfuzzer的系统框架图Contractfuzzer是第一篇智能合约fuzz的文章,其主要分为三个模块,分别是测试用例生成模块、交易自动化发送模块和交易执行与漏洞检测模块。一、测试用例生成模块(对应文件Contract_fuzzer)测试用例生成模块主要负责测试用例的生成以及接收来自geth-cf的测试结果,并对测试结果进行处理
区区小块
·
2024-02-13 11:24
测试用例
智能合约
区块链
MySQL •
源码分析
• SHUTDOWN过程
摘要:ORACLE中的SHUTDOWNMySQLSHUTDOWNLEVEL暂时只有一种,源码中留了LEVEL的坑还没填在此借用Oracle的SHUTDOWNLEVEL分析OracleSHUTDOWNLEVEL共有四种:ABORT、IMMEDIATE、NORMAL、TRANSACTIONALABORT立即结束所有SQL回滚未提交事务断开所有用户连ORACLE中的SHUTDOWNMySQLSHUTDO
暖夏未眠丶
·
2024-02-13 11:58
Spring AOP从零单排-织入时期
源码分析
问题:SpringAOP代理中的运行时期,是在初始化时期织入还是获取对象时期织入?织入就是代理的过程,指目标对象进行封装转换成代理,实现了代理,就可以运用各种代理的场景模式。何为AOP简单点来定义就是切面,是一种编程范式。与OOP对比,它是面向切面,为何需要切面,在开发中,我们的系统从上到下定义的模块中的过程中会产生一些横切性的问题,这些横切性的问题和我们的主业务逻辑关系不大,假如不进行AOP,会
油腻的Java
·
2024-02-13 07:10
Netty Review - NioEventLoopGroup源码解析
文章目录概述类继承关系
源码分析
小结概述EventLoopGroupbossGroup=newNioEventLoopGroup(1);EventLoopGroupworkerGroup=newNioEventLoopGroup
小小工匠
·
2024-02-13 07:03
【Netty】
nioeventloop
eventloopgroup
iOS-底层原理 :alloc & init & new
源码分析
(二)
(iOS底层原理文章汇总)(iOS资料大全)在分析alloc源码之前,先来看看一下3个变量内存地址和指针地址区别:分别输出3个对象的内容、内存地址、指针地址,下图是打印结果结论:通过上图可以看出,3个对象指向的是同一个内存空间,所以其内容和内存地址是相同的,但是对象的指针地址是不同的%p->&p1:是对象的指针地址,%p->p1:是对象指针指向的的内存地址这就是本文需要探索的内容,alloc做了什
ios南方
·
2024-02-13 02:27
不学无数——Mybatis解析判断表达式
源码分析
Mybatis解析判断表达式
源码分析
在我们开发过程中用Mybatis经常会用到下面的例子Mapper如下MaptestArray(@Param("array")String[]array);XMl中的sql
不学无数的程序员
·
2024-02-12 23:27
分区表
分区表:分区表实际上就是对应一个
HDFS
文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。
incover
·
2024-02-12 22:34
ZGC
源码分析
(6)- 日志分析
根据ZGC运行的情况,截取部分关键的日志信息。分析如下:ZGC初始化信息这一部分主要是ZGC初始化的状态。从日志我们看出JVM的版本,是否支持NUMA,大爷内存等。还有CPU的数目为8,GC工作线程数位5,并发工作线程数为1。整个堆空间15279MB(接近15GB,实际上我设置了15GB的堆空间,这里有效地为14.9GB),预分配的内存为256M[2018-12-17T14:15:10.878+0
躺在石头上吐泡泡
·
2024-02-12 18:47
浅谈Java集合丨底层源码解析
1、Map一、背景二、Map家族三、HashMap、Hashtable等四、HashMap底层数据结构2、List一、List包括的子类二、ArrayList三、ArrayList
源码分析
四、LinkedList
Java__JJ
·
2024-02-12 10:08
CC1-LazyMap利用链-
源码分析
本篇文章是基于CC1利用链的,本质其实都是一样,无非就是使用了LazyMap类的get方法来触发利用链,在看本篇文章之前,需要先弄明白CC1第一条链的原理,弄明白了第一条链,这条链相当于理解了百分之90。如果不明白CC1的第一条链,可以先阅读我的这篇文章:https://blog.csdn.net/weixin_46367450/article/details/132274219文章目录漏洞影响范
yuan_boss
·
2024-02-12 09:53
Java序列化与反序列化
网络安全
LazyMap
利用链
动态代理
彻底扒光QQ音乐,批量下载音乐和MV文件
计划会员到期前下载一些音乐文件,继续针对QQ音乐网站
源码分析
和歌曲下载链接的进行研究。平时通过APP和软件播放歌曲也是趋势,所以在QQ音乐Web网站显示的歌曲数量有限。但是还是可以下载一些歌曲。
超级小刀-技术
·
2024-02-12 08:49
数据爬虫
python
DataX
源码分析
reader
系列文章目录一、DataX详解和架构介绍二、DataX
源码分析
JobContainer三、DataX
源码分析
TaskGroupContainer四、DataX
源码分析
TaskExecutor五、DataX
shandongwill
·
2024-02-12 07:29
大数据
ETL
DataX
Hadoop-MapReduce-Yarn集群搭建
搭建的部署节点图如下:
hdfs
和yarn是两个不同概念,两者搭建不会冲突。注意一点是DataNode和NodeManager必须要部署在同一台机器,它们的比例是1比1关系的。
qq_2368521029
·
2024-02-12 07:44
搭建 Hadoop-3.1.3 HA 集群
本文目录1.集群部署分布规划2.Zookeepr集群安装3.
HDFS
-HAⅠ.配置core-site.xmlⅡ.配置
hdfs
-site.xmlⅢ.配置分发4.YARN-HAⅠ.配置yarn-site.xmlⅡ
扛麻袋的少年
·
2024-02-12 07:43
#
Hadoop
hadoop
hdfs
大数据
Hadoop-HA高可用集群部署
HA严格来说应该分成各个组件的HA机制:
HDFS
的HA和YARN的HA。
魔笛Love
·
2024-02-12 07:13
hadoop
hdfs
big
data
org.apache.hadoop.fs.ChecksumException: Checksum error: file:/root/test.txt at 0
上传文件到集群遇到以下异常:org.apache.hadoop.fs.ChecksumException:Checksumerror:file:/root/test.txtat0[root@master~]#
hdfs
dfs-puttest.txt
橙汁啤酒厂
·
2024-02-12 05:24
hadoop
大数据
SpringBean生命周期是怎样的?
文章目录注意事项环境
源码分析
Demo.javaClassPathXmlApplicationContextAbstractApplicationContextrefreshfinishBeanFactoryInitializationDefaultListableBeanFactorypreInstantiateSingletonsAbstractBeanFactorygetBeandoGetBe
后端开发萌新
·
2024-02-12 04:39
死磕Spring源码系列
spring
java
Flume总结
1.概述2.角色(source、Channel、sink、event)3.使用(1)监控端口(2)实时读取本地文件到
HDFS
(3)实时读取目录文件到
HDFS
(4)Flume与Flume之间数据传递:单Flume
我是嘻哈大哥
·
2024-02-12 01:56
freertos
源码分析
五 任务调度一
vTaskStartScheduler创建空闲进程,调用适配xPortStartScheduler();voidvTaskStartScheduler(void){xReturn=xTaskCreate(prvIdleTask,configIDLE_TASK_NAME,configMINIMAL_STACK_SIZE,(void*)NULL,portPRIVILEGE_BIT,&xIdleTask
yvee
·
2024-02-11 23:13
嵌入式硬件
freertos
源码分析
六 任务调度二
任务调度由SysTick_Handler和PendSV_Handler两个中断接管系统时钟计数器按给定频率倒计时,至0触发SysTick_Handler中断,此中断函数为宏中对xPortSysTickHandler的重命名。增加计数,置位可挂起中断。voidxPortSysTickHandler(void){portDISABLE_INTERRUPTS();{if(xTaskIncrementTi
yvee
·
2024-02-11 23:13
嵌入式硬件
clickhouse之表引擎
对于ck来说,目前位置包含了以下部分引擎:1.集成外部系统的表引擎,支持方式有kafka,JDBC,ODBC,
HDFS
等2.合并树家族(最为常用且重要)3.日志
落花流水i
·
2024-02-11 22:53
ClickHouse
【Spring
源码分析
】循环依赖的底层源码剖析
getEarlyBeanReference方法的
源码分析
2.Spring是如何解决的循环依赖呢?测试3.哪些循环依赖Spring是无法解决的呢?
假正经的小柴
·
2024-02-11 20:08
Java源码分析
spring
数据库
java
【Spring
源码分析
】推断构造方法
AutowireAnnotationBeanPostProcessor#determineCandidateConstructors二、autowireConstructor方法源码解析三、总结阅读此需阅读下面这些博客先【Spring
源码分析
假正经的小柴
·
2024-02-11 20:38
Java源码分析
spring
java
数据库
【Spring
源码分析
】@Resource注入的源码解析
@Resource注入的源码解析一、绪论二、CommonAnnotationBeanPostProcessor
源码分析
postProcessMergedBeanDefinition源码解析postProcessProperties
假正经的小柴
·
2024-02-11 20:37
Java源码分析
spring
java
数据库
【Spring
源码分析
】Spring的启动流程源码解析
阅读此需阅读下面这些博客先【Spring
源码分析
】Bean的元数据和一些Spring的工具【Spring
源码分析
】BeanFactory系列接口解读【Spring
源码分析
】执行流程之非懒加载单例Bean
假正经的小柴
·
2024-02-11 20:07
Java源码分析
spring
数据库
java
SAP Fiori Elements
源码分析
系列:注解 UI.IsImageURL 的工作原理剖析试读版
本教程之前的文章,我们介绍了如何通过自己动手实验的方式,弄清楚SAPFioriElements应用里,Image字段的显示原理。16.SAPFioriElements应用里图片字段(Image)的显示原理介绍上面这篇文章的结论,是添加了UI.IsImageURL注解的这个字段,运行时会被FioriElements框架,渲染成Image外观的控件,如下图所示:本文我们要弄清楚的技术细节就是,当Fio
·
2024-02-11 18:27
HBase知识点总结
是建立在
HDFS
之上,提供高可靠性、高性能、列存储、可伸缩、实时读写NoSql的数据库系统。
·
2024-02-11 17:17
hbase大数据数据库
Go - atomic包使用及atomic.Value
源码分析
1.Go中的原子操作原子性:一个或多个操作在CPU的执行过程中不被中断的特性,称为原子性。这些操作对外表现成一个不可分割的整体,他们要么都执行,要么都不执行,外界不会看到他们只执行到一半的状态。原子操作:进行过程中不能被中断的操作,原子操作由底层硬件支持,而锁则是由操作系统提供的API实现,若实现相同的功能,前者通常会更有效率最小案例:packagemainimport("sync""fmt")v
Java天天
·
2024-02-11 14:16
spring上下文
源码分析
请直接看原文:原文链接:一文搞懂Spring上下文生命周期|spring系列第55篇-腾讯云开发者社区-腾讯云(tencent.com)--------------------------------------------------------------------------------------------------------------------------------本文主要
奋豆来袭
·
2024-02-11 12:33
git
java
【大数据】Flume-1.9.0安装➕入门案例
目录前言一、Flume概述Flume基础架构二、Flume-1.9.0安装➕入门案例1.下载1.9.0解压2.监控端口数据官方案例3.实时读取本地文件(hive.log)到
HDFS
案例4.实时读取目录文件到
欧叶冲冲冲
·
2024-02-11 09:34
flume
大数据
flume
学习
分布式
大数据入门--Flume(一)安装教程与案例
Flume(一)安装教程与案例安装教程案例监控端口数据官方案例(netcat-logger)实时监控单个追加文件(exec-
hdfs
)进阶版存在的问题实时监控目录下多个新文件(taildir)实时监控目录下多个新文件
许中宝
·
2024-02-11 09:34
大数据
flume
大数据
Hive与ClickHouse的区别
Hive的存储引擎使用
HDFS
,计算引擎使用MapReduce或Spark。Hive本质上是一个元数据管理平台,通过对存储于
HDFS
上的数据文件附加元数据,赋予
HDFS
上的文件以数据库表的语义。
晓之以理的喵~~
·
2024-02-11 08:18
Hadoop
大数据
hive
hive
clickhouse
hadoop
Hadoop(三)通过C#/python实现Hadoop MapReduce
MapReduceHadoop中将数据切分成块存在
HDFS
不同的DataNode中,如果想汇总,按照常规想法就是,移动数据到统计程序:先把数据读取到一个程序中,再进行汇总。
dotNET跨平台
·
2024-02-11 08:17
hadoop
mapreduce
spark
大数据
python
ClickHouse的特征,性能,优点,缺点,应用场景以及什么是OLAP,Clickhouse的相关优化
可以存储海量数据;因为clickhouse是分布式存储海量数据,所以解决了高并发的问题;clickhouse中的数据底层是列式存储clickhouse不仅可以管理自己的数据,也可以读取别人的数据,比如masql,
hdfs
晓晓很可爱
·
2024-02-11 08:15
clickhouse
大数据
Spark编程题
现有100W+条数据存储在
hdfs
中的userinfo文件夹中的多个文件中,数据格式如下:张三|男|23|未婚|北京|海淀李四|女|25|已婚|河北|石家庄求:1.数据中所有人的平均年龄2.数据中所有男性未婚的人数和女性未婚人数
不愿透露姓名的李某某
·
2024-02-11 07:09
RocketMQ
源码分析
—— 集成 Spring Boot
点击上方“芋道源码”,选择“设为星标”做积极的人,而不是积极废人!源码精品专栏原创|Java2020超神之路,很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC和MyCAT源码解析作业调度中间件Elastic-Job源码解析分布式事务中间件TCC-Transaction源码解析Eureka和
公众号-芋道源码
·
2024-02-11 06:33
lvgl
源码分析
5(圆角矩形绘制算法)--Apple的学习笔记
一,前言之前的4篇littlevgl
源码分析
已经完成一个按钮的显示的流程的分析。
applecai
·
2024-02-11 03:15
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他