E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs源码分析
Java Character源码剖析
下面结合
源码分析
Character的贡献。Unicode也许你没听过Unicode,但应该见过UTF-8。
洒水水儿
·
2024-02-07 02:54
Java常用类的源码剖析
java
开发语言
libevent
源码分析
(2)--2.1.8--结构体 struct event和struct event_callback
一、event_callback结构体structevent_callback{//下一个回调事件TAILQ_ENTRY(event_callback)evcb_active_next;//回调事件的状态标识,具体为://#defineEVLIST_TIMEOUT0x01//event在time堆中,min_heap//#defineEVLIST_INSERTED0x02//event在已注册事件
录事参军
·
2024-02-07 01:18
libevent
libevent
libevent
Libevent
源码分析
-----与event相关的一些函数和操作
Libevent提供了一些与event相关的操作函数和操作。本文就重点讲一下这方面的源代码。在Libevent中,无论是event还是event_base,都是使用指针而不会使用变量。实际上,如果查看Libevent不同的版本,就可以发现event和event_base这两个结构体的成员是不同的。对比libevent-2.0.21-stable和libevent-1.4.13-stable这两个版
amoscykl
·
2024-02-07 01:48
Libevent
Libevent
libevent
Libevent
源码分析
-----信号event的处理
信号event的工作原理:前面讲解了Libevent如何监听一个IO事件,现在来讲一下Libevent如何监听信号。Libevent对于信号的处理是采用统一事件源的方式。简单地说,就是把信号也转换成IO事件,集成到Libevent中。统一事件源的工作原理如下:假如用户要监听SIGINT信号,那么在实现的内部就对SIGINT这个信号设置捕抓函数。此外,在实现的内部还要建立一条管道(pipe),并把这
amoscykl
·
2024-02-07 01:47
Libevent
Libevent
libevent
Libevent
源码分析
-----超时event的处理
如何成为超时event:Libevent允许创建一个超时event,使用evtimer_new宏。//event.h文件#defineevtimer_new(b,cb,arg)event_new((b),-1,0,(cb),(arg)) 从宏的实现来看,它一样是用到了一般的event_new,并且不使用任何的文件描述符。从超时event宏的实现来看,无论是evtimer创建的event还是一般ev
amoscykl
·
2024-02-07 01:47
Libevent
Libevent
libevent
Libevent
源码分析
-event_base
event_base数据结构初始化event_base相关接口前面介绍了event,本节介绍Reactor的核心结构:event_base,它在event-internal.h中。event_base是整个libevent的核心,它持有所有注册的事件,并负责通知激活的事件。event_base数据结构structevent_base{conststructeventop*evsel;void*ev
KangRoger
·
2024-02-07 01:16
Libevent
libevent
event-base
reactor
2024-02-06(Sqoop)
Hadoop生态包括:
HDFS
,Hive,Hbase等。RDBMS体系包括:Mysql,Oracle,DB2等。Sq
陈xr
·
2024-02-06 23:29
随记日志
sqoop
大数据
分布式文件系统
HDFS
的组成架构,及相关知识点归纳。
1.每存一个文件,需要消耗150字节,不管你是1kb,还是128m,2.分布式文件系统
HDFS
的组成架构namenode——4个功能1-管理
hdfs
的名称空间2-配置副本策略3-管理数据块映射信息4-处理客户端的读写请求
小米的南瓜洲
·
2024-02-06 23:37
MyBatis的二级缓存以及装饰器模式运用
目录Mybatis中如何配置二级缓存基于注解配置缓存基于XML配置缓存Cache解析处理过程Cache支持的过期策略缓存的基本实现装饰器模式Mybatis缓存实现
源码分析
BlockingCacheLRU
陈脩
·
2024-02-06 21:08
iBatis
装饰器模式
java
缓存
eureka
开发语言
JUC AQS ReentrantLock
源码分析
(一)
Java的内置锁一直都是备受争议的,在JDK1.6之前,synchronized这个重量级锁其性能一直都是较为低下,虽然在1.6后,进行大量的锁优化策略,但是与Lock相比synchronized还是存在一些缺陷的:虽然synchronized提供了便捷性的隐式获取锁释放锁机制(基于JVM机制),但是它却缺少了获取锁与释放锁的可操作性,可中断、超时获取锁,且它为独占式在高并发场景下性能大打折扣。如
程序员Yamy
·
2024-02-06 19:13
[k8s
源码分析
][client-go] workqueue
1.前言转载请说明原文出处,尊重他人劳动成果!源码位置:https://github.com/nicktming/client-go/tree/tming-v13.0/util/workqueue分支:tming-v13.0(基于v13.0版本)本文将分析util包中的workqueue.在各类controller中经常会使用该workqueue中的一些类.architecture.png2.qu
nicktming
·
2024-02-06 15:10
nginx upstream server主动健康检测模块ngx_http_upstream_check_module 使用和
源码分析
(上)
2.1check2.2check_keepalive_requests2.3check_http_send2.4check_http_expect_alive2.5check_shm_size2.6check_status3.加载健康检测模块3.1模块的编译3.2模块的配置4.测试验证5.思考与问题6.
源码分析
码农心语
·
2024-02-06 14:27
nginx学习
nginx
http
运维
健康检测
主动
upstream
设计模式之原型模式
克隆羊问题1.1传统方式解决克隆羊问题1.2代码1.3传统方式的缺点二、原型模式2.1原型模式基本介绍2.2原型模式原理结构uml类图2.3原型模式解决克隆羊问题的应用实例2.4原型模式在Spring框架中
源码分析
三
咱老李
·
2024-02-06 11:41
设计模式
设计模式
原型设计模式
深克隆
浅克隆
编码规范
Spring框架AOP
源码分析
(二)
AOP编程使用1.注解版本实现AOP开启事物注解权限@Aspect指定一个类为切面类@Pointcut("execution(*com.itmayiedu.service.UserService.add(..))")指定切入点表达式@Before("pointCut_()")前置通知:目标方法之前执行@After("pointCut_()")后置通知:目标方法之后执行(始终执行)@AfterRet
Mark_ZSQ
·
2024-02-06 10:18
热数据存储在
HDFS
,冷备数据存储于对象存储中
1.场景分析生产环境均为腾讯云服务器,日志数据计划存储于
HDFS
中,由于日志数据较大(压缩后1T/天),不断扩充云盘成本消耗大。鉴于对象存储的存储成本较为低廉,但是日常频繁使用会产生流量费用。
tuoluzhe8521
·
2024-02-06 10:11
云原生
hdfs
hadoop
大数据
cos
对象存储
RTthread线程间通信(邮箱,消息队列,信号/软件中断)---03信号(软件中断)
源码分析
信号实际使用看这一个#ifdefined(RT_USING_SIGNALS)rt_sigset_tsig_pending;/**sig_vectors==RT_NULL){//这一个线程之前没有安转过rt_thread_alloc_sig(tid);}if(tid->sig_vectors){old=tid->sig_vectors[signo];if(handler==SIG_IGN)tid->
唐·柯里昂798
·
2024-02-06 09:15
网络
物联网
笔记
单片机
stm32
51单片机
mcu
加速
hdfs
balance速度
hdfs
默认配置指定DataNode用于balancer的带宽为10Mdfs.datanode.balance.bandwidthPerSec1048576su
hdfs
hdfs
dfsadmin-setBalancerBandwidth104857600
迷茫_小青年
·
2024-02-06 09:05
netty-websocket扩展协议及token鉴权补充
文章源码:gitee源码部分可以看上一篇文章中的
源码分析
netty-websocket鉴权token及统一请求和响应头(鉴权控制器)最近刚好没事,看到有朋友说自定义协议好搞,我就想了想,发现上面那种方式实现确实麻烦
离别又见离别
·
2024-02-06 08:12
java排坑之路
websocket
lua
网络协议
c++之std::unique_lock, std::lock, std::scoped_lock及std::condition_variable
可用的第二个参数有三种,而lock_guard只有一种unique_lock的析构需要判断_M_owns,而lock_guard无需判定条件变量的传参为unique_lock说什么都不如源码来的简单明了1.1
源码分析
liuge
·
2024-02-06 08:12
c++学习
c++
开发语言
后端
xv6(RISC-V)操作系统
源码分析
第六节——锁
一、程序并发执行带来的问题及解决方案(一)并发执行带来的问题程序的并发执行提高了程序执行的效率,这是大多数内核所追求的,xv6也是这样。xv6采用两种方式实现程序的并发执行:采用多处理器架构在一个CPU上实现多线程机制xv6采用多处理器架构(硬件系统具有多个CPU独立执行)来实现程序的并发执行。这些CPU共享同一个DRAM,这种共享就带了问题:一个CPU在读取一个数据的同时,另一个CPU正在更新它
MCQSLW
·
2024-02-06 08:05
risc-v
unix
汇编
c语言
xv6(RISC-V)操作系统
源码分析
第一节——操作系统接口
一、内核与进程xv6使用传统形式内核(一个向其他运行中的程序提供服务的特殊程序)。每一个正在运行的程序称为进程,进程拥有自己的指令、数据与栈的内存空间。它们的功能如下:指令:实现程序的运算数据:用于运算过程的变量栈:管理程序的过程调用一个计算机通常有许多进程,但只有一个内核。二、进程调用内核服务的方式——系统调用进程通过调用系统调用来调用内核的服务。系统调用是操作系统接口中的一个调用。系统调用会进
MCQSLW
·
2024-02-06 08:34
risc-v
unix
汇编
vscode
c语言
xv6(RISC-V)操作系统
源码分析
第二节——操作系统组织
一、一个操作系统的基本要求一个操作系统至少需要满足以下三个要求:多路复用进程隔离进程通信(一)多路复用硬件CPU的数量有限,且往往少于同时存在的进程数量。而操作系统需要支持进程的并发执行,所以操作系统应该能使多个进程分时共享计算机的资源。(二)进程隔离一个进程的运行,应当具有一定的独立性,这个独立性指该进程在一定程度上不受其他进程的影响。这可以保证出了bug的程序不会严重影响其他程序的正常运行。(
MCQSLW
·
2024-02-06 08:34
risc-v
c语言
unix
汇编
vscode
xv6(RISC-V)操作系统
源码分析
第三节——地址映射与内存分配
一、xv6页表的作用物理内存指DRAM中的存储单元。物理存储器的一个字节有一个地址,称为物理地址。当指令操作虚拟地址时,分页硬件会将其翻译成物理地址,然后发送给DRAM硬件以读写。而分页硬件操作的核心数据结构就是页表。页表在物理内存中。通过页表机制,xv6为每个进程提供各自私有的地址空间和内存。页表决定了内存地址的含义与物理内存的哪些部分可以被访问。页表提供了一个间接层次,允许xv6实现如下技巧:
MCQSLW
·
2024-02-06 08:34
risc-v
unix
汇编
vscode
xv6(RISC-V)操作系统
源码分析
第五节——中断与设备驱动
一、驱动程序驱动程序是操作系统中管理特定设备的代码,它的功能包括:配置设备相关的硬件控制设备的执行处理设备产生的中断与等待设备I/O的进程进行交互驱动程序会与它所管理的设备并发执行。驱动程序必须了解设备的硬件接口。设备可以产生设备中断,在xv6中,内核中的devintr程序会处理这个中断。许多设备驱动程序会在两个上下文(context)中执行代码。这两个上下文分别是:上半部分(tophalf):在
MCQSLW
·
2024-02-06 08:34
risc-v
unix
汇编
c语言
Semaphore
源码分析
1.Semaphore定义Semaphore主要用于限量控制并发执行代码的工具类,其内部通过一个permit来进行定义并发执行的数量,其实可以理解为一个限制数量的ReadLock获取.Semaphore主要特点:Semaphore方法的实现通过Sync(AQS的继承类)代理来实现2.支持公平与非公平模式,都是在AQS的子类里面进行,主要区分在tryAcquire里面先看一个简单的demoimpor
铁甲依然在_978f
·
2024-02-06 07:12
ReentrantLock
源码分析
、LockSuppor、ReentrantReadWriteLock、锁优化的方法
ReentrantLock类图我们看一下重入锁ReentrantLock类关系图,它是实现了Lock接口的类。NonfairSync和FairSync都继承自抽象类Sync,在ReentrantLock中有非公平锁NonfairSync和公平锁FairSync的实现。在重入锁ReentrantLock类关系图中,我们可以看到NonfairSync和FairSync都继承自抽象类Sync,而Sync
_蓝天IT_
·
2024-02-06 07:12
并发编程专题
数据库
HDFS
入门基础
HDFS
总结在现代的企业环境中,海量数据超过单台物理计算机的存储能力,分布式文件系统应运而生,对数据分区存储于若干物理主机,管理网络中跨多台计算机存储的文件系统。
nucty
·
2024-02-06 05:33
大数据
hdfs
hadoop
大数据
Apache Hadoop
ApacheHadoop_狭义上说,Hadoop指Apache一款java语言开发的开源框架,它的核心组件有:
HDFS
(分布式文件系统):解决海量数据存储YARN(作业调度和集群资源管理的框架):解决资源任务调度
VincentLeon
·
2024-02-06 05:28
MySQL进阶垫脚石:线程长时间处于killed状态怎么破?
二、
源码分析
1、MySQL执行流程简介MySQL的启
程序员与Python
·
2024-02-06 03:36
数据库
mysql
数据库
java
多线程
redis
架构师五分钟带你读懂,Volatile的作用及原理
架构师五分钟带你读懂,Volatile的作用及原理文章简介分析volatile的作用以及底层实现原理,这也是大公司喜欢问的问题内容导航volatile的作用什么是可见性volatile
源码分析
一、volatile
勤奋的码农
·
2024-02-06 00:17
消息中间件之RocketMQ
源码分析
(五)
消费进度保存机制消费者启动时会同时启动位点管理器,RocketMQ设计了远程位点管理和本地位点管理两种位点管理方式.集群消费时,位点由客户端提交给Broker保存.广播消费时,位点保存在消费者本地磁盘上OffsetStore接口核心方法voidload():加载位点信息voidupdateOffset():更新缓存位点信息longreadOffset():读取本地位点信息voidpersistAl
coffee_babe
·
2024-02-05 20:57
消息中间件
java-rocketmq
rocketmq
java
SpringBoot Security安全认证框架初始化流程&认证流程之
源码分析
SpringBootSecurity安全认证框架初始化流程&认证流程之
源码分析
以RuoYi-Vue前后端分离版本为例分析SpringBootSecurity安全认证框架初始化流程&认证流程的
源码分析
目录
老杜095
·
2024-02-05 18:04
微服务
Java
spring
boot
安全
java
Hadoop Start(1) ——Google与Hadoop的前世今生
参考文档:《Hadoop权威指南(第4版)》网址:http://hadoop.apache.org/[1]
HDFS
:HadoopDistributionFileSystemHadoop分布式文件系统[2
bclz
·
2024-02-05 18:41
DPDK系列之四十一数据收发整体流程
源码分析
之一整体流程
一、说明在前面的分析中基本介绍了DPDK中的各种模块的技术架构,从这篇开始,就从头开始对整个代码的流程进行分析,然后在此基础上,初步掌握了DPDK的代码架构和功能分析后,再对基于DPDK的上层应用进行分析。这是一个从分到合,从基础到应用的过程。在这个过程中需要不断的回顾和补充原来的知识。二、数据包流程在前面详细分析过数据包的转运流程,其实做一种IO接口,一定是分成两部分,即数据的接收和发送。从宏观
fpcc
·
2024-02-05 17:18
网络开发
DPDK
HDFS
的 DataNode 工作机制
1DataNode工作机制1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个
求学旅途
·
2024-02-05 16:41
Java大数据
hdfs
datanode
hadoop
大数据
java
【
HDFS
实战】
HDFS
上的数据均衡
HDFS
上的数据均衡简介文章目录
HDFS
上的数据均衡简介重新平衡多DN之间的数据相关命令重新平衡单DN内磁盘间的数据相关命令PlanExecuteQueryCancelReport相关配置调试
HDFS
上的
顧棟
·
2024-02-05 16:09
hdfs
hadoop
大数据
如何对
HDFS
进行节点内(磁盘间)数据平衡
1.文档编写目的当
HDFS
的DataNode节点挂载多个磁盘时,往往会出现两种数据不均衡的情况:1.不同DataNode节点间数据不均衡;2.挂载数据盘的磁盘间数据不均衡。
格格巫 MMQ!!
·
2024-02-05 16:39
hadoop
hdfs
hdfs
hadoop
大数据
SOFABolt
源码分析
13 - Connection 事件处理机制的设计
image.pngConnection事件处理相关类ConnectionEventType:定义了三种Connection相关事件ConnectionEventHandler:Connection事件处理器,处理两类事件Netty定义的事件:例如connect,channelActive等SOFABolt定义的事件:事件类型ConnectionEventTypeRpcConnectionEvent
原水寒
·
2024-02-05 16:48
HDFS
源码解析---Balancer
概述在输入启动命令的那台机器上会启动一个进程,为了避免给namenode带来过大的负担,整个balance过程由balanceserver而不是namenode来控制。Balancer的最终结果是namenode上记录的一个block的一个副本从一个datanode转移到另一个datanode上。PS:副本放置策略第2个副本存放于不同于第1个副本所在的机架第3个副本存放于第2个副本所在的机架,但是
请叫我算术嘉
·
2024-02-05 16:38
Hadoop
HDFS
balancer
hdfs
java
hadoop调优-
HDFS
集群数据不均衡处理
hdfs
balancer
查看当前的数据分布情况:
hdfs
dfsadmin-report现象一:集群上经常会增添新的DataNode节点,或者人为干预将数据的副本数降低或者增加。
不会吐丝的蜘蛛侠。
·
2024-02-05 16:08
Hadoop
hadoop
hdfs
big
data
大数据技术应用场景
大数据技术产品大数据技术产品大数据技术分类:存储,计算,资源管理1.存储:(1)最基本的存储技术是
HDFS
:比如在企业应用中,会把通过各种渠道得到的数据,比如关系数据库的数据、日志数据、应用程序埋点采集的数据
大数据基础入门教程
·
2024-02-05 16:08
大数据
大数据应用场景
所有
HDFS
磁盘数据存储不均情况的终极处理方案
一、多节点存储不均1、现有多节点存储不均:1、先设置带宽
hdfs
dfs-setBalancerBandwith字节数2、然后执行脚本start-balancer.sh-thresholdn或者
hdfs
balancer-thresholdn
二百四十九先森
·
2024-02-05 16:08
Hadoop核心技术
磁盘
存储
不均
wordcount
单词计数
HDFS
BALANCER
介绍Hadoop的
HDFS
集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。
风筝Lee
·
2024-02-05 16:07
hadoop
hdfs
balancer
Hadoop-
HDFS
的DataNode介绍及原理
DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love
·
2024-02-05 16:07
hadoop
大数据
HDFS
DataNode高密度存储机型的探索尝试
这里就涉及到了数据存储能力的问题,需要存储的数据越多,其实意味着我们需要更多的机器来扩增
HDFS
集群存储的总capacity。但是机器数量的变多另外一方面带来的则是机器费用成本的巨大开销。
Android路上的人
·
2024-02-05 16:05
Hadoop
HDFS
hadoop
big
data
hdfs
CDH使用Disk Balancer平衡磁盘
HDFS
数据
文章目录前言启用磁盘平衡器生成磁盘平衡器任务执行磁盘平衡任务查询磁盘平衡任务是否完成参考来源前言当集群磁盘空间不足时,需要增加新硬盘到机器,此时新加入的磁盘空间基本为空,而旧磁盘则已占用很多。网上则是通过增减副本的方式达到磁盘平衡方式,但如果磁盘空间大小本身不一致,通过该方法平衡后,磁盘空间不平衡情况依然存在。从CDH5.8.2开始,ClouderaManager提供了一个全面的存储容量管理解决方
Alderaan
·
2024-02-05 16:05
Cloudera
CDH
cloudera
hdfs
disk
balancer
绝对完美解决
hdfs
datanode数据和磁盘数据分布不均调整(
hdfs
balancer )——经验总结
Hadoop集群Datanode数据倾斜,个别节点
hdfs
空间使用率达到95%以上,于是新增加了三个Datenode节点,由于任务还在跑,数据在不断增加中,这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88
·
2024-02-05 16:05
Hadoop
hdfs
ROS-I simple_message
源码分析
:SmplMsgConnection
SmplMsgConnection类定义了一些接口和常用的方法,用于SimpleMessage消息的发送,它做了两个假设:连接能够发送原始字节数据(封装在simplemessage之中)提供显示的connect方法来建立连接(相应的也要有一个disconnect),对于无连接的通信,比如UDP,则可以不用实现connect方法(作为一个空操作)此处的连接(connection)是代表的抽象连接,也
play_robot
·
2024-02-05 16:23
LinkedList集合
LinkedList集合1.概述2.方法2.1特有方法2.2代码示例3.遍历方法4.注意事项5.
源码分析
其他集合类父类List类祖父类Collection类具体信息请查看API帮助文档1.概述LinkedList
酷小洋
·
2024-02-05 15:47
#
Java基础语法
java
idea
开发语言
2019年需要学习的专业知识
接下来的学习计划软件知识体系结构基础知识C/C++编程语言数据结构算法分析与实现中级知识编译器原理操作系统网络编程高级知识Linux内核
源码分析
硬件知识体系结构基础知识电路知识模拟电路数字电路计算机组成原理处理器体系架构实现应用性知识
大道而至简
·
2024-02-05 15:13
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他