E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs源码分析
hadoop集群部署
Hadoop的框架最核心的设计就是:
HDFS
和Ma
Cat God 007
·
2024-01-25 12:45
笔记
大数据
大数据
hdfs
hadoop集群规划部署
hadoop102hadoop103hadoop104
HDFS
NameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManagerNodeM
Snower_2022
·
2024-01-25 12:43
hadoop
hadoop
java
大数据
PWN入门&Protostar靶场Stack系列
Protostar靶场地址https://exploit.education/protostar/溢出
源码分析
#include#include#includeintmain(intargc,char**
cike_y
·
2024-01-25 12:38
PWN
pwn
ctf
gdb
网络安全
Webrtc
源码分析
起步
本文是从Webrtc实际应用的方面介绍如何快速理解Webrtc的源码。Webrtc是用于web的实时通信框架,也可以直接使用Google开源的Webrtc实现来开发非Web的APP。要理解如何使用webrtc的源码,最好是先懂得Webrtc通信的流程,请查看用Webrtc实现免费的1对1高清实时视音频会议系统就可以了解Webrtc的接口使用流程,了解这个流程后就可以快速理解Google开源的那部分
大飞飞鱼
·
2024-01-25 12:45
WebRTC
HTTP技术
流媒体应用
Hudi学习笔记5 - Hudi配置分析(1)
Hudi官方配置文档:https://hudi.apache.org/docs/configurations,从
源码分析
可以看到配置项hoodie.payload.ordering.field已经废弃,
一见
·
2024-01-25 09:40
flink
hudi
spark
学习
笔记
java
【Spring
源码分析
】从源码角度去熟悉依赖注入(二)
从源码角度去熟悉依赖注入(二)一、AutowiredFieldElement注入分析二、AutowiredMethodElement注入分析三、doResolveDependency
源码分析
1.
假正经的小柴
·
2024-01-25 09:02
Java源码分析
spring
数据库
sql
上万字详解Spark Core(建议收藏)
虽然MapReduce提供了对数据访问和计算的抽象,但是对于数据的复用就是简单的将中间数据写到一个稳定的文件系统中(例如
HDFS
),
废柴程序员
·
2024-01-25 09:06
Hadoop-
HDFS
写流程(从命令行到完成)
一、简单回顾下
HDFS
的架构如果不了解
HDFS
的可以看下我写的一篇博客,这里先贴下官网架构图:二、
源码分析
源码中写的肯定是最真实的,下面是hadoop官方源码下载地址,我下载的是hadoop-3.2.4
隔着天花板看星星
·
2024-01-25 09:23
hadoop
hdfs
大数据
Hadoop-
HDFS
高可用
一、说明在我的博客中已经包含了
HDFS
高可用的搭建,这里描述下它的原理。
隔着天花板看星星
·
2024-01-25 09:52
hadoop
hdfs
大数据
Hadoop-
HDFS
读流程(从输入命令到回显)
一、简单回顾下
HDFS
的架构如果不了解
HDFS
的可以看下我写的一篇博客,这里先贴下官网架构图:二、静静的思考一会儿爱因斯坦说过:想象力比知识更重要。想象力推动世界,是知识进化的源泉。
隔着天花板看星星
·
2024-01-25 09:52
hadoop
hdfs
大数据
HBase学习五:运维排障之备份与恢复
HBase的所有文件都存储在
HDFS
上,因此只要使用Hadoop提供的文件复制工具distcp将HBASE目录复制到同一
HDFS
或者其他
HDFS
的另一个目录中,就可以完成对源HBase集群的备份工作copyTable
Studying!!!
·
2024-01-25 09:49
中间件
hbase
学习
运维
大数据平台组件日常运维操作说明(Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat)
Hadoop日常运维操作说明
hdfs
生产环境hadoop为30台服务器组成的集群,统一安装配置,版本号为2.7.7部署路径:/opt/hadoop启动用户:hadoop配置文件:/opt/hadoop/
love6a6
·
2024-01-25 07:12
大数据
java-zookeeper
运维
Hadoop
HDFS
实现原理图文详解
一、
HDFS
体系结构1.1
HDFS
简介Hadoop分布式文件系统(
HDFS
)是运行在通用硬件(commodityhardware)上的分布式文件系统(DistributedFileSystem)。
禅与计算机程序设计艺术
·
2024-01-25 07:49
(一)Netty服务端启动类
源码分析
目录前言一、Netty版本二、Netty提供的服务端样例:EchoServer类解析前言本文需要了解一些Netty的基础知识,建议直接下载源码进行阅读,如果有错误疑问,欢迎指正讨论一、Netty版本
源码分析
系列基于
_isPan
·
2024-01-25 06:36
Netty源码分析
netty
Lucene
源码分析
——BKD-Tree
Lucene
源码分析
——BKD-Tree-AIQBkd-TreeBkd-Tree作为一种基于K-D-B-tree的索引结构,用来对多维度的点数据(multi-dimensionalpointdata)集进行索引
大叶子不小
·
2024-01-25 05:17
lucene
源码分析
:Redis hash和Java HashMap、ConcurrentHashMap区别
简述大家在开发工作中经常使用的key-value的数据结构,像Java中有HashMap,线程安全的ConcurrentHashMap,在Redis中hash结构更是最基础的;这里我们来分析一下它们的底层数据结构,包括如何扩容的;HashMapJava的HashMap是比较传统的数据结构了,网上关于HashMap的数据结构介绍有很多,就不再过多赘述了,这里咱们以JDK1.8的为主;我们重点关注Ha
史啸天
·
2024-01-25 02:28
Spring系列之Spring常用注解总结
交流群:818491202验证:33关注公众号领资料搜索公众号【Java耕耘者】,回复【Java】,即可获取大量优质电子书和一份Java高级架构资料、Spring
源码分析
、Dubbo、Redis、Netty
Java耕耘者
·
2024-01-25 01:19
源码分析
:高性能限流器Guava RateLimiter
主题本章我们来分析GuavaRateLimiter是如何解决高并发场景下的限流问题的Guava是Google开源的Java类库,提供了一个工具类RateLimiter。使用时候必须加入以下依赖:com.google.guavaguava${version}其中${version}参考https://search.maven.org/search?q=g:com.google.guava%20AND
逗逼程序员
·
2024-01-25 01:19
Python requests网络库
源码分析
(第三篇:通过学习异常模块,了解http协议)
前言作者在requests包下,定义了exceptions模块,该模块中定义执行http请求过程中常见的错误,熟悉这些错误有助于我们写出健壮的业务程序,同时还能温习http的知识点,本文基于的requests版本为2.27.1exceptions模块,位于requests包中exceptions模块中又定义了很多类,每个类创建的对象,代表一个http错误,可见作者对于http协议有多熟悉逐个介绍一
叫我王员外就行
·
2024-01-25 00:03
Python
requests网络库源码分析
学习
flask_apscheduler
源码分析
前言遵循flask框架的标准的库,称为flask扩展,flask_apscheduler模块就是一个flask扩展,它使用了flask编程上下文,同时内部完全依赖apscheduler。我近期使用flask_apscheduler遇到了一个所有job全部死亡的bug。现象:job平时是正常启动的,突然某个时刻全部挂了,所以需要分析一遍源码,找出解决方案,同时也能提高自己的代码阅读能力,大家一起学习
叫我王员外就行
·
2024-01-25 00:32
flask
python
后端
ThreadLocal
image.pngThreadLocal的
源码分析
Thread类中有个变量threadLocals,
程序员札记
·
2024-01-24 23:42
linuxPWM子系统
源码分析
--Apple的学习笔记
一,前言所谓学习,那么就和单纯完成任务是不同的,我的学习也是有目标的,那么从linux驱动开发的角度来说,若只是配置下就能用了,这样有点知其然而不知其所以然,所以我的目标就是先会用,然后学习框架及源码,便于将来遇到问题后调试定位和代码优化。另外,最主要的就是学习linux中面向对象的抽象设计思路。所以做完了SG90的PWM后,那么就要分析PWM源码了。并且发现了看源码有助于我在写驱动的时候对函数的
applecai
·
2024-01-24 21:03
大数据小白初探
HDFS
架构原理:带你揭秘背后的真相(一)
目录1.前言2.
HDFS
架构2.1架构定义2.2揭秘架构2.3
HDFS
核心结构3.
HDFS
的优缺点3.1
HDFS
的优点3.2
HDFS
的缺点4.
HDFS
的应用场景5.总结1.前言前面的文章写了一篇,大数据方面的基础知识
程序员阿奇
·
2024-01-24 19:38
Hadoop
大数据
hdfs
架构原理
EditLog
checkpoint
FsImage
小白初探架构模式—常用的设计模式
2.4主从架构的示例3.主从架构设计的延伸3.1主备模式3.2主从复制3.3集群分片3.4异地多活4.总结1.前言作为一个架构设计小白,我们通常用了很多种工具,比如Mysql、Redis、Kafka、
Hdfs
程序员阿奇
·
2024-01-24 19:03
Hadoop
java
主从架构
设计模式
集群分片
主从复制
死磕以太坊
源码分析
之p2p节点发现
死磕以太坊
源码分析
之p2p节点发现在阅读节点发现源码之前必须要理解kadmilia算法,可以参考:KAD算法详解。节点发现概述节点发现,使本地节点得知其他节点的信息,进而加入到p2p网络中。
mindcarver
·
2024-01-24 18:18
Android 计时器Chronometer 使用及
源码分析
ChronometerChronometer是一个「简单的计时器」组件,继承自TextView。但是Chronometer「不显示当前时间」,它显示的是从某个起始时间开始,一共过去了多长时间。主要XML属性如下:「android:countDown」是否倒计时,默认false。「android:format」设置显示时间格式。如果指定,第一个「"%s"」替换为"MM:SS"或"H:MM:SS"形式
大渔歌_
·
2024-01-24 18:58
Android
android
Linux网卡接收数据包过程图详细总结
简介本文对代码的详细实现过程不做过多的讲解,重点让读者熟悉数据的接收过程,如需进一步熟悉源码,可根据下面的链接做进一步学习:1、网卡驱动
源码分析
2、网卡结构和基础知识详解收包过程总览从TCP/IP网络分层模型中可以清楚当数据帧从网卡
快乐的学习
·
2024-01-24 16:17
驱动
驱动开发
tcp
网络协议
部署Hadoop集群
在node1节点执行,以root身份1:在VMware虚拟机集群上部署
HDFS
集群1)准备好hadoop安装包;目前最新3.3.4;了解:2)上传解压hadoop①:上传hadoop到node1节点;②
%HelloWorld%
·
2024-01-24 13:27
java
开发语言
Spring Bean的生命周期
目录一、知识点二、
源码分析
三、扩展1、InstantiationAwareBeanPostProcessor2、AwareBeanFactory类型的容器ApplicationContext类型的容器3
xiaoyu_alive
·
2024-01-24 10:23
spring
spring
java
后端
spring
boot
Hive 优化总结
Hive优化本质:
HDFS
+MapReduce问题原因:倾斜:分区:有的分区没有数据,有的分区数据堆积。(若按天分区,每一天数据差别大就叫倾斜。)
Byyyi耀
·
2024-01-24 10:25
hive
hadoop
数据仓库
Hive优化
Go语言 标准容器
源码分析
类似于Java的集合:list,map,set等,Go语言中也提供了类似的标准容器,在标准包container包含了conatiner/list,container/heap,container/ring三种标准容器。(1)conatiner/list容器在conatiner/list源码包中提供了相关的示例,比如下面这个示例packagelist_testimport("container/li
小杰的快乐时光
·
2024-01-24 09:15
IDEA报错:No hostname could be resolved for the IP address 127.0.0.1, using IP address as host name.
NohostnamecouldberesolvedfortheIPaddress127.0.0.1,usingIPaddressashostname.Localinputsplitassignment(suchasfor
HDFS
files
唯一2333
·
2024-01-24 09:09
flink
kafka
idea
hbase 总结
HBase什么是HBasehbase是一个基于java、开源、NoSql、非关系型、面向列的、构建与hadoop分布式文件系统(
HDFS
)上的、仿照谷歌的BigTable的论文开发的分布式数据库。
l靠近一点点l
·
2024-01-24 08:24
大数据
hbase
Hbase原理、基本概念、基本架构
概述HBase是一个构建在
HDFS
上的分布式列存储系统;HBase是基于GoogleBigTable模型开发的,典型的key/value系统;HBase是ApacheHadoop生态系统中的重要一员,主要用于海量结构化数据存储
wyl9527
·
2024-01-24 08:24
Hbase
hbase
存储系统
Hadoop集群(第12期)_HBase简介及安装
可以直接使用本地文件系统也可使用Hadoop的
HDFS
文件存储系统。为了提高数据
weixin_30451709
·
2024-01-24 08:23
大数据
数据库
人工智能
HBase学习
可以直接使用本地文件系统也可使用Hadoop的
HDFS
文件存储系统。为了提高数据
mm_bit
·
2024-01-24 08:20
HBase
大数据
数据库
HBase简易安装和简介
可以直接使用本地文件系统也可使用Hadoop的
HDFS
文件存储系统。为了提高数据
滑过的板砖
·
2024-01-24 08:49
Hbase
HBase学习五:运维排障之宕机恢复
RegionServer主要负责用户的读写服务,进程中包含很多缓存组件以及与
HDFS
交互的组件,实际生产线上往往会有非常大的压力,进而造成的软件层面故障会比较多。
Studying!!!
·
2024-01-24 07:27
中间件
hbase
学习
运维
记一次Flink通过Kafka写入MySQL的过程
->sink,即从source获取相应的数据来源,然后进行数据转换,将数据从比较乱的格式,转换成我们需要的格式,转换处理后,然后进行sink功能,也就是将数据写入的相应的数据库DB中或者写入Hive的
HDFS
梦痕长情
·
2024-01-24 07:17
flink
kafka
mysql
Hadoop中HBase命令行操作
采用的底层存储为
HDFS
。使用Hbase客户端操作,执行查看Hbase版本、状态、查看帮助命令。创建表、修改表、插入数据、删除数据、查询数据,清空表、退出Hbase命令行、停止
HDFS
服务。
m0_69595107
·
2024-01-24 06:05
Hadoop
hadoop
hbase
大数据
centos
Spring Security 6.x 系列【72】授权篇之角色分层
gitee.com/pearl-organization/study-spring-security-demo文章目录1.前言2.RoleHierarchy3.案例演示3.1期望3.2集成3.2测试4.
源码分析
云烟成雨TD
·
2024-01-24 05:08
Spring
Security
6.x
spring
spring
security
spring
boot
以太坊
源码分析
:共识(3)Ethash
前言Ethash实现了PoW,PoW的精妙在于通过一个随机数确定,矿工确实做了大量的工作,并且是没有办法作弊的。接下来将介绍:Ethash的挖矿本质。Ethash是如何挖矿的。如何验证Ethash的随机数。Ethash的挖矿本质挖矿的本质是找到一个随机数,证明自己做了很多工作(计算)。在Ethash中,该随机数称为Nonce,它需要满足一个公式:Rand(hash,nonce)≤MaxValue/
大彬_一起学Golang
·
2024-01-24 05:00
【Linux 内核
源码分析
】堆内存管理
堆堆是一种动态分配内存的数据结构,用于存储和管理动态分配的对象。它是一块连续的内存空间,用于存储程序运行时动态申请的内存。堆可以被看作是一个由各个内存块组成的堆栈,其中每个内存块都有一个地址指针,指向下一个内存块。当程序需要分配内存时,堆会根据分配算法找到一块足够大的连续内存空间,并将其分配给程序。程序可以在堆中动态创建和销毁对象,而不需要在编译时确定对象的数量或大小。与静态分配的栈不同,堆的内存
攻城狮百里
·
2024-01-24 03:19
Linux
linux
【Linux 内核
源码分析
】RCU机制
RCU基本概念Linux内核的RCU(Read-Copy-Update)机制是一种用于实现高效读取和并发更新数据结构的同步机制。它在保证读操作不被阻塞的同时,也能够保证数据的一致性。RCU的核心思想是通过延迟资源释放来实现无锁读取,并且避免了传统锁带来的争用和开销。具体而言,RCU维护了一个“回收”过程,在该过程中,当没有任何读者引用时,才会真正释放资源。这样就可以避免等待所有读者完成或者互斥锁对
攻城狮百里
·
2024-01-24 03:48
Linux
linux
【Linux 内核
源码分析
】内存屏障
内存屏障内存屏障的作用是强制对内存的访问顺序进行排序,保证多线程或多核处理器下的内存访问的一致性和可见性。通过插入内存屏障,可以防止编译器对代码进行过度优化,也可以解决CPU乱序执行引起的问题,确保程序的执行顺序符合预期。Linux内核提供了多种内存屏障,包括通用的内存屏障、数据依赖屏障、写屏障、读屏障、释放操作和获取操作等。Linux内核中的内存屏障源码主要位于include/linux/com
攻城狮百里
·
2024-01-24 03:48
Linux
linux
Storm和hadoop对比及storm组件
stormhadoop实时流处理批处理无状态有状态使用zk协同的主从架构无主从zk架构每秒处理数万消息
HDFS
,MR数分钟,数小时不会主动停止终于完成的时候storm优点:跨语言,可伸缩,低延迟,秒级容错核心概念
smartjiang
·
2024-01-24 02:01
String
源码分析
功能简介String可以代表字符串,在代码中的字符串常量,如"abc",实现上都是String类的实例。String是常量,是不可变的,线程安全的。如果需要可变的字符串,可以使用StringBuffer。Stringstr="abc"等价于chardata[]={'a','b','c'};Stringstr=newString(data);下面还有一些常见用法System.out.println(
shalk
·
2024-01-24 01:47
Spring Cloud Netflex Eureka Server
源码分析
(一)
前言上一篇文章《SpringCloudNetflexEurekaClient
源码分析
》通过源码知道,eurekaClient是通过httprest来与eurekaserver交互,实现注册服务,续约服务
程序员L札记
·
2024-01-24 00:53
Zuul
源码分析
目标明确Zuul的执行流程和重要类的分析Zuul过滤器的生命周期zuul.jpg
源码分析
zuul怎么拦截我们的请求?
鱼da王
·
2024-01-23 20:36
Zookeeper
源码分析
ZooKeeperServer
ZooKeeperServer实现了单机版zookeeper服务端功能,子类实现了更加丰富的分布式集群功能:ZooKeeperServer|--QuorumZooKeeperServer|--LeaderZooKeeperServer|--LearnerZooKeeperServer|--FollowerZooKeeperServer|--ObserverZooKeeperServer|--Rea
softshow1026
·
2024-01-23 12:58
zookeeper
debian
分布式
上一页
13
14
15
16
17
18
19
20
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他