E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs源码分析
【三】CocosCreator-CCDirector.js
源码分析
PS:只是看源码学习过程中把认为重要的内容以笔记的形式记录下来。【1】cc.director:cc.Director的一个单例对象。如果需要用到导演类的内容,统一通过cc.director这个单例对象来调用。【2】init():对导演类的成员变量进行初始化操作。在构造函数对此init函数注册了消息监听,当接收到来自CCGame的EVENT_ENGINE_INITED事件后才执行导演类的init函数
0zien0
·
2024-01-04 20:46
javascript
typescript
源码分析
CCDirector.js
2021-11-08 正则表达式
matcher.find()底层
源码分析
:*1.根据指定的规则,定位满足规则的子字符串(比如(19)(98))*2.找到后,将子字符串的开始的索引记录到matcher对象的属性int[]groups;*
技术小白3687
·
2024-01-04 18:05
ceph存储
ceph一.存储分类1.本地存储的文件系统ext3ext4efsntfs2.网络存储nfs网络文件系统
hdfs
分布式网络文件系统glusterfs分布式网络文件系统3.传统存储(1).DASSAS,SATA
MoonSoin
·
2024-01-04 17:26
云原生
k8s
ceph
windows
云原生
11111111
core-site.xml文件的内容如下:hadoop.tmp.dirfile:/usr/local/hadoop/tmpAbaseforothertemporarydirectories.fs.defaultFS
hdfs
SunsPlanter
·
2024-01-04 15:23
tomcat
服务器
java
跨年烟花-Html5实现_附完整源码【可直接运行】
文章目录前言目录结构⚫完整源码
源码分析
注意事项总结前言随着科技的进步和互联网的普及,人们对于跨年庆祝的方式也在不断变化。传统的烟花燃放虽然美丽,但存在环境污染、安全隐患等问题。
一见已难忘
·
2024-01-04 14:16
大前端领域开发技术应用技术
html5
前端
html
跨年烟花
新年快乐
LinkedBlockingDeque分析
或者存放一个特殊要求的数据,它的前驱指向链表的尾结点(即最后一个结点),它的后继指向链表的首元结点(即第一个结点)双向链表结点包含前驱指针域,数据域,后继指针域三个部分LinkedBlockingDeque部分
源码分析
萍水相逢_程序员
·
2024-01-04 13:54
Spring Boot中如何干掉if else
微服务、Spring,MyBatis,Netty
源码分析
的朋友可以加我的Java高级交流:787707172,群里有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费分享给大家。
程序员日常填坑
·
2024-01-04 13:57
没脾气的周四
昨天所说的Sqoop由
hdfs
入Mysql主键重复的问题,今天去生产查了一下,并不像预料的那样,还是一筹莫展,对还是集群上主键没有重复,然后入Mysql报主键重复,很让人尴尬,又没有脾气,你想想如果春节期间
阳春没有雪
·
2024-01-04 13:50
重学iOS系列之APP启动(七)优化总结
前文已经通过
源码分析
以及实战演练带领读者学习了APP启动的整个过程,既然知识已经学了,就要学以致用。APP启动-优化总结:main()函数之前的优化:1、减少动态库加载。
佛系编程
·
2024-01-04 12:29
Flume基础知识(四):Flume实战之实时监控单个追加文件
1)案例需求:实时监控Hive日志,并上传到
HDFS
中2)需求分析:3)实现步骤:(1)Flume要想将数据输出到
HDFS
,依赖Hadoop相关jar包检查/etc/profile.d/my_env.sh
依晴无旧
·
2024-01-04 10:08
大数据
flume
大数据
Flume基础知识(五):Flume实战之实时监控目录下多个新文件
1)案例需求:使用Flume监听整个目录的文件,并上传至
HDFS
2)需求分析:3)实现步骤:(1)创建配置文件flume-dir-
hdfs
.conf创建一个文件vimflume-dir-
hdfs
.conf
依晴无旧
·
2024-01-04 10:08
大数据
flume
大数据
Ceph
源码分析
-std::unique_ptr<rgw::sal::RGWObject::WriteOp> obj_op = head_obj->get_write_op(&obj_ctx);
std::unique_ptrobj_op=head_obj->get_write_op(&obj_ctx);这行代码是C++代码,涉及到智能指针和某个对象或库的特定操作。我会为你逐步解释这行代码:std::unique_ptr:这是C++11引入的一个智能指针,用于管理对象的生命周期。unique_ptr确保其指向的对象在任何时刻都只有一个unique_ptr拥有它,当unique_ptr被销毁
瓦哥架构实战
·
2024-01-04 09:14
Ceph源码分析
ceph
算法
Ceph
源码分析
-使用VScode调试ceph-osd教程
本篇内容全部都是干货,请先收藏,以免后期找不到哦。前言:本文以cephosd部分为例,为您演示通过第三方社区提供的vscode编辑软件,对cephosd进行进行图形化单步调试以及配置操作。Step1.下载安装windows的vscode****在该地址下载:code.visualstudio.com/;安装openssh(一般情况不用自己手动安装);如果需要远程开发,Windows机器也需要支持o
瓦哥架构实战
·
2024-01-04 09:36
Ceph源码分析
ceph
vscode
ide
Java技术栈 —— Hadoop入门(一)
Java技术栈——Hadoop入门(一)一、Hadoop第一印象二、安装Hadoop三、Hadoop解析3.1Hadoop生态介绍3.1.1MapReduce-核心组件3.1.2
HDFS
-核心组件3.1.3YARN
键盘国治理专家
·
2024-01-04 08:02
Java技术栈
java
hadoop
开发语言
大数据-
HDFS
原理
什么是
HDFS
?
运维仙人
·
2024-01-04 07:00
大数据
运维
【Hadoop-
HDFS
-S3】
HDFS
和存储对象 S3 的对比
【Hadoop-
HDFS
-S3】
HDFS
和存储对象S3的对比1)可扩展性2)数据的高可用性3)成本价格4)性能表现5)数据权限6)其他限制虽然ApacheHadoop以前都是使用
HDFS
的,但是当Hadoop
bmyyyyyy
·
2024-01-04 07:25
Hadoop
hadoop
hdfs
大数据
#存储对象
#S3
Java 并发(3)AbstractQueuedSynchronizer
源码分析
之共享模式
转:https://mp.weixin.qq.com/s/mykFjE-t9wbQBjG3xMzDWw通过上一篇《Java并发(2)AbstractQueuedSynchronizer
源码分析
之独占模式
george_george
·
2024-01-04 07:54
利用python将excel文件转成txt文件,再将txt文件上传
hdfs
,最后传入hive中
将excel文件转成txt文件,再将txt文件上传
hdfs
,最后传入hive中1.利用python将excel转成txt文件#!
m0_37759590
·
2024-01-04 06:03
python
hive
python
hdfs
hive
Java ORM 框架 Mybatis详解
本文以一个Mybatis完整示例为切入点,结合Mybatis底层
源码分析
,图文并茂的讲解Mybatis的核心工作机制。
码农小旋风
·
2024-01-04 03:55
后端
【Spring之创建对象
源码分析
】
Spring之内部创建对象
源码分析
1.看源码(AbstractBeanFactory)2.解析1.看源码(AbstractBeanFactory)@SuppressWarnings("unchecked
代码哲学
·
2024-01-04 03:02
spring全家桶
spring
Android-Fragment的生命周期处理
源码分析
从FragmentActivity开始分析:在FragmentActivity中有一个FragmentController对象mFragments,该对象的创建和初始化如下:finalFragmentControllermFragments=FragmentController.createController(newHostCallbacks());1.HostCallbacks的初始化newH
zzq_nene
·
2024-01-04 03:44
Hive08_分区表
一分区表1概念:分区表实际上就是对应一个
HDFS
文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。
程序喵猴
·
2024-01-04 02:00
hive
hive
hadoop
数据仓库
从零开始了解大数据(七):总结
系列文章目录从零开始了解大数据(一):数据分析入门篇-CSDN博客从零开始了解大数据(二):Hadoop篇-CSDN博客从零开始了解大数据(三):
HDFS
分布式文件系统篇-CSDN博客从零开始了解大数据
橘子-青衫
·
2024-01-04 02:19
从零开始了解大数据
大数据
大数据
hadoop
hive
big
data
hdfs
数据仓库
Vue.js
源码分析
——响应式原理
一、准备工作Vue源码的获取项目地址:https://github.com/vuejs/vueFork一份到自己的仓库,克隆岛本地,可以自己写注释提交到gitbub为什么分析Vue2.6现有的项目不会升级到3.x,2.x还有很长的一段过渡期3.0项目地址:https://github.com/vuejs/vue-next源码目录结构image.png了解Flow官网:https://flow.or
丽__
·
2024-01-04 01:15
hdfs
dfs 命令学习实践
1、
hdfs
dfs-ls查看目录或文件参数:[-C][-d][-h][-R][-t][-S][-r][-u][...]参数释义:-C仅显示文件和目录的路径-d目录列为普通文件-h以人类可读的方式显示文件大小
probtions
·
2024-01-03 23:25
bigdata
hdfs
Spark相关知识点(期末复习集锦)
一、Spark简介Spark,拥有hadoopMR所具有的优点,但不同于MR的是job中监测结果可以保存在内存中,从而不再需要读写
HDFS
,因此spark能够更好的适用于数据挖掘与机器学习等需要迭代的mr
夜をむかえる
·
2024-01-03 22:49
spark
大数据
分布式
启动Hbase后HMaster老是掉的原因
1.启动Hbase之前先启动
hdfs
,zookeeper,再启动Hbase,但是隔一会就发现HMaster掉线了,但是hregionserver还在.2.解决:重新启动Hbase之前,先kill掉hregionserver
夺命大翻斗
·
2024-01-03 22:12
hbase
数据库
大数据
golang学习专栏
练手算法Golang设计模式Golang设计模式Golang数据结构和算法Golang数据结构和算法Golang并发编程Golang并发编程ORM框架GormGolangORM框架gormGolang
源码分析
weixin_51551879
·
2024-01-03 20:02
go
hive基本概念原理与底层架构
hadoop是一个开源框架,在分布式环境中存储和处理大型数据,他包括两个模块,一个是mapreduce,另一个是
hdfs
.mapreduce:他是一个并行编程模型在大型集群普通硬件可用于处理大型
byway_lyn
·
2024-01-03 20:22
RocketMQ源码 Broker-BrokerFastFailure 快速失败请求组件
源码分析
前言BrokerFastFailure快速失败处理组件,主要负责,在系统激活broker快速失败能力时,以后台定时调度任务方式进行过期任务清理。主要对以下几类任务进行处理:消息存储组件中的请求。如果消息存储组件中的OSPageCacheBusy(系统页缓存繁忙)为true,则对它的请求循环进行快速失败处理。清理发送线程池队列中的过期请求。清理拉取线程池队列中的过期请求。清理心跳线程池队列中的过期请
虚空小白
·
2024-01-03 20:52
rocketmq
服务器
RocketMQ
源码
源码
RocketMQ源码 Broker-ConsumerFilterManager 消费者数据过滤管理组件
源码分析
前言ConsumerFilterManager继承了ConfigManager配置管理组件,拥有将内存数据持久化到磁盘文件consumerFilter.json的能力。它主要负责,对在消费者拉取消息时,进行消息数据过滤,且只针对使用表达式过滤的消费者有效。源码版本:4.9.3源码架构图核心数据结构可以看到内存中维护了topic->consumergroup->ConsumerFilterData映
虚空小白
·
2024-01-03 20:51
RocketMQ源码
rocketmq
RocketMQ源码 Broker-SubscriptionGroupManager 订阅组管理组件
源码分析
前言SubscriptionGroupManager继承了ConfigManager配置管理组件,拥有将内存数据持久化到磁盘文件subscriptionGroup.json的能力。它主要负责维护所有消费组在内存中的订阅数据。源码版本:4.9.3源码架构图核心数据结构主要的数据结构比较简单,维护了Map的映射关系。//订阅组管理组件publicclassSubscriptionGroupManage
虚空小白
·
2024-01-03 20:21
RocketMQ源码
rocketmq
RocketMQ源码 Broker-FilterServerManager 过滤服务器管理组件
源码分析
前言FilterServerManager负责维护过滤服务器长连接与过滤服务器信息映射关系,并且内部有定时调度线程,不断检查过滤服务器实际数量和配置数量是否一致,如果不一致,就根据配置构建命令行命令,执行命令启动FilterServer过滤服务器进程。过滤服务器实例,是RockerMQ的高级功能,复制支持更复杂的过滤条件。源码版本:4.9.3源码架构图核心数据结构//过滤服务器管理组件public
虚空小白
·
2024-01-03 20:21
RocketMQ源码
java-rocketmq
rocketmq
java
RocketMQ源码 Broker-BrokerStatsManager Broker统计管理组件
源码分析
前言BrokerStatsManager主要负责对broker端的系统指标进行统计,如QUEUE_GET_NUMS队列获取数量、QUEUE_GET_SIZE队列获取大小指标的分钟、小时、天级别的统计数据。它针对的所有指标都是使用后台定时调度线程,对统计条目中的数据进行后台统计计算,存储在统计条目中的对应集合里,以便使用。源码版本:4.9.3源码架构图核心数据结构最核心的是维护了一个数据统计tabl
虚空小白
·
2024-01-03 20:21
RocketMQ源码
rocketmq
服务器
运维
RocketMQ源码 NameServer启动流程
源码分析
前言RocketMQ在启动Namesrv的过程中会创建NamesrvController控制器,并初始化一些核心组件RouteInfoManager路由信息管理组件、NettyRemotingServer网络通信服务器组件、BrokerHousekeepingService网络通信监听器组件,使用了大量JUC并发知识和Netty网络通信的应用。它启动后,主要负责与Broker通信维护消息队列路由信
虚空小白
·
2024-01-03 20:21
RocketMQ源码
java
rocketmq
RocketMQ源码 创建Topic流程
源码分析
前言MQAdminImplMQ管理组件提供了大量对mq进行管理的工具,其中一个就是创建Topic。它内部实现是通过mqClient工具从NameServer拉取当前Topic对应的路由元数据信息,解析遍历和当前topic有关的broker高可用分组集合,找到分组中的master主节点,然后依次对broker主节点发送创建topic请求。broker高可用分组的主节点收到请求后,将topic元数据存
虚空小白
·
2024-01-03 20:47
RocketMQ源码
rocketmq
源码
topic
java-rocketmq
java
大数据Hadoop入门学习线路图
Hadoop是系统学习大数据的必会知识之一,Hadoop里面包括几个组件
HDFS
、MapReduce和YARN,
HDFS
是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapReduce是对数据进行处理计算的
千_锋小小千
·
2024-01-03 19:12
电商数仓可视化1--数据导入
商品分类信息、商品信息、店铺信息、订单数据、订单支付信息、活动信息、物流信息等2、埋点数据埋点日志相对业务数据是用于数据分析、挖掘需求,一般以日志形式存储于日志文件中,随后通过采集落地分布式存储介质中如
hdfs
bigdata从入门到放弃
·
2024-01-03 18:53
数据仓库
linux
hadoop
大数据
java
数据仓库
【Spark精讲】RDD缓存
源码分析
面试题:cache后面能不能接其他算子,它是不是action操作?能,不是action算子。源码解析RDD调用cache或persist之后,会指定RDD的缓存级别,但只是在成员变量中记录了RDD的存储级别,并未真正地对RDD进行缓存。只有当RDD计算的时候才会对RDD进行缓存。以HadoopRDD为例overridedefcompute(split:Partition,context:TaskC
话数Science
·
2024-01-03 18:08
Spark
Spark精讲
大数据
spark
大数据
我的大数据之路:2023年度总结
同时对“数据治理”有了一定的实践经验:存储治理:
HDFS
基于纠删码的存储空间占用上优于多副本存储;冷数据使用对象存储可以大幅降低成本。
话数Science
·
2024-01-03 18:07
大数据
面试
大数据
面试
spark
HDFS
重温
今天被问到分布式,有些忘记,查资料回忆起分布式集群构建,现在重温集群搭建过程费话不多说,来个简图NameNode:
HDFS
群集包含单个NameNode(主服务器),它管理文件系统命名空间并控制客户端对文件的访问权限
zty_1995
·
2024-01-03 18:18
开源大数据集群部署(一)集群实施规划
8C16G操作系统版本CentOSLinuxrelease7.8.2003(Core)java版本javaversion“1.8.0_281”hadoop版本hadoop3.2.4集群版本规划集群组建版本
HDFS
3.2.4YARN3.2.4M
云掣YUNCHE
·
2024-01-03 15:42
开源大数据集群部署
开源
大数据
【MySQL工具】pt-online-schema-change
源码分析
(^-^)V目录
源码分析
Getconfigurationinformation.ConnecttoMySQL.Create--plugin.Setuplagandloadmonitors.Checkforreplicationfilters.Print
DBA之路
·
2024-01-03 14:55
MySQL
MySQL工具
数据库
java
sql
Rxjava* 2.0
源码分析
2019-01-25
title:Rxjava*2.0
源码分析
Rxjava2.0
源码分析
参考:AndroidRxJava2.0:手把手带你
源码分析
RxJavahttps://www.jianshu.com/p/e1c48a00951a
亮亮_be3c
·
2024-01-03 13:03
Netty
源码分析
--PoolSubPage
PoolSubPage内部数据结构分析finalclassPoolSubpage{finalPoolChunkchunk;//所属的PoolChunkprivatefinalintmemoryMapIdx;//在memoryMap的索引idmemoryMap[id]privatefinalintrunOffset;//在PoolChunk的运行时内存偏移量privatefinalintpageSi
shoulda
·
2024-01-03 13:25
HBASE基础
1、NoSQL非关系型数据库2、hbase是面向列存储结构,即类似于hashmap3、hbase是以
hdfs
作为基础存储4、官网http://hbase.apache.org/5、hbase的逻辑结构是由行与列族构成的
xinxinyydss
·
2024-01-03 12:25
hbase
数据库
大数据
LruCache
源码分析
对这个类的
源码分析
主要是以下几个目的:get方法put方法容量控制lru算法的实现publicfinalVget(Kkey){if(key==null){thrownewNullPointerException
成虫_62d0
·
2024-01-03 12:18
Trino
源码分析
:sql字段解析
业务中需要对Trino查询语句中涉及的字段进行处理,所以对这一段源码进行追踪分析,记录如下。源码追踪是从QueuedStatementResource类开始的。QueuedStatementResource类与ExecutingStatementResource类,提供用户执行查询相关的Restful接口。由于解决业务问题中未涉及ExecutingStatementResource类,所以本文只从
aguo718
·
2024-01-03 11:38
大数据
java
大数据
HDFS
之Offline Viewer
FileDistribution常用于查看
hdfs
文件大小分布,查看小文件的数量。
hdfs
oiv-pFileDistribution-maxSizemaxSize-step
zincooo
·
2024-01-03 09:16
HDFS
hdfs
hadoop
Spark一:Spark介绍、技术栈与运行模式
1.2Spark作用中间结果输出Spark的Job中间输出结果可以保存在内存中,从而不再需要读写
HDFS
MapReduce的替代方案Spark比M
eight_Jessen
·
2024-01-03 09:11
spark
spark
大数据
分布式
上一页
25
26
27
28
29
30
31
32
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他