E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs源码分析
MapReduce总结
执行分布式计算和任务处理split读取数据,一个map任务处理一个分片,通常一个分片对应一个
HDFS
文件Block。
w未然
·
2024-01-16 05:51
大数据技术原理与应用 第三版 林子雨 期末复习(二) Hadoop
HDFS
HBase
大数据技术原理与应用第三版林子雨期末复习(二)Hadoop
HDFS
HBaseHadoop生态系统
HDFS
HDFS
结构块NameNode与SecondNameNode与DataNode数据冗余存储
HDFS
头发多多,肆意生长
·
2024-01-16 05:21
大数据技术
hadoop
hdfs
hbase
大数据
ClickHouse - 01
1、ClickHouse与其特性在大数据处理场景中,流处理和批处理使用到的技术大致如下:大数据处理场景流程.png批处理会将源业务系统中的数据通过数据抽取工具(例如Sqoop)将数据抽取到
HDFS
中,这个过程可以使用
ArthurHC
·
2024-01-16 02:17
Android系统启动-SystemServer进程
本篇文章基于Android6.0
源码分析
相关源码文件:/frameworks/base/core/java/com/android/internal/os/-ZygoteInit.java-RuntimeInit.java-Zygote.java
isLJli
·
2024-01-16 00:16
任务12:使用Hadoop Streaming解压NCDC天气原始数据
任务描述知识点:NCDC原始的气象数据上传到
HDFS
MapReduce程序处理NCDC原始数据重点:熟练使用
HDFS
基础命令查看
HDFS
文件块的分布情况掌握Linux系统Shell脚本的编写熟练使用MapReduce
Dija-bl
·
2024-01-15 22:21
hadoop
npm
大数据
STL tuple
源码分析
STLtuple
源码分析
和pair一样,tuple也是STL中非常常见的数据结构。pair是个二元组,只支持两个类型参数,tuple则是个多元组,可以支持多个类型参数。
异次元的归来
·
2024-01-15 22:32
造轮子
c++
stl
xlua
源码分析
(五) struct类型优化
xlua
源码分析
(五)struct类型优化上一节我们分析了xlua是如何实现lua层访问C#值类型的,其中我们重点提到了xlua默认实现方式下,struct访问的效率问题。
异次元的归来
·
2024-01-15 21:56
xlua源码分析
lua
c#
xlua
RT-Thread
源码分析
3:内核对象模型
文章目录前情提要内核对象模型的基本数据结构内核对象控制块的数据结构内核对象容器的数据结构内核对象管理方式对象操作的主要函数rt_object_get_information(type)rt_object_init(*object,type,*name)rt_object_detach(object)rt_object_is_systemobject(object)rt_object_get_typ
萤火虫的电子笔记
·
2024-01-15 21:51
嵌入式:RTOS
RT-Thread
内核对象
源码分析
代码分析
STM32F103VET6之火焰传感器数据输出串口显示
目录前言一、火焰传感器原理二、硬件连接三、设计思路四、
源码分析
总结前言在当今的智能化和自动化时代,嵌入式系统在各种应用中发挥着越来越重要的作用。
根本学不够
·
2024-01-15 21:39
STM32学习
stm32
嵌入式硬件
单片机
STM32F103VET6之中断详解
目录前言一、中断和事件的区别二、功能框图三、外部中断配置四、
源码分析
总结前言在嵌入式系统的世界里,微控制器(MCU)是许多应用的核心。要想充分发挥芯片的性能,熟练掌握其中断管理系统是必不可少的。
根本学不够
·
2024-01-15 21:39
STM32学习
stm32
嵌入式硬件
单片机
EtcdRaft
源码分析
(选举投票)
在EtcdRaft
源码分析
(选举超时)的篇章里面讲到,当超时的时候,Leader外的成员会造反发起选举。我们接下来看下Raft里面选民是怎么投票的。
Pillar_Zhong
·
2024-01-15 19:22
Java项目架构技术-高并发,微服务,分布式,需求分析
Java项目架构技术-高并发,微服务,分布式,需求分析,业务选型,项目部署,架构设计,架构师,
源码分析
,设计模式,数据结构,数据库,业务选型,中间件,并发编程,需求分析,需求设计,项目部署,云原生,企业架构
滴石编程
·
2024-01-15 18:36
java
系统架构
IOC源码-applicationEventMulticaster事件广播
https://www.cnblogs.com/jyyzzjl/p/5476546.html一、代码实例回到第IOC的第七章context部分,我们看
源码分析
部分,可以看到在spring的bean加载之后的第二个重要的
小陈阿飞
·
2024-01-15 17:27
霸榜巨作、阿里内部顶级专家整理(Redis 5设计与
源码分析
)
前言在开源界,高性能服务的典型代表就是Nginx和Redis。纵观这两个软件的源码,都是非常简洁高效的,也都是基于异步网络I/O机制的,所以对于要学习高性能服务的程序员或者爱好者来说,研究这两个网络服务的源码是非常有必要的。Nginx目前市面上的书籍很多,但是Redis确实寥寥无几。这几年Redis版本发展非常快,从稳定的2.x版本,发展到增加了很多优秀特性的5.0版本,这些特性目前尚无资料进行系
十一技术斩
·
2024-01-15 14:02
redis
数据库
database
后端
java
java技术专家【分布式框架】【通过C语言深度解读Redis核心架构】02-Redis底层数据结构
源码分析
之压缩列表的
源码分析
文章目录三、压缩列表的
源码分析
3.1、存储结构字节数组结构节点结构3.2、压缩解码zipEntryZIP_DECODE_PREVLENZIP_DECODE_LENGTH3.3、API解析ziplistNewziplistInsertziplistDeleteziplistFind3.4
不走小道
·
2024-01-15 14:00
Java技术专家
java
c语言
redis
【
源码分析
】一个flink job的sql到底是如何执行的(一):flink sql底层是如何调用connector实现物理执行计划的
文章目录一.一条flinksql二.源码流程图示1.flinkconnector的实现逻辑2.flinksql的转换逻辑三、flinksql调用connector
源码分析
1.tEnv.executeSql
roman_日积跬步-终至千里
·
2024-01-15 14:25
#
flink源码
flink
sql
并发编程 ——
源码分析
公平锁和非公平锁
前言ReentrantLock提供了公平锁和非公平锁,只需要在构造方法中使用一个boolean参数即可。默认非公平锁。今天从源码层面看看区别和具体实现。1.类UML图image.pngReentrantLock内部有一个抽象类Sync,继承了AQS。而公平锁的实现就是FairSync,非公平锁的实现就是NodFairSync。两把锁的区别在于lock方法的实现。2.公平锁lock方法实现final
莫那一鲁道
·
2024-01-15 13:29
Hive导入数据的五种方法
在Hive中建表成功之后,就会在
HDFS
上创建一个与之对应的文件夹,且文件夹名字就是表名;文件夹父路径是由参数hive.metastore.warehouse.dir控制,默认值是/user/hive/
冬瓜的编程笔记
·
2024-01-15 12:04
大数据
hive
hadoop
数据仓库
大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)
第1章:Hive基本概念1.1Hive1.1.1Hive产生背景
HDFS
来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key
·
2024-01-15 12:04
大数据
hive
hadoop
大数据开发之HA
HA严格来说应该分成各个组件的HA机制:
HDFS
的HA和YARN的HA。NameNode主要在以下两个方面影响
HDFS
集群NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启。
Key-Key
·
2024-01-15 12:03
大数据
hadoop
大数据开发之Hive(详细版,最后有实战训练)
第1章:Hive基本概念1.1Hive1.1.1Hive产生背景
HDFS
来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key
·
2024-01-15 12:29
hive
hadoop
大数据
Datax同步(高可用
HDFS
版本)
这是一个mysql同步到hive的json脚本,hive的底层使用的是
HDFS
存储,同步到hive,只能用
hdfs
writermysql->hive{"job":{"setting":{"speed":
暴走的贼宇
·
2024-01-15 12:59
hdfs
hadoop
大数据
Java中的String
楼主通过很多网上的String
源码分析
文章,加上自己对于源码的阅读理解,综合得出以下内容:概述说明实现的接口成员变量静态内部类成员方法类方法这些内容相对独立,但又有一些关联。
juconcurrent
·
2024-01-15 11:18
postgreSQL
源码分析
——存储管理——内存管理(3)
2021SC@SDUSC目录概述高速缓存机制的起源
源码分析
系统表元组缓存——SysCachecatcacheheader结构体catcache结构体catcache如何组织缓存元组SysCache的初始化
義的爸
·
2024-01-15 10:33
postgresql
数据库
database
Mybatis系列-tkmybatis
源码分析
-01-mybatis、mybatis-spring和tkmybatis的关系
mybatis、mybatis-spring和tkmybatis的关系定义MyBatis是一款优秀的持久层框架,它支持自定义SQL、存储过程以及高级映射。MyBatis免除了几乎所有的JDBC代码以及设置参数和获取结果集的工作。MyBatis可以通过简单的XML或注解来配置和映射原始类型、接口和JavaPOJO(PlainOldJavaObjects,普通老式Java对象)为数据库中的记录。MyB
tinygodd
·
2024-01-15 10:31
Mybatis
spring
boot
tkMybatis
mybatis
mybatis-spring
Swift5.x入门21--标准库
源码分析
,项目实战
Swift源码简介Swift于2015年开源,GitHub地址为:https://github.com/apple/swift源码的常见目录:docs:文档;stdlib:Swift源码;lib:C++源码;include:C++头文件;Array分析map,filter,flatMap,reduce,compactMap在swift-main/stdlib/core中搜索funcxxxpubli
YanZi_33
·
2024-01-15 10:14
OpenGauss SQL解析
源码分析
OpenGaussSQL解析
源码分析
SQL引擎简介:SQL引擎整个编译的过程如下图所示,在编译的过程中需要对输入的SQL语言进行词法分析、语法分析、语义分析,从而生成逻辑执行计划,逻辑执行计划经过代数优化和代价优化之后
qq_44361136
·
2024-01-15 09:04
数据库
sql
【参赛作品16】openGauss SQL解析
源码分析
作者:梅氵SQL引擎简介:SQL引擎整个编译的过程如下图所示,在编译的过程中需要对输入的SQL语言进行词法分析、语法分析、语义分析,从而生成逻辑执行计划,逻辑执行计划经过代数优化和代价优化之后,产生物理执行计划。SQL解析通常包含词法分析、语法分析、语义分析几个子模块。SQL是介于关系演算和关系代数之间的一种描述性语言,它吸取了关系代数中一部分逻辑算子的描述,而放弃了关系代数中"过程化"的部分,S
Gauss松鼠会
·
2024-01-15 09:00
sql
数据库
database
OpenGauss
源码分析
-SQL引擎
所讨论文件大多位于src\common\backend\parser文件夹下总流程start_xact_command():开始一个事务。pg_parse_query():对查询语句进行词法和语法分析,生成一个或者多个初始的语法分析树。进入foreach(parsetree_item,parsetree_list)循环,对每个语法分析树执行查询。pg_analyze_and_rewrite():根
WAWA战士
·
2024-01-15 09:58
sql
数据库
性能优化
从零学Java Map集合
接口的特点2.2常用方法3Map集合的实现类3.1HashMap【重点】3.2LinkedHashMap3.3TreeMap3.4Hashtable(了解)3.5Properties属性集合4HashMap
源码分析
贰贰柒丶阿拽
·
2024-01-15 09:53
从零学Java
java
开发语言
redis数据结构
源码分析
——跳表zset
文章目录跳表的基本思想特点节点与结构跳跃表节点zskiplistNode属性跳跃表链表属性跳表的设计思想和优势API解析zslCreate(创建跳跃表)zslCreateNode(创建节点)zslGetRank(查找排位)zslDelete(删除节点)跳表的基本思想SkipList(跳跃列表)这种随机的数据结构,可以看做是一个二叉树的变种,它在性能上与红黑树、AVL树很相近;但是SkipList(
大牛写代码
·
2024-01-15 08:51
redis
redis
数据结构
数据库
redis数据结构
源码分析
——string
前面的文章大体讲解了redis的几种数据类型,针对设计表巧妙的数据类型,后续会出几篇文章单独讲解下,那么本篇文章针对string的源码进行讲解。文章目录字符串的三种编码sds结构sds的设计思想和优势sdsAPI解析sdsnewlen(创建字符串)sdsfree(释放字符串)sdscatlen(拼接字符串)sdsMakeRoomFor(SDS扩容)字符串的三种编码int:整型redis数据结构源码
大牛写代码
·
2024-01-15 08:20
redis
redis
数据结构
分布式计算平台 Hadoop 简介
其主要采用MapReduce分布式计算框架,包括根据GFS原理开发的分布式文件系统
HDFS
、根据BigTable原理开发的数据存储系统HBase以及资源管理系统YARN。
rookiexiong
·
2024-01-15 08:19
Hadoop学习
分布式
hadoop
大数据
Promise高级版 - 通过输出题理解「Promise源码」
1Promise
源码分析
Promise的基本工作原理Promise构造函数:Promise构造函数接受一个执行器函数作为参数,该函数有两个参数:resolve和reject。
Xxxxxl17
·
2024-01-15 08:45
前端
js
ES6
javascript
es6
Spring Boot源码解读与原理分析
源码分析
中可以关注SpringAppl
终将老去的穷苦程序员
·
2024-01-15 07:38
spring
boot
java大数据hadoop2.92 Java连接操作
hadoop文件系统,需要给文件系统权限(1)需要在/usr/local/hadoop/etc/hadoop/core-site.xmlcore-site.xml文件配置具体ipfs.defaultFS
hdfs
crud-boy
·
2024-01-15 06:29
java大数据
大数据
java
hadoop
java大数据hadoop2.9.2 Java编写Hadoop分析平均成绩
org.apache.hadoophadoop-common2.9.2org.apache.hadoophadoop-client${hadoop.version}org.apache.hadoophadoop-
hdfs
crud-boy
·
2024-01-15 06:23
java大数据
大数据
hadoop
分布式
线程池 - ThreadPoolExecutor
源码分析
之所以存在线程池是基于以下两个原因:1.线程的创建和销毁是需要有资源消耗的,多线程环境下频繁创建、销毁线程会影响系统性能2.对于一个需要频繁创建任务、线程的应用来说,创建的任务数、线程数需要受到控制或管理有了线程池,尤其是类似ThreadPoolExecutor这种可以通过参数调整其行为的线程池,可以近乎完美的解决上述两个问题。####线程池工作原理简单来说线程池的工作原理就是:提前或者在执行任务
weixin_44612246
·
2024-01-15 06:40
java
spring
.‘: No such file or directory:
hdfs
://bdp/user/root‘ Linux上传本地文件到
HDFS
中时,出现“No such file or dir“
2.如果没有目标文档就在网页进行创建3.创建完毕后在Linux命令行中查看在
hdfs
中是否有目标目录hadoopfs-ls/bdp4.有目标目录后就可以上传资料和文件到hadoop上hadoopfs-putfile
YoYoYoWhatIsUp
·
2024-01-15 05:28
大数据学习
大数据
idea的big data tool 连接不上
HDFS
所有问题汇总:
1.OnWindowsyoushouldhaveHADOOP_HOMEenvironmentvariabledefinedorJavapropertyhadoop.home.dir.Please,refertoHadoopWikiformoredetails解决方案:2.UnabletofindnativedriversinHADOOP_HOME.Please,refertoHadoopWikif
YoYoYoWhatIsUp
·
2024-01-15 05:28
大数据学习
大数据
chromium通信系统-ipcz系统(十一)-mojo binding
由于比较复杂,这里只做简单
源码分析
。我们知道要实现rpc,必须实现客户端和服务端。mojo实现了一套领域语言,通过领域语言描述接口和数据,再通过特有编译器编译成c++代码。
TangGeeA
·
2024-01-15 01:25
chromium
mojo
chromium
chrome
ipcz
java技术专家【分布式框架】【通过C语言深度解读Redis核心架构】02-Redis底层数据结构
源码分析
之SDS的
源码分析
文章目录一、SDS的
源码分析
1.1、Redis底层数据结构1.2、SDS概述1.3、SDS结构体sdshdr5sdshdr8sdshdr16sdshdr32sdshdr641.4、API解析sdsnewlensdsfreesdscatlensdsMakeRoomFor1.6
不走小道
·
2024-01-15 01:49
Java技术专家
java
分布式
c语言
HADOOP大数据之
HDFS
管理与运维
一、
HDFS
数据迁移解决方案
HDFS
分布式拷贝工具DistCp数据迁移使用场景:冷热集群数据同步、分类存储集群数据整体搬迁数据的准实时同步数据迁移要素考量带宽性能是否支持增量同步4、数据迁移的同步性image.pngDistCp
奋斗的韭菜汪
·
2024-01-15 01:33
手把手图解教你Java SPI
源码分析
原创/朱季谦我在《JavaSPI机制总结系列之开发入门实例》一文当中,分享了JavaSPI的玩法,但是这只是基于表面的应用。若要明白其中的原理实现,还需深入到底层源码,分析一番。这里再重温一下SPI机制的概念:SPI,是ServiceProviderInterface的缩写,即服务提供者接口,单从字面上看,可以这样理解,该机制提供了一种可根据接口类型去动态加载出接口实现类对象的功能。打一个比喻,该
朱季谦
·
2024-01-15 00:31
Java
java
开发语言
【大数据进阶第三阶段之Hue学习笔记】Hue简介和架构介绍
通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作
HDFS
上的数据、运行MapReduceJob、执行Hive的SQL语句
Allen_lixl
·
2024-01-15 00:56
大数据
Hue
大数据
学习
笔记
hadoop
hue
centos spark单机版伪分布式模式
1.2Spark部署依赖SparkStandalone的运行依赖于JDK、Scala,本来是不依赖于Hadoop的,但Spark自带的许多演示程序都依赖于Hadoop
HDFS
,因此我们也部署了伪分布式的
piziyang12138
·
2024-01-15 00:05
深入理解 Spark(二)SparkApplication 提交和运行
源码分析
spark核心流程yarn-clientyarn-clusterspark任务调度sparkstage级别调度sparktask级别调度失败重试和白名单对于运行失败的Task,TaskSetManager会记录它失败的次数,如果失败次数还没有超过最大重试次数,那么就把它放回待调度的Task池子中等待重新执行,当重试次数过允许的最大次数,整个Application失败。在记录Task失败次数过程中,
我很ruo
·
2024-01-14 21:19
大数据
服务器
servlet
运维
Scala Parser原理介绍与
源码分析
ScalaParser原理介绍与
源码分析
版权声明:本文为博主原创文章,未经博主允许不得转载。
海角Q
·
2024-01-14 18:24
scala
scala
【Scala原理系列】scala Breeze Rand RandBasis 原理方法示例
源码分析
scalaBreezeRandRandBasis原理方法示例
源码分析
文章目录scalaBreezeRandRandBasis原理方法示例
源码分析
原理Rand接口方法源码RandBasis类方法示例源码RandBasisRand
BigDataMLApplication
·
2024-01-14 18:52
scala
scala
人工智能
被标记为事务的方法互相调用的坑(下)
微服务、Spring,MyBatis,Netty
源码分析
的朋友可以加我的Java高级交流:854630135,群里有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费
程序员日常填坑
·
2024-01-14 16:40
上一页
18
19
20
21
22
23
24
25
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他