E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs源码分析
RocketMQ源码 发送消息
源码分析
前言DefaultMQProducer是默认生产者组件,是生产者客户端中,绝大部分关于生产者和broker、nameSrv进行网络通信的功能入口。其中,包含发送各种形式(同步、异步、事务、顺序)的消息,针对发送消息部分的实现,主要是封装好消息协议后,从NameSrv获取当前Topic路由信息,轮询悬着一个队列,通过RemotingClient客户端,将请求发送给messageQueue所在的bro
虚空小白
·
2024-01-06 08:37
RocketMQ源码
java
开发语言
源码
中间件
java-rocketmq
rocketmq
Hadoop: 访问
hdfs
报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferExceptio
可能是
hdfs
端口配置的不是默认的9000,
hdfs
getconf-confkeyfs.default.name可以查看端口
amadeus_liu2
·
2024-01-06 08:00
Hadoop
Retrofit
源码分析
本文概述Retrofit作为主流的网络框架,采用注解和接口的方式封装请求,使得调用过程变得优雅又简洁,优雅的背后肯定是卓越的设计,所以从源码角度分析一下Retrofit是如何做到的,整理成文。使用回顾publicinterfaceGitHubService{@GET("group/{id}/users?sort=desc")Call>groupList(@Path("id")intgroupId)
就叫汉堡吧
·
2024-01-06 07:32
聊一聊 C# 线程切换后上下文都去了哪里
这个问题其实比较底层,如果对操作系统没有个体系层面的理解以及做过
源码分析
,其实很难说明白,这篇我们就从.NET高级调试的角度试着分析一下吧。
一线码农
·
2024-01-06 07:53
c#
开发语言
windbg
.net
spring-AOP注解
源码分析
1.前言在刚学java的时候看到编译器里显示的黄黄的字体还不知道那是注解,注解的名称也是后面才知道的,反正感觉它的逼格很高。后面为了提高自己的代码质量,也学会了注解的编写,不过一直没有去看到底是怎么实现的,这回总算弥补上年轻时代的缺憾了。2.代理实例化的流程image.png2.1ProxyFactory代理工厂代理工厂类继承于ProxyCreatorSupport涉及的源码部分如下,很简单没什么
WANGGGGG
·
2024-01-06 07:15
DataX部署及迁移操作说明
DataX安装部署1、DataX简介DataX是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、
HDFS
、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
曹弘毅
·
2024-01-06 06:11
datax
文件查找find命令
-user
hdfs
find.
曹弘毅
·
2024-01-06 06:10
Shell
运维
springCloud-Eureka
源码分析
Eureka架构图Eureka作为springCloud的注册中心,提供了服务注册、服务续约、服务同步等功能,本片文章结合源码来看下Eureka核心功能,原文地址imageEureka核心功能服务注册(register):EurekaClient会通过发送REST请求的方式向EurekaServer注册自己的服务,提供自身的元数据,比如ip地址、端口、运行状况指标的url、主页地址等信息。Eure
ajajaj
·
2024-01-06 06:43
MR实战:网址去重
文章目录一、实战概述二、提出任务三、完成任务(一)准备数据1、在虚拟机上创建文本文件2、上传文件到
HDFS
指定目录(二)实现步骤1、创建Maven项目2、添加相关依赖3、创建日志属性文件4、创建网址去重映射器类
howard2005
·
2024-01-06 06:09
Hadoop分布式入门
mr
网址去重
大数据管理平台DataSophon开源动态&进行远程Debug方法
新增支持YARN,
HDFS
,ZK,Hive,Kafka,HBase组件集成Kerberos,支持友好的开启和关闭集成Kerberos。新增机
浮世Talk
·
2024-01-06 05:18
分享
大数据
idea
java
Linux内核
源码分析
之setup_arch (三)
1.前言在Linux内核
源码分析
之setup_arch(二)中介绍了当前启动阶段的内存分配函数memblock_alloc,该内存分配函数在本篇将要介绍paging_init中用于页表和内存的分配,paging_init
JiauZhang
·
2024-01-06 03:20
linux
linux
嵌入式
操作系统
Linux内核
源码分析
之setup_arch (四)
机器感知一个专注于SLAM、Linux、算法等相关技术文章分享的公众号前言Linux内核
源码分析
之setup_arch(三)基本上把setup_arch主要的函数都分析了,由于距离上一篇时间比较久了,所以这里重新贴一下大致的流程图
JiauZhang
·
2024-01-06 03:20
linux
MyBatis
源码分析
(二):项目结构
目录1、前言2、代码统计3、整体架构3.1、基础支持层3.1.1、反射模块3.1.2、类型模块3.1.3、日志模块3.1.4、IO模块3.1.5、解析器模块3.1.6、数据源模块3.1.7、缓存模块3.1.8、Binding模块3.1.9、注解模块3.1.10、异常模块3.2、核心处理层3.2.1、配置解析模块3.2.2、SQL解析模块3.2.3、插件模块3.3、接口层3.3.1、session模
小徐很努力
·
2024-01-06 00:39
源码解读
mybatis
java
开发语言
MyBatis
源码分析
(四):反射模块
前言上一篇我们了解了Mybatis解析器模块,MyBatis
源码分析
(三):解析器模块本篇我们来了解反射模块。相比parsing包来说,reflection包的代码量大概是2-3倍。
小徐很努力
·
2024-01-06 00:39
源码解读
java
开发语言
mybatis
MyBatis
源码分析
(三):解析器模块
目录1、前言2、
源码分析
2.1、XPathParser2.1.1、属性讲解2.1.2、构造方法讲解2.2、eval方法2.2.1、eval元素2.2.2、eval节点2.3、XMLMapperEntityResolver2.4
小徐很努力
·
2024-01-06 00:09
源码解读
mybatis
java
开发语言
MyBatis
源码分析
(一):搭建调试环境
目录拉取源码安装环境调试测试1、mybatis-config.xml2、AutoConstructorMapper.xml3、AutoConstructorMapper4、CreateDB.sql5、POJO5.1AnnotatedSubject5.2、PrimitiveSubject5.3、BadSubject5.4、ExtensiveSubject6、AutoConstructorTest6.
小徐很努力
·
2024-01-05 23:38
源码解读
mybatis
2.
HDFS
架构
目录概述架构
HDFS
副本
HDFS
数据写入流程NN工作原理DN工作原理结束概述官方文档快递环境:hadoop版本3.3.6相关文章速递架构
HDFS
HDFS
架构总结如下:amaster/slavearchitecture
流月up
·
2024-01-05 23:01
大数据
hdfs
架构
hadoop
namenode工作原理
datanode工作原理
大数据
HDFS
-存储的王者
文章目录为什么
HDFS
的地位如此稳固?
HDFS
的原理
HDFS
的高可用设计
HDFS
实现过程为什么
HDFS
的地位如此稳固?
善守的大龙猫
·
2024-01-05 21:48
大数据
大数据
hdfs
hadoop
HDFS
&Yarn HA架构设计
一、为什么要用HA在hadoop2.0.0之前,在
hdfs
集群中,NameNode是存在单点故障问题的。
吃货大米饭
·
2024-01-05 20:22
【JUC并发编程】synchronized原理分析(中)(JVM对象头/ HotSpot
源码分析
/ 字节码文件分析)
目录一、JVM对象头1.KlassPointer2.实例属性3.对齐填充4.查看Java对象布局5.基本数据类型占多少字节5.论证压缩效果6.New一个对象占用多少字节二、HotSpot
源码分析
1.对象头详解
超级码里喵
·
2024-01-05 19:36
JUC并发编程
JUC
synchronized
JVM对象头
HotSpot源码分析
Monitor
MR实战:词频统计
文章目录一、实战概述二、提出任务三、完成任务(一)准备数据1、在虚拟机上创建文本文件2、上传文件到
HDFS
指定目录(二)实现步骤1、创建Maven项目2、添加相关依赖3、创建日志属性文件4、创建词频统计映射器类
howard2005
·
2024-01-05 19:01
Hadoop分布式入门
mr
词频统计
go-kit-consul client服务发现
源码分析
背景:在我之前一篇博客文章(golang实现的商城)中曾经大言不惭地说到后续可能会考虑douyu-jupiter微服务或者dubbo-go服务,目前为止微服务版确实在做,并且server端功能已经完成,只不过是用go-kit实现。刚完成直连调用。项目架构先简单说下:项目简单分为5个模块,其中“前端”2个,后端3个。前端:bal(bisinessaccesslayer):后台管理界面httpcont
csdnfanguyinheng
·
2024-01-05 17:20
golang
golang
consul
go-kit
『Android Q
源码分析
』-Android 10.0 WatchDog源码解析
概览(本文系统源码基于Andoroid10.0.0-r16)Watchdog的中文叫“看门狗”,最早引入Watchdog是在单片机系统中,由于单片机的工作环境容易受到外界磁场的干扰,导致程序“跑飞”,造成整个系统无法正常工作,因此,引入了一个“看门狗”,对单片机的运行状态进行实时监测,针对运行故障做一些保护处理,譬如让系统重启。这种Watchdog属于硬件层面,必须有硬件电路的支持。Linux也引
ContentPane
·
2024-01-05 13:44
面试题:聊聊 SpringBoot 中的 SPI 机制
文章目录简介JavaSPI实现示例说明实现类1实现类2相关测试
源码分析
SpringSPISpring示例定义接口相关实现相关测试类输出结果
源码分析
总结简介SPI(ServiceProviderInterface
xuxu1116
·
2024-01-05 12:20
面试题
spring
boot
java
面试题
SPI
修修改
hdfs
上的文件所属用户、所属组等读写执行控制权限
HDFS
支持权限控制,但支持较弱。
HDFS
的设计是基于POSIX模型的,支持按用户、用户组、其他用户的读写执行控制权限。
liuzx32
·
2024-01-05 11:52
SparkStreaming基础解析(四)
而结果也能保存在很多地方,如
HDFS
,数据
有语忆语
·
2024-01-05 10:05
大数据之Spark
SparkStreaming
Hadoop(04)
HDFS
编程实践操作
Hadoop分布式文件系统(HadoopDistributedFileSystem,
HDFS
)是Hadoop核心组件之一,如果已经安装了Hadoop,其中就已经包含了
HDFS
组件,不需要另外安装。
Eufeo
·
2024-01-05 09:25
Hadoop
hadoop
hdfs
大数据
Hadoop集群环境下
HDFS
实践编程过滤出所有后缀名不为“.abc”的文件时运行报错:Path is not a file: /user/hadoop/input
一、问题描述搭建完Hadoop集群后,在Hadoop集群环境下运行
HDFS
实践编程使用Eclipse开发调试
HDFS
Java程序(文末有源码):假设在目录“
hdfs
://localhost:9000/user
哇咔咔哇咔
·
2024-01-05 09:25
Hadoop
分布式
hadoop
hdfs
eclipse
java
大数据
Spring
源码分析
---BeanFactory 后置处理器 05
来源:Spring5.1常见的BeanFactory后置处理器先引入要用到的依赖:org.mybatis.spring.bootmybatis-spring-boot-starter2.3.0com.alibabadruid-spring-boot-starter1.2.15mysqlmysql-connector-java需要用到的类信息:packagetest.bean.a05;@Config
渣渣龙_拽得很
·
2024-01-05 09:52
Spring源码
spring
java
后端
Hadoop集群环境下
HDFS
实践编程过滤出所有后缀名不为“.abc”的文件时运行报错:java.net.ConnectException: 拒绝连接;
一、问题描述搭建完Hadoop集群后,在Hadoop集群环境下运行
HDFS
实践编程使用Eclipse开发调试
HDFS
Java程序(文末有源码):假设在目录“
hdfs
://localhost:9000/user
哇咔咔哇咔
·
2024-01-05 09:19
Hadoop
分布式
hdfs
hadoop
eclipse
java
大数据
Hive实战处理(二十三)hive整合phoenix
1、hive整合phoenix的原理Hive支持使用
HDFS
之外的存储系统作为底层存储系统,其中官方明确支持HBase,Kudu,Druid和JDBC(MySQL等)。
sheep8521
·
2024-01-05 08:13
hbase
hive
hive
hbase
datax不支持对hive
hdfs
(ha)高可用 的
hdfs
reader(即无法读取到
HDFS
多节点高可用).
处理方案:采用引入CDH的hive、
hdfs
等配置文件到
hdfs
reader,jar替换原的jar文件解决。
whbi
·
2024-01-05 08:06
hive
hdfs
hadoop
datax
HDFS
常用shell命令
#创建名为/abc的文件夹
hdfs
dfs-mkdir/abc#列出根目录中的内容
hdfs
dfs-ls/#递归列出多层文件夹的内容
hdfs
dfs-ls-R/#把Linux系统中/etc/hosts文件上传到
幸福巡礼
·
2024-01-05 08:15
hdfs
npm
hadoop
大数据开发学习资料汇总
目录大数据系列HadoopHadoop权威指南Hadoop权威指南修订Hadoop实战Hadoop实战_2Hadoop
源码分析
大数据处理系统:Hadoop源代码情景分析Hadoop开发者入门专刊Hadoop
比屋大数据
·
2024-01-05 08:44
大数据架构师源码零基础教程
大数据
linux
运维
数据仓库理论进阶 - 01 《阿里大数据之路》第二篇数据模型篇
学习内容链接如下:视频:【一起啃书】阿里大数据之路数据仓库建模基础理论研读(已完结)_哔哩哔哩_bilibili书籍:《阿里大数据之路》8.1为什么需要数据建模建模目标:有序、有结构地分类组织和存储存储在
hdfs
:Concerto
·
2024-01-05 08:43
数据仓库
big
data
数据库
java与大数据:Hadoop与MapReduce
它由两个核心组件组成:Hadoop分布式文件系统(
HDFS
):
HDFS
是Hadoop的存储系统,它将大数据集分割成多个块,并将这些块分布
naer_chongya
·
2024-01-05 08:38
大数据
java
hadoop
面试题:你如何理解 System.out.println()?
文章目录前言首先分析System源码:out
源码分析
println分析前言如果你能自己读懂System.out.println(),就真正了解了Java面向对象编程的含义。
xuxu1116
·
2024-01-05 07:43
面试题
java
面试题
输出代码
【zk
源码分析
】
zk作为java分布式系统注册中心和配置中心的典范,一直在思考分析这么一个系统到底从哪里入手呢?zk在使用上是非常的简单,监听节点的变化即可。一般是从哪里使用,就从哪里开始研究api。客户端和zk断开时,我看到了一些zk控制台的打印:因此我决定就从断开这入手:1.可以看出,很清晰看出来zk客户端和zkserver断开后触发的信息。2.等了22s又打印出来session超时了,所以zkserver应
zfoo-framework
·
2024-01-05 07:57
#
zookeeper
java
flink on yarn任务启停脚本(实现一键读取ck启动,保存ck停止)
1.问题描述flink同步任务,长期任务过多,某个任务停止保存checkpoint或者savepoint后,修改代码,使用命令行读取检查点重新启动需要人工去
hdfs
上找寻检查点保存位置。
tuoluzhe8521
·
2024-01-05 06:20
Shell脚本相关
flink
大数据
yarn
AQS
源码分析
1.是什么?全称:AbstractQueuedSynchronizer抽象的队列式的同步器,AQS定义了一套多线程访问共享资源的同步器框架,许多同步类实现都依赖于它,如常用的ReentrantLock/Semaphore/CountDownLatch...2.框架数据结构:1)维护了一个volatileintstate2)先进先出的双向链表,头节点为获取锁的线程自定义同步器和AQSAQS顶层已经实
不是明天
·
2024-01-05 05:51
Collectors.toMap mergeFunction参数,(o1,o2)->o1的含义
文章目录前言结论代码示例
源码分析
前言在java8Stream流中经常有看到这么一种写法Collectors.toMap(Person::getName,Function.identity(),(o1,o2
五月天的尾巴
·
2024-01-05 04:33
java
o1
o2-
o2
mergeFunction
Map集合中的key合并策略
【
源码分析
】 Calcite 处理流程详解:calcite架构、处理流程以及就一个运行示例进行
源码分析
文章目录一.Calcite整体架构二.Calcite处理流程三.处理流程样例说明1.样例demo1.1.样例数据1.2.使用calcite2.流程
源码分析
Step1:SQL解析阶段(SQL–>SqlNode
roman_日积跬步-终至千里
·
2024-01-05 02:20
#
flink源码
apache
calcite
[k8s
源码分析
][client-go] client之clientset
1.前言转载请说明原文出处,尊重他人劳动成果!源码位置:https://github.com/nicktming/client-go/tree/tming-v13.0/tools/cache分支:tming-v13.0(基于v13.0版本)2.概括client-go中提供了三种client可以去访问api-server中的资源.clientset:提供集群外部的服务用来访问,只能访问集群中已有的资
nicktming
·
2024-01-05 01:30
Java ArrayList 面试题
JavaArrayList面试题文章目录JavaArrayList面试题ArrayList
源码分析
成员变量构造方法ArrayList
源码分析
面试题-ArrayListlist=newArrayList(
xwhking
·
2024-01-05 00:29
Java面试题之集合
java
面试
开发语言
什么是CAS和AQS
什么是CAS和AQSCAS理解概念ABA问题AQS理解获取同步状态AQS
源码分析
获取锁释放锁CAS是一种乐观锁,通过在修改数据时,通过和原来的值进行比较,判断是否有被其他人改变。
Hell_potato777
·
2024-01-05 00:04
java
jvm
kudu介绍和使用
kudu架构同
hdfs
和Hbase相似,kudu使用单个的master节点,用来管理集群的元数据,并且使用任意数量的tabletserver节点来存储实际数据。
古城的风cll
·
2024-01-04 23:12
大数据
kudu
Impala查询详解
而Impala可以说是一个MPP计算引擎,它需要处理的数据存储在
HDFS
、Hbase或者Kudu之上,这些存储引擎都是独立于Impala的,可以称之为第三方存储引擎,Impala使
weixin_34234823
·
2024-01-04 23:41
系统架构
数据库
c/c++
kudu NoSQL数据库详解
一、Hbase、Kudu和ClickHouse对比Hadoop生态圈中
HDFS
一直用来保存底层数据。
wespten
·
2024-01-04 23:09
数据库存储
块存储
文件存储
对象存储
分布式网络存储
ui
备份kudu表数据(Kudu导入导出)
INSERTINTOTABLEsome_parquet_tableSELECT*FROMkudu_table方法一:(在Hue中进行即可)1,利用impala进行备份,将Kudu表结构转化为impala表结构(其数据存储在
hdfs
冬瓜螺旋雪碧
·
2024-01-04 23:38
Hadoop
Kudu
自己踩得坑
Impala
kudu数据导入导出
impala备份kudu表数据
kudu数据备份
impala数据备份
【二】CocosCreator-CCGame.js
源码分析
PS:只是看源码学习过程中把认为重要的内容以笔记的形式记录下来。【1】config:当前游戏的一些配置1.debugMode:用于控制输出日志的级别2.showFPS:是否显示FPS3.exposeClassName4.frameRate:设置游戏帧率5.id6.renderMode:使用canvas渲染还是使用WebGL渲染(简单理解:WebGL能实现高效的3D渲染、支持多平台,通过各种着色器实
0zien0
·
2024-01-04 20:48
javascript
typescript
Game.js
CocosCreator
源码分析
上一页
24
25
26
27
28
29
30
31
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他