E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HDFS源码解析
Spark Standalone集群架构
spark学习笔记SparkStandalone集群架构SparkStandalone集群集群管理器,clustermanager:Master进程,工作节点:Worker进程搭建了一套Hadoop集群(
HDFS
htfenght
·
2025-02-25 20:22
spark
spark
Hadoop--NameSpace(名称空间)
1.名称空间的定义
HDFS
的名称空间是一个逻辑上的文件系统目录树,类似于传统文件系统的目录结构。组成目录:用于组织文件的逻辑容器。文件:存储在
HDFS
中的实际数据单元。
Cynthiaaaaalxy
·
2025-02-25 18:42
hadoop
大数据
分布式
go get 缓存_深度解密 Go 语言之 sync.Pool
本文从使用到
源码解析
,循序渐进,一一道来。本文基于Go1.14是什么sync.Pool是sync包下的一个组件,可以作为保存临时取还对象的一个“池子”。
冢N垢纟
·
2025-02-25 14:42
go
get
缓存
OKHttp 3.10
源码解析
(四):连接机制
OKhttp的底层用的是Socket连接而不是URLConnection,所以整体来说还是比较复杂的,涉及到Http协议的封装和解封装、TLS/SSL安全协议的封装、Http2的封装等等,但还是非常值得我们去学习一下的,本篇文章不会对这些底层原理有详细的解析,但读完之后至少大概知道Http请求的底层是如何实现的一.HTTP请求的优化1.keep-alive机制我们知道,一个HTTP的请求需要经过三
十 月
·
2025-02-25 12:26
开源框架
Android
Hadoop
HDFS
基准测试
一、测试写入速度确保
HDFS
集群和YARN集群成功启动hadoopjar/export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient
Yvonne978
·
2025-02-24 14:22
大数据
hadoop
hdfs
大数据
jmeter 与大数据生态圈中的服务进行集成
以下为你详细介绍JMeter与大数据生态圈中几种常见服务(Hadoop
HDFS
、Spark、Kafka、Elasticsearch)集成的方法:与Hadoop
HDFS
集成实现思路
HDFS
是Hadoop的分布式文件系统
小赖同学啊
·
2025-02-24 13:40
jmeter专栏
jmeter
大数据
Hadoop常用操作命令
在NameNode节点格式化集群初始化集群
hdfs
namenode-format启动
HDFS
sbin/start-dfs.sh启动yarnsbin/start-yarn.sh启动NodeManageryarn-daemon.shstartnodemanager
hzw0510
·
2025-02-24 07:02
hadoop
大数据
分布式
HDFS
分布式文件系统的架构及特点
一、
HDFS
架构
HDFS
采用的是主从(Master/Slave)架构,即一个
HDFS
通常是由一个Master和多个Slave组成。
互联网上的猪
·
2025-02-24 04:40
Hadoop
hdfs
架构
hadoop
Hadoop~
HDFS
的Block块
一、
HDFS
的block块1.介绍block块是
HDFS
的最小存储单位,每个256MB(可以修改)2.文件在
HDFS
中的存储方式文件分成多个block块,block块分三份存入对应服务器,每个block
飞Link
·
2025-02-23 11:37
Hadoop框架
hadoop
hdfs
大数据
深入HBase——核心组件
核心组件首先,需要提到的就是HBase架构中会依赖到的Zookeeper和
HDFS
。
黄雪超
·
2025-02-23 01:26
大数据基础
#
深入HBase
hbase
数据库
数据结构
大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
目前已经更新到了:Hadoop(已更完)
HDFS
(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis
m0_74823705
·
2025-02-22 21:50
面试
学习路线
阿里巴巴
大数据
架构
分布式消息中间件(十三)——RocketMQ延时消息
作者简介:大家好,我是码炫码哥,前中兴通讯、美团架构师,现任某互联网公司CTO,兼职码炫课堂主讲源码系列专题代表作:《jdk源码&多线程&高并发》,《深入tomcat
源码解析
》,《深入netty
源码解析
码炫课堂-码哥
·
2025-02-22 07:58
rocketmq专题
rocketmq
消息中间件
Python 的 WebSocket 实现详解
大数据技术:涵盖Hadoop(
HDFS
)、Hive、Spark、Fli
王子良.
·
2025-02-22 03:23
经验分享
python
websocket
网络协议
网络
2025年流行陪玩系统
源码解析
:三端搭建,覆盖APP、H5、小程序
随着游戏电竞行业的蓬勃发展,陪玩系统源码作为开发陪玩平台的基础,也迎来了新的发展机遇。2025年,流行的陪玩系统源码普遍支持三端搭建,即覆盖APP、H5、小程序,以满足不同用户在不同设备上的使用需求。以下是对这类陪玩系统源码的详细解析:源码获取地址!!!!请点击!!!!传送门!!!一、系统架构与技术支持前端框架:采用跨平台前端框架Uni-app,实现响应式设计,支持多平台(App、小程序、H5)的
·
2025-02-21 14:34
vue.jsphpmysql
【Hadoop】使用Docker容器搭建伪分布式集群
docker-compose.yaml文件配置集群version:"3"services:namenode:image:apache/hadoop:3.3.6hostname:namenodecommand:["
hdfs
慕青Voyager
·
2025-02-21 09:14
分布式
hadoop
docker
HDFS
分布文件系统(Hadoop Distributed File System)
目录一.
HDFS
的本质二.
HDFS
的架构与原理三、
HDFS
特性四.
HDFS
的常用命令1.显示
HDFS
指定路径下的所有文件2.在
HDFS
上创建文件夹3.上传本地文件到
HDFS
4.查看文件5.删除
HDFS
上的文件或者目录
柿子小头
·
2025-02-21 08:38
hdfs
hadoop
大数据
org.apache.hadoop.
hdfs
.server.datanode.DataNode: Block pool ID needed, but service not yet registere
启动hadoop集群,发现datanode没有启动,查看日志报错,如图://日志文件2020-03-2416:40:55,608WARNorg.apache.hadoop.
hdfs
.server.common.Storage
@菜鸟进阶记@
·
2025-02-21 01:19
hadoop
hadoop
Hadoop之
HDFS
的使用
HDFS
是什么:
HDFS
是一个分布式的文件系统,是个网盘,
HDFS
是一种适合大文件存储的分布式文件系统
HDFS
的Shell操作1、查看
hdfs
根目录下的内容-ls
hdfs
dfs-ls
hdfs
://hadoop01
想要变瘦的小码头
·
2025-02-20 20:43
hadoop
hdfs
大数据
Java集合之ArrayList(含
源码解析
超详细)
1.ArrayList简介ArrayList的底层是数组队列,相当于动态数组。与Java中的数组相比,它的容量能动态增长。在添加大量元素前,应用程序可以使用ensureCapacity操作来增加ArrayList实例的容量。这可以减少递增式再分配的数量。ArrayList继承于AbstructList,实现了List,RandomAccess,Cloneable,Java.io.Serializa
&星辰入梦来&
·
2025-02-20 07:46
Java集合
java
python
开发语言
Hadoop管理工具dfsadmin和fsck的使用
Hadoop提供了多个管理工具,其中dfsadmin和fsck是用于管理
HDFS
(Hadoop分布式文件系统)的重要工具。以下是它们的使用方法和常见命令。
脚本无敌
·
2025-02-19 16:46
Hadoop
hadoop
npm
大数据
Hive 分区详解
分区表的一个分区对应
hdfs
上的一个目录分区表包括静态分区表和动态分区表,根据分区会不会自动创建来区分多级分区表,即创建的时
mm_ren
·
2025-02-19 15:36
分区表
hadoop
大数据
hive
spark
hive全量迁移脚本
/bin/bash#场景:数据在同一库下,并且hive是内部表(前缀的
hdfs
地址是相同的)#1.读取一个文件,获取表名#echo"时间$dt_jian_2-----------------------
我要用代码向我喜欢的女孩表白
·
2025-02-19 15:29
数据迁移
bigdata-大数据专栏
hive
hadoop
数据仓库
以及在Spring AOP中的拦截器链的使用
源码解析
。
前言 本文涉及到适配模式的基本用法,以及在SpringAOP中如何使用,首先需要了解适配模式的工作原理,然后结合SpringAOP的具体实现来详细详细解析源码。 首先,适配模式,也就是AdapterPattern,属于结构型设计模式,主要用于让不兼容的接口能够一起工作。要了解它的定义、结构、应用场景以及优缺点。然后,可能需要一个具体的例子来说明,比如电压适配器,这样用户更容易理解。 接下来是
一个儒雅随和的男子
·
2025-02-19 05:50
设计模式
spring
设计模式
spring
java
rocketmq
源码解析
之NamesrvController启动②创建mqclient②
说在前面接上次,更多
源码解析
请关注“天河聊架构”微信公众号
源码解析
netty连接管理handlerclassNettyConnectManageHandlerextendsChannelDuplexHandler
qq_23283355
·
2025-02-19 05:13
mq
rocketmq
dubbo
springboot
消息队列
设计模式—责任链模式
目录1.概述2.结构3.案例4.优缺点5.
源码解析
1.概述在现实生活中,常常会出现这样的事例:一个请求有多个对象可以处理,但每个对象的处理条件或权限不同。
Luo_xguan
·
2025-02-19 00:26
设计模式
责任链模式
使用Docker安装Spark集群(带有
HDFS
)
本实验在CentOS7中完成第一部分:安装Docker这一部分是安装Docker,如果机器中已经安装过Docker,可以直接跳过[root@VM-48-22-centos~]#systemctlstopfirewalld[root@VM-48-22-centos~]#systemctldisablefirewalld[root@VM-48-22-centos~]#systemctlstatusfi
Sicilly_琬姗
·
2025-02-18 10:52
云计算
大数据
docker
spark
hdfs
Android应用开发实践:百度推聊应用
源码解析
本文还有配套的精品资源,点击获取简介:本资源包含百度公司某款聊天应用的Android源代码,供学习者深入理解和掌握Android应用开发流程及核心组件。内容涵盖项目结构、Activity与Fragment、Intent机制、Service、BroadcastReceiver等关键知识点,并强调尊重版权和合法使用。开发者将通过解析源码,学习如何实现异步处理、数据持久化、权限管理、UI动画和推送服务,
安检
·
2025-02-18 03:43
Hbase深入浅出
与传统关系数据库的区别HBase相关的模块以及HBase表格的特性HBase的使用建议Phoenix的使用总结HBase在大数据生态圈中的位置提到大数据的存储,大多数人首先联想到的是Hadoop和Hadoop中的
HDFS
天才之上
·
2025-02-18 03:13
数据存储
Hbase
大数据存储
HBase简介:高效分布式数据存储和处理
HBase的核心特点包括:分布式存储:HBase使用Hadoop分布式文件系统(
HDFS
)作为底层存储,数据被分布在集
代码指四方
·
2025-02-18 03:07
分布式
hbase
数据库
大数据
深度优先搜索DFS
目录类`Grap
hDFS
`的定义深度优先搜索方法`dfs`访问顺序的获取`order`深度优先搜索(DFS,Depth-FirstSearch)算法。
顾北辰20
·
2025-02-17 10:19
Java数据结构
算法
数据结构
java
Hadoop常用端口号
以下是Hadoop2.x常用的端口号列表:
HDFS
端口号:NameNode:50070SecondaryNameNode:50090DataNode:50010DataNode(数据传输):50020YARN
海洋 之心
·
2025-02-17 02:51
Hadoop问题解决
hadoop
hbase
大数据
大数据之-
hdfs
+hive+hbase+kudu+presto集群(6节点)
index.htmlkudurpm包地址https://github.com/MartinWeindel/kudu-rpm/releaseshivehttp://mirror.bit.edu.cn/apache/hive/
hdfs
http
管哥的运维私房菜
·
2025-02-16 22:50
大数据
hdfs
hive
kudu
presto
hbase
MyBatis
源码解析
:动态 SQL 生成的基本原理
摘要MyBatis提供了灵活的动态SQL功能,使得开发者可以根据业务需求在运行时生成不同的SQL语句。动态SQL是MyBatis最具特色的功能之一,它允许我们通过条件拼接来生成复杂的查询语句。本文将通过自定义实现一个简化的动态SQL生成器,解析其工作原理,并结合MyBatis的源码进行深入讲解。前言传统的SQL查询往往需要开发者根据不同的业务逻辑手动拼接SQL语句,而这种方式不仅容易出错,也不够灵
捕风捉你
·
2025-02-16 18:18
MyBatis
源码解读
mybatis
tomcat
Hadoop 的分布式缓存机制是如何实现的?如何在大规模集群中优化缓存性能?
分布式缓存的工作原理文件上传:用户将需要缓存的文件上传到
HDFS
(HadoopDistributedFileSystem)。文件路径可以在作业配置中指定。
晚夜微雨问海棠呀
·
2025-02-16 11:53
分布式
hadoop
缓存
HBase的合并操作
compact的作用flush操作会将memstore的数据落地为一个个StoreFile(HFile),那么随着时间的增长在
HDFS
上面就会有很多的HFile文件,这样对读操作会产生比较大的影响(读操作会对
b1gx
·
2025-02-16 06:20
HBase
Spring注解篇:@ResponseBody详解!
全文目录:开篇语前言摘要概述
源码解析
使用案例分享应用场景案例代码分析使用场景优缺点分析测试用例优缺点分析核心类方法介绍测试用例测试用例分析使用场景优缺点分析测试用例小结总结文末开篇语哈喽,各位小伙伴们,
喵手
·
2025-02-16 02:19
Springboot
spring
java
Spring注解篇:@Bean详解!
全文目录:开篇语前言摘要概述
源码解析
使用案例分享应用场景案例代码分析使用场景优缺点分析测试用例优缺点分析核心类方法介绍测试用例使用场景优缺点分析测试用例小结总结文末开篇语哈喽,各位小伙伴们,你们好呀,我是喵手
喵手
·
2025-02-16 02:19
Springboot
spring
java
深入HBase——引入
引入前面我们通过深入
HDFS
到深入MapReduce,从设计和落地,去深入了解了大数据最底层的基石——存储与计算是如何实现的。这个专栏则开始来看大数据的三驾马车中最后一个。
黄雪超
·
2025-02-15 16:58
大数据基础
#
深入HBase
大数据
数据库
hbase
Ubuntu下配置安装Hadoop 2.2
参考资料:1.InstallingsinglenodeHadoop2.2.0onUbuntu:http://bigdatahandler.com/hadoop-
hdfs
/installing-single
weixin_30501857
·
2025-02-15 15:55
大数据
java
运维
蓝易云 - HBase基础知识
HBase是一个分布式、可伸缩、列式存储的NoSQL数据库,它建立在Hadoop的
HDFS
之上,提供高可靠性、高性能的数据存储和访问。
蓝易云
·
2025-02-15 02:38
hbase
数据库
大数据
php
python
人工智能
Spring注解篇:@RequestHeader详解
全文目录:开篇语前言摘要概述
源码解析
使用案例分享应用场景案例优缺点分析核心类方法介绍测试用例测试用例分析使用场景优缺点分析测试用例小结总结文末开篇语哈喽,各位小伙伴们,你们好呀,我是喵手。
喵手
·
2025-02-14 08:53
Springboot
spring
java
后端
Spring注解篇:@RequestBody详解!
全文目录:开篇语前言摘要概述
源码解析
使用案例分享应用场景案例优缺点分析核心类方法介绍测试用例测试用例分析使用场景优缺点分析测试用例小结总结文末开篇语哈喽,各位小伙伴们,你们好呀,我是喵手。
喵手
·
2025-02-14 08:53
Springboot
spring
java
后端
基于neo4j知识图谱+flask的大数据医疗领域知识问答系统(完整源码+
源码解析
+开发文档+视频讲解等资料
1.classMedicalSpider::定义了一个名为MedicalSpider的类。2.def**init**(self)::这是类的构造函数,用于在创建类的实例时进行初始化。在初始化过程中,建立了与MongoDB数据库的连接,并选择了名为‘medical’的数据库和名为‘data’的集合。3.definsert\_data(self,data)::这是一个方法,用于插入数据到MongoDB
2401_84185074
·
2025-02-13 22:52
neo4j
知识图谱
flask
Java 集合框架:ArrayList 的介绍、使用、原理与
源码解析
大家好,我是栗筝i,这篇文章是我的“栗筝i的Java技术栈”专栏的第013篇文章,在“栗筝i的Java技术栈”这个专栏中我会持续为大家更新Java技术相关全套技术栈内容。专栏的主要目标是已经有一定Java开发经验,并希望进一步完善自己对整个Java技术体系来充实自己的技术栈的同学。与此同时,本专栏的所有文章,也都会准备充足的代码示例和完善的知识点梳理,因此也十分适合零基础的小白和要准备工作面试的同
栗筝i
·
2025-02-13 20:12
栗筝i
的
Java
技术栈(付费部分)
#
Java
基础
-
专栏
栗筝i
的
Java
技术栈
Java
基础
Java
集合
ArrayList
Java
黑马苍穹外卖学习笔记
笔记内容涵盖了部分
源码解析
、学习心得以及个人体会,旨在帮助有兴趣的读者更好地理解和掌握相关知识项目地址:https://gitcode.com/Open-source-documentation-tutorial
窦莎言Firm
·
2025-02-13 13:29
关于虚拟机的Unknown command
/bin/
hdfs
dfs–mkdirinput导致出现–mkdir:Unknowncommand的错误,原因在于我复制的这条命令中的-和虚拟机的编码不一样,导致出错,所以应该手敲这个符号“-”,这样就可以啦
真的不想写实验
·
2025-02-13 04:12
后端
hadoop
java
linux
CUDA与CUDPP
源码解析
及实战应用
本文还有配套的精品资源,点击获取简介:CUDA是NVIDIA推出的并行计算平台,CUDPP是一个提供GPU优化算法的开源库。本课程将深入解析CUDPP的核心组件,包括基数排序、扫描操作、动态并行性、随机数生成、缓存机制、矩阵乘法和基准测试等。通过学习CUDPP源码,开发者可以掌握GPU并行计算的优化技巧,提升应用程序性能。同时,本课程也会介绍如何在具备CUDASDK和NVIDIA驱动的系统上安装和
昊叔Crescdim
·
2025-02-12 19:06
hadoop 1.0 基本概念了解
Map函数负责将输入数据转化为中间值,中间值再通过Reduce函数转化成输出数据
HDFS
:
HDFS
是一个分布式文件系统。通过一次写入,多次读出来实现。Chukwa:Chukw
fenggfa
·
2025-02-12 07:48
hadoop
hadoop
大数据
mapreduce
深入理解Hadoop 1.0.0源码架构及组件实现
该版本包含核心分布式文件系统
HDFS
、MapReduce计算模型、Common工具库等关键组件。通过分析源码,可深入理解这些组件的设计和实现细节,包括数据复制、任务调度、容错机制以及系统配置管理。
隔壁王医生
·
2025-02-12 07:14
正则表达式【
源码解析
+代码例子+图】
由于正则表达式这个东西比较抽象,我推荐大家先看原理部分。在看原理部分如果有的表达式看不懂可以去下面看表,元字符这些东西还是比较好理解的。大家可以把我写的代码复制到编译器上跑一下,这样会更容易理解。一.基本介绍正则表达式就是用某一种模式去匹配字符串,筛选我们想要的字符串的一种方法。正则表达式在爬虫上有所应用,比如我们要爬取一个一个网页上的电话号码,但是网页上有很多中文、英文、时间等等,如果让我们自己
lllsure
·
2025-02-12 03:15
正则表达式
java
python
爬虫
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他