HDFS源码分析

Spark源码分析

过程描述:1.通过Shell脚本启动Master，Master类继承Actor类，通过ActorySystem创建并启动。2.通过Shell脚本启动Worker，Worker类继承Actor类，通过ActorySystem创建并启动。3.Worker通过Akka或者Netty发送消息向Master注册并汇报自己的资源信息(内存以及CPU核数等)，以后就是定时汇报，保持心跳。4.Master接受消息
数据年轮·2025-02-11 22:11

Ubuntu 下 nginx-1.24.0 源码分析 - NGX_HAVE_GETTIMEZONE 宏

表示当前平台支持通过gettimezone()直接获取时区偏移值（以分钟为单位）该宏用于适配不同操作系统对时区信息获取方式的差异。当NGX_HAVE_GETTIMEZONE被定义时，Nginx会调用ngx_gettimezone()获取时区偏移在Ubuntu环境下，Nginx不会使用ngx_gettimezone()，而是通过tm_gmtoff字段（NGX_HAVE_GMTOFF分支）获取时区偏移
若云止水·2025-02-11 19:15

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_max_sockets

在Nginx的源代码中，ngx_max_sockets全局变量的声明位于os/unix/ngx_os.hexternngx_int_tngx_max_sockets;定义在os/unix/ngx_posix_init.cngx_int_tngx_max_sockets;ngx_max_sockets定义了Nginx能够同时使用的最大Socket文件描述符数量。它确保Nginx不会超过系统或配置允许
若云止水·2025-02-11 19:45

kmalloc最大能申请多少内存？

内核版本：Linux4.92.分析记录针对kmalloc最大能申请多少内存，网上众说纷纭，意见各不相同，因此最终决定自己针对源码分析，记录如下：首先看kmalloc()函数实现，在include/linux
lunhui2016·2025-02-11 13:04

HiveQL命令（三）- Hive函数

ApacheHive作为一种流行的数据仓库工具，提供了丰富的内置函数，帮助用户高效地处理和分析存储在Hadoop分布式文件系统（HDFS）中的数据。这些内置函数涵盖了数值计算、字符
BigDataMagician·2025-02-11 12:00

Spring底层源码分析

视频地址：点击跳转如何快速大家一个spring容器：导入spring依赖org.springframeworkspring-context4.3.7.RELEASE初始化Spring环境(有三种方式，我们这里讲的是基于注解的方式，还有ClassPathXmlApplicationContext通过xml文件启动等)publicclassClient{publicstaticvoidmain(Str
sdfreregtrh·2025-02-11 10:39

【Flink源码分析】6. Flink1.19源码分析-Flink底层的异步通信

6.1PekkoInvocationHandler类仅摘取了FlinkRPC进行通信的时候一段代码，也是异步通信的典型代码。//executeanasynchronouscallfinalCompletableFutureresultFuture=//1.ask发起rpc调用的方法，它返回一个CompletableFuture，表示rpc调用的异步结果ask(rpcInvocation,futur
ayt007·2025-02-11 06:35

掌握大数据--Hive全面指南

-DDL操作数据库1.Hive简介ApacheHive是建立在Hadoop之上的一个数据仓库工具，它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop分布式文件系统（HDFS
纪祥_ee1·2025-02-10 22:40

【Flink实战】Flink -C实现类路径配置与实现UDF Jar

URL可以指向本地、HTTP服务器或HDFS等资源的Jar文件。注意：此处的classpath的url必须是一个能够在client，JM和TM都被访问到的位置。
roman_日积跬步-终至千里·2025-02-10 11:38

SpringBoot--自动装配之Import注解以及源码分析

上期我们讲解SpringBoot中使用的Conditional注解以及在自动装配中是如何使用的，这期我们来讲一讲，SpringBoot中的Import注解、官方是如何使用的以及自动装配的源码解析。一、Import注解我们先来看一下这个注解的作用：使用@import导入的类都会被加载到ioc容器中@Import的4种用法导入Bean导入配置类导入ImportSelector实现类,一般用于加载配置文
我叫叶湘伦·2025-02-10 00:59

大数据笔记（二）：HDFS原理知识

目录HDFS原理知识一、前言二、思考三、理论知识点四、存储模型五、架构设计六、角色功能NameNodeDataNode七、元数据持久化八、安全模式九、HDFS中的SNN十、Block的副本放置策略十一、
Lansonli·2025-02-09 10:50

WebKit和Chrome源码分析

WebKit内核源代码分析http://blog.sina.com.cn/s/blog_53220cef0100ta1i.html摘要：本系列通过分析WebKit的源代码，试图分析WebKit的内核设计架构，模块之间的关系，分析的时候以Qt的移植为参考，涉及移植的东西不多，主要还是以内核为主。在分析内核的时候，Frame是首当其冲的一个类，本文将分析Frame类的代码。1.描述Frame类是Web
bcbobo21cn·2025-02-08 22:54

hive出现内存溢出_hive问题处理

内存溢出Client端内存溢出Client端发生内存溢出执行下面的看是很简单的一条sql语句：hive>selectcount(1)fromtest_tb_1_1;QueryID=hdfs_20180802104347
话食科普·2025-02-08 07:29

Hive之数据操作DML

查询语句中创建表并加载数据（AsSelect）创建表时通过Location指定加载数据路径Import数据到指定Hive表中5.2数据导出Insert导出Hadoop命令导出到本地HiveShell命令导出Export导出到HDFS
WHYBIGDATA·2025-02-08 06:55

MapReduce的代码编写

getInstance()函数设置当前main函数所在的类，设置后运行代码可以找到函数的入口；③设置MapReduce的输入输出路径用于输入数据和输出计算的数据结果；注意若要是输出的路径在集群中已经存在，需要操作HDFS
hjy1821·2025-02-08 02:27

RocketMQ中的NameServer主要数据结构

以前我有一篇博客中rocketMq源码分析之搭建本地环境-CSDN博客，在这篇博客中就简单看了下NameSever中会有两个组件：NamesrvConfig和NettyServerConfig。
小园子的小菜·2025-02-08 00:42

2024-JAVA-大数据-面试汇总_大数据java部门面试(1)

内部表的数据是由Hive自身管理的，外部表的数据是由HDFS管理的；删除内部表会删除元数据和存储的数据；删除外部表只删除元数据不删除存储的数据34,你知道UDF吗？UDF就是H
2401_84141419·2025-02-07 19:15

大数据-267 实时数仓 - ODS Lambda架构 Kappa架构 核心思想

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
m0_74823336·2025-02-07 16:57

Hbase基础

HBase是基于Google的Bigtable技术实现的，GoogleBigtable利用GFS作为其文件存储系统，HBase利用Hadoop的HDFS作为其文件存储系统；Google运行MapReduce
yandao·2025-02-07 13:38

【kafka】kafka的动态配置管理使用和分析

该文章可能已过期,已不做勘误并更新,请访问原文地址(持续更新)Kafka中的动态配置源码分析kafka知识图谱：Kafka知识图谱大全kafka管控平台推荐使用滴滴开源的Kafka运维管控平台(戳我呀)
石臻臻的杂货铺·2025-02-07 06:16

基于android2.3.5系统：Android中native层C++单例模式

****************************************************************作者：EasyWave时间：2013.02.16类别：Android系统源码分析声明
wang-bob·2025-02-06 22:55

HIVE常见面试题

1.简述hiveHive‌是一个构建在Hadoop之上的数据仓库工具，主要用于处理和查询存储在HDFS上的大规模数据。
兔子宇航员0301·2025-02-06 18:59

【starrocks学习】之将starrocks表同步到hive

目录方法1：通过HDFS导出数据1.将StarRocks表数据导出到HDFS2.在Hive中创建外部表3.验证数据方法2：使用ApacheSpark同步1.添加StarRocks和Hive的依赖2.使用
chimchim66·2025-02-06 12:52

node.js的require()

本文通过源码分析，详细介绍require语句的内部运行机制，帮你理解Node.js的模块机制。一、requ
是小傲雨呀^_^·2025-02-06 08:52

深入分析React-Scheduler原理

本文是基于众多的源码分析文章，加入自己的理解，然后输出
xiaofeng123aazz·2025-02-06 08:20

使用python实现Hadoop中MapReduce

Hadoop包含HDFS(分布式文件系统)、YARN（资源管理器）、MapReduce（编程模型）。
qq_44801116·2025-02-06 06:10

Hadoop1.0和2.0的主要区别

Hadoop1.0指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，组件主要由HDFS和MapReduce两个系统组成，HDFS是一个分布式文件存储系统，MapReduce
web_15534274656·2025-02-06 03:43

Hadoop1.0-HDFS介绍

最核心的模块包括HadoopCommon、HDFS与MapReduce。
szjianzr·2025-02-06 03:13

SQL on Hadoop

SQL引擎通常运行在Hadoop系统外部，作为一个桥梁查询HDFS
Lostgreen·2025-02-06 03:42

物联网架构之Hadoop

其核心架构包括以下几个关键组件：1.HadoopDistributedFileSystem(HDFS)HDFS是Hadoop的分布式文件系统，用于存储大数据集。
moluxiangfenglo·2025-02-06 01:54

QML音视频架构与设计

QML音视频架构与设计使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-02-05 23:43

开源项目推荐：基于Lambda架构的大数据管道

基于Lambda架构的大数据管道big-data-pipeline-lambda-archAfullbigdatapipeline(LambdaArchitecture)withSpark,Kafka,HDFSandCassandra
柳旖岭·2025-02-05 16:53

顺序表ArrayList源码分析

顺序表中的ArrayList源码新增元素add(intindex,Eelement)的时候,用到了位运算右移一位,此时扩容后的数组大小是原来的1.5倍(n+0.5n=1.5n),代码如下:intnewCapacity=oldCapacity+(oldCapacity>>1);然后用到了如下代码来将旧的数组中的元素移动到扩容后的数组中去:elementData=Arrays.copyOf(eleme
汤坤Sunshine·2025-02-05 11:10

【知识分享】HDFS基础操作以及修改配置文件命令

HDFS基本操作命令查看文件常用命令命令格式hdfsdfs-lspath--查看文件列表hdfsdfs-ls-Rpath--递归查看文件列表hdfsdfs-dupath--查看path下磁盘情况，单位字节使用示例
星环科技TDH社区版·2025-02-05 09:27

CDH角色迁移和硬盘扩容

1.概述生产CDH集群硬盘不足，HDFSdatanode节点数据不平衡，历史管理角色安装混乱，全部节点需要硬盘扩容。
专注大数据的Lyer·2025-02-05 09:56

Hadoop HDFS 安装详细步骤

Hadoop安装详细步骤安装前分别在master、slave1、slave2三台机器的root用户下的主目录下创建目录bigdata，即执行下面的命令：mkdir~/bigdataHadoop安装包下载检查Hadopp和java版本是否对应，在官网中查hadoop-3.1.3JDK1.8hadoop-2.10.2JDK1.7or1.8hadoop-2.9.2JDK1.7or1.8hadoop-2.
碟中碟山·2025-02-05 07:16

Hadoop框架及HDFS详细概述

文章目录Hadoop概述一、Hadoop1、分布式和集群2、Hadoop框架2.1概述2.2版本更新2.3Hadoop架构详解2.4官方示例2.4.1圆周率练习2.4.2词频统计3、Hadoop的HDFS3.1
搬砖人_li·2025-02-05 07:14

ThreadLocal原理和使用场景

核心源码分析注意：ThreadLocal通常都定义为static，ThreadLo
Happytoo_·2025-02-05 07:14

Android Audio基础（20）——AudioTrack音频控制

一、源码分析1、主要方法构造函数：创建AudioTrack时调用。play()：播放音频文件。pause()：暂停播放音频文件。stop()：停止播放音频文件。flus
yyc_audio·2025-02-04 20:56

VSCode源码分析参考资料

VSCodeArchitectureAnalysis-ElectronProjectCross-PlatformBestPractices中文版VSCode架构分析-Electron项目跨平台最佳实践SihanLi博客上的vscode源码分析系列
AI时代的程序员·2025-02-04 10:05

Hadoop3.2.1安装-单机模式和伪分布式模式

主要包括HDFS和MapReduce两个组件。
花菜回锅肉·2025-02-04 07:13

Spark3.1.2单机安装部署

类似Hadoop，但对Hadoop做了优化，计算任务的中间结果可以存储在内存中，不需要每次都写入HDFS，更适用于需要迭代运算的算法场景中。
花菜回锅肉·2025-02-04 07:43

apollo-client源码分析

文章目录Apollo-Client1、基础客户端1.1、客户端获取配置流程1.1.1、初始化1.1.2、获取配置1.1.3、感知远程配置更新1.1.4、ConfigRepository监听器更新数据2、远程服务端设置3、Spring集成3.1、Spring初始化3.2、Config监听器更新数据Apollo-Client1、基础客户端Configconfig=ConfigService.getAp
肥牛火锅·2025-02-04 06:09

Python结合pyhdfs模块操作HDFS分布式文件系统

使用python操作hdfs本身并不难，只不过是把对应的shell功能“翻译”成高级语言，我这里选用的是hdfs，下边的实例都是基于hdfs包进行的。
唐僧不爱八戒·2025-02-04 00:50

Ubuntu 下 nginx-1.24.0 源码分析 ngx_debug_init()；

目录ngx_debug_init()函数：NGX_LINUX的定义：ngx_debug_init()函数：ngx_debug_init()函数定义在src\os\unix目录下的ngx_linux_config.h中#definengx_debug_init()也就是说这个环境下的main函数中的ngx_debug_init()这行代码其实什么都没有做在nginx.c的开头引入了#include而
若云止水·2025-02-03 18:25

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_strerror_init()函数

目录ngx_strerror_init()函数声明ngx_int_t类型声明定义intptr_t类型ngx_strerror_init()函数实现NGX_HAVE_STRERRORDESC_NPngx_strerror_init()函数声明在nginx.c的开头引入了:#include在ngx_core.h中引入了#include在ngx_errno.h这个文件中声明了ngx_strerror_i
若云止水·2025-02-03 17:51

如何在Java中调用Python

DataX是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
梦想画家·2025-02-03 17:17

Hive修复分区

通常用于那些已在HDFS中存在，但尚未在Hive元数据中注册的分区。当你在HDFS文件系统中手动添加或删除分区目录，Hive并不会自动识别这些更改。
码农小旋风·2025-02-03 14:27

hive分区和分桶详解

1、分区表分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。
CodeShelby·2025-02-03 14:56

Hive 分区和分桶总结

分区表实际上就是对应一个在HDFS(或者是其他分布式文件系统)文
Stray_Lambs·2025-02-03 14:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他