hadoop源码分析

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_process_options

ngx_process_options声明在src\core\nginx.cstaticngx_int_tngx_process_options(ngx_cycle_t*cycle);定义在src\core\nginx.cstaticngx_int_tngx_process_options(ngx_cycle_t*cycle){u_char*p;size_tlen;if(ngx_prefix){l
若云止水·2025-02-23 20:15

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_atoi 函数

ngx_atoi声明在src/core/ngx_string.hngx_int_tngx_atoi(u_char*line,size_tn);定义在src/core/ngx_string.cngx_int_tngx_atoi(u_char*line,size_tn){ngx_int_tvalue,cutoff,cutlim;if(n==0){returnNGX_ERROR;}cutoff=NGX_
若云止水·2025-02-23 20:15

深入源码分析 kotlin的CoroutineExceptionHandler机制

启动一个协程，然后内部启动子协程，那么最内层如果发生异常，是怎么传递异常的？valrootExceptionHandler=CoroutineExceptionHandler{_,throwable->println("调用【根】协程异常处理器：${throwable.message}")}valparentExceptionHandler=CoroutineExceptionHandler{_,
古苏·2025-02-23 20:42

Hadoop~HDFS的Block块

一、HDFS的block块1.介绍block块是HDFS的最小存储单位，每个256MB(可以修改)2.文件在HDFS中的存储方式文件分成多个block块，block块分三份存入对应服务器，每个block块都有2个(可修改)备份，每个副本都复制到其他服务器一份，每个block块都有两个备份在其他服务器上，这使得安全性极大提高3.修改默认文件上传到HDFS中的副本数量hdfs-site.xml默认为3
飞Link·2025-02-23 11:37

基于Hadoop的天气数据分析系统的设计与实现-计算机毕业设计源码+LW文档

Hadoop作为大数据处理领域的领军技术，其分布式计算框架和海量数据存储能力为天气数据分析提供了强大的支持。
qq_375279829·2025-02-23 06:04

QT OpenGL高级编程

QTOpenGL高级编程使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT
QT性能优化QT原理源码QT界面美化·2025-02-23 00:45

QT 3D光照与阴影

QT3D光照与阴影使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-02-23 00:45

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
m0_74823705·2025-02-22 21:50

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_crc32_table_init 函数

ngx_crc32_table_init声明在src/core/ngx_crc32.hngx_int_tngx_crc32_table_init(void);实现在src/core/ngx_crc32.cngx_int_tngx_crc32_table_init(void){void*p;if(((uintptr_t)ngx_crc32_table_short&~((uintptr_t)ngx_c
若云止水·2025-02-22 08:36

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_os_init 函数

ngx_os_init声明在src/os/unix/ngx_os.hngx_int_tngx_os_init(ngx_log_t*log);定义在src\os\unix\ngx_posix_init.cngx_int_tngx_os_init(ngx_log_t*log){ngx_time_t*tp;ngx_uint_tn;#if(NGX_HAVE_LEVEL1_DCACHE_LINESIZE)l
若云止水·2025-02-22 08:06

计算机毕业设计吊炸天Python+Spark地铁客流数据分析与预测系统 地铁大数据 地铁流量预测

开发技术SparkHadoopPython爬虫Vue.jsSpringBoot机器学习/深度学习人工智能创新点Spark大屏可视化爬虫预测算法功能1、登录注册界面，用户登录注册，修改信息2、管理员用户：
qq_80213251·2025-02-22 08:35

Python 的 WebSocket 实现详解

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-02-22 03:23

Spark源码分析

Spark源码分析SparkonYarnclientCluster本质区别，driver位置不同1)有哪些不同得进程？2)分别有什么作用？
陈同学�·2025-02-21 15:07

Spark源码分析 – Shuffle

参考详细探究Spark的shuffle实现,写的很清楚,当前设计的来龙去脉HadoopHadoop的思路是,在mapper端每次当memorybuffer中的数据快满的时候,先将memory中的数据,按
weixin_34292924·2025-02-21 15:06

【Hadoop】使用Docker容器搭建伪分布式集群

使用Docker容器搭建Hadoop伪分布式集群1、编写docker-compose.yaml文件配置集群version:"3"services:namenode:image:apache/hadoop
慕青Voyager·2025-02-21 09:14

HDFS分布文件系统（Hadoop Distributed File System）

上创建文件夹3.上传本地文件到HDFS4.查看文件5.删除HDFS上的文件或者目录6.修改指定文件的权限信息（读、写、执行）一般语法：chmod[可选项]五、HDFS实战应用六、总结一.HDFS的本质HadoopDistributedFileSystem
柿子小头·2025-02-21 08:38

【QT教程】QT6图形渲染与OpenGL编程 QT

QT6图形渲染与OpenGL编程使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费
QT性能优化QT原理源码QT界面美化·2025-02-21 04:05

org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registere

启动hadoop集群，发现datanode没有启动，查看日志报错，如图：//日志文件2020-03-2416:40:55,608WARNorg.apache.hadoop.hdfs.server.common.Storage
@菜鸟进阶记@·2025-02-21 01:19

2024年网络安全最全【玄机】常见攻击事件分析--钓鱼邮件，网络相关+网络安全三方库的源码分析+数据结构与算法

还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！】93道网络安全面试题内容实在太多，不一一截图了黑客学习资源推荐最后给大家分享一份全套的网络安全
2401_84302583·2025-02-21 00:14

责任链模式原理详解和源码实例以及Spring AOP拦截器链的执行源码如何使用责任链模式？

前言  本文首先介绍了责任链的基本原理，并附带一个例子说明责任链模式，确保能够理解责任链的前提下，在进行SpringAOP执行责任链的源码分析。
一个儒雅随和的男子·2025-02-20 21:51

Hadoop之HDFS的使用

HDFS是什么：HDFS是一个分布式的文件系统，是个网盘，HDFS是一种适合大文件存储的分布式文件系统HDFS的Shell操作1、查看hdfs根目录下的内容-lshdfsdfs-lshdfs://hadoop01
想要变瘦的小码头·2025-02-20 20:43

OpenMetadata MySQL 数据库使用率提取管道实现解析

目录架构概述核心组件源码分析使用率指标定义数据提取流程图源码类图配置与扩展指南架构概述OpenMetadata通过可插拔的元数据摄取框架实现对MySQL使用率数据的采集，核心流程包含三个阶段：数据采集层
10年JAVA大数据技术研究者·2025-02-20 18:22

Python3.5源码分析-sys模块及site模块导入

Python3源码分析本文环境python3.5.2。
小屋子大侠·2025-02-20 15:00

RHEL 安装 Hadoop 服务器

在这篇文章中，我们将探讨如何在RedHatEnterpriseLinux(RHEL)上安装和配置Hadoop服务器。Hadoop是一个开源的分布式数据处理框架，用于处理大规模数据集。
XhClojure·2025-02-20 13:41

如何安装Hadoop

Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置Hadoop入门(三)—
薇晶晶·2025-02-20 13:06

Hadoop01-入门&集群环境搭建--非原创（test）

Hadoop01-入门&集群环境搭建今日内容Hadoop的介绍集群环境搭建准备工作Linux命令和Shell脚本增强集群环境搭建来来来大数据概述大数据:就是对海量数据进行分析处理，得到一些有价值的信息，
xl.liu·2025-02-19 21:50

Android从源码分析handler.post(runnable),view.post(runnable),runOnUiThread(runnable)执行时机

大家好，我是听者，耳听心受的听，孙行者的者，感谢大家阅读我的文章。废话不说直接进入主题，不管是Android还是其他语言，线程之间通信都是一个比较“头疼”问题，开发Android的码农应该都知道回到主线程的方式有handler.post(runnable),view.post(runnable),runOnUiThread(runnable)。但是这三种方式的区别以及其执行的时机如何呢？今天就给大
听者110·2025-02-19 18:27

Hadoop管理工具dfsadmin和fsck的使用

Hadoop提供了多个管理工具，其中dfsadmin和fsck是用于管理HDFS（Hadoop分布式文件系统）的重要工具。以下是它们的使用方法和常见命令。
脚本无敌·2025-02-19 16:46

（一）大数据---Hadoop整体介绍（架构层）----（组件(3)

复杂性:体现在数据的管理和操作上。如何抽取，转换，加载，连接，关联以把握数据内蕴的有用信息已经变得越来越有挑战性二、大数据技术有哪些（重点）===================================================================================基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计
2401_84166965·2025-02-19 16:15

hive全量迁移脚本

：数据在同一库下，并且hive是内部表（前缀的hdfs地址是相同的）#1.读取一个文件，获取表名#echo"时间$dt_jian_2-------------------------">>/home/hadoop
我要用代码向我喜欢的女孩表白·2025-02-19 15:29

笔记：DataSphere Studio安装部署流程

一、标准版部署标准版：有一定的安装难度，体现在Hadoop、Hive和Spark版本不同时，可能需要重新编译，可能会出现包冲突问题。适合于试用和生产使用，2~3小时即可部署起来。
右边com·2025-02-19 13:15

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_localtime 函数

ngx_localtime函数声明在src\os\unix\ngx_time.h中：voidngx_localtime(time_ts,ngx_tm_t*tm);定义在src/os/unix/ngx_time.c中voidngx_localtime(time_ts,ngx_tm_t*tm){#if(NGX_HAVE_LOCALTIME_R)(void)localtime_r(&s,tm);#els
若云止水·2025-02-19 13:14

hive-site.xml 配置总结

3.hive提交作业是在hive中还是hadoop中？4.一个查询的最后一个map/reduce任务输出是否被压缩的标志，通过哪个配置项？5.当用户
hxsln11·2025-02-19 12:07

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_pnalloc函数

ngx_pnalloc声明在src\core\ngx_palloc.hvoid*ngx_pnalloc(ngx_pool_t*pool,size_tsize);定义在src\core\ngx_palloc.cvoid*ngx_pnalloc(ngx_pool_t*pool,size_tsize){#if!(NGX_DEBUG_PALLOC)if(sizemax){returnngx_palloc_
若云止水·2025-02-19 11:31

十四、Flink源码阅读--JobGraph生成过程

上篇分析了client整个提交任务过程，最终提交的是一个JobGraph对象，那么是如何从jar或sql任务转为JobGraph的呢，这篇我们仔细研究一下,版本为1.6.3源码分析上篇我们介绍client
灰二和杉菜·2025-02-19 06:54

RocketMQ源码分析-Rpc通信模块(remoting)二

前言今天继续RocketMQ-Rpc通信模块(remoting)的源码分析。
吃水果的猪儿虫·2025-02-19 05:13

QT 3D渲染技术详解

QT3D渲染技术详解使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-02-19 04:36

常见Linux命令

了解磁盘分区类命令第一节文件目录类命令（1）pwd打印当前目录的绝对路径(printworkingdirectory)基本语法pwd（功能描述：显示当前工作目录的绝对路径）案例实操显示当前工作目录的绝对路径[root@hadoop1
程序员 小柴·2025-02-18 22:02

ffmpeg源码分析：avformat_open_input()

目录一、avformat_alloc_context()二、init_input()2.1av_probe_input_format2()2.2av_probe_input_buffer2()2.3io_open三、read_header()本文简单分析FFmpeg中一个常用的函数：avformat_open_input()。该函数用于打开多媒体数据并且获得一些相关的信息。它的声明位于libavf
风雨兼程8023·2025-02-18 21:22

FFMpeg 源码分析 （3）avformat_open_input（）

这个函数主要用来打开媒体资源。完成媒体格式的探测和获取相关的媒体信息的工作。函数完成定义如下：intavformat_open_input(AVFormatContext**ps,constchar*filename,AVInputFormat*fmt,AVDictionary**options){AVFormatContext*s=*ps;inti,ret=0;AVDictionary*tmp=
雷霆小屁熊·2025-02-18 21:52

FFMPEG源码分析：avformat_open_input()（媒体打开函数）

本文分析了FFMPEG中的媒体打开函数avformat_open_input()//参数ps包含一切媒体相关的上下文结构，有它就有了一切，本函数如果打开媒体成功，//会返回一个AVFormatContext的实例．//参数filename是媒体文件名或URL．//参数fmt是要打开的媒体格式的操作结构，因为是读，所以是inputFormat．此处可以//传入一个调用者定义的inputFormat，
sunshineywz·2025-02-18 20:18

Java CopyOnWriteArrayList 源码分析及使用案例

CopyOnWriteArrayList是Java中一种线程安全的List实现，它通过在每次修改时复制底层数组来实现线程安全。本文将详细分析CopyOnWriteArrayList的源码，并结合具体使用案例来展示其使用场景和优缺点。一、CopyOnWriteArrayList简介CopyOnWriteArrayList是java.util.concurrent包中的一个类，适用于读多写少的场景。它
铁甲小宝摸鱼·2025-02-18 09:10

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_time_update函数

定义在src\core\ngx_times.c中ngx_time_init函数后面voidngx_time_update(void){u_char*p0,*p1,*p2,*p3,*p4;ngx_tm_ttm,gmt;time_tsec;ngx_uint_tmsec;ngx_time_t*tp;structtimevaltv;if(!ngx_trylock(&ngx_time_lock)){retu
若云止水·2025-02-18 09:39

Fink与Hadoop的简介以及联系

Fink和Hadoop是两个常用于大数据处理的开源工具，它们可以搭配使用以构建高效的数据处理系统。一、Fink和Hadoop的关系Fink：1、Fink是一个分布式流处理框架，专注于实时数据处理。
Bugkillers·2025-02-18 07:24

Hbase深入浅出

在大数据生态圈中的位置HBase与传统关系数据库的区别HBase相关的模块以及HBase表格的特性HBase的使用建议Phoenix的使用总结HBase在大数据生态圈中的位置提到大数据的存储，大多数人首先联想到的是Hadoop
天才之上·2025-02-18 03:13

HBase简介：高效分布式数据存储和处理

HBase简介：高效分布式数据存储和处理HBase是一个高效的、可扩展的分布式数据库，它是构建在ApacheHadoop之上的开源项目。
代码指四方·2025-02-18 03:07

Android N(全志平台A40i)添加adb登录密码

需求：在adbshell登录终端时加入鉴权密码，鉴权开关可配置且密码可修改问题分析：见下文AndroidN：adb及adbd源码分析解决方案：思路：pc上终端输入adbshell命令后，实际上是adbd
阿姨打太极·2025-02-18 02:55

在Hadoop集群中实现数据安全：技术与策略并行

在Hadoop集群中实现数据安全：技术与策略并行随着大数据技术的广泛应用，Hadoop已经成为处理和存储海量数据的首选平台。
Echo_Wish·2025-02-17 23:50

Kubernetes源码分析之kubelet

本节所有的代码基于1.13.4版本。启动分析Kubelet的启动参数有两种，kubeletFlags和kubeletConfig。其中，kubeletFlags与我们使用的kubelet的--参数命令保持一致；kubeletConfig通过解析特定的配置文件完成参数的配置，它们共同构成kubelet启动参数的配置。如图基本参数配置完成之后，接下来就是配置启动的Run方法。Kubelet启动的Run
「已注销」·2025-02-17 21:02

python编写mapreduce job教程

它可以运行在本地模式或Hadoop集群上。以下是一个简单的MapReduce示例，它计算文本文件中每个单词的出现次数。安装mrjob首先，你需要安装mrjob库。
weixin_49526058·2025-02-17 19:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他