hadoop源码分析

搭建分布式Hive集群

title:搭建分布式Hive集群date:2024-11-2923:39:00categories:-服务器tags:-Hive-大数据搭建分布式Hive集群本次实验环境：Centos7-2009、Hadoop
逸曦玥泱·2025-03-11 18:17

Hadoop、Spark和 Hive 的详细关系

Hadoop、Spark和Hive的详细关系1.ApacheHadoopHadoop是一个开源框架，用于分布式存储和处理大规模数据集。
夜行容忍·2025-03-11 18:46

Windows系统下解压".tar"文件出错，提示：无法创建符号链接，可能需要以管理器身份运行winrar

1、解压文件出错，如下信息：D:\tools\hadoop-3.1.2.tar.gz:无法创建符号链接D:\tools\hadoop-3.1.2\hadoop-3.1.2\lib\native\libhadoop.so
ruangaoyan·2025-03-11 18:45

大数据技术生态圈：Hadoop、Hive、Spark的区别和关系

大数据技术生态圈：Hadoop、Hive、Spark的区别和关系在大数据领域中，Hadoop、Hive和Spark是三个常用的开源技术，它们在大数据处理和分析方面发挥着重要作用。
雨中徜徉的思绪漫溢·2025-03-11 17:07

ZooKeeper学习总结（1）——ZooKeeper入门介绍

1.概述Zookeeper是Hadoop的一个子项目，它是分布式系统中的协调系统，可提供的服务主要有：配置服务、名字服务、分布式同步、组服务等。
一杯甜酒·2025-03-11 17:03

Zookeeper+kafka学习笔记

Zookeeper是Apache的一个java项目，属于Hadoop系统，扮演管理员的角色。
CHR_YTU·2025-03-11 16:01

麒麟arm架构系统_安装nginx-1.27.0_访问500 internal server error nginx解决_13: Permission denied---Linux工作笔记072

[root@hadoop173nginx1.27.0]#wget-chttp://nginx.org/download/nginx-1.27.0.tar.gz--2024-07-0509:47:00--
添柴程序猿·2025-03-11 16:54

Zookeeper与Kafka学习笔记

一、Zookeeper核心要点1.核心特性分布式协调服务，用于维护配置/命名/同步等元数据采用层次化数据模型（Znode树结构），每个节点可存储<1MB数据典型应用场景：HadoopNameNode高可用
上海研博数据·2025-03-11 15:51

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_modules

定义在objs\ngx_modules.c#include#includeexternngx_module_tngx_core_module;externngx_module_tngx_errlog_module;externngx_module_tngx_conf_module;externngx_module_tngx_openssl_module;externngx_module_tngx_
若云止水·2025-03-11 09:30

JVM——15.定位 堆外内存 OOM

文章目录1.ByteBuffer堆外内存介绍2.ByteBuffer堆外内存申请、释放（源码分析）2.1堆外内存申请2.2堆外内存释放3.什么情况会发生堆外内存OOM4.模拟堆外内存OOM4.1模拟14.2
你想要怎样的未来·2025-03-11 05:04

Clickhouse负载均衡客户端BalancedClickhouseDataSource源码分析

文章目录BalancedClickhouseDataSource源码分析结论BalancedClickhouseDataSource源码分析BalancedClickhouseDataSource的完整路径是
颍天·2025-03-11 04:26

phoenix无法连接hbase shell创建表失败_报错_PleaseHoldException: Master is initializing---记录020_大数据工作笔记0180

今天发现,我的phoenix,去连接hbase集群,怎么也连不上了,奇怪了...弄了一晚上org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializing
添柴程序猿·2025-03-11 00:52

SpringBoot统一功能处理——统一异常处理

目录一、异常简单使用二、@ControllerAdvice源码分析一、异常简单使用统一异常处理使用的是@ControllerAdvice+@ExceptionHandler来实现的，@ControllerAdvice
棕豆兔＆·2025-03-10 13:31

RocketMQ的Consumer源码分析

RocketMQ的Consumer源码分析文章目录RocketMQ的Consumer源码分析Consumer的Rebalance流程Consumer的消息拉取流程Consumer的Offset管理这一节我们分析
foolishboy_w·2025-03-10 12:00

Hadoop的运行模式

Hadoop的运行模式1、本地运行模式2、伪分布式运行模式3、完全分布式运行模式4、区别与总结Hadoop有三种可以运行的模式：本地运行模式、伪分布式运行模式和完全分布式运行模式1、本地运行模式本地运行模式无需任何守护进程
对许·2025-03-10 09:35

Vue 框架深度解析：源码分析与实现原理详解

文章目录一、Vue核心架构设计1.1整体架构流程图1.2模块职责划分二、响应式系统源码解析2.1核心类关系图2.2核心源码分析2.2.1数据劫持实现2.2.2依赖收集过程三、虚拟DOM与Diff算法实现
北辰alk·2025-03-10 08:25

Android View 设置背景方式全解析

本文将从多个维度深入探讨AndroidView设置背景的方式，包括XML配置、代码动态设置、不同Drawable类型的使用、高级技巧等，并结合源码分析和实际案例给出最
&有梦想的咸鱼&·2025-03-10 06:14

Hadoop的mapreduce的执行过程

一、map阶段的执行过程第一阶段：把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。默认Splitsize=Blocksize（128M），每一个切片由一个MapTask处理。（getSplits）第二阶段：对切片中的数据按照一定的规则读取解析返回对。默认是按行读取数据。key是每一行的起始位置偏移量，value是本行的文本内容。（TextInputFormat）第三阶段：调用Mapp
画纸仁·2025-03-10 01:34

Hadoop：分布式计算平台初探

Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。
dccrtbn6261333·2025-03-10 01:32

【Hadoop】如何理解MapReduce？

MapReduce是一种用于处理大规模数据集的编程模型和计算框架。它的核心思想是将复杂的计算任务分解为两个简单的阶段：Map（映射）和Reduce（归约）。通过这种方式，MapReduce可以高效地并行处理海量数据。一.MapReduce的核心概念1.Map（映射）：将输入数据分割成小块，并对每个小块进行初步处理。输出键值对（key-valuepairs），例如。2.Shuffle和Sort（洗牌
2302_79952574·2025-03-10 00:30

Hadoop：全面深入解析

Hadoop是一个用于大规模数据处理的开源框架，其设计旨在通过集群的方式进行分布式存储和计算。
CloudJourney·2025-03-09 21:29

Hadoop介绍：什么是Hadoop？了解Hadoop的应用

一、认识Hadoop框架Hadoop是一个提供分布式存储和计算的开源软件框架，使用Java语言编写，具有高扩展性、高容错性、无共享和高可用（HA）等特点，非常适合处理海量数据。
Zzzxt007·2025-03-09 21:55

Ubuntu 下 nginx-1.24.0 源码分析 - cycle-＞modules[i]-＞ctx

ngx_module_s结构体中的ctx字段是Nginx模块系统的核心设计之一。这个字段的主要作用是提供特定类型模块的上下文信息。ctx字段实际上是一个指向模块特定上下文结构的指针。根据模块类型的不同，ctx可以指向不同的上下文结构，比如：对于HTTP模块，指向ngx_http_module_t对于Core模块，指向ngx_core_module_t对于Event模块，指向ngx_event_mo
若云止水·2025-03-09 19:48

Hbase在hdfs上的archive目录占用空间过大

hbase版本：1.1.2hadoop版本：2.7.3Hbase在hdfs上的目录/apps/hbase/data/archive占用空间过大，导致不停地发出hdfs空间使用率告警。
宝罗Paul·2025-03-09 13:50

android多个usb摄像头,Android中多USB摄像头解决方案——UVCCamera源码分析（四）

经过前几章的学习，我们大概了解了整个UVCCamera初始化、开始预览的过程。那么接着我们将来看看UVCCamera是如何实现拍照功能的。本章内容相对比较简单，均是Java层的实现。我们直接来看代码：@OverridepublicvoidcaptureStill(finalStringpath,OnCaptureListenerlistener){super.captureStill(path,l
桔子毛·2025-03-09 10:30

android多个usb摄像头,Android中多USB摄像头解决方案——UVCCamera源码分析（三）

前面几章我们分析了UVCCamera的初始化、预览相关的准备工作，本章我们则来看看startPreview的整个流程。按照惯例我们先大概看下调用的时序图：startPreview接着之前开启预览过程最终走到AbstractUVCCameraHandler.CameraThread的handleStartPreview方法，继而调用UVCCamera的startPreview，如上图所示，UVCCa
spRachel雷切爾·2025-03-09 10:59

Hadoop、Spark、Flink Shuffle对比

一、Hadoop的shuffle前置知识：Map任务的数量由Hadoop框架自动计算，等于分片数量，等于输入文件总大小/分片大小，分片大小为HDFS默认值128M，可调Reduce任务数由用户在作业提交时通过
逆袭的小学生·2025-03-09 10:55

【Hadoop】什么是Zookeeper？如何理解Zookeeper？

ZooKeeper是一个开源的分布式应用程序协调服务，可以为分布式应用提供一致性的服务，功能包括：配置维护、名字服务、分布式同步、组服务等等。ZooKeeper的目标是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。1.Zookeeper的特点最终一致性：Client不论连接到哪个Server,展示给它的都是同一个视图。可靠性：如果某个消息被一台服务器接受，那么它
2302_79952574·2025-03-09 09:46

【Hadoop】详解HDFS

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统，它是一个高度容错性的系统，适合部署在廉价的机器上，能够提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
2302_79952574·2025-03-09 09:13

HDFS的设计架构

HDFS是Hadoop生态系统中的分布式文件系统，设计用于存储和处理超大规模数据集。它具有高可靠性、高扩展性和高吞吐量的特点，适合运行在廉价硬件上。
F_0125·2025-03-09 05:21

大数据Flink（六十四）：Flink运行时架构介绍_flink中涉及到的大数据组件

从以Greenplum为代表的MPP（MassivelyParallelProcessing，大规模并行处理）架构，到Hadoop、Spark为代表的批处理架构，再到Storm、Flink为代表的流处理架构
2401_84181942·2025-03-09 03:39

大数据运维实战指南：零基础入门与核心技术解析（第一篇）

大数据运维实战指南：零基础入门与核心技术解析（第一篇）系列文章目录第一篇：大数据运维概述与核心技能体系第二篇：Hadoop生态体系与集群部署实战第三篇：分布式存储系统运维与优化第四篇：资源调度框架YARN
emmm形成中·2025-03-09 01:19

hadoop框架与核心组件刨析（四）MapReduce

MapReduce是一种用于大规模数据处理的编程模型和计算框架，最初由Google提出，后来由ApacheHadoop实现并广泛应用。
小刘爱喇石( ˝ᗢ̈˝ )·2025-03-09 00:42

面试基础---分布式架构基础：CAP 理论与 BASE

本文将深入探讨CAP理论和BASE理论，结合实际项目案例和源码分析，帮助读者深入理解其实现原理。1.CAP理论CAP理论是分布式系统设计的基础理论之一，由EricBrewer在2
WeiLai1112·2025-03-08 18:38

hadoop 运行java程序_原生态在Hadoop上运行Java程序

第一种：原生态运行jar包1，利用eclipse编写Map-Reduce方法，一般引入Hadoop-core-1.1.2.jar。
淇水煮汤·2025-03-08 09:23

hadoop运行java程序命令_使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0

网上的MapReduceWordCount教程对于如何编译WordCount.java几乎是一笔带过…而有写到的，大多又是0.20等旧版本版本的做法，即javac-classpath/usr/local/hadoop
emi0wb·2025-03-08 09:53

大数据Hadoop集群运行程序

目录1运行自带的MapReduce程序2常见错误1运行自带的MapReduce程序下面我们在Hadoop集群上运行一个MapReduce程序，以帮助读者对分布式计算有个基本印象。
赵广陆·2025-03-08 08:37

Android wpa_supplicant源码分析--conf配置文件

http://blog.csdn.net/cuijiyue/article/details/514288351配置文件conf文件作为wpa_supplicant的配置文件，一般叫做wpa_supplicant.conf。其中存储着wpa_supplicant的运行参数和以保存的网络列表。conf文件的路径，通过启动wpa_supplicant时的–c参数传入，初始化过程中赋值到wpa_s->co
水木无痕·2025-03-08 06:40

hadoop框架与核心组件刨析（三）YARN

一、负载均衡的概念负载均衡（LoadBalancing）是一种将工作负载（如网络流量、计算任务或数据请求）分配到多个资源（如服务器、计算节点或存储设备）的技术，目的是优化资源使用、最大化吞吐量、最小化响应时间，并避免单个资源过载。负载均衡广泛应用于计算机网络、分布式系统、云计算等领域。负载均衡的核心目标提高性能：通过将负载分配到多个资源，避免单个资源成为瓶颈，从而提高系统的整体性能。提高可用性：如
小刘爱喇石( ˝ᗢ̈˝ )·2025-03-08 04:46

Doris 数据集成 Kafka

这是我们Doris数据集成篇的第二篇，前面我们介绍过通过Catalog进行集成的例子Doris基础篇—数据集成Catalog目前公司的很多数据服务都开始使用Doris了，目前使用下来感觉还是很方便的，比起Hadoop
不二人生·2025-03-07 16:29

面试基础---MySQL 分布式 ID 方案深度解析

本文将深入探讨MySQL分布式ID的生成方案，包括UUID、自增ID和雪花算法，结合实际项目案例和源码分析，帮助读者深入理解其实现原理。1.分布式ID的需求与挑战在分布式系统中，生成
WeiLai1112·2025-03-07 14:18

大数据面试系列之——Hadoop

Hadoop的三个核心：HDFS（分布式存储系统）MapReduce（分布式计算系统）YARN(分布式资源调度)1.Hadoop集群的几种搭建模式1.单机模式：直接解压安装，不存在分布式存储系统2.伪分布式
潜心_守道·2025-03-07 07:17

容器运行时 源码分析

源码地址https://github.com/opencontainers/runctagv1.2.5整体流程一个容器启动主要分为三大部分，如文章题目所示create:主要是为了解析、组装容器启动的配置和与子进程的消息通道等；init:主要根据容器配置启动容器整个运行环境，包括熟知ns，cgroups,seccomp,apparmor,caps等;start:主要是为了通知init进程启动容器；r
梅梅与彤彤·2025-03-07 01:47

Azkaban其一，介绍、体系架构和安装

比如：想启动hadoop集群先启动zk集群，再启动hdfs,再启动yarn，再启动日志系统工作过程中总会遇到多个脚本执行的时候有顺序。任务可以有一个编排的工具
出发行进·2025-03-07 00:35

深入源码分析spring AOP

深入源码分析springAOP一、SpringAOP核心概念AOP（面向切面编程）是Spring框架的核心功能之一，它通过动态代理技术，在不修改源代码的情况下，为业务逻辑横向添加通用功能（如日志、事务、
萌新coder·2025-03-06 23:27

面试基础---Redis 延迟队列深度解析

本文将深入探讨Redis延迟队列的实现原理，结合实际项目案例和源码分析，帮助读者深入理解其实现细节。1.延迟队列的需求与挑战1.1延迟
WeiLai1112·2025-03-06 18:39

百万架构师第二十二课：源码分析：Spring 源码分析：Spring经典面试答疑｜JavaGuide

Spring面试解答上半节：面试中需要注意的细节动脑子，面试是一种交流面试的时候，要用心去感受当时面试场景了解自己，自己的长处、自己的短处（巧妙地扬长避短）了解1.公司的业务场景2.你是去面试什么岗位的？Java高级工程师实际工作经验是1年（如实填写）1、请描述SpringIOC的工作原理答：定位加载注册BeanFactoryBeanDefintion...1-3年1+ApplicationCon
大雄野比·2025-03-06 11:42

hdfs HA 机制， 一台 namenode 宕机了， joualnode ， namenode ， edit.log fsimage 的 变 化？思维导图 代码示例（java 架构)

HDFS（HadoopDistributedFileSystem）的高可用性（HA,HighAvailability）机制旨在解决单点故障问题，确保即使在NameNode出现故障的情况下，文件系统仍然可以继续正常工作
用心去追梦·2025-03-06 10:00

React Native 源码分析（一）——启动流程

本系列文章，是分析Android的ReactNative的源码，主要包括以下文章，和以往的源码系列一样，分析主流程的代码，不会细致到每一行（但相比上一篇的Gradle源码分析，要细致很多），会涉及到java
薛瑄·2025-03-06 10:28

软件架构设计与模式之：模块化设计与组件化架构

同时介绍一些基于Java语言的开源框架（如Spring）所实现的模块化、组件化、微服务架构，并深入到源码分析其实现机制和原理。本文的主要读者
AI天才研究院·2025-03-06 09:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他