hadoop源码分析

Hadoop YARN【一】

YARN概念YARN是一种新的Hadoop资源管理器，它是一个通用的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件Client:负责提交应用程序。
冷雨夜下的星空·2024-09-09 22:26

大数据知识总结（三）：Hadoop之Yarn重点架构原理

文章目录Hadoop之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景Hadoop之Yarn重点架构原理一、Yarn介绍ApacheHadoopYarn
Lansonli·2024-09-09 22:22

【HarmonyOS】- HAR与HSP区别及使用原则

文章目录知识回顾前言源码分析1.2.3.拓展知识总结知识回顾前言HAR与HSP源码分析1.2.3.拓展知识总结系统提供了两种共享包，HAR静态共享包和HSP动态共享包。
数的羊都睡了·2024-09-09 20:41

starrocks和clickhouse数据库比较

支持多种数据源的集成，并且可以与其他大数据技术（如Hadoop、Spark）协同工作。C
CodeMaster_37714848·2024-09-09 16:12

大数据（Hbase简单示例）

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName
BL小二·2024-09-09 13:18

fescar源码分析4-TM

一、概要说明这里重点分析下TM的实现。下面是TM的定义：TransactionManager(TM):明确全局事务的范围：开始一个全局事务，提交或者回滚一个全局事务简单来说，就是分布式事务的业务发起方。二、配置定义GlobalTransactionScanner。构造函数如下。applicationId和txServiceGroup我们这里可以理解为一个分布式事务的唯一标识。可以用于保存一个事务的
leiwingqueen·2024-09-09 12:39

Hbase的简单使用示例

HBase是基于HadoopHDFS构建的分布式、列式存储的NoSQL数据库，适用于存储和检索超大规模的非结构化数据。它支持随机读写，并且能够处理PB级数据。
傲雪凌霜，松柏长青·2024-09-09 11:40

Leveldb源码分析--9

6SSTable之36.5读取sstable文件6.5.1类层次Sstable文件的读取逻辑在类Table中，其中涉及到的类还是比较多的，如图6.5-1所示。图6.5-1Table类导出的函数只有3个，先从这三个导出函数开始分析。其中涉及到的类（包括上图中为画出的）都会一一遇到，然后再一一拆解。本节分析sstable的打开逻辑，后面再分析key的查找与数据遍历。6.5.2Table::Open()
sparkliang·2024-09-09 04:23

鸿蒙轻内核M核源码分析系列二十 Newlib C

LiteOS-M内核LibC实现有2种，可以根据需求进行二选一，分别是musllibC和newlibc。本文先学习下NewlibC的实现代码。文中所涉及的源码，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。使用MuslC库的时候，内核提供了基于LOS_XXX适配实现pthread、mqeue、fs、semaphore、time等模块
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十七（2） 异常钩子函数的注册操作

本文中所涉及的源码，以OpenHarmonyLiteOS-M内核为例，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。鸿蒙轻内核异常钩子模块代码主要在components\exchook目录下。异常钩子函数的注册、解注册、异常钩子类型定义在utils\los_debug.h|.c。1、异常钩子函数节点结构体和异常钩子函数节点数组在文件
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十五 CPU使用率CPUP

CPUP（CentralProcessingUnitPercentage，CPU占用率）分为系统CPU占用率和任务CPU占用率。用户通过系统级的CPU占用率，判断当前系统负载是否超出设计规格。通过系统中各个任务的CPU占用情况，判断各个任务的CPU占用率是否符合设计的预期。系统CPU占用率是指周期时间内系统的CPU占用率，用于表示系统一段时间内的闲忙程度，也表示CPU的负载情况。系统CPU占用率的
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十六 MPU内存保护单元

本文主要分析鸿蒙轻内核MPU模块的的源码。本文中所涉及的源码，以OpenHarmonyLiteOS-M内核为例，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。鸿蒙轻内核支持的ARMCortex-M芯片架构都支持MPU的，代码都是一样的，以kernel\arch\arm\cortex-m4\gcc\los_mpu.c为例进行讲解。1、
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十三 消息队列Queue

队列（Queue）是一种常用于任务间通信的数据结构。任务能够从队列里面读取消息，当队列中的消息为空时，挂起读取任务；当队列中有新消息时，挂起的读取任务被唤醒并处理新消息。任务也能够往队列里写入消息，当队列已经写满消息时，挂起写入任务；当队列中有空闲消息节点时，挂起的写入任务被唤醒并写入消息。如果将读队列和写队列的超时时间设置为0，则不会挂起任务，接口会直接返回，这就是非阻塞模式。消息队列提供了异步
OpenHarmony_小贾·2024-09-09 04:20

Hbase、hive以及ClickHouse的介绍和区别？

一、Hbase介绍：HBase是一个分布式的、面向列的开源数据库，由ApacheSoftwareFoundation开发，是Hadoop生态系统中的一个重要组件。
damokelisijian866·2024-09-08 23:43

Flink - CEP

Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。
kikiki1·2024-09-08 21:46

chapter01 Java语言概述 知识点Note

JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoopFlinkJAVAEE消息队列rabbitMQdocker
月下绯烟·2024-09-08 18:42

Hive和Hbase的区别

Hive和HBase都是Hadoop生态系统中的重要组件，它们都能处理大规模数据，但各自有不同的适用场景和设计理念。
傲雪凌霜，松柏长青·2024-09-08 17:37

HBase

ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜，松柏长青·2024-09-08 17:07

Hive的优势与使用场景

Hive的优势Hive作为一个构建在Hadoop上的数据仓库工具，具有许多优势，特别是在处理大规模数据分析任务时。
傲雪凌霜，松柏长青·2024-09-08 17:07

HashMap源码分析

一.HashMap类结构二.属性解析1.默认初始容量staticfinalintDEFAULT_INITIAL_CAPACITY=1MAXIMUM_CAPACITY)initialCapacity=MAXIMUM_CAPACITY;if(loadFactor>>1;n|=n>>>2;n|=n>>>4;n|=n>>>8;n|=n>>>16;return(n=MAXIMUM_CAPACITY)?MAX
SimpleRecord·2024-09-08 17:01

大数据技术之Hadoop（一）

Hadoop概述1.1Hadoop是什么Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。
pauls·2024-09-08 16:30

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
蓦然_·2024-09-08 15:50

ERROR:master启动报错： Attempting to operate on hdfs namenode as root

[root@masterhadoop]#sbin/start-all.shStartingnamenodeson[master]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
CourageLee·2024-09-08 07:55

Linux驱动学习--网络设备驱动架构介绍及底层源码分析

------>网络协议接口层------>sk_buff------>sk_buff的操作函数------>网络设备接口层------>net_device相关介绍------>设备驱动接口层四、驱动源码分析
文艺小少年·2024-09-08 00:41

View绘制流程（三） - onLayout

onLayout了，作用是确定view的位置；performTraversals__>perforLayouthost.layout__>view.onLayout__>viewgroup.onLayout2.源码分析
世道无情·2024-09-07 21:31

Mapbox源码分析（1）样式加载

简介:通过源码，我们来一步步分析Mapbox地图引擎如何进行不同样式的数据加载的，这里是基于5.3.0的版本．通过官网案例，我们知道在SDK中配置了不同的style样式给我们使用，通过配置不同style,便可加载不同的类型地图，那么我们便可以从setStyleUrl()这个方法着手．这里我们从MapView的setStyleUrl()方法看起这里我们看到，他将相关配置直接往下传到底层了，从nati
一个观察世界的普通人·2024-09-07 19:17

Python大数据：深入探索Hadoop库的使用

在大数据的世界中，Python和Hadoop结合使用，为处理庞大数据集提供了强大的工具。本文将详细探讨如何在Python中使用Hadoop，特别是通过实例来展示这一过程。
t0_54coder·2024-09-07 17:22

Python 操作大数据使用 Hadoop

参考：https://blog.csdn.net/wuShiJingZuo/article/details/135620018fromhdfsimportInsecureClienthdfs_client=InsecureClient("http://localhost:9000",user="xiaokkk")#测试连接print(hdfs_client.status("/")){'access
静听山水·2024-09-07 17:47

flink 问题记录

文章目录1.Causedby:java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums
Jhon_yh·2024-09-07 15:34

Spark概念知识笔记

最近总结了个人的各项能力，发现在大数据这方面几乎没有涉及，因此想补充这方面的知识，丰富自己的知识体系，大数据生态主要包含：Hadoop和Spark两个部分，Spark作用相当于MapReduceMapReduce
kuntoria·2024-09-07 05:21

【Hadoop】- MapReduce & YARN 初体验[9]

目录提交MapReduce程序至YARN运行1、提交wordcount示例程序1.1、先准备words.txt文件上传到hdfs，文件内容如下：1.2、在hdfs中创建两个文件夹，分别为/input、/output1.3、将创建好的words.txt文件上传到hdfs中/input1.4、提交MapReduce程序至YARN1.5、可通过node1:8088查看1.6、返回我们的服务器，检查输出文
星星法术嗲人·2024-09-07 04:21

Apache Storm：入门了解

前言Storm是一个开源的分布式实时计算系统，它能够处理无边界的数据流，类似于Hadoop对于批量数据处理的作用，但是Storm更侧重于实时数据流的处理。
布说在见·2024-09-07 03:43

如何做大数据测试

2、测试工具：大数据测试需要使用专门的测试工具和框架，如HadoopUnit、ApacheBigTop、JMeter、LoadRunner等，而普通测试则可以使用通用的测试工具和框架，如JUnit、TestNG
测试界潇潇·2024-09-06 18:47

基于Hadoop的学习行为数据云存储平台的设计与实现

基于Hadoop的学习行为数据云存储平台的设计与实现DesignandImplementationofaHadoop-BasedLearningBehavioralDataCloudStoragePlatform
usp1994·2024-09-06 16:03

前端MVVM框架设计及实现（一）

最近抽出点时间想弄个dom模块化的模板引擎，不过现在这种都是MVVM自带的，索性就想自己造轮子写一个简单的MVVM框架了借鉴的自然还是从正美的avalon开始了，我记得还是去年6月写过一个系列的avalon源码分析的
baoaoba9317·2024-09-06 13:08

spring读取java启动参数_Spring Boot启动命令参数详解及源码分析

本文带大家系统的了解一下SpringBoot命令行参数相关的功能及相关源码分析。
weixin_39613692·2024-09-06 10:47

DAG (directed acyclic graph) 作为大数据执行引擎的优点

DR-ConceptuallyDAGmodelisastrictgeneralizationofMapReducemodel.DAG-basedsystemslikeSparkandTezthatareawareofthewholeDAGofoperationscandobetterglobaloptimizationsthansystemslikeHadoopMapReducewhicha
joeywen·2024-09-06 04:43

hadoop-hdfs系统构成

2019独角兽企业重金招聘Python工程师标准>>>HDFS组成1)NameNode元数据2)DataNode存储文件内容block3)SecondaryNameNode合并NameNode与editsHDFS缺点1)不能低延迟访问2)小文件存取占用大量NameNode内存空间寻道时间超过读取时间3)并发写入,文件随机修改一个文件只能有一个写着仅支持appendHDFS存储数据单元1)文件被切分
weixin_33701564·2024-09-06 00:46

python windows路径正则表达式,Python 正则表达式从Windows路径中获取文件夹

推荐文章一，要使用正则表达式相关的方法，首先得搞清楚正则表达式的基本用法，摘自百度百科：元字符描述将下一个字符标记为一个特殊字符推荐文章学习HadoopCommon模块，当然应该是从最简单，最基础的模块学习最好
弓长丶艮·2024-09-06 00:16

Ingest Pipeline & Painless Script

DELETEtech_blogs#Blog数据，包含3个字段，tags用逗号间隔PUTtech_blogs/_doc/1{"title":"Introducingbigdata......","tags":"hadoop
折纸虚桐·2024-09-05 22:03

Hadoop组件

这张图片展示了Hadoop生态系统的一些主要组件。Hadoop是一个开源的大数据处理框架，由Apache基金会维护。
静听山水·2024-09-05 20:14

Azkaban：强大的开源工作流调度系统

Azkaban是LinkedIn开发的一款开源工作流调度系统，专为管理和调度大规模的Hadoop作业设计。它提供了一种简单且有效的方式来定义、调度和监控复杂的工作流，确保批处理任务按预期顺序执行。
Hello.Reader·2024-09-05 15:15

Hadoop-MapReduce机制原理

、MapReduce概述2、MapReduce特点3、MapReduce局限性4、MapTask5、Map阶段步骤：6、Reduce阶段步骤：7、MapReduce阶段图1、MapReduce概述  HadoopMapReduce
H.S.T不想卷·2024-09-05 11:46

大数据生态圈里的一致性算法

大数据生态圈中，保证一致性的方式举不胜举Hadoop用Zookeeper（Zab，Paxos+事务顺序）ElasticSearch用Hash路由算法（非一致性Hash）Cassandra用Gossip闲话算法
宇宙湾·2024-09-05 07:35

Ribbon 源码分析【Ribbon 负载均衡】

前言在SpringCloud2020版本以后，移除了对Netflix的依赖，也就移除了负载均衡器Ribbon，SpringCloud官方推荐使用Loadbalancer替换Ribbon，而在LoadBalancer之前SpringCloud一直使用的是Ribbon来做负载[均衡器的，而且Ribbon的负载均衡策略也比Loadbalancer更为丰富，本篇分享一些关于Ribbon相关的源码。Ribb
码农爱java·2024-09-05 07:18

nginx源码分析--内存池

内存池是nginx很重要的数据结构，结构图大概如下。ngx_palloc.h/**Copyright(C)IgorSysoev*Copyright(C)Nginx,Inc.*/#ifndef_NGX_PALLOC_H_INCLUDED_#define_NGX_PALLOC_H_INCLUDED_#include#include/**NGX_MAX_ALLOC_FROM_POOLshouldbe(n
theanarkh·2024-09-05 04:01

EMR组件部署指南

本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8ElasticsearchKafkaFlinkZookeeperHBaseHadoopPhoenixScalaSparkHive准备工作所有操作都在
ivwdcwso·2024-09-05 00:05

kube-scheduler调度策略之优选算法(四)

二、正文说明：基于kubernetesv1.12.0源码分析上文我们说的(g*genericScheduler)Schedule()函数调用了PrioritizeNodes()执行优选策略(打分)，接下来我们就具体展开分析
SRExianxian·2024-09-04 23:31

Mac 安装Hadoop教程（HomeBrew安装）

1.引言本教程旨在介绍在Mac电脑上安装Hadoop，便于编程开发人员对大数据技术的熟悉和掌握。2.前提条件2.1安装JDK想要在你的Mac电脑上安装Hadoop，你必须首先安装JDK。
追光天使·2024-09-04 22:21

Sublime text3+python3配置及插件安装

微信公众号：rayson_666(Rayson开发分享)个人专研技术方向：微服务方向：springboot,springCloud,Dubbo分布式/高并发：分布式锁，消息队列RabbitMQ大数据处理：Hadoop
raysonfang·2024-09-04 19:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他