hadoop源码分析

阅读《再谈Android各种Context的前世今生》

原文地址https://mp.weixin.qq.com/s/uoAeuJTqjBvM7zGgeEgdRA很好的源码分析解释了四大组件的context是怎么来的“在创建Application的时候，会先构造
普通的程序员·2024-01-26 01:40

Soul源码阅读-Day05

下面是以Dubbo的MetaData数据为例进行源码分析。核心类SoulWebsocketC
铁皮_howard·2024-01-26 01:12

Hbase伪分布式的安装和配置

一、版本信息和环境1、版本信息：jdk1.8.0_112hadoop-2.6.0zookeeper-3.4.6hbase-1.2.6.12、环境hadoop+zookeeper+hbase,hadoop
lukeyan·2024-01-26 00:41

安卓MediaRecorder(4)视频采集编码写入详细源码分析

文章目录前言视频采集视频编码视频编码写入结语本文首发地址https://blog.csdn.net/CSqingchen/article/details/134896821最新更新地址https://gitee.com/chenjim/chenjimblog前言通过文2我们知道了MediaRecorder各个接口Framework中的实现。通过文3我们知道了MediaRecorder底层音频的采集
清霜辰·2024-01-25 23:08

Spring源码分析：refresh()

refresh()中共有13个方法，分别为1.prepareRefresh()容器刷新前的准备，设置上下文状态，获取属性，验证必要的属性等protectedvoidprepareRefresh(){//spring启动时间this.startupDate=System.currentTimeMillis();//spring标记为未关闭this.closed.set(false);//spring
weixin_44145526·2024-01-25 22:25

大数据技术之Spark

1.2SparkandHadoopHadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里简单说一下Spark和Hadoop的关系。
严同学正在努力·2024-01-25 21:38

大数据开发之Spark（完整版）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key·2024-01-25 21:05

Flink 源码之新 Source 架构

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录背景Flink原先数据源一直使用的是SourceFunction。
AlienPaul·2024-01-25 21:39

Hadoop on Yarn 提交job失败：java.net.ConnectException：Connection refused

报错：INFOorg.apache.hadoop.service.AbstractService:ServiceNodeManagerfailedinstateSTARTED;cause:org.apache.hadoop.yarn.exceptions.YarnRuntimeException
Anthons·2024-01-25 20:58

sqoop之hive数据仓库和oracle数据库数据转换

sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres
Summer_1981·2024-01-25 20:37

spakr 提交任务

当前集群支持3中集群管理Standalone（spak框架自身拥有能力）ApacheMesosHadoopYARNKubernetes使用/spark-submit脚本提交任务，脚本后面可以接参数.
新鲜氧气·2024-01-25 19:55

httpclient架构原理介绍 & 连接池详解

本篇重点介绍httpclient连接池的相关原理以及介绍，顺带的介绍httpclient发送请求时的简单介绍，并会带上一些源码分析。本篇博文是基于httpclient的4.5.2版本进行介绍的。
Zal哥哥·2024-01-25 19:50

hadoop 问题集

1.org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:TheauxService:mapreduce_shuffledoesnotexistyarn
Pure_Eyes·2024-01-25 17:18

【力扣每日一题】力扣2859计算k位置下标对应元素的和（bitCount源码分析及实现）

题目来源力扣2859计算k位置下标对应元素的和题目概述给你一个下标从0开始的整数数组nums和一个整数k。请你用整数形式返回nums中的特定元素之和，这些特定元素满足：其对应下标的二进制表示中恰存在k个置位。整数的二进制表示中的1就是这个整数的置位。例如，21的二进制表示为10101，其中有3个置位。思路分析大部分语言都内置了bitCount函数，最简单的方法就是调用库函数了。bitCount函数
写做四月一日的四月一日·2024-01-25 16:43

Java Lambda 表达式源码分析

Lambda表达式是什么？JVM内部究竟是如何实现Lambda表达式的？为什么要这样实现？基本概念Lambda表达式下面的例子中，()->System.out.println("1")就是一个Lambda表达式。Java8中每一个Lambda表达式必须有一个函数式接口与之对应。Lambda表达式就是函数式接口的一个实现。@Testpublicvoidtest0(){Runnablerunnable
Java盘鱼宴·2024-01-25 16:04

大数据分析组件Hive-集合数据结构

Hive的数据结构前言一、array数组类型二、map键值对集合类型三、struct结构体类型前言Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式数据集。
Aimyon_36·2024-01-25 15:15

[AIGC 大数据基础]hive浅谈

Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。
程序员三木·2024-01-25 14:17

hadoop集群部署

hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。
Cat God 007·2024-01-25 12:45

Hadoop集群的部署，安装和管理（头歌）

示例集群信息以下表格为本教程所用示例集群节点信息：我们准备了三台虚拟服务器，连接方式如下：第一步我们需要在evassh服务器初始化虚拟服务器：cd/optwrapdockerulimit-funlimiteddockerload-iubuntu16-ssh.tardocker-composeup-d注意：请不要在各个虚拟服务器之间进行ssh登录，这种操作会导致无法保存配置数据。正确方法是：在虚拟服
小坏蛋儿&·2024-01-25 12:14

hadoop集群规划部署

一、集群规划三台硬件资源，部署hadoop版本，hadoop-3.3.5，部署后配置文件。Hadoop配置文件分两类：默认配置文件和自定义配置文件。
Snower_2022·2024-01-25 12:43

PWN入门&Protostar靶场Stack系列

Protostar靶场地址https://exploit.education/protostar/溢出源码分析#include#include#includeintmain(intargc,char**
cike_y·2024-01-25 12:38

Hbase集群安装部署

安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper集群，并启动HBase集群安装部署下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com
我还不够强·2024-01-25 12:02

Webrtc 源码分析起步

本文是从Webrtc实际应用的方面介绍如何快速理解Webrtc的源码。Webrtc是用于web的实时通信框架，也可以直接使用Google开源的Webrtc实现来开发非Web的APP。要理解如何使用webrtc的源码，最好是先懂得Webrtc通信的流程，请查看用Webrtc实现免费的1对1高清实时视音频会议系统就可以了解Webrtc的接口使用流程，了解这个流程后就可以快速理解Google开源的那部分
大飞飞鱼·2024-01-25 12:45

详解Linux运维工程师高级篇（大数据安全方向）.

hadoop安全目录：kerberos（已发布）elasticsearch（已发布）http://blog.51cto.com/chenhao6/2113873knoxoozierangerapachesentry
weixin_30588729·2024-01-25 10:14

大数据Hadoop/Hive学习笔记一（基础概念）

大数据Hadoop/Hive学习笔记一（基础概念）一，概念介绍：大数据：大数据一般用来描述一种数量庞大，复杂的数据集，传统数据处理应用程序难以应对。
lucky_myj·2024-01-25 09:46

Hudi学习笔记5 - Hudi配置分析（1）

Hudi官方配置文档：https://hudi.apache.org/docs/configurations，从源码分析可以看到配置项hoodie.payload.ordering.field已经废弃，
一见·2024-01-25 09:40

【Spring源码分析】从源码角度去熟悉依赖注入（二）

从源码角度去熟悉依赖注入（二）一、AutowiredFieldElement注入分析二、AutowiredMethodElement注入分析三、doResolveDependency源码分析1.
假正经的小柴·2024-01-25 09:02

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23

Hadoop-HDFS高可用

原理参考官网介绍：ApacheHadoop3.3.6–HDFSHighAvailabilityUsingtheQuorumJournalManager二、背景在Hadoop2.0.0之前，NameNode
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce使用说明

下面让我们跟着官网来学习下吧ApacheHadoop3.3.6–MapReduceTutorial二、运行流程大致描述1、用户通过jo
隔着天花板看星星·2024-01-25 09:52

Hadoop-YARN概览

一、什么是YARNYetAnotherResourceNegotiator，另一种资源协调者，简称YARN。基本思想是将资源管理和作业调度/监视的功能拆分为单独的守护进程。其想法是拥有一个全局ResourceManager（RM）和每个应用程序的ApplicationMaster（AM）。可以支持单个作业，也可以支持多个作业的DAG。被称为另一种资源协调者，那就证明有一种比YARN更早的资源协调者
隔着天花板看星星·2024-01-25 09:52

Hadoop-HDFS读流程（从输入命令到回显）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、静静的思考一会儿爱因斯坦说过：想象力比知识更重要。想象力推动世界，是知识进化的源泉。我们先不看源码，先通过官方架构图和我们对HDFS的了解来想象下读流程是什么样的。我要读HDFS上的一份文件，首先需要知道它在哪台节点上，HDFS上存储的文件都是以块的形式存放在各个DataNode节点上。因此需要知道这
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce-源码跟读-客户端篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、从WordCount进入源码用idea将源码加载进来后
隔着天花板看星星·2024-01-25 09:52

hadoop 三种运行方式

一、本地运行方式1创建在hadoop-3.3.5文件下面创建一个wcinput文件夹[antares@hadoop1hadoop-3.3.5]$mkdirwcinput[antares@hadoop1hadoop
Snower_2022·2024-01-25 09:51

Hadoop-MapReduce-跟着日志理解整体流程

一、数据准备viinput_01.txtviinput_02.txtviinput_03.txt文本内容如下：-----------------input_01.txt----------------javascalapythonc++javajsgogovbaccc++javascalapythonphpcsshtmljsjavajavascalavbac#.netRRRjava--------
隔着天花板看星星·2024-01-25 09:49

HBase学习五：运维排障之备份与恢复

HBase的所有文件都存储在HDFS上，因此只要使用Hadoop提供的文件复制工具distcp将HBASE目录复制到同一HDFS或者其他HDFS的另一个目录中，就可以完成对源HBase集群的备份工作copyTable
Studying！！！·2024-01-25 09:49

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12

基于CentOS7 Hadoop-2.7.2伪分布式部署

1、基本环境Linux版本：CentOS7.0JDK版本：jdk-7u79-linux-x64.tar.gzHadoop版本：hadoop-2.7.2.tar.gzjdk以及Hadoop安装在/usr目录下
程序员小H·2024-01-25 07:23

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2024-01-25 07:49

（一）Netty服务端启动类源码分析

目录前言一、Netty版本二、Netty提供的服务端样例：EchoServer类解析前言本文需要了解一些Netty的基础知识，建议直接下载源码进行阅读，如果有错误疑问，欢迎指正讨论一、Netty版本源码分析系列基于
_isPan·2024-01-25 06:36

Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
小猪Harry·2024-01-25 05:09

Lucene 源码分析——BKD-Tree

Lucene源码分析——BKD-Tree-AIQBkd-TreeBkd-Tree作为一种基于K-D-B-tree的索引结构，用来对多维度的点数据(multi-dimensionalpointdata)集进行索引
大叶子不小·2024-01-25 05:17

源码分析：Redis hash和Java HashMap、ConcurrentHashMap区别

简述大家在开发工作中经常使用的key-value的数据结构，像Java中有HashMap，线程安全的ConcurrentHashMap，在Redis中hash结构更是最基础的；这里我们来分析一下它们的底层数据结构，包括如何扩容的；HashMapJava的HashMap是比较传统的数据结构了，网上关于HashMap的数据结构介绍有很多，就不再过多赘述了，这里咱们以JDK1.8的为主；我们重点关注Ha
史啸天·2024-01-25 02:28

Spring系列之Spring常用注解总结

交流群：818491202验证：33关注公众号领资料搜索公众号【Java耕耘者】,回复【Java】，即可获取大量优质电子书和一份Java高级架构资料、Spring源码分析、Dubbo、Redis、Netty
Java耕耘者·2024-01-25 01:19

源码分析：高性能限流器Guava RateLimiter

主题本章我们来分析GuavaRateLimiter是如何解决高并发场景下的限流问题的Guava是Google开源的Java类库，提供了一个工具类RateLimiter。使用时候必须加入以下依赖：com.google.guavaguava${version}其中${version}参考https://search.maven.org/search?q=g:com.google.guava%20AND
逗逼程序员·2024-01-25 01:19

Python requests网络库源码分析（第三篇：通过学习异常模块，了解http协议）

前言作者在requests包下，定义了exceptions模块，该模块中定义执行http请求过程中常见的错误，熟悉这些错误有助于我们写出健壮的业务程序，同时还能温习http的知识点，本文基于的requests版本为2.27.1exceptions模块，位于requests包中exceptions模块中又定义了很多类，每个类创建的对象，代表一个http错误，可见作者对于http协议有多熟悉逐个介绍一
叫我王员外就行·2024-01-25 00:03

flask_apscheduler源码分析

前言遵循flask框架的标准的库，称为flask扩展，flask_apscheduler模块就是一个flask扩展，它使用了flask编程上下文，同时内部完全依赖apscheduler。我近期使用flask_apscheduler遇到了一个所有job全部死亡的bug。现象：job平时是正常启动的，突然某个时刻全部挂了，所以需要分析一遍源码，找出解决方案，同时也能提高自己的代码阅读能力，大家一起学习
叫我王员外就行·2024-01-25 00:32

ThreadLocal

image.pngThreadLocal的源码分析Thread类中有个变量threadLocals，
程序员札记·2024-01-24 23:42

linuxPWM子系统源码分析--Apple的学习笔记

一，前言所谓学习，那么就和单纯完成任务是不同的，我的学习也是有目标的，那么从linux驱动开发的角度来说，若只是配置下就能用了，这样有点知其然而不知其所以然，所以我的目标就是先会用，然后学习框架及源码，便于将来遇到问题后调试定位和代码优化。另外，最主要的就是学习linux中面向对象的抽象设计思路。所以做完了SG90的PWM后，那么就要分析PWM源码了。并且发现了看源码有助于我在写驱动的时候对函数的
applecai·2024-01-24 21:03

Spark基本架构及原理

Hadoop和Spark的关系Spark运算比Hadoop的MapReduce框架快的原因是因为Hadoop在一次MapReduce运算之后,会将数据的运算结果从内存写入到磁盘中,第二次Mapredue
李飞_fd28·2024-01-24 20:50
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他