hadoop源码分析

Hadoop三大核心组件，hadoop原理

Hadoop的三大核心组件分别是：HDFS（HadoopDistributeFileSystem）：hadoop的数据存储工具。
你敢和我比剑吗·2024-01-27 09:03

Hadoop2.0架构及其运行机制，HA原理

文章目录一、Hadoop2.0架构1.架构图2.HA1)NameNode主备切换2)watcher监听3)脑裂问题3.组件1.HDFS2.MapReduce3.Yarn1.组件2.调度流程一、Hadoop2.0
Toner_唐纳·2024-01-27 09:30

Hadoop 原理及架构详解

###README本文是基于黑马程序员的Hadoop网课的前半部分整理的笔记，主要介绍了相关操作与组件架构。
Should·L·2024-01-27 09:25

Android SharedPreferences源码分析

文章目录AndroidSharedPreferences源码分析概述基本使用源码分析获取SP对象初始化和读取数据写入数据MemoryCommitResultcommitToMemory()commit(
xiangxiongfly915·2024-01-27 08:19

Hadoop与Spark横向比较【大数据扫盲】

大数据场景下的数据库有很多种，每种数据库根据其数据模型、查询语言、一致性模型和分布式架构等特性，都有其特定的使用场景。以下是一些常见的大数据数据库：1.**NoSQL数据库**：这类数据库通常用于处理大规模、非结构化的数据。它们通常提供简单的查询语言，并强调水平扩展和高可用性。例如：-**键值存储**：如Redis，AmazonDynamoDB-**列式存储**：如ApacheCassandra，
super_journey·2024-01-27 07:51

Hadoop增加新节点环境配置（自用）

完成Hadoop集群增添一个新的节点配置（文中命名为）Hadoop106，没有进行继续为该节点分配身份职能的步骤1.在VMware中安装CentOS7新建虚拟机1.
革斤要加油·2024-01-27 07:50

Hadoop-MapReduce-MRAppMaster启动篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在上一篇中已经将到：作业提交到ResourceManager
隔着天花板看星星·2024-01-27 07:20

flink系列--flinksql cdc源码分析

前言关于cdc（changedatacapture）不知道的小伙伴们可以去百度一下，简单来说就是对于数据库的变更进行一个探测，因为数据库的更改对于客户端来说是没有感知的，你需要开启线程去查询，才知道数据有没有更新，但是就算是查询，如果是直接select*from....,这样获取的结果还要和上次获取的结果对比，才知道数据有没有发生变化，耗时大，一个简单的思路是在要查询的表中添加一个updateTi
鲸失·2024-01-27 07:17

企业级大数据安全架构（六）数据授权和审计管理

作者：楼高本节详细介绍企业级大数据架构中的第六部分，数据授权和审计管理1.Ranger简介ApacheRanger是一款被设计成全面掌管Hadoop生态系统的数据安全管理框架，为Hadoop生态系统众多组件提供一个统一的数据授权和管理界面
云掣YUNCHE·2024-01-27 07:30

RestTemplate-postForObject详解、调用Https接口、源码解析，读懂这一篇文章就够了

读懂这一篇文章就够了restTemplate目录restTemplate1.基本介绍2.常用方法分析及举例2.1.get请求2.2.post请求3.springboot中使用restTemplate步骤4.源码分析
C18298182575·2024-01-27 06:06

1分钟了解基于Hadoop的数据仓库工具Hive(附超实用示例)

Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL
yuyuyuyo·2024-01-27 05:53

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki5·2024-01-27 03:24

实时分析海量新数据的难点 和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新
云台095·2024-01-27 03:40

[AIGC 大数据基础] 浅谈hdfs

HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统的一部分，是一个分布式文件系统。
程序员三木·2024-01-27 01:00

idea上搭建pyspark开发环境

1环境版本说明python版本：Anaconda3.6.5spark版本：spark-2.4.8-bin-hadoop2.7idea版本：2019.32环境变量配置2.1python环境变量配置将python.exe
jackyan163·2024-01-27 00:06

五、详解ReentrantLock

目录死锁ReentrantLock与Synchronized对比源码分析Lock接口lock()实现NonfairSynctryAcquire()addWaiter()acquireQueued()FairSynctryAcquire
每天都得进步·2024-01-27 00:29

八.压缩和存储

8.1Hadoop源码编译支持Snappy压缩(了解)8.1.1资源准备1）CentOS联网配置CentOS能连接外网。
临时_01e2·2024-01-26 21:13

大数据开发必备工具——Hadoop及整体架构介绍

Hadoop是一个由Apache软件基金会开发的开源Java软件框架，专为大数据处理设计，支持在大量计算机组成的集群上进行数据存储和分布式计算。
love6a6·2024-01-26 21:03

DDIM官方代码调试

ddim官方源码分析官方源码ddimβt∈(0,1)\beta_t\in(0,1)βt∈(0,1)的计算方式，有好几个种，源码中给出"linear"，“const”，“jsd”，“sigmoid”，取值范围在
FMsunyh·2024-01-26 19:33

hadoop-MR

1.MR执行原理1.MAP阶段在这里插入图片描述2.Reducer在这里插入图片描述3.shuffle阶段在这里插入图片描述2.实操1.导入maven配置org.apache.hadoophadoop-mapreduce-client-common2.7.1org.apache.hadoophadoop-mapreduce-client-core2.7.12
炽热_3a57·2024-01-26 19:06

Hadoop 3.1.1 HDFS 集群部署

Hadoop3.1.1HDFS集群部署依赖服务系统优化查看ZooKeeper集群状态创建路径配置/etc/profile配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh配置
JP.Hu·2024-01-26 19:37

hadoop安装遇到的一些障碍

一.start-dfs.sh（开启不成功）原因：1.dadoop文件所属者与执行时登陆者不一致（权限不足）报错：WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.Startingnamenodeson
GetIdea·2024-01-26 18:30

Android系统启动-Zygote进程

本篇文章基于Android6.0源码分析相关源码文件：/system/core/rootdir/init.rc/system/core/rootdir/init.zygote64.rc/frameworks
isLJli·2024-01-26 18:57

指导手册05：MapReduce编程入门

指导手册05：MapReduce编程入门Part1:使用Eclipse创建MapReduce工程操作系统：Centos6.8,hadoop2.6.4情景描述：因为Hadoop本身就是由Java开发的，所以通常也选用
weixin_30655219·2024-01-26 17:56

OWT WebRTC win客户端示例程序UML源码分析

目录一，对象创建,连接OWT服务器过程1.1主要类功能概述：1.2用户点击“connect”,对象创建与连接时序图：二，订阅流2.1订阅流subscribe创建并初始化peerconnection2,2订阅流CreateOffer2,3订阅流交换AnswerSDP三，发布流3.1Publish创建过程3.2Publish_Offer3.3Publish_Answer3.4Publish_faile
FM971·2024-01-26 16:31

OWT Server之webrtc_agent源码分析_接收流

一，对象创建流程connection.js封装并调用了rtcConn.node;wrtcConnection.js封装并调用了rtcFrame.node;oem@svr1804:~/git/owt-server/dist-debug$ll-hwebrtc_agent/rtcFrame/build/Release/rtcFrame.node-rwxrwxr-x1oemoem7.7M5月1422:57
FM971·2024-01-26 16:01

Disruptor核心源码分析

Disruptor核心源码分析说来惭愧，Log4j2的异步日志已经用了将近2年时间了。但是每次想看Disruptor源码的时候，总是没能坚持下去。这次通过一次生产环境的故障，坚定了看源码的决心。
黑喂狗呀·2024-01-26 15:43

Spark3学习笔记

文章目录一、Spark基础1、Spark概述1.1Spark简介1.2SparkVSHadoop1.3Spark特点1.4Spark入门Demo2、Spark运行模式2.1概述2.2Local模式2.3Standalone
魅Lemon·2024-01-26 15:38

源码分析：同步基础框架——AbstractQueuedSynchronizer(AQS)

简介AQS全称是AbstractQueuedSynchronizer，位于java.util.concurrent.locks包下面，AQS提供了一个基于FIFO的队列和维护了一个状态state变量赖表示状态，可以作为构建锁或者其他相关同步装置的基础框架。AQS支持两种模式：共享模式和排他模式，当它被定义为一个排他模式时，其他线程对其的获取就被阻止，而共享模式对于多个线程获取都可以成功。之所以说它
jinglingwang·2024-01-26 14:56

Java后端面试攻略（源码分析思路+面试经验+资料面经）

从八月开始一直准备面试，经历过TXHR面挂，阿里内推简历面挂（第一面就是阿里简历面紧张的话都不会说）。最终阿里自主投递六轮面终于上岸！（目标就是AT，B就不考虑了，总觉得B厂连自己的核心搜索都做不好，居然将未来压在虚无缥缈的AI上）一、自我总结：1）首先最重要的一点。对自己的要求高点。不要以简单的求职者来要求自己。你要想你会的别人都会你的核心竞争力是什么呢。所以楼主建议以Java高级工程师来要求自
不会敲代码的谌·2024-01-26 14:14

JAVA_ArrayList添加元素时的源码分析（jdk17)

目录ArrayList在Collection中的位置：ArrayList集合底层原理：先总结：ArrayList底层是数组结构的：查找快，增删慢看源码：看一些重要的源码：第一次存元素：逻辑总览图：长度为10的底层数组存满后继续存：逻辑总览图：ArrayList在Collection中的位置：因为ArrayList是List接口和Collection接口的实现类，所以它们的方法ArrayList也可
成果、·2024-01-26 14:29

JAVA_LinkedList添加元素源码分析（jdk17）

目录先看一些重要的源码：开始分析：底层数据结构是双链表，查询慢，首尾操作是极快的，所以多了很多首尾操作的特有Api：addlast和add一样元素默认添加到末尾，了解即可。先看一些重要的源码：1.首先找到LinkedList-->Alt+7看大纲-->找到内部类Node：可以看到这里的构造方法的参数分别是：prev：前一个结点的地址值element：要存入的元素next：后一个结点的地址值这个一定
成果、·2024-01-26 14:57

33-ScheduledThreadPoolExecutor源码分析

ScheduledThreadPoolExecutor源码分析自JDK1.5开始，JDK提供了ScheduledThreadPoolExecutor类来支持周期性任务的调度。
史路比·2024-01-26 11:39

Apache 辅助系统工具

一丶ApacheSqoop1.Sqoop的介绍：Sqoop的工作机制是将导入或者导出的命令翻译成MapReduce实现，Sqoop可以理解为：SQL到Hadoop或者Hadoop到SQL2.Sqoop的安装配置文件修改
月初，·2024-01-26 11:16

centos同步服务器时间

不同步互联网查看所有节点ntpd服务状态sudosystemctlstatusntpdsudosystemctlstartntpdsudosystemctlis-enabledntpd查询自己的网段ipaddr修改hadoop102
热爱技术的小陈·2024-01-26 10:39

Zookeeper3.5.7源码分析

文章目录一、Zookeeper算法一致性1、Paxos算法1.1概述1.2算法流程1.3算法缺陷2、ZAB协议2.1概述2.2Zab协议内容3、CAP理论二、源码详解1、辅助源码1.1持久化源码(了解)1.2序列化源码2、ZK服务端初始化源码解析2.1启用脚本分析2.2ZK服务端启动入口2.3解析参数zoo.cfg和myid2.4过期快照删除2.5初始化通信组件3、ZK服务端加载数据源码解析3.1
魅Lemon·2024-01-26 09:55

Hadoop3.x源码解析

文章目录一、RPC通信原理解析1、概要2、代码demo二、NameNode启动源码解析1、概述2、启动9870端口服务3、加载镜像文件和编辑日志4、初始化NN的RPC服务端5、NN启动资源检查6、NN对心跳超时判断7、安全模式三、DataNode启动源码解析1、概述2、初始化DataXceiverServer3、初始化HTTP服务4、初始化DN的RPC服务端5、DN向NN注册6、向NN发送心跳四、
魅Lemon·2024-01-26 09:54

Hadoop3.x学习笔记

文章目录一、Hadoop入门1、Hadoop概述1.1简介1.2hadoop优势1.3hadoop组成1.4大数据技术生态体系2、环境准备(重点)2.1模板机配置2.2模板创建3、本地运行模式（官方WordCount
魅Lemon·2024-01-26 09:24

林浩然与Hadoop的奇幻数据之旅

林浩然与Hadoop的奇幻数据之旅LinHaoranandtheEnchantingDataJourneywithHadoop在一个名为“比特村”的地方，住着一位名叫林浩然的程序员大侠。
howard2005·2024-01-26 09:20

SpringBoot源码分析篇一

SpringBoot源码分析篇一org.springframework.bootspring-boot-starter-parent2.7.1SpringApplication认知基本介绍此类可以用来引导和发起一个源于
for62·2024-01-26 08:41

Hadoop YARN 在快手的应用实践与技术演进之路

yarn的背景yarn大家都比较熟悉了，是从Hadoop1.0分离到2.0的比较重要的特性，把原来的jobtracker集中式调度变成yarn的二级调度，解决集群扩展性的问题。
yoku酱·2024-01-26 08:32

Django-16：rest-framework与jwt

rest-framework与jwt一、web开发模式1.1前后端不分离1.2前后端分离二、api接口2.1postman2.2Restful规范三、DjangoRestFramework初识四、APIView4.1CBV源码分析
阿煜酱~·2024-01-26 06:08

通过养猪给女朋友讲解Hadoop(一)

六、规章整治奈何桥程序员老王，阎王爷，黑白无常，牛头马面，孟婆。“铃铃铃~”刚躺下的老王又被电话吵醒了，老王接起电话，习惯性地说：“老板，又是哪个系统挂了啊。”“我不是你老板，我是阎王爷”电话那头传来沧桑的声音。“阎王爷，我上有老，下有小，我知道我这么加班不对，但我都是为了生计啊，恳请阎王爷再宽限我几年吧，我把房贷还完就下去报道。”老王哽咽地说着。“这次找你不是想结束你在人间的进程，只是想让你来地
程序员峰哥·2024-01-26 05:55

Azkaban 源码分析之作业提交

介绍:Azkaban提交作业有两种:通过人为手动提交一个作业通过调度信息去调度执行一个作业1.作业调度信息:1.1通过人为去手动提交一个作业:用户提交作业首先需要通过LoginAbstractAzkabanServlet中的doGet方法用户通过doGet进入handleGet（azkaban-web-server/ExecutorServlet）方法，然后进入ajaxAttemptExecute
陌城小川·2024-01-26 04:01

Flink1.13集成Hadoop3.x以上版本

文章目录背景说明出现问题问题分析问题解决解决展示参考资料背景说明在搭建Flink的HA高可用集群后，打不开webUI界面出现问题打开log日志查看org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:Couldnotfindafilesystemimplementationforscheme'hdfs'.Theschemeisn
未来影子·2024-01-26 04:22

flink1.13.0 环境搭建

#flink部署1.standalone模式2.yarn模式session-cluster模式job-cluster模式3.k8s模式注：yarn模式需要依赖hadoop环境，搭建请参考：https:/
AinUser·2024-01-26 04:50

橘子皮的实习周记——第一周总结

一周小总结：目前入职上班时间一周，主要内容是对一个项目进行一些基础的添加操作(用领导A的话来说，就是熟悉一下业务)，我最头疼的就是使用kafkahbasehadoop这些技术，对MySQL内的数据进行一个同步
程序员橘子皮·2024-01-26 03:35

Flink1.13.x+iceberg环境搭建

1.安装hadooptar-zxvfhadoop-2.10.1.tar.gz配置JDK和Hadoop环境变量vi/etc/profileexportJAVA_HOME=/usr/lib/jvm/java
姚贤贤·2024-01-26 02:22

HDFS操作

文章目录主要内容1.编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：一.shell命令行实现1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件
K要努力·2024-01-26 02:43

Redis整合

目录一、事务二、乐观锁三、Jedis四、Springboot整合Redis4.1创建springboot项目，勾选对应的依赖4.2源码分析4.3配置文件4.4测试4.5自定义序列化方式4.5.1JSON
几两春秋梦_·2024-01-26 01:19
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他