hadoop源码分析

Flink是如何管理内存的

在讲Flink管理内存之前要了解下Flink为什么要自己实现内存管理一、Flink为什么要自己实现内存管理在大数据领域，大多数数据相关的开源框架（Hadoop、Spark、Storm）都是基于JVM运行的
Relian哈哈·2024-01-22 08:13

hive sql转换成MR任务过程

)、WEBUI（浏览器访问hive）2）元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；3）Hadoop
上官沐雪·2024-01-22 08:08

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

Android wifi探究四：Wifi P2P framework层源码分析

上一篇博客对应用程序下使用Wi-FiP2PApi连接附近的设备的过程做了一个简单的梳理，我们只是学会了怎么使用api,但对api背后的机制一无所知。那么这篇博客就开始尝试分析api背后的实现机制，也就是androidframework中Wi-FiP2P的工作机制。WifiP2P在framework层也是一个Service，它的启动过程和WifiService一样：mSystemServiceMan
阳光玻璃杯·2024-01-22 06:58

SpringCloud Gateway微服务网关实战与源码分析

概述定义SpringCloudGateway官网地址https://spring.io/projects/spring-cloud-gateway/最新版本3.1.3SpringCloudGateway文档地址https://docs.spring.io/spring-cloud-gateway/docs/current/reference/html/SpringCloudGatewayGitHu
Java技术人·2024-01-22 05:09

SpringBoot 自定义Banner

源码分析通常我们SpringBoot项目是通过SpringBoot.run(Appcation.class)启动的。
假女吖☌·2024-01-22 05:27

Flink 源码之 Window Slice

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言Windowslice是Flink对SQLwindow聚合的一种优化方式。
AlienPaul·2024-01-22 04:29

看看关系型数据库是怎么吊打Hadoop的

所以在不少架构中，会看到使用ETL的方式将数据库送到Hadoop中，使用其分布式存储和分布式计算的特点来进行分析。
薛晓刚·2024-01-22 02:58

25.集群异常故障分析——HOSTS

25.1问题情况Hadoop集群HDFS、YARN、Hive等服务出现异常告警重启集群异常告警任然存在大量告警Cluster1HDFS可用空间抑制...NameNode运行状况抑制...HDFS金丝雀抑制
大勇任卷舒·2024-01-22 02:51

并发编程（八）——异步编程

一、FutureTask应用&源码分析1.1FutureTask介绍FutureTask是一个可以取消异步任务的类。FutureTask对Future做的一个基本实现。
小灰灰-58·2024-01-22 01:41

SpringCloudAlibaba系列之Nacos配置管理

目录说明认识配置中心Nacos架构图Nacos配置管理实现原理核心源码分析-客户端核心源码分析-服务端配置修改的实时通知主流配置中心对比小小收获说明本篇文章主要目的是从头到尾比较粗粒度的分析Nacos配置中心的一些实现
逆流而上的龟·2024-01-21 22:37

SpringBoot的启动流程源码分析

new一个IOC容器，传入配置好的文件xml,在这个地方打bugAnnotationConfigApplicationContextcontext=newAnnotationConfigApplicationContext(MyConfig.class);在这个debug的栈帧中，下面几个不用看，直接看到getBean内容如图所示，name传的就是我们在xml的bean标签的id,这里是insta
爱生活，更爱技术·2024-01-21 22:30

FutureTask应用&源码分析

FutureTask应用&源码分析1.1FutureTask介绍FutureTask是一个可以取消异步任务的类。FutureTask对Future做的一个基本实现。可以调用方法区开始和取消一个任务。
小笨哥·2024-01-21 22:20

Semaphone应用&源码分析

Semaphone应用&源码分析3.1Semaphore介绍sync，ReentrantLock是互斥锁，保证一个资源同一时间只允许被一个线程访问Semaphore（信号量）保证1个或多个资源可以被指定数量的线程同时访问底层实现是基于
小笨哥·2024-01-21 22:19

CyclicBarrier应用&源码分析

二、CyclicBarrier应用&源码分析2.1CyclicBarrier介绍从名字上来看CyclicBarrier，就是代表循环屏障Barrier屏障：让一个或多个线程达到一个屏障点，会被阻塞。
小笨哥·2024-01-21 22:49

CompletableFuture应用&源码分析

CompletableFuture应用&源码分析2.1CompletableFuture介绍平时多线程开发一般就是使用Runnable，Callable，Thread，FutureTask，ThreadPoolExecutor
小笨哥·2024-01-21 22:48

Hive SQL的编译过程（转）

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。
愤怒的谜团·2024-01-21 20:40

Hbase笔记

HBase-1.hbase介绍ApacheHBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储。当您需要对大数据进行随机，实时读/写访问时，请使用ApacheHBase™。
MFRain·2024-01-21 20:24

作为所有类的顶层父类，没想到Object的魔力如此之大！

源码分析跟进Object类的源码中我们可以看到，类的注释中对它做了一个总结性的注释。在Object的内部主要提供了这样的11种方法，大家可以在源码中一个个的跟进
JavaBuild888·2024-01-21 18:35

Android进阶之自定义View原理(三)View的绘制流程

，并举例说明了这两个知识点的具体应用，本篇我们继续从源码入手看看View的绘制流程，与测量和布局流程，View的绘制过程要简单一些，主要流程如下:View绘制流程图.png（一）View的draw流程源码分析
kakaxicm·2024-01-21 17:03

spark on yarn安装部署

所使用的安装包名称按自己的修改，安装包可去各大官网上下载一，解压tar-zxvf/opt/software/spark-3.1.1-bin-hadoop3.2.tgz-C/opt/module/修改名称
佛系爱学习·2024-01-21 17:11

JUC并发编程与源码分析学习笔记(二)

二十九、多线程锁之线程锁知识概述说说Java“锁”事从轻松的乐观锁和悲观锁开讲通过8种情况演示锁运行案例，看看我们到底锁的是什么公平锁和非公平锁可重入锁（又名递归锁）死锁及排查写锁（独占锁）/读锁（共享锁）自旋锁SpinLock无锁->独占锁->读写锁->邮戳锁无锁->偏向锁->轻量锁->重量锁大厂面试题复盘并发编程高级面试解析一、Synchronized相关问题1、Synchronized用过吗
突然好想你之路在脚下·2024-01-21 17:11

Go源码分析——Slice篇

Go源码分析专栏Go源码解析——Channel篇Go源码分析——Map篇Go源码分析——Slice篇文章目录Go源码
卑微的程序猿·2024-01-21 16:28

黑猴子的家：API 操作 HDFS 文件下载

1、Code->GitHubhttps://github.com/liufengji/hadoop_hdfs.git2、Code@TestpublicvoidgetFileFromHDFS()throwsException
黑猴子的家·2024-01-21 16:19

django基于Hadoop平台的电影推荐系统(程序+开题报告)

本系统（程序+源码+数据库+调试部署+开发环境）带文档lw万字以上，文末可获取系统程序文件列表开题报告内容研究背景：随着互联网的普及和大数据技术的发展，人们对于个性化推荐的需求越来越高。电影作为一种重要的娱乐方式，其推荐系统的研究也受到了广泛关注。然而，传统的电影推荐系统往往基于用户的历史行为进行推荐，忽略了其他重要的信息，如电影的类型、导演、演员等。此外，由于电影数据的海量性和复杂性，传统的推荐
liu10662·2024-01-21 15:51

ubuntu22.04安装atlas2.0.0

在ubuntu裸机上安装，裸机未安装java，hadoop等环境。jdk和maven都使用apt方式安装。sudoaptinstallopenjdk-8-jdksudoa
playmakerlby·2024-01-21 15:37

[Java]-HashMap源码分析

前言HashMap底层结构是数组+链表，即使用链地址法解决哈希冲突，数组的每个元素是一个链表，链表上存放的就是哈希值相等的一组元素。该结构常用的方法为put()和get()部分静态常量//默认初始化的数组的大小，即当用户构造HashMap没有指定数组大小时使用；容量必须为2的n次幂staticfinalintDEFAULT_INITIAL_CAPACITY=1implementsMap.Entry
Pacifica_·2024-01-21 15:49

hadoop yarn 配置

转自：http://blog.csdn.net/guotong1988/article/details/47130701
晴天哥_王志·2024-01-21 09:03

02-黑马程序员大数据开发：分布式计算和分布式资源调度

分布式计算模式：分散->汇总模式（MapReduce）和中心调度->步骤执行模式（ApacheSpark,Flink;比较复杂，中间会有数据交换的过程）；2.MapReduce概述MapReduce是Hadoop
S1406793·2024-01-21 08:52

【UE】属性同步发送和接收源码分析

概述UE只有Actor类有属性同步功能，Actor开启属性同步的前提是Actor的bReplicated属性为true，属性同步只有Server可以往Client同步，NetDriver类中负责发送和接收属性同步数据，在Server端每帧调用UNetDriver::TickFlush，将要同步的Actor的属性发送到所有连接的Client，在Client每帧调用UNetDriver::TickDi
你不知道()·2024-01-21 08:42

深入Spring Boot (十六)：从源码分析自动配置原理

切换Druid连接池在分析SpringBoot自动配置实现原理之前，先来看一下在使用SpringBoot开发的项目代码中如何将数据库连接池切换成Druid。对于数据库连接池的选择，SpringBoot官方更偏向于推荐使用HikariCP，原因是他们认为HikariCP的性能和并发性比较好，如果当前代码的classpath路径下存在HikariCP的jar包，则会优先使用HikariCP数据库连接池
wind瑞·2024-01-21 08:07

springBoot自动配置原理源码分析+自定义starter启动器+可视化监控+mybatisPlus使用

一、springBoot自动化配置原理1.starter管理机制通过依赖了解SpringBoot管理了哪些starter通过依赖spring-boot-dependencies搜索starter-发现非常多的官方starter，并且已经帮助我们管理好了版本。项目中使用直接引入对应的starter即可，这个场景下需要的依赖就会自动导入到项目中，简化了繁琐的依赖。所有的场景启动器都依赖于spring-
编程小栈·2024-01-21 08:06

大数据开发之Kafka（broker、消费者、eagle监控、kraft模式）

KafkaBroker4.1KafkaBroker工作流程4.1.1Zookeeper存储的Kafka的信息1、查看zookeeper中的kafka节点所存储的信息启动Zookeeper客户端[atguigu@hadoop104zookeeper
Key-Key·2024-01-21 07:18

Hadoop入门概述

Hadoop是一个开源的分布式计算框架，主要用于处理和存储大规模数据集。
转身成为了码农·2024-01-21 07:41

大数据之Spark架构设计与工作流程

驱动器还负责任务的调度，并与集群管理器（如HadoopYARN、ApacheMesos或Standalone模
转身成为了码农·2024-01-21 07:41

大数据技术汇总

HadoopHadoop入门概述Hadoop运行模式介绍HadoopHDFS的运行流程HadoopMapReduce的运行流程Hadoopyarn的运行流程Hadoop内HDFS、MapReduce和YARN
转身成为了码农·2024-01-21 07:41

Spark：SparkSQL与Hive on Spark（Shark）的比较

简要介绍了SparkSQL与HiveonSpark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。
花和尚也有春天·2024-01-21 06:17

基于kubernetes构建spark-thriftserver集群(Deployment模式)

1、构建镜像这里采用spark-2.4.4-bin-hadoop2.7.tar.gz包部署，先解压文件到/opt/spark目录。（1）将需要第三方扩展包导入/opt/spark/
Moutai码哥·2024-01-21 06:46

Spark面试题

1.sparkcore1.简述hadoop和spark的不同点（为什么spark更快）♥♥♥  shuffle都是需要落盘的，因为在宽依赖中需要将上一个阶段的所有分区数据都准备好，才能进入下一个阶段，那么如果一直将数据放在内存中
韩顺平的小迷弟·2024-01-21 06:53

Ubuntu安装Hbase数据库

Hbase，并修改其名称sudotar-zxfhbase-1.1.2-bin.tar.gz-C/usr/localcd/usr/localsudomvhbase-2.2.2/hbasesudochown-Rhadoophbase
殊迟·2024-01-21 06:51

Ubuntu安装MySQL数据库

MySQLsudoapt-getinstallmysql-server输入Y后回车继续安装设置root用户密码，此处会设置两次三、启动、关闭、测试数据库servicemysqlstart#此处输入2回车选择hadoop
殊迟·2024-01-21 06:51

安装Kafka

Kafkasudotar-zxfkafka_2.11-0.10.2.0.tgz-C/usr/localcd/usr/localsudomvkafka_2.11-0.10.2.0/kafkasudochown-Rhadoopkafka
殊迟·2024-01-21 06:51

009-基础入门-算法逆向&散列对称非对称&JS源码逆向&AES&DES&RSA&SHA

-算法逆向&散列对称非对称&JS源码逆向&AES&DES&RSA&SHA演示案例：➢算法加密-概念&分类&类型➢加密解密-识别特征&解密条件➢解密实例-密文存储&数据传输安全测试中：密文-有源码直接看源码分析算法
wusuowei2986·2024-01-21 06:35

Hadoop3完全分布式搭建

一、第一台的操作搭建修改主机名使用hostnamectlset-hostname修改当前主机名关闭防火墙和SELlinux1，使用systemctlstopfirewalldsystemctldisablefirewalld关闭防火墙2，使用vim/etc/selinux/config修改为SELINUX=disabled使用NAT模式配置静态IP1，修改网络配置vim/etc/sysconfig
三木一立·2024-01-21 05:54

Linux 部署Hadoop伪分布式集群教程

首先：我们需要下载一些关于Hadoop伪分布式集群需要的工具与tar包链接：https://pan.baidu.com/s/1oUw1jDCxfghWsnaWauSHKg提取码：6s5a接下来打开虚拟机终端
qq_61247494·2024-01-21 05:15

linux 部署Hadoop完全分布式集群教程

一、准备工作1、本次任务需要三台虚拟机，主机名分别为Master、Slave01、Slave02先在Master上安装好jdk和Hadoop（安装教程可以参考这两篇文章）然后为了简便我们直接克隆两台Master
qq_61247494·2024-01-21 05:15

Linux修改hadoop配置文件及启动hadoop集群详细步骤

目录一、配置Hadoop环境1.查看Hadoop解压位置2.配置环境变量3.编辑环境变量4.重启环境变量5.查看Hadoop版本，查看成功就表示Hadoop安装成功了二、修改配置文件1.检查三台虚拟机：
CatalinaCatherine·2024-01-21 05:45

linux下hadoop集群并且配置安装百分百成功

可以去jdk官网下载8或者11版本，别用18因为hadoop会不兼容，先卸载本机的自带的jdk，下面我给大家带一个我在用的hadoop链接hadoop下载链接假设在你的linux上面有三个虚拟机hadoop102hadoop103hadoop104
新城已无旧少年_·2024-01-21 05:45

Linux-Hadoop集群配置

文章目录一、配置Hadoop集群1、在master虚拟机上配置hadoop（1）编辑Hadoop环境配置文件-hadoop-env.sh（2）编辑Hadoop核心配置文件-core-site.xml（3
人生苦短@我用python·2024-01-21 05:44

hadoop分布式集群配置（linux）

linux配置hadoop分布式集群一、前期准备二、Jdk的安装三、配置hadoop集群安装hadoop分布式集群hadoop-3.3.0及jdk1.8下载链接一、前期准备1.安装hadoop分布式之前先准备好
小-枝-丫·2024-01-21 05:44
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他