hadoop源码分析

Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)

Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)本文的Metadata定义SQLonHadoop系统在执行一个query时所需要的Metadata主要有两部分Hive中的
stiga-huang·2024-01-28 12:38

Impala元数据简介

Impala元数据简介背景Impala是一个高性能的OLAP查询引擎，与其它SQL-on-Hadoop的ROLAP解决方案如Presto、SparkSQL等不同的是，Impala对元数据（Metadata
stiga-huang·2024-01-28 12:05

Hadoop的基础操作

Hadoop的基础操作HDFS是Hadoop的分布式文件框架，它的实际目标是能够在普通的硬件上运行，并且能够处理大量的数据。
陆卿之·2024-01-28 12:27

Redis数据类型及底层实现

1.3.1.2.3数据模型解析（重点）1.3.1.2.4redisObjec1.3.1.2.5SDS1.3.1.3String1.3.1.3.1底层分析1.3.1.3.1.1数据结构1.3.1.3.1.2源码分析
野心与梦·2024-01-28 11:16

浅谈Hive和HBase有哪些区别与联系及适用场景

Hive是运行在Hadoop上的一个工具，准确地讲是一个搜索工具。当对海量数据进行搜索时，Hadoop的计算引擎是MapReduce。但是对Map
尚学先生·2024-01-28 11:19

Hive常见问题汇总

Hive和Hadoop的关系Hive构建在Hadoop之上，HQL中对查询语句的解释、优化、生成查询计划是由Hive完成的所有的数据都是存储在Hadoop中查询计划被转化为MapReduce任务，在Hadoop
不加班程序员·2024-01-28 09:37

mac上搭建hbase伪集群

/blog.csdn.net/a15835774652/article/details/135569456)但是为了模拟一把集群环境我们还是尝试搭建一个伪集群版2.环境准备jdk环境1.8+hdfs（hadoop
寂夜了无痕·2024-01-28 08:15

Hive面试题*精选*！附答案！！！

HIVE面试一、Hive的基本概念1.什么是hiveHive是一款开源的基于hadoop的用于统计海量结构化数据的一个数据仓库，它定义了简单的类似SQL的查询语言，称为HQL，允许熟悉SQL的用户查询数据
yhy_only·2024-01-28 07:36

hive面试题总结（大数据面试）

Hive概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。
404个问号·2024-01-28 07:02

【五一创作】Linux---I2C应用编程

硬件框架：（3）I2C软件框架（4）I2C数据格式二、SMBus协议三、I2C系统重要的结构体四、访问I2C设备（AP3216C）（1）使用SMBus协议：（2）使用I2C协议：（3）I2C-Tools源码分析
希希雾里·2024-01-28 07:55

Gin-session中Redis-based session的原理

Ginsession库本文讨论的Gin相关的session库为：https://github.com/gin-contrib/sessionsRedis-basedsession源码分析gin-contrib
布丁老厮·2024-01-28 07:54

【BugFix】java.lang.NoSuchMethodError: java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer；

2022-10-2010:43:59,633ERRORorg.apache.hadoop.hdfs.server.namenode.FSEditLog:Error:startinglogsegment946759failedfor
叹了口丶气·2024-01-28 06:02

Ubuntu22.04三台虚拟机Hadoop集群安装和搭建（全面详细的过程）

虚拟机Ubuntu22.04Hadoop集群安装和搭建（全面详细的过程）环境配置安装安装JDK安装Hadoop三台虚拟机设置克隆三台虚拟机设置静态IP修改虚拟机hostssh免密登录关闭防火墙Hadoop
WuRobb·2024-01-28 06:41

面试整理

数据分析/hadoop/机器学习面试题集锦，可能是最全的了…发表于：2017-09-2115:17阅读：178评论：0无论你是想从事大数据相关职位的职场小白，还是准备往高处走的牛牛。
qq_20962187·2024-01-28 06:09

Hadoop集群部署流程

前置要求需要3台虚拟机，系统为Centos7，分别host命名为node1，node2，node3，密码均为root请确保这三台虚拟机已经完成了JDK、SSH免密、关闭防火墙、配置主机名映射等前置操作在3台虚拟机的/etc/hosts文件中，填入如下内容：（同时这也是三台虚拟机的ip地址）192.168.88.131node1192.168.88.132node2192.168.88.133nod
正在绘制中·2024-01-28 02:09

【数据结构】源码角度剖析PriorityQueue

PriorityQueue构造方法源码分析PriorityQueue的属性构造方法JDK1.8传入不可比较的对象JDK17传入不可比较的对象传入带有Collection接口的对象Offer方法分析PriorityQueue
不应该热爱·2024-01-28 01:51

从壹开始微服务 [ DDD ] 之十一 ║ 基于源码分析，命令分发的过程（二）

缘起哈喽小伙伴周三好，老张又来啦，DDD领域驱动设计的第二个D也快说完了，下一个系列我也在考虑之中，是Id4还是Dockers还没有想好，甚至昨天我还想，下一步是不是可以写一个简单的Angular入门教程，本来是想来个前后端分离的教学视频的，简单试了试，发现自己的声音不好听，真心不好听那种，就作罢了，我看博客园有一个大神在Bilibili上有一个视频，具体地址忘了，有需要的留言，我找找。不过最近年
SAYLINING·2024-01-28 01:10

SpringBoot 源码解析5：ConfigurationClassPostProcessor整体流程和@ComponentScan源码分析

SpringBoot源码解析5：ConfigurationClassPostProcessor整体流程和@ComponentScan源码分析1.知道以下几点，读ConfigurationClassPostProcessor
hao9e·2024-01-28 00:51

Glide缓存模块源码分析

在开始之前，我们先了解Java中的四种引用和ReferenceQueue，为什么要了解这些知识呢？大家都知道Glide的缓存使用三级缓存，分别是磁盘缓存和两级内存缓存，而Glide的两级内存缓存就是用WeakReference+ReferenceQueue监控GC回收，这里的回收是指JVM在合适的时间就会回收该对象。Java的四种引用熟悉Java的同学都知道Java内存管理分为内存分配和内存回收，
有没有口罩给我一个·2024-01-28 00:12

Handler机制源码分析

Handler是Android里面线程间通信的手段，它可以向自身持有的looper所在的线程发送消息进行通信。先看看典型的带looper的线程的创建方法。*classLooperThreadextendsThread{*publicHandlermHandler;**publicvoidrun(){*Looper.prepare();**mHandler=newHandler(){*publicv
月光明亮·2024-01-28 00:26

Go切片扩容机制详解

目录切片扩容的理解扩容机制源码分析分配大小修正/cap调整切片扩容的理解关于切片的“扩容”，我们先来理解一下有一个初印象。
ProblemTerminator·2024-01-27 23:38

20190824 课堂笔记

20190824课堂笔记设置快捷键设置编译创建项目选择quickstartGAV设置项目设置修改添加hadoop-version,repositoryUTF-81.81.82.6.4clouderahttps
赛尔木·2024-01-27 23:37

rocket mq 底层存储源码分析(2)-业务消息持久化

本章主要详细分析Rocketmq消息持久化底层源码实现。先讲解几个核心的业务抽象类MappedFile,该类为一个存储文件的直接内存映射业务抽象类，通过操作该类，可以把消息字节写入pagecache缓存区(commit),或者原子性的消息刷盘(flush)publicclassMappedFile{protectedfinalAtomicIntegerwrotePosition;protected
萝卜头4lbt·2024-01-27 23:40

Hadoop-分布式

分布式分步+并行处理+汇总结果Hadoop分布式一台计算机存储不了了，也计算不了了Hadoop把多台计算机资源（存储资源：硬盘；计算资源：CPU，内存）连接在一起，形成集群输入文件，拆分成块，多个节点存储计算任务
日月交辉·2024-01-27 23:48

用户行为数据采集

Flume——Hadoop——VMVM环境准备安装JDK安装HadoopHadoop运行模式本地模式伪分布式完全分布式集群启动组件逐一启动。模块启动
日月交辉·2024-01-27 23:18

ElementUI 源码分析2 - 组件篇

ElementUI是一套为开发者、设计师和产品经理准备的基于Vue2.0的桌面端组件库。0、前言老规矩，带着问题看源码：组件的两种使用方式是如何做的（Tag模式｜API模式）？scss文件是如何优雅组织的？1、组件分析3.1、基本结构组件的共性分析：1、结构都是类似的，以Alert为例：importAlertfrom'./src/main';//单文件组件/*istanbulignorenext*
风之化身呀·2024-01-27 23:02

源码分析 DiskLruCache

功能介绍DiskLruCache是一个硬盘缓存工具类，它可以将数据持久化到硬盘上，且可以根据Lru算法，超限后删除长久不用的数据。误区先确定这些误区，对源码理解很有帮助。1.DiskLruCache只有存储和获取缓存的功能，当无缓存时返回null，不对任何网络情景进行判断。即即使对于某个key本地有缓存，调用DiskLruCache的存储方法时，会不加判断的进行覆盖。2.LinkHashMap只有
Parallel_Lines·2024-01-27 19:08

LeakCannary使用方法及实现原理探究（二）—— LeakCannary实现原理及源码分析

写在前头这里首先将LeakCannary的原理写在这里，让大家有一个初步的印象，然后我们再一步步去分析具体的实现逻辑LeakCannary原理1.ActivityonDestroy之后将它放到一个WeakReference2.这个WeakReference关联到一个ReferenceQueue3.查看ReferenceQueue是否存在Activity的引用4.如果该Acitivty泄漏了，Dum
immrwk·2024-01-27 19:15

深入探究 Android 内存泄漏检测原理及 LeakCanary 源码分析

深入探究Android内存泄漏检测原理及LeakCanary源码分析一、什么是内存泄漏二、内存泄漏的常见原因三、我为什么要使用LeakCanary四、LeakCanary介绍五、LeakCanary的源码分析及其核心代码六
Just_Paranoid·2024-01-27 19:42

2.10、mybatis源码分析之sql执行过程以select为例

在研究select执行过程之前先来介绍一个重要的类一、SqlNode和SqlSource在myabtis初始化过程中可以知道，映射配置文件中的sql节点会被解析为MappedStatement对象，其中sql语句解析成SqlSource对象，sql语句中定义的Sql节点、文本节点等，则由SqlNode接口的响应实现。1、SqlSource接口SqlSource接口结构publicinterface
小manong·2024-01-27 19:59

ClickHouse(22)ClickHouse集成HDFS表引擎详细解析

用法实施细节配置可选配置选项及其默认值的列表libhdfs3支持的ClickHouse额外的配置限制Kerberos支持虚拟列资料分享系列文章clickhouse系列文章知乎系列文章HDFS这个引擎提供了与ApacheHadoop
张飞的猪大数据·2024-01-27 17:35

Springboot源码分析之jar探秘

摘要：利用IDEA等工具打包会出现springboot-0.0.1-SNAPSHOT.jar,springboot-0.0.1-SNAPSHOT.jar.original,前面说过它们之间的关系了，接下来我们就一探究竟，它们之间到底有什么联系。文件对比：进入target目录,unzipspringboot-0.0.1-SNAPSHOT.jar-djar命令将springboot-0.0.1-SNA
dqqzj·2024-01-27 17:39

apache 前30个开源项目

个具有代表性的项目序号项目名称功能描述业务范围活跃度（参考性描述）1ApacheHTTPServer高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop
临水逸·2024-01-27 17:35

HBase基础知识与架构概述

1.背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable论文设计，并作为Hadoop生态系统的一部分。
OpenChat·2024-01-27 17:31

【云原生进阶之PaaS中间件】第三章Kafka-2-安装部署

1安装部署1.1kafka的分布式kafka是依靠zookeeper来实现分布式的，所以再启动前需要先启动zookeeper，如下图1.2集群部署官方下载地址：ApacheKafka（1）安装和Hadoop
江中散人·2024-01-27 16:16

【云原生进阶之PaaS中间件】第三章Kafka-3-命令操作

1命令操作1.1主题命令操作查看操作主题命令参数：[atguigu@hadoop102kafka]$bin/kafka-topics.sh参数描述--bootstrap-server，连接的KafkaBroker
江中散人·2024-01-27 16:16

Linux静态ip配置重启后 ip 恢复的问题（CentOS 6.7）

Linux静态ip配置重启后ip恢复的问题（CentOS6.7）文章目录Linux静态ip配置重启后ip恢复的问题（CentOS6.7）一、配置静态IP二、重启后IP恢复解决方案一、配置静态IP在学习Hadoop
Travis_del·2024-01-27 16:50

【apollo在springboot中运行原理】

系列文章目录Springboot源码分析之apollo配置文章目录系列文章目录前言一、apollo是如何完成初始化的,拉取配置的呢1.apollo的初始化阶段2.初始化RemoteConfigRepository3
不务专业的程序员--阿飞·2024-01-27 16:18

【数据可视化技术】数据可视化概述&工具

在Hadoop生态群中，核心部件（如
Francek Chen·2024-01-27 16:39

ansible-1.9.6源码分析

ansible1.9.6源码分析ansible-1.9.6源码分析开篇说明源码详细解读源码结构分析utils目录cache目录inventory目录playbook目录modules目录runner目录小结
spyinx·2024-01-27 15:00

Kolla-ansible源码分析

1.基本认识1.1.kolla-ansiblekolla-ansible是从kolla项目中分离出来的一个可交付的项目。kolla-ansible负责部署容器化的openstack各个服务和基础设施组件；而kolla项目现在则单独负责镜像的构建，为kolla-ansible部署提供生产级别的openstack各服务镜像。1.2.ansible和dockerkolla-ansible利用ansibl
〆一缕阳光ご·2024-01-27 15:29

YARN 工作原理

1、Hadoop2新增了YARN，YARN的引入主要有两个方面的变更：其一、HDFS的NameNode可以以集群的方式部署，增强了NameNode的水平扩展能力和高可靠性，水平扩展能力对应HDFSFederation
无羡爱诗诗·2024-01-27 13:43

JUC并发编程与源码分析学习笔记(三)

目录五十六、JMM之入门简介五十七、JMM之学术定义和作用五十八、JMM之三大特性五十九、JMM之多线程对变量的读写过程六十、JMM之happens-before-上集六十一、JMM之happens-before-下集五十六、JMM之入门简介Java内存模型之JMM1、先从大厂面试题开始①、你知道什么是Java内存模型JMM吗？②、JMM与volatile它们两个之间的关系？（下一章详细讲解）③、
突然好想你之路在脚下·2024-01-27 12:07

字节十年程序员分享Spring AOP介绍及源码分析

软件开发经历了从汇编语言到高级语言和从过程化编程到面向对象编程；前者是为了提高开发效率，而后者则使用了归纳法，把具有共性的东西进行归类并使之模块化，达到便于维护和扩展的目的；如果说面向对象编程可以对业务需求进行很好的分解使之模块化；那么面向切面编程AOP（Aspect-OrientedProgramming）则可以对系统需求进行很好的模软件开发经历了从汇编语言到高级语言和从过程化编程到面向对象编程
就要学Java·2024-01-27 12:25

一台虚拟机上的文件怎么复制给另一台虚拟机

1.想要将zookeeper文件复制给另一台虚拟机2.使用终端命令压缩该文件3.压缩完毕4.将压缩文件传至另一台虚拟机的hadoop账户上5.显示传送完毕6.文件已传送到另一台虚拟机上7.使用终端命令将压缩文件解压缩文件复制完毕
白嫖叫上我·2024-01-27 11:44

深入浅出hdfs源码

1、hadoop基本介绍2、周边生态图3、hdfs读源码解析4、hdfs写源码解析5、hdfs副本机制解读6、hdfs常见管理源码解析7、hdfs高可用源码解析-ha8、hdfs监控源码解析-dnmetrics-nnmetrics
大数据之家·2024-01-27 10:39

2021-03-07

解决存储问题·MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive=====>基于Hadoop
残月冷无声·2024-01-27 10:39

深入浅出hdfs-hadoop基本介绍

一、Hadoop基本介绍hadoop最开始是起源于ApacheNutch项目，这个是由DougCutting开发的开源网络搜索引擎，这个项目刚开始的目标是为了更好的做搜索引擎，后来Google发表了三篇未来持续影响大数据领域的三架马车论文
大数据之家·2024-01-27 10:03

新手都能学懂的SpringBoot源码分析！

概述日志是一个系统必不可缺少的东西，记录了系统运行时的点点滴滴，便于我们了解自己系统的运行状态，在我们使用SpringBoot时，默认就已经提供了日志功能，使用Logback作为默认的日志框架。那么，接下来我们依赖来看看SpringBoot是如何初始化好日志系统的。关于Spring的知识点总结了一个图谱，分享给大家：Spring知识总结.jpg为什么SpringBoot默认的日志框架是Logbas
W998·2024-01-27 09:19

ThreadLocal源码分析

参考：https://www.cnblogs.com/xzwblog/p/7227509.html开局一张图，内容全靠编！！！ThreadLocal结构图ThreadLocal是什么？官方描述如下：*Thisclassprovidesthread-localvariables.Thesevariablesdifferfrom*theirnormalcounterpartsinthateachthr
Kevin_Lv·2024-01-27 09:49
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他