hadoop源码分析第25页

emacs 源码分析（六）

关于emacs源码中的Qtop_level和Vtop_level有时候光顾着调试看流程，忽略了代码中的细小差别，如果不特别留意的话很难发现这是两个不同的变量Qtop_level和Vtop_level，它们是如此相似：(gdb)pQtop_level$1=(structLisp_X*)0xdd70(gdb)xtypeLisp_Symbol(gdb)pVtop_level$2=XIL(0x6fffff

遍地是牛·2024-01-23 12:24

Hadoop集群配置及测试

Hadoop集群配置及测试NameNode与SecondaryNameNode最好不在同一服务器ResourceManager较为消耗资源，因而和NameNode与SecondaryNameNode最好不在同一服务器

YUuuuME_·2024-01-23 11:07

大数据分布式实时大数据处理框架Storm，入门到精通！

介绍：Storm是一个分布式实时大数据处理框架，被业界称为实时版的Hadoop。首先，Storm由Twitter开源，它解决了HadoopMapReduce在处理实时数据方面的高延迟问题。

知识分享小能手·2024-01-23 09:42

大数据开发之Spark（入门）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

Key-Key·2024-01-23 09:45

Sqoop与Kafka的集成：实时数据导入

Sqoop用于将数据从关系型数据库导入到Hadoop生态系统中，而Kafka则用于数据流的传输和处理。

晓之以理的喵~~·2024-01-23 08:01

Hadoop基本介绍

1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem

w蕾丝·2024-01-23 08:53

SpringBoot源码分析：prepareEnviroment()

prepareEnviroment做了什么？主要作用按顺序加载命令行参数,系统参数和外部配置文件,创建并配置Web环境,获取profiles.active属性,并发布ApplicationEnvironmentPreparedEvent事件,之后获取属性时,按顺序获取,获取到就立即返回,实现了属性之间的合理加载与替换//准备环境privateConfigurableEnvironmentprepa

weixin_44145526·2024-01-23 07:36

Sqoop数据导入到Hive表的最佳实践

Sqoop是一个开源工具，用于在Hadoop生态系统中的数据存储（如HDFS）和关系型数据库之间传输数据。它可以帮助数据工程师和分析师轻松地

晓之以理的喵~~·2024-01-23 07:35

网络安全全栈培训笔记（55-服务攻防-数据库安全&Redis&Hadoop&Mysqla&未授权访问&RCE）

第54天服务攻防-数据库安全&Redis&Hadoop&Mysqla&未授权访问&RCE知识点：1、服务攻防数据库类型安全2、Redis&Hadoop&Mysql安全3、Mysql-CVE-2012-2122

清歌secure·2024-01-23 07:24

数仓建设 - 维度建模 - DIM维度

2.2ETL任务脚本三、活动维度表3.1表结构设计3.2ETL任务脚本四、地区维度表4.1表结构设计4.2ETL任务脚本五、日期维度表六、用户维度表6.1表结构设计6.2ETL任务脚本前置：准备数据库[hadoop

m0_46218511·2024-01-23 05:14

RocketMQ源码分析----长轮询

废话这篇文章主要讲RocketMQ的长轮询，为什么叫长轮询我也不清楚....主要别人这样叫我也这样叫吧，大家明白意思就好。正文RcocketMQ消费者的模式是pull模式，也就是会定时向Broker请求消息进行消费。在源码中实现是开启了后台线程不停的去pull（当然会先从队列去PullRequest，队列为空会阻塞），刚研究RocketMQ消费者pull的代码之后不久，有个问题：如果长时间没有消息

_六道木·2024-01-23 05:50

《Linux高性能服务器编程》笔记05

raichen/LinuxServerCodes豆瓣:Linux高性能服务器编程文章目录Linux高性能服务器编程第12章高性能I/O框架库Libevent12.1I/O框架库概述12.2Libevent源码分析

阿正的梦工坊·2024-01-23 04:26

PostgreSQL源码分析：postgres.c阅读笔记

postgres.c是PostgreSQL后端的重要源代码文件，负责管理查询的整体流程。本文以PostgreSQL-12.2为例，首先对postgres.c的功能、包含的函数及函数间的调用关系进行简单概述；然后详细介绍其中的入口函数PostgresMain，并且对于PostgresMain函数涉及的通信协议将做进一步展开说明。1.postgres.c概况PostgreSQL是典型的C/S的模式，服

fufufunny·2024-01-23 03:19

Hadoop -- Hive

文章目录1.什么是hive？1.1基本思想1.2为什么使用hive？1.3hive创建表与查询原理2.hive安装2.1.mysql安装2.2.hive的元数据库配置3.hive使用方式3.1最基本使用方式3.2启动hive服务使用3.3脚本化运行4.建库建表与数据导入4.1建库4.2建表4.2.1基本建表语句4.2.2删除表4.2.3内部表与外部表4.2.4分区表4.2.5外部分区表4.3数据导

Cool_Pepsi·2024-01-23 02:12

Spark运行流程

Spark相对于Hadoop的优势Hadoop虽然已成为大数据技术的事实标准，但其本身还存在诸多缺陷，最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求，因而只适用于离线批处

Cool_Pepsi·2024-01-23 02:12

Hadoop -- HDFS

1.什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台

Cool_Pepsi·2024-01-23 02:42

Hadoop -- ZooKeeper

ZooKeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)等的管理员。

Cool_Pepsi·2024-01-23 02:42

Spring Security源码分析三：Spring Social实现QQ社交登录

OAuth2.0的认证流程示意图http://dandandeshangni.oss-cn-beijing.aliyuncs.com/github/Spring%20Security/OAuth2-Sequence.png请求第三方应用第三方应用将用户请求导向服务提供商用户同意授权服务提供商返回codeclient根据code去服务提供商换取令牌返回令牌获取用户信息在标准的OAuth2协议中，1-

淡淡的伤你·2024-01-23 00:38

Redisson分布式锁源码篇

❤️文章目录Redisson分布式锁源码篇一、使用Redisson分布式锁1.1引入依赖1.2调用API二、源码解析2.1可重入锁原理(1)原理解释(2)源码分析①尝试获取锁②

欧克小奥·2024-01-22 23:13

vector的模拟实现

vector的使用以及对一些常见bug的认识有了string类的模拟实现，vector的模拟实现我们上手起来就简单一点了：首先为了和库里面的vector混淆视听，放入自己命名的空间里，并且根据vector的源码分析我们得出了三个成员变量

只是雪豹·2024-01-22 21:00

源码分析->解密Lifecycle（1）之监听

关键字：Lifecycle源码分析基于androidx.appcompat:appcompat:1.2.01.什么是Lifecycle？

杨0612·2024-01-22 21:23

hadoop搭建服务器

一、服务器配置说明1.四台服务器2.每台服务器内存4G3./boot空间3072M4.【可选择配置】/swap交互虚拟内存，40965./根目录空间57G二、服务器网络选择配置1.选择NAT链接网络/桥接2.编辑~/.bashrc文件vim~/.bashrcexportall_proxy=socks5://192.168.197.2:21881exporthttp_proxy=http://192

成_7b38·2024-01-22 20:47

Hadoop RPC解析

网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信（Inter-ProcessCommunication,IPC）逻辑，是所有分布式系统的基础。远程过程调用（RemoteProcedureCall,RPC）是一种常用的分布式网络通信协议。它允许运行于一台计算机的程序调用另一台计算机的子程序，同时将网络的通信细节隐藏起来，使得用户无须额外地为这个交互作用编程。由于R

tracy_668·2024-01-22 19:51

hadoop之mapreduce教程+案例学习（一）

第1章MapReduce概述目录第1章MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。

菜瓜技术联盟·2024-01-22 19:04

Impala：基于内存的MPP查询引擎

Impala的特点1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎，它提供SQL语义，能查询存储在Hadoop

对许·2024-01-22 17:26

Hadooop和Hbase是什么关系

HBase是一个基于Hadoop的NoSQL分布式列存储数据库，用于存储海量结构化和半结构化数据，并提供高可用、高性能和面向列的操作功能。

wwwyx12138·2024-01-22 17:50

大数据平台的硬件规划、网络调优、架构设计、节点规划

1.大数据平台硬件选型要对Hadoop大数据平台进行硬件选型，首先需要了解Hadoop的运行架构以及每个角色的功能。

小枫@码·2024-01-22 17:18

hadoop-hdfs-API

处理hadoop配置文件及系统环境1.将hadoop所有jar包（除了..以外）添进hadoop/lib文件夹备用。2.将linux的hadoop/bin导出覆盖windows的hadoop/bin。

有七段变化·2024-01-22 15:43

CentOS7下Hadoop2.9.2、Hive 2.3.6安装与实践

参考的安装文章地址：https://blog.csdn.net/pengjunlee/article/details/81607890实际安装的版本为：hadoop2.9.2，hive2.3.6；操作系统

流火星空·2024-01-22 14:58

java大数据hadoop2.9.2 Linux安装mariadb和hive

一、安装mariadb版本centos71、检查Linux服务器是否已安装mariadbyumlistinstalledmariadb*2、如果安装了，想要卸载yumremovemariadbrm-rf/etc/my.cnfrm-rf/var/lib/mysql才能完全删除3、安装mariadb在线网络安装yuminstall-ymariadb-server开启服务systemctlstartma

crud-boy·2024-01-22 14:26

SpringBoot @Schedule未按时执行问题解决

检查@Schedule的源码（Spring@Schedule源码分析），发现Schedule定时任务时串行的（定义的线程池是核心线

黄国海Argo·2024-01-22 13:57

springboot 自动注入源码分析spring.factories

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档目录前言一、铂金手写starter组件，开源starter组件结构1.项目层级2.各个项目引入关系3.项目侧使用二、星耀源码跟踪分析1.SpringApplication.run开始到->refreshContext2.spring的refreshContext->invokeBeanFactoryPostProcessors3.in

zengliangxi·2024-01-22 12:10

SpringBoot 自动装配

自动装配源码分析：处理@Import的注解，获取AutoConfigurationImportSelector类调用AutoConfigurationImportSelector.selectImports

罗志宏·2024-01-22 12:39

关于Hive架构原理，尚硅谷

最近学习hive时候，在做一个实操案例，具体大概是这样子的：我在dataGip里建了一个表，然后在hadoop集群创建一个文本文件里面存储了数据库表的数据信息，然后把他上传到hdfs后，dataGrip

大数据ＳＱＬｂｏｙ·2024-01-22 11:41

SpringCloud Alibaba 深入源码 - Nacos 分级存储模型、支撑百万服务注册压力、解决并发读写问题（CopyOnWrite）

目录一、SpringCloudAlibaba源码分析1.1、SpringCloud&SpringCloudAlibaba常用组件1.2、Nacos的服务注册表结构是怎样的？

陈亦康·2024-01-22 10:49

【io_uring】内核源码分析

文章目录1.`io_uring`2.系统调用`io_uring_setup`2.1.`io_uring_setup`2.2.`io_uring_create`2.3.`io_sq_offload_start`3.系统调用`io_uring_enter`4.系统调用`io_uring_register`5.内核线程`io_sq_thread`6.`IOPOLL`模式6.1.启用6.2.限制6.3.调

ywang_wnlo·2024-01-22 10:57

[executorService.invokeAll+Callable实现批量等待任务并发执行】 1.多线程导表案例 2.使用for循环+Future的isDone()实现等待源码分析

ThreadDto.java//定义可以并行的任务importjava.util.concurrent.Callable;publicclassThreadDtoimplementsCallable{@OverridepublicBooleancall()throwsException{//一个线程里面具体又干10件事for(inti=0;ilist=newLinkedListtaskMap=Ma

zfoo-framework·2024-01-22 10:22

Ranger概述及安装配置

二、Ranger2.1、什么是rangerApacheRanger是一个用来在Hadoop平台上进行监控，启动服务，以及全方位数据安全访问管理的安全框架。Ranger愿景是在Apa

小枫@码·2024-01-22 09:39

开源库之 OkHttp 源码分析

分析一波OkHttp的源码实现。简单使用官方给出了使用例子，具体详情参考官网。//创建OkHttp请求客户端OkHttpClientclient=newOkHttpClient();//构建一个请求Requestrequest=newRequest.Builder().url(url).build();//执行网络请求并返回结果Responseresponse=client.newCall(req

glumes·2024-01-22 09:52

【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

合并文件与数据统计可视化实验目的任务一：任务二：实验平台实验内容及步骤任务一：搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改hadoop

汐ya~·2024-01-22 09:35

redis-5.0.8集群环境搭建

单机环境安装redis-3.2.8主从复制架构搭建及哨兵配置如果你对redis的安装很陌生，请看完我以上两期教程，对完成此期教程很有帮助2.下载解压redis-5.0.8.tar.gz[xiaokang@hadoop01

小刘新鲜事儿·2024-01-22 08:15

大数据技术原理及应用课实验3 ：熟悉常用的HBase操作

目录实验3熟悉常用的HBase操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下指定功能，并用Hadoop提供的HBaseShell命令完成相同任务：1.列出HBase

Blossom i·2024-01-22 08:08

Flink on YARN（下）：常见问题与排查思路

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。

Apache Flink·2024-01-22 08:33

一张图轻松掌握 Flink on YARN 基础架构与启动流程