hadoop源码分析

mysql源码分析——插件Plugin架构

一、Mysql中的Plugin在程序设计的发展过程中，插件（Plugin）形式的设计存在的时间很长了，这种源于硬件的插件接口设计，优势在于可以很从容的进行不同场景应用的切换，甚至在运行时也可以通过动态的参数配置来实现整个功能应用场景的快速适配。从Eclipse到Idea等IDE开发工具，到实际的项目开发中，只要开发经验较多的程序员一定会遇到过类似的工程实践。插件一般是基于一定的插件协议，通过开放不
fpcc·2024-01-13 07:57

从源码分析 MySQL 身份验证插件的实现细节

最近在分析ERROR1045(28000):Accessdeniedforuser'root'@'localhost'(usingpassword:YES)这个报错的常见原因。在分析的过程中，不可避免会涉及到MySQL身份验证的一些实现细节。加之之前对这一块就有很多疑问，包括：一个明文密码，是如何生成mysql.user表中的authentication_string？在进行身份验证时，客户端是否
快乐非自愿·2024-01-13 07:23

使用Sqoop将数据导入Hadoop的详细教程

在大数据处理中，Sqoop是一个强大的工具，它可以将关系型数据库中的数据导入到Hadoop生态系统中，以便进行进一步的分析和处理。
晓之以理的喵~~·2024-01-13 07:43

Sqoop入门指南：安装和配置

Sqoop是一个强大的工具，用于在Hadoop和关系型数据库之间高效传输数据。在本篇文章中，将深入探讨如何安装和配置Sqoop，以及提供详细的示例代码。
晓之以理的喵~~·2024-01-13 07:13

Hadoop分布式集群安装

上一篇大数据文章讲解了在单机上搭建Hadoop-Yarn伪分布式集群的安装方法，方便大家学习，真实环境不可能只有一台机器，肯定是多节点的集群，大单位还会建设很多Hadoop集群，比如各个大部门有自己的集群
鬓戈·2024-01-13 07:28

基于Hadoop的网上购物行为大数据分析及预测系统【flask+echarts+机器学习】前后端交互

有需要本项目或者部署的系统可以私信博主，提供远程部署和讲解本研究基于淘宝用户行为的开源数据展开大数据分析研究，通过Hadoop大数据分析平台对阿里天池公开的开源数据集进行多维度的用户行为分析，为电商销售提供可行性决策
王小王-123·2024-01-13 06:53

使用Sqoop将数据从Hadoop导出到关系型数据库

当将数据从Hadoop导出到关系型数据库时，ApacheSqoop是一个非常有用的工具。
晓之以理的喵~~·2024-01-13 06:23

NameNode瞬时高并发导致短暂不可用，Hadoop2.7二次开发

版本hadoop2.7分段锁优化Namenode的FSNamesystem类中主要有三块。
邵红晓·2024-01-13 06:24

【深入学习51单片机】二、一个极简RTOS源码分析

目录一、书接上回二、初始化过程三、任务的创建四、任务的切换五、任务的等待（系统延时）一、书接上回上回写了一个测试程序，可以直观的体会PC指针和堆栈指针的变化和影响。这章写下参考程序的过程原理。源码我已上传，免积分，贴在第一章末尾上回链接：【深入学习51单片机】一、基于8051的RTOS内核任务切换堆栈过程剖析二、初始化过程main函数：intmain(void){system_init();os_
来碗豆腐脑·2024-01-13 06:28

SpringBoot3自动配置原理

自动配置-源码分析程序引入spri
冯宝宝^·2024-01-13 05:23

实验二 ：HIve数据定义操作实验

二、实验环境要首先自行搭建由3台虚拟机构成的Hadoop环境及Hive环境。
又是被bug折磨的一天·2024-01-13 04:55

Spring Boot - Application Events 的发布顺序_ApplicationPreparedEvent

文章目录Pre概述Code源码分析PreSpringBoot-ApplicationEvents的发布顺序_ApplicationEnvironmentPreparedEvent概述SpringBoot
小小工匠·2024-01-13 04:12

K8s 是如何完成调度和权重调整？

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、调度流程二、kuble-scheduler调度原理1kubernetes1.23版本调度器filter阶段和score阶段源码分析
LemonMadison·2024-01-13 03:26

Qt源码分析：Qt程序是怎么运行起来的？

一、从exec()谈起一个标准的Qt-gui程序，在启动时我们会coding如下几行简洁的代码：#include"widget.h"#includeintmain(intargc,char*argv[]){QApplicationa(argc,argv);Widgetw;w.show();returna.exec();}在这里我们首先考虑第一个问题，如果主程序中没有调用a.exec()，在编译运行
键盘会跳舞·2024-01-13 03:46

Hadoop/Spark安装

单机安装Hadoop安装Javasudoapt-getinstalldefault-jdkjava-version2.设置Hadoop用户和组sudoaddgrouphadoopsudoadduser-
周倜吉·2024-01-13 03:40

2022字节跳动【数据仓库工程师】日常实习面经-----一面

都还没学扎实）一，自我介绍二，问答阶段shuffle阶段详细介绍回答环形缓冲区，分区排序，溢写磁盘，reduce再抽取归并等等计算单元和实际block存储单元不在一个机器节点上，这样会带来大量的IO操作，Hadoop
dyson不只是吹风机·2024-01-13 03:34

Flink

GoogleFileSystemBigTableMapReduceHDFSHBaseHadoopHadoop基于硬盘，可以处理海量数据；Spark基于内存，性能提高百倍，微批（500ms）；Flink基于
三半俊秀·2024-01-13 01:53

NodeController 源码分析

在早期的版本中NodeController只有一种，v1.16版本中NodeController已经分为了NodeIpamController与NodeLifecycleController，本文主要介绍NodeLifecycleController。NodeLifecycleController的功能NodeLifecycleController主要功能是定期监控node的状态并根据node的c
田飞雨·2024-01-13 00:00

MyBatis 源码分析（五）：异常模块

对应exceptions包，如下图所示：在MyBatis源码分析（二）：项目结构中，简单介绍了这个模块：定义了MyBatis专有的PersistenceException和TooManyResultsException
小徐很努力·2024-01-12 23:53

MyBatis源码分析（六）：数据源模块

如下图所示：在MyBatis源码分析（二）：项目结构中，简单介绍了这个模块如下：数据源是实际开发中常用的组件之一。
小徐很努力·2024-01-12 23:53

Xposed 实现原理分析

的方法Hook基于ART的方法HookXposed工作流程Xposed项目结构XposedXposedBridgeXposedInstallerandroid_artXposedToolsXposed源码分析
l0neman·2024-01-12 23:11

ResponseEntity的源码分析

文章目录一、ResponseEntity深入简介使用场景1、场景一2、场景二3、场景三：父类HttpEntityResponseEntity的研究1、ResponseEntity的属性2、ResponseEntity的6个构造方法：3、HttpStatus简介HTTP状态码属性构造方法其他方法序列号4、ResponseEntity的其他方法5、BodyBuilder和HeadersBuilder介
李傻2019·2024-01-12 23:36

设置5台SSH互免的虚拟机服务器配置

步骤如下——1、准备五台机器服务器名字服务器IPhadoop1192.168.31.130hadoop2192.168.31.131hadoop3192.168.31.132hadoop4192.168.31.133hadoop5192.168.31.134
朱季谦·2024-01-12 23:24

hadoop(4)--NameNode元数据管理

这是分享的第四篇文章了，可能有些小伙伴看到标题后，很纳闷，完全是跳跃式的，NameNode是什么呢？NameNode是管理元数据的，这个和大数据有什么关系呢？对了，就爱带着问题去探索，NameNode是HDFS的一个组件，可以说一个进程，HDFS中共有三个组件NameNode,DataNode,SecondNameNode。这三个都是做什么的呢？NameNode:管理元数据的DataNode:保存
ROCK_杰哥·2024-01-12 22:41

如何进行大数据系统测试

大数据系统常见的架构形式有如下几种：Hadoop架构：HadoopDistributedFileSystem(HDFS)：这是一种分布式文件系统，设计用于存储海量数据并允许跨多台机器进行高效访问。
Feng.Lee·2024-01-12 21:41

OkHttp源码分析：五大拦截器详解

OkHttp源码分析：五大拦截器详解一、RetryAndFollowUpInterceptor（重试与重定向拦截器）主要完成两件事：重试与重定向@OverridepublicResponseintercept
w达不溜w·2024-01-12 20:19

Spring配置类以及扫描过程源码解析

书接上文文章目录一、拾遗1.回顾2.源码分析二、配置类扫描源码分析1.源码分析2.BeanDefinition覆盖问题3.full配置类和lite配置类的区别一、拾遗1.回顾前面我们分析了Spring框架器启动过程要做的事情
jakiechaipush·2024-01-12 18:39

Spring之整合Mybatis底层源码

文章目录一、整体核心思路1.简介2.整合思路二、源码分析1.环境准备2.源码分析一、整体核心思路1.简介有很多框架需要与Spring进行整合，而整合的核心思路就是把其他框架所产生的对象放到Spring容器中
jakiechaipush·2024-01-12 18:34

ZooKeeper 安装与部署

1.1认识Zookeeper介绍Zookeeper前，看下面这个图：在这张图片里，我们可以看到Hadoop是一只大象，HIVE是一只蜜蜂，Bigtop是马戏团，Pig是一只猪，HAMA是一只河马…只有Zookeeper
Destiny_-Sky·2024-01-12 18:48

Linux学习笔记——ZooKeeper集群安装部署

5.8、ZooKeeper集群安装部署5.8.1、简介Zookeeper是一个分布式的、开放源码的分布式应用程序协调服务，是Hadoop和HBase的重要组件。
kxttmx·2024-01-12 18:16

Zookeeper安装与部署

由于ZooKeeper便捷的使用方式、卓越的性能和良好的稳定性，被广泛地应用于诸如Hadoop、HBase、Kafka和Dubbo等大型分布式系统中。一个分布式系统最多只能同时满足一致性
HRX98·2024-01-12 18:12

zookeeper下载安装部署

zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目的一个子项目，并根据google发表的一篇论文来实现的。
倚-天-照-海·2024-01-12 18:38

SpringBoot源码分析(三)之源码编译

SpringBoot源码分析(三)之源码编译文章目录SpringBoot源码分析(三)之源码编译前言一、源码下载二、本地编译1.修改根pom文件2.编译源码三、源码环境的使用1.源码的工程下创建SpringBoot
春来秋罔·2024-01-12 17:42

SpringBoot3.X源码分析(启动流程)

@SpringBootApplication(scanBasePackages={"com.javaedge.base"})publicclassBaseApplication{publicBaseApplication(){}publicstaticvoidmain(String[]args){SpringApplication.run(BaseApplication.class,args);}
zhangjunli·2024-01-12 17:42

线程池 - TaskDecorator线程的装饰（跨线程传递ThreadLocal的方案）

1.源码分析源码：org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor#initializeExecutor@OverrideprotectedExecutorServiceinitializeExecutor
zhangjunli·2024-01-12 17:12

SpringBoot源码分析：SpringBoot启动源码(一)

一、概述SpringBoot启动的源码分为前期初始化，和后期启动两个部分，我们从这两个部分开始介绍。二、前期初始化SpringBoot前期初始化主要由下面三行代码组成。进入SpringApplication.getSpringFactoriesInstances方法最终进入SpringFactoriesLoader.loadFactoryNames方法最后SpringFactoriesLoader
小海海不怕困难·2024-01-12 17:11

rocketmq集成springboot源码分析

我们知道无论是mybatis-plus、rocketmq等第三方优秀的框架都继承了springboot。那么如果我们想自己写一个简单的功能集成到springboot当中需要怎么做到呢？接下来我们分下下rocketmq集成springboot的代码：@RocketMQMessageListener是我们实现业务代码的监听实现类，通常它长这个样子：@Slf4j@Component@RocketMQMe
hyssop2019·2024-01-12 17:10

Springboot源码分析(一)：环境准备

Springboot源码解析–源码下载文章目录前言一、下载源码二、编译源码三、导入IDEA四、创建项目总结前言结合源码探究SpringBoot的启动机制、自动装配的原理以及内嵌Tomcat的实现原理等，本次先把SpringBoot源码环境给搭建起来，在2.2.9之前是用maven搭建的，之后用的gradle搭建的，为了方便阅读，所以我们这里选择的2.2.9版本进行下载。下载地址：https://g
浮生_半日闲·2024-01-12 17:37

SpringBoot源码分析（请求部分）

SpringBoot源码分析（请求部分）引言看了尚硅谷雷神的SpringBoot2源码分析，颇有感触，请求处理这部分的源码真的是太精彩了，决定自己在好好的debug几次，再记录下笔记！
Rex·Lin·2024-01-12 17:01

SpringBoot源码分析

一：简介由Pivotal团队提供的全新框架其设计目的是用来简化新Spring应用的初始搭建以及开发过程使用了特定的方式来进行配置快速应用开发领域二：运行原理以及特点运行原理：SpringBoot为我们做的自动配置，确实方便快捷，今天来了解一下它的原理：特点：可以创建独立的Spring应用程序，并且基于其Maven或Gradle插件，可以创建可执行的JARs和WARs；内嵌Tomcat或Jetty等
zhangjunli·2024-01-12 17:59

Java并发之同步三：Condition条件队列

一、总览二、源码分析2.1人口publicConditionnewCondition(){returnsync.newCondition();}finalConditionObjectnewCondition
上海第一shen 深情·2024-01-12 17:13

Hadoop常用命令

启动Hadoop所有进程：start-all.sh关闭Hadoop所有进程：stop-all.sh单进程启动：start-dfs.sh和start-yarn.sh分别启动HDFS和YARNhdfsdfs-xxx
在努力的Jie·2024-01-12 16:16

Flutter 75: 图解基本 TabBar 标签导航栏 (一)

小菜今天学习一下常用的TabBar标签导航栏使用方法；源码分析constTabBar({Keykey,@requiredthis.tabs,//顶部标签Tab组件列表this.controller,//
阿策神奇·2024-01-12 16:49

Hadoop 的核心 —— HDFS（1）

首先来看看Hadoop是什么？
土冥王·2024-01-12 16:13

2022-03-08_spring@EnableCaching注解源码分析学习笔记

20220308_spring@EnableCaching注解源码分析学习笔记.md1概述1.1涉及知识点EnableCaching启动入口AnnotationAwareAspectJAutoProxyCreator
kikop·2024-01-12 16:47

kafka下载安装部署

它现在是Apache旗下的一个开源系统，作为hadoop生态系统的一部分，被各种商业公司广泛应用。
倚-天-照-海·2024-01-12 15:25

Hbase2.1 集群搭建

Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了Hadoop3.2集群搭建了，本次我们将继续紧接着搭建Hbase集群。
kikiki2·2024-01-12 15:31

Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下：1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
数据萌新·2024-01-12 14:31

解决java连接Hbase程序卡住执行也不报错的问题

程序运行不知多久，就报错了（截取一行有用的）：java.net.UnknownHostException:cannotresolvehadoop01,1
向他一样rap·2024-01-12 14:37

查询速度提升15倍！银联商务基于 Apache Doris 的数据平台升级实践

为更好提供数据服务，银联商务实现了从Hadoop到ApacheDoris的架构升级，使数据导入性能提升2-5倍、ETL场景性能提升3-12倍、查询分析响应速度提升10-15倍，满足大规模数据导入和实时极速查询的业务需求
SelectDB技术团队·2024-01-12 13:28
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他