hadoop源码分析

redis源码分析--事件驱动模型

redis的服务器是一个事件驱动模型。驱动整个服务运转的关键技术就是IO多路复用，我认为，epoll(linux下的多路复用)是整个redis服务的"发动机"。既然是事件驱动，那redis中的事件是什么呢？分为两类事件：文件事件(socket可读或可写)和时间事件(定时任务)，redis表示事件循环中的事件封装的结构体是structaeEventLoopae.h/*Stateofaneventba
小罗tongxue·2024-01-13 19:26

Redis源码分析：基础概念介绍与启动概述

Redis源码分析基于Redis-5.0.4版本，进行基础的源码分析，主要就是分析一些平常使用过程中的内容。
小屋子大侠·2024-01-13 19:51

Redis源码分析：服务器编程模型

Base：redis2.4.4Update:redis2.8.7Reids基于事件驱动(Event-driven)构建服务。Event-driven，提到这个，很容易想到如雷贯耳的libevent库（libeven封装了以下三种事件的响应:IO事件,定时器事件,信号事件）。Redis的没有采用庞大的libevent库，而是自己写了一个，牺牲了一些平台通用性，但是性能非常强劲。memcache采用了
chushang0934·2024-01-13 19:47

大数据

image.pnghadoop主要解决海量数据的存储和海量数据的分析计算问题。
哈斯勒·2024-01-13 19:30

vue3 源码解析（3）— computed 计算属性的实现

前言本文是vue3源码分析系列的第三篇文章，主要介绍vue3computed原理。computed是vue3的一个特性，可以根据其他响应式数据创建响应式的计算属性。
Avicli·2024-01-13 18:54

vue3 源码解析（4）— createApp 源码的实现

前言本文是vue3源码分析系列的第四篇文章，在使用vue3时，我们需要使用createApp来创建一个应用实例，然后使用mount方法将应用挂载到某个DOM节点上。
Avicli·2024-01-13 18:53

Spring MVC源码分析

SpringMVC源码分析本篇文章只讲源码分析，不讲springmvc基础的东西，文章中部分理论部分为转载。
piaoslowly·2024-01-13 18:31

Spring源码分析（四）SpringMVC

文章目录ContextLoaderListenerDispatcherServlet初始化九大组件MultipartResolverLocaleResolverThemeResolverHandlerMapping初始化BeanNameUrlHandlerMappingRequestMappingHandlerMapping获取HandlerExecutionChainBeanNameUrlHan
万里墨香·2024-01-13 18:01

HBase 四种数据迁移方案

http://ballwql.cnblogs.com/一、前言HBase数据迁移是很常见的操作，目前业界主要的迁移方式主要分为以下几类：图1.HBase数据迁移方案从上面图中可看出，目前的方案主要有四类，Hadoop
过往记忆·2024-01-13 18:21

ConcurrentHashMap源码分析(01)-构造方法

前言ConcurrentHashMap作为并发工具集里面的一员，扮演着极其重要的角色。它支持HashMap的绝大多数功能，并且保证线程安全。为了线程安全，它内部的实现用到了锁、CAS和自旋等不同于HashMap的操作。ConcurrentHashMap在jdk8中的实现，又有别于jdk7及以前的版本。在jdk7中，ConcurrentHashMap的实现是基于Segment分段锁的方式。而jdk8
juconcurrent·2024-01-13 18:06

【spring源码分析】@Conditional的使用以及分析

@Conditional@Conditional一、基本信息二、注解描述三、注解源码四、主要功能五、最佳实践在@Bean上使用在@Configuration上使用自定义组合注解六、时序图七、源码分析八、
吴巴格·2024-01-13 17:24

【spring源码分析】@Autowired的使用以及分析

@Autowired@Autowired一、基本信息二、注解描述三、接口源码四、主要功能五、最佳实践六、时序图七、源码分析前置条件收集阶段注入阶段八、注意事项九、总结最佳实践总结源码分析总结一、基本信息转载自
吴巴格·2024-01-13 17:54

【spring源码分析】@ComponentScan的使用以及分析

@ComponentScan@ComponentScan一、基本信息二、注解描述三、注解源码四、主要功能五、最佳实践六、时序图七、源码分析八、注意事项九、总结最佳实践总结源码分析总结一、基本信息转载自github
吴巴格·2024-01-13 17:19

MyBatis和Spring整合的奥秘

本篇博客源码分析基于Spring5.1.16.RELEASE，mybatis-spring2.0.0，较高版本的mybatis-spring源码有较大区别。
java那点儿事·2024-01-13 17:34

33 - Guarded Suspension模式 等待唤醒机制的规范

GuardedSuspension模式等待唤醒机制的规范1.GuardedSuspension模式2.扩展GuardedSuspension模式3.Dubbo源码分析4.总结  前不久，同事小灰工作中遇到一个问题
坯子蔡·2024-01-13 16:41

3.hadoop HA-QJM 安装

目录概述实践一主两从解压配置文件hadoop-env.shcore-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlworkers分发环境变量格式化启动
流月up·2024-01-13 16:32

关于rewriteBatchedStatements的源码分析

在之前的优惠券兑换码需求中，涉及批量写入问题，其中有一个关键的连接配置参数非常重要——rewriteBatchedStatements，当该值配置为true时，Statement将可能对批量插入sql进行重写。何谓重写？原来提交的批量执行语句（100条）如下：INSERTINTOdh_redeem_code(code,status,coupon_id,batch_id)VALUES('1','0'
萧十一郎君·2024-01-13 15:56

开源大数据集群部署（四）Freeipa部署（kerberos+ldap）

将它与Hadoop服务进行集成便能够很好地解决安全性不足的问题。除了需要安装MITKerberos之外，我们还需要安装LDAP。
云掣YUNCHE·2024-01-13 14:15

Hive安装部署

安装好对应版本的hadoop集群，并启动hadoop的HDFS以及YARN服务安装了MySQL服务，并启动MySQL的服务Hive的安装部署注意hive就是==一个构建数据仓库的工具==，只需要在==一台服务器上
我还不够强·2024-01-13 13:35

RxJava 2.x 源码分析(一)

主要介绍Rxjava是如何利用观察者模式实现通信依赖implementation'io.reactivex.rxjava2:rxandroid:2.0.1'核心类和接口Observable(被观察者)被观察者必须继承的抽象类//T:`被观察者`发射的item的类型publicabstractclassObservableimplementsObservableSourceObserver(观察者)
zYoung_Tang·2024-01-13 13:55

Flume命令

它将数据从各种源（例如日志文件、消息队列、网络流等）采集到目标位置（例如Hadoop、HBase、Kafka等）。
思旭�·2024-01-13 13:02

Hive及各组件功能介绍

Hive是一个开源的数据仓库基础设施，是构建在Hadoop之上的。它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop中的大规模数据集。
思旭�·2024-01-13 12:32

HDFS及各组件功能介绍

Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）是Hadoop生态系统的核心组件之一，它是设计用于存储和处理大规模数据集的分布式文件系统。
思旭�·2024-01-13 12:32

zookeeper未授权访问漏洞修复方式

:https://www.cnblogs.com/linuxbug/p/5023677.html图片中的解决方式都是通过设置认证用户,但是仅仅设置用户和密码的话集群(ApacheActivemq集群，Hadoop
xiexiaoming052·2024-01-13 12:39

Yarn的安装与使用详细介绍

什么是yarnApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度
知数SEO·2024-01-13 11:36

hadoop historyserver启动，无法访问，查看报错等问题

hadoophistoryserver启动，无法访问，查看报错等问题1、historyserver无法启动2、historyserver已启动，可以看到进程，web无法访问url3、historyserver
这都不是事er·2024-01-13 10:07

按照官网步骤sbin/start-yarn.sh失败

按照官网步骤sbin/start-yarn.sh失败环境sbin/start-yarn.sh启动失败sbin/stop-yarn.sh执行失败环境Centos7-1台虚拟机hadoop-3.2.1OpenJDK1.8.0
这都不是事er·2024-01-13 10:06

OKHTTP 源码分析

关于OkHttp网上有很多分析的文章，本篇文章为个人对OkHttp的了解源码分析，自己复习使用，特此总结出来,okHttp为什么这么牛，为什么这么多人使用，以及框架有点，使用的到设计模式等等，从源码角度去分析
努力的小王同学·2024-01-13 10:58

OKHttp 源码分析

OKHttp是一个来自Square的HTTP客户端框架，用于Java和Android应用程序。它的设计是为了更快地加载资源并节省带宽。OKHttp源码地址：https://github.com/square/okhttpOKHttp的简单使用下面让我们从一个简单的Demo来开始OKHttp的源码阅读。classOKHttpGetDemo{privatevalclient=OkHttpClient(
星流星·2024-01-13 10:46

大数据系列 | CDH6.3.2（Cloudera Distribution Hadoop）部署、原理和使用介绍

大数据系列|CDH6.3.2（ClouderaDistributionHadoop）部署、原理和使用介绍1.大数据技术生态中Hadoop、Hive、Spark的关系介绍2.CDN（ClouderaDistributionHadoop
降世神童·2024-01-13 10:50

Flink CDC 实时抽取 Oracle 数据-排错&调优

使用环境Oracle：11.2.0.4.0（RAC部署）Flink：1.13.1Hadoop：3.2.1问题1、无法连接数据库根据官方文档说明，在FlinkS
Denny辉·2024-01-13 09:48

Spark原理——逻辑执行图

"local[6]").setAppName("wordCount_source")valsc=newSparkContext(conf)valtextRDD=sc.parallelize(Seq("HadoopSpa
我像影子一样·2024-01-13 09:17

Spark原理——运行过程

运行过程逻辑图是什么怎么生成具体怎么生成valtextRDD=sc.parallelize(Seq("HadoopSpark","HadoopFlume","SparkSqoop"))valsplitRDD
我像影子一样·2024-01-13 09:44

2022-02-01大数据学习日志——Hadoop离线阶段——数据仓库、Apache Hive

学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解ApacheHive远程模式部署安装内容大纲#数据仓库基础核心知识1、数据仓库是什么为何而来？为了分析数据而来数据分析的平台2、数据仓库的特性3、数据仓库和数据库的区别OLTP系统OLAP系统注意：这里要解决一个核心的误区：数仓绝不是大型数据库。这么理解就凉凉4、
王络不稳定·2024-01-13 09:28

Mysql Connector/J 源码分析（普通Connection）

构造连接2.1连接的实现类2.2连接的构造过程2.2.1Socket层面的握手2.2.2数据库管理软件层面的握手三、使用连接四、异常分析五、通讯异常对于连接的影响总结前言《MysqlConnector/J源码分析
yyb_gz·2024-01-13 07:11

【Mysql源码分析】mysql协议分析(一)

前言  在近期的mysql学习过程中，一直想做的一件事就是分析下mysql的协议。了解Mysql协议也是深入了解Mysql的过程。本章的内容由于篇幅过大，会拆分成两章来讲述。Mysql版本：8.0.20抓包工具：Wireshark1.Mysql协议分析  在分析mysql之前我们首先要把mysql的ssl关掉，抓包过程中TLS解析比较麻烦。1.1关闭MysqlSSL  可以通过配置my.cnf文件
c-rain·2024-01-13 07:01

mysql源码分析——插件Plugin架构

一、Mysql中的Plugin在程序设计的发展过程中，插件（Plugin）形式的设计存在的时间很长了，这种源于硬件的插件接口设计，优势在于可以很从容的进行不同场景应用的切换，甚至在运行时也可以通过动态的参数配置来实现整个功能应用场景的快速适配。从Eclipse到Idea等IDE开发工具，到实际的项目开发中，只要开发经验较多的程序员一定会遇到过类似的工程实践。插件一般是基于一定的插件协议，通过开放不
fpcc·2024-01-13 07:57

从源码分析 MySQL 身份验证插件的实现细节

最近在分析ERROR1045(28000):Accessdeniedforuser'root'@'localhost'(usingpassword:YES)这个报错的常见原因。在分析的过程中，不可避免会涉及到MySQL身份验证的一些实现细节。加之之前对这一块就有很多疑问，包括：一个明文密码，是如何生成mysql.user表中的authentication_string？在进行身份验证时，客户端是否
快乐非自愿·2024-01-13 07:23

使用Sqoop将数据导入Hadoop的详细教程

在大数据处理中，Sqoop是一个强大的工具，它可以将关系型数据库中的数据导入到Hadoop生态系统中，以便进行进一步的分析和处理。
晓之以理的喵~~·2024-01-13 07:43

Sqoop入门指南：安装和配置

Sqoop是一个强大的工具，用于在Hadoop和关系型数据库之间高效传输数据。在本篇文章中，将深入探讨如何安装和配置Sqoop，以及提供详细的示例代码。
晓之以理的喵~~·2024-01-13 07:13

Hadoop分布式集群安装

上一篇大数据文章讲解了在单机上搭建Hadoop-Yarn伪分布式集群的安装方法，方便大家学习，真实环境不可能只有一台机器，肯定是多节点的集群，大单位还会建设很多Hadoop集群，比如各个大部门有自己的集群
鬓戈·2024-01-13 07:28

基于Hadoop的网上购物行为大数据分析及预测系统【flask+echarts+机器学习】前后端交互

有需要本项目或者部署的系统可以私信博主，提供远程部署和讲解本研究基于淘宝用户行为的开源数据展开大数据分析研究，通过Hadoop大数据分析平台对阿里天池公开的开源数据集进行多维度的用户行为分析，为电商销售提供可行性决策
王小王-123·2024-01-13 06:53

使用Sqoop将数据从Hadoop导出到关系型数据库

当将数据从Hadoop导出到关系型数据库时，ApacheSqoop是一个非常有用的工具。
晓之以理的喵~~·2024-01-13 06:23

NameNode瞬时高并发导致短暂不可用，Hadoop2.7二次开发

版本hadoop2.7分段锁优化Namenode的FSNamesystem类中主要有三块。
邵红晓·2024-01-13 06:24

【深入学习51单片机】二、一个极简RTOS源码分析

目录一、书接上回二、初始化过程三、任务的创建四、任务的切换五、任务的等待（系统延时）一、书接上回上回写了一个测试程序，可以直观的体会PC指针和堆栈指针的变化和影响。这章写下参考程序的过程原理。源码我已上传，免积分，贴在第一章末尾上回链接：【深入学习51单片机】一、基于8051的RTOS内核任务切换堆栈过程剖析二、初始化过程main函数：intmain(void){system_init();os_
来碗豆腐脑·2024-01-13 06:28

SpringBoot3自动配置原理

自动配置-源码分析程序引入spri
冯宝宝^·2024-01-13 05:23

实验二 ：HIve数据定义操作实验

二、实验环境要首先自行搭建由3台虚拟机构成的Hadoop环境及Hive环境。
又是被bug折磨的一天·2024-01-13 04:55

Spring Boot - Application Events 的发布顺序_ApplicationPreparedEvent

文章目录Pre概述Code源码分析PreSpringBoot-ApplicationEvents的发布顺序_ApplicationEnvironmentPreparedEvent概述SpringBoot
小小工匠·2024-01-13 04:12

K8s 是如何完成调度和权重调整？

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、调度流程二、kuble-scheduler调度原理1kubernetes1.23版本调度器filter阶段和score阶段源码分析
LemonMadison·2024-01-13 03:26

Qt源码分析：Qt程序是怎么运行起来的？

一、从exec()谈起一个标准的Qt-gui程序，在启动时我们会coding如下几行简洁的代码：#include"widget.h"#includeintmain(intargc,char*argv[]){QApplicationa(argc,argv);Widgetw;w.show();returna.exec();}在这里我们首先考虑第一个问题，如果主程序中没有调用a.exec()，在编译运行
键盘会跳舞·2024-01-13 03:46
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他