hadoop源码分析

HDFS 机架感知配置导致数据不均衡

HDFS机架感知是一种逻辑上的网络架构设计，它主要是用来区分不同节点的网络拓扑情况下，保证数据是能够高性能写入和查询的一种机制，毕竟跨网络的数据读写是有网络带宽消耗的，当没有配置机架信息时，所有的机器hadoop
KubeData·2024-01-17 02:41

Hive数学函数讲解

Hive是一个基于Hadoop的数据仓库工具，它支持类似于SQL的查询语言HiveQL，并且提供了许多内建的数学函数来处理数值数据。下面我将逐一讲解您提到的这些数学函数，并提供一些使用案例和注意事项。
田晖扬·2024-01-17 02:55

并发编程（七）——JUC并发工具

一、CountDownLatch应用&源码分析1.1CountDownLatch介绍CountDownLatch就是JUC包下的一个工具，整个工具最核心的功能就是计数器。
小灰灰-58·2024-01-17 00:26

Redis Sentinel 源码分析 - Sentinel 选举机制和主备倒换

作者：WenHui转载：中间件小哥Sentinel的选举机制在上面的文章我们提到过，Sentinel在主备倒换的过程中会使用is-master-down-by-addr命令来与其他Sentinel进行通信以取得其他Sentinel的投票。每个Sentinel实例都有被选举成领头Sentinel的机会，领头Sentinel会主导整个主节点下线进行主备倒换的过程。image如上面代码所示，当Senti
中间件小哥·2024-01-17 00:10

Spring Boot - Application Events 的发布顺序_ApplicationContextInitializedEvent

文章目录Pre概述Code源码分析PreSpringBoot-ApplicationEvents的发布顺序_ApplicationEnvironmentPreparedEventSpringBoot-ApplicationEvents
小小工匠·2024-01-16 23:08

Hadoop详解

Hadoop概念就是一个大数据解决方案。它提供了一套分布式系统基础架构。核心内容包含hdfs和mapreduce。
武昌库里写JAVA·2024-01-16 21:20

「Kafka」Broker篇

KafkaBroker总体工作流程Zookeeper存储的Kafka信息启动Zookeeper客户端：[atguigu@hadoop102zookeeper-3.5.7]$bin/zkCli.sh通过ls
小成同学_·2024-01-16 21:44

SpringMVC请求源码分析

文章目录一、SpringMVC简介1.概念2.从Servlet到SprigMVC3.SpringMVC的XML实现4.SpringMVC的请求流程二、SpringMVC源码分析1.SpringMVC启动流程验证
jakiechaipush·2024-01-16 20:57

Spring事务源码详解

文章目录一、事务的使用二、源码分析1.
jakiechaipush·2024-01-16 20:56

Spring之AOP源码（二）

书接上文文章目录一、简介1.前文回顾2.知识点补充二、ProxyFactory源码分析1.ProxyFactory2.JdkDynamicAopProxy3.ObjenesisCglibAopProxy
jakiechaipush·2024-01-16 20:25

Hudi0.14.0最新编译（修订版）

1编译环境Java1.8maven3.9.3hadoop3.3.4hive3.1.3spark3.2.1flink1.16.0hudi0.14.02hudi准备2.1源码$gitclonehttps:/
跟着大数据和AI去旅行·2024-01-16 20:40

架构简介，到底什么是架构？

我们经常对新员工培训整个系统的架构，参加架构设计评审，学习业界开源系统（例如，MySQL、Hadoop）的架构，研究大公司的架构实现（例如，微信架构、淘宝架构）……虽然“架构”这个词常见，但如果深究一下
星猿杂谈·2024-01-16 18:51

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez
悦悦学Python·2024-01-16 18:10

spring Security源码分析-13种过滤器详解

13种核心过滤器springsecurity的13个核心过滤器(按执行顺序陈列):WebAsyncManagerIntegrationFilterSecurityContextPersistenceFilterHeaderWriterFilterLogoutFilterUsernamePasswordAuthenticationFilterDefaultLoginPageGeneratingFil
不穿铠甲的穿山甲·2024-01-16 18:58

hive:创建自定义python UDF

由于Hadoop框架是用Java编写的，大多数Hadoop开发人员自然更喜欢用Java编写UDF。
-柚子皮-·2024-01-16 16:35

记录学习Spark+Kafka构建实时分析Dashboard案例中遇到的问题（一）安装

目录推荐环境系统和软件安装安装Ubuntu分辨率问题虚拟机桥接模式连不上网Hadoop安装Ubuntu16.04下用aria2下载百度网盘大文件其他在安装hadoop时遇到的问题hadoop用法小结单机模式伪分布式
白令屿·2024-01-16 13:53

干货|app自动化测试之Appium 源码分析

Appium是由Node.js来实现的HTTP服务，它并不是一套全新的框架，而是将现有的优秀的框架进行了集成，在SeleniumWebDriver协议（JsonWireProtocol/Restfulwebservice）的基础上增加了移动端的支持，使Appium满足多方面的需求。官方提供更详细的Appium结构说明：https://appium.io/docs/en/contributing-t
橙子_菇凉·2024-01-16 12:00

大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现

基于Hadoop的Mapreduce编程实践案例的设计与实现一、数据排序案例的设计与实现1.1设计思路1.2实践过程1.3成果展示+数据可视化分析二、求数据平均值案例的设计与实现2.1设计思路2.2实践过程
ZShiJ·2024-01-16 11:27

C++ stl库中vector的简单实现

vector图示详解：图来自《stl源码分析》namespaceyhy{templateclassvector{public:typedefT*iterator;//定义了一个简单的迭代器，迭代器在stl
kurayamasy·2024-01-16 10:00

Flume用法总结

在Hadoop生态系统中，规模最大，知名度最高的公司就是Cloudera，2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop商用解决方案。
天选之子123·2024-01-16 10:53

Kafka入门基本概念（详细）

对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoo
学会用脚编程·2024-01-16 10:17

HIve项目入门 环境部署遇到的问题及解决方案

环境布置的步骤建议是jdk,hadoophive这几个分别去下载，参考以下几个安装教程：【主要参考：傻瓜式教程】Windows下安装HiveMySQL版【附安装Hadoop教程】全网最详细的图文教程【有一些补充的内容
Manchesterr·2024-01-16 09:47

001 大数据爱好者的 Hadoop 教程-学习 Hadoop 的最佳方式

000HadoopTutorialforBigDataEnthusiasts–TheOptimalwayofLearningHadoopHadoopTutorial–Oneofthemostsearchedtermsontheinternettoday.Doyouknowthereason
胡巴Lei特·2024-01-16 09:27

scratch3.0 虚拟机源码分析

scratch软件的逻辑不复杂,就是用blockly生成语句块,然后用虚拟机抽象成底层语法,最后再调用render渲染到界面,但是因为网上几乎没有资料,源代码又嵌套的极深,看起来还是很头疼的,所以我把我这一周看代码的心得分享一些出来,以后再慢慢更新.希望大家也能少走些弯路.首先什么是虚拟机:用来屏蔽底层硬件差异和dom渲染差异,使得程序可以跨端移植,react本质上也是虚拟机,虚拟dom屏蔽设备渲
hanxianshe_9530·2024-01-16 08:21

基于CentOS7利用docker搭建hadoop环境

一、任务目标在之前已经安装好的CentOS虚拟机上，在Docker上，安装hadoop。
Cupcake_JackY·2024-01-16 07:50

Hive 数据迁移

二、思路三、同步数据（方案）1、环境：断直连模拟环境2、操作机器：ETL机器XX.14.36.2163、工作路径：cd/usr/local/fqlhadoop/hadoop/bin4、执行命令：命令格式
bigdata-余建新·2024-01-16 07:14

Hive知识点

基本概念：由Facebook开源，构建在Hadoop之上的数据仓库，数据计算是mapreduce，数据存储是HDFS目的是构建面向分析的集成的数据环境，为企业提供决策支持（面向分析的存储系统）主要特征：
꧁༺朝花夕逝༻꧂·2024-01-16 07:25

HDFS HA 集群搭建 - 基于Quorum Journal Manager（hadoop2.7.1）

0、前置概念0.1checkpoint检查点在Hadoop分布式文件系统（HDFS）中，检查点（Checkpointing）是一个关键的过程，它涉及到将文件系统的命名空间状态持久化到磁盘。
Studying！！！·2024-01-16 06:36

flink1.14.5使用CDH6.3.2的yarn提交作业

使用CDH6.3.2安装了hadoop集群，但是CDH不支持flink的安装，网上有CDH集成flink的文章，大都比较麻烦；但其实我们只需要把flink的作业提交到yarn集群即可，接下来以CDHyarn
码道功成·2024-01-16 06:30

mac上搭建 hadoop 伪集群

1.hadoop介绍Hadoop是Apache基金会开发的一个开源的分布式计算平台，主要用于处理和分析大数据。Hadoop的核心设计理念是将计算任务分布到多个节点上，以实现高度可扩展性和容错性。
寂夜了无痕·2024-01-16 06:30

hadoop- yarn启动后用jps查看没有resourcemanager

1.问题启动hadoop的yarn时发现jps并没有resourcemanager2.排查在hadoop-xxx-resourcemanager-.log日志文件中发现了报错日志日志内容如下contextlogs2024
寂夜了无痕·2024-01-16 06:30

Hadoop分布式文件系统(三)

目录一、Hadoop1、MapReduce1.1、理解MapReduce思想1.2、分布式计算概念1.3、MapReduce介绍1.4、MapReduce特点1.5、MapReduce局限性1.6、MapReduce
杀神lwz·2024-01-16 06:57

Hadoop 3.2.4 集群搭建详细图文教程

一、集群简介Hadoop集群包括两个集群：HDFS集群、YARN集群。两个集群逻辑上分离、通常物理上在一起；两个集群都是标准的主从架构集群。
༺࿈誓言࿈༻·2024-01-16 05:10

大数据技术原理与应用 第三版 林子雨 期末复习（四） Hive

大数据技术原理与应用第三版林子雨期末复习（四）Hive概念数据仓库层次传统数据仓库面临的挑战Hive简介Hive与传统数据库对比概念Hive是一个基于Hadoop的数据仓库工具。
头发多多，肆意生长·2024-01-16 05:22

大数据技术原理与应用 第三版 林子雨 期末复习（五） 第十章 SPARK

大数据技术原理与应用第三版林子雨期末复习（五）第十章SPARK简介spark特点spark与Hadoop对比Hadoop缺点spark优点RDDRDD概念RDD间存在依赖关系分为宽依赖与窄依赖RDD的两种常用操作简介
头发多多，肆意生长·2024-01-16 05:22

大数据技术原理与应用 第三版 林子雨 期末复习（二） Hadoop HDFS HBase

大数据技术原理与应用第三版林子雨期末复习（二）HadoopHDFSHBaseHadoop生态系统HDFSHDFS结构块NameNode与SecondNameNode与DataNode数据冗余存储HDFS
头发多多，肆意生长·2024-01-16 05:21

大数据技术原理与应用期末复习（林子雨）

大数据技术原理与应用期末复习（林子雨）Hadoop的特性HBase编程实践NoSQL的四大类型键值数据库优点：缺点：列族数据库优点：缺点：文档数据库优点：缺点：图数据库优点：缺点：NoSQL的三大基石CAP
laowang357·2024-01-16 05:50

Kafka部署及使用

broker、topic启动zk下载zkzookeeper-3.4.5-cdh5.7.0.tar.gz解压：tar-zxvfzookeeper-3.4.5-cdh5.7.0.tar.gz-C/home/hadoop
Sx_Ren·2024-01-16 05:15

Android系统启动-SystemServer进程

本篇文章基于Android6.0源码分析相关源码文件：/frameworks/base/core/java/com/android/internal/os/-ZygoteInit.java-RuntimeInit.java-Zygote.java
isLJli·2024-01-16 00:16

任务10：安装配置Java开发环境

开发工具Maven配置重点：安装配置Java开发工具IDEA为IDEA配置自定义Maven（国内源）内容：下载并配置JDK1.8下载安装IDEA为IDEA配置自定义MavenWindows环境安装配置Hadoop
Dija-bl·2024-01-15 22:21

任务12：使用Hadoop Streaming解压NCDC天气原始数据

任务描述知识点：NCDC原始的气象数据上传到HDFSMapReduce程序处理NCDC原始数据重点：熟练使用HDFS基础命令查看HDFS文件块的分布情况掌握Linux系统Shell脚本的编写熟练使用MapReduce程序解压缩文件使用MapReduce程序处理NCDC气象数据内容：NCDC气象数据上传至HDFS检查HDFS文件块的分布情况编写LinuxShell脚本生成input文件编写Shell
Dija-bl·2024-01-15 22:21

任务4：安装并配置JDK

：检查系统中是否自带OpenJDK卸载系统自带OpenJDK安装OracleJDK配置环境变量并使其生效将JDK分发至其他机器任务指导安装并配置OracleJDK过程1、安装配置OracleJDK概述Hadoop2.9.2
Dija-bl·2024-01-15 22:51

任务3：配置SSH免密码连接--自用

任务描述知识点：掌握配置SSH免密连接重点：掌握SSH免密连接熟练使用Linux命令配置机器间的免密登陆内容：配置SSH免密登陆使用命令分发文件测试SSH免密登陆任务指导Hadoop分布式集群是由多个节点组成
Dija-bl·2024-01-15 22:21

任务5：安装并配置Hadoop

任务描述知识点：掌握Hadoop集群的搭建重点：掌握Linux基础命令在Linux系统下使用命令安装Hadoop集群内容：安装配置Hadoop集群配置Hadoop环境变量修改Hadoop配置文件部署Hadoop
Dija-bl·2024-01-15 22:21

STL tuple源码分析

STLtuple源码分析和pair一样，tuple也是STL中非常常见的数据结构。pair是个二元组，只支持两个类型参数，tuple则是个多元组，可以支持多个类型参数。
异次元的归来·2024-01-15 22:32

xlua源码分析（五） struct类型优化

xlua源码分析（五）struct类型优化上一节我们分析了xlua是如何实现lua层访问C#值类型的，其中我们重点提到了xlua默认实现方式下，struct访问的效率问题。
异次元的归来·2024-01-15 21:56

RT-Thread源码分析3：内核对象模型

文章目录前情提要内核对象模型的基本数据结构内核对象控制块的数据结构内核对象容器的数据结构内核对象管理方式对象操作的主要函数rt_object_get_information(type)rt_object_init(*object,type,*name)rt_object_detach(object)rt_object_is_systemobject(object)rt_object_get_typ
萤火虫的电子笔记·2024-01-15 21:51

STM32F103VET6之火焰传感器数据输出串口显示

目录前言一、火焰传感器原理二、硬件连接三、设计思路四、源码分析总结前言在当今的智能化和自动化时代，嵌入式系统在各种应用中发挥着越来越重要的作用。
根本学不够·2024-01-15 21:39

STM32F103VET6之中断详解

目录前言一、中断和事件的区别二、功能框图三、外部中断配置四、源码分析总结前言在嵌入式系统的世界里，微控制器（MCU）是许多应用的核心。要想充分发挥芯片的性能，熟练掌握其中断管理系统是必不可少的。
根本学不够·2024-01-15 21:39

ZooKeeper 简介

1、概念介绍ZooKeeper是一个开放源码的分布式应用程序协调服务，为分布式应用提供一致性服务的软件，由雅虎创建，是GoogleChubby的开源实现，是Apache的子项目，之前是Hadoop项目的一部分
HuaLuLemon·2024-01-15 21:37
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他