hadoop源码分析第44页

2018年最强干货！年薪80万+的大数据开发【教程】都在这儿！

技术层面来说，大数据使用的Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)需要JAVASE基础，即使你没有学过JAVAEE上手Hadoop也是可以的。

yoku酱·2024-01-03 13:36

Rxjava* 2.0 源码分析 2019-01-25

title:Rxjava*2.0源码分析Rxjava2.0源码分析参考：AndroidRxJava2.0：手把手带你源码分析RxJavahttps://www.jianshu.com/p/e1c48a00951a

亮亮_be3c·2024-01-03 13:03

Netty源码分析--PoolSubPage

PoolSubPage内部数据结构分析finalclassPoolSubpage{finalPoolChunkchunk;//所属的PoolChunkprivatefinalintmemoryMapIdx;//在memoryMap的索引idmemoryMap[id]privatefinalintrunOffset;//在PoolChunk的运行时内存偏移量privatefinalintpageSi

shoulda·2024-01-03 13:25

【HBase】——Java API

1环境1.1依赖org.apache.hbasehbase-client2.4.111.2配置文件hbase-site.xmlhbase.zookeeper.quorumhadoop102:2181,hadoop103

那时的样子_·2024-01-03 12:47

LruCache源码分析

对这个类的源码分析主要是以下几个目的：get方法put方法容量控制lru算法的实现publicfinalVget(Kkey){if(key==null){thrownewNullPointerException

成虫_62d0·2024-01-03 12:18

Trino源码分析：sql字段解析

业务中需要对Trino查询语句中涉及的字段进行处理，所以对这一段源码进行追踪分析，记录如下。源码追踪是从QueuedStatementResource类开始的。QueuedStatementResource类与ExecutingStatementResource类，提供用户执行查询相关的Restful接口。由于解决业务问题中未涉及ExecutingStatementResource类，所以本文只从

aguo718·2024-01-03 11:38

大数据实时项目必备技能二：kafka有话说

导读：Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与ClouderaHadoop，ApacheStorm，ApacheSpark集成。

栀子花_ef39·2024-01-03 11:05

数字化转型必备：数睿通 2.0 数据中台升级详解

资源评价）数据集市完善，打通审批流程修复数据生产由于DruidSQLUtils不支持Doris导致无法建表的问题优化贴源数据模块，改为读取数据库的元数据，与同步的数据做关联匹配此外，数据生产模块很多朋友对于Hadoop

小螺旋丸·2024-01-03 10:51

新年快乐—数睿通2.0数据中台全新功能模块发布

FlinkSql作业开发调度中心运维中心资源中心配置中心其他模块结语引言离上次发文已经有接近三个月了，这三个月主要在开发数睿通的数据生产模块，同时优化了一下数据集成，目前已经基本开发完毕了，集成了Flink，Hadoop

小螺旋丸·2024-01-03 10:43

Hive自定义函数支持国密SM4解密

当前项目背景需要使用到国密SM4对加密后的数据进行解密，Hive是不支持的，尝试了华为DWS数仓，华为只支持在DWS中的SM4加密解密，不支持外部加密数据DWS解密新建Maven工程只需要将引用的第三方依赖打到jar包中，hadoop

4935同学·2024-01-03 08:03

fa1智能指针Dev

并且根据源码分析智能指针的实现原理。一、为什么需要使用智能指针1.1内存泄漏C++在堆上申请内存后，需要手动对内存进行释放。

曼城英泽·2024-01-03 08:52

计算机毕业设计吊打导师hadoop+spark+hive知识图谱医生推荐系统医生数据分析可视化大屏医生爬虫医疗可视化医生大数据机器学习大数据毕业设计

流程：1.Python爬虫采集中华健康网约10万医生数据，最终存入mysql数据库；2.使用pandas+numpy/hadoop+mapreduce对mysql中的医生数据进行数据分析，使用高德地图解析地理位置

计算机毕业设计大神·2024-01-03 07:53

纠删码ReedSolomon

随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。

旅僧·2024-01-03 07:14

Clojure 实战(4)：编写 Hadoop MapReduce 脚本

Hadoop简介众所周知，我们已经进入了大数据时代，每天都有PB级的数据需要处理、分析，从中提取出有用的信息。Hadoop就是这一时代背景下的产物。

张吉Jerry·2024-01-03 07:35

spring源码分析-XML对应BeanDefinition存入BeanDefinitionRegistry流程

1.流程图2.源码分析刷新容器其实就是初始化容器创建bean其中有对xml的解析就是一下这些信息（用spring中的这些信息来解析dom）这个map存在DefaultListbleBeanFactory

普通小马鹿~·2024-01-03 04:52

python操作hdfs及hbase

创建目录client.makedirs("/tmp/ct/test51")默认权限755，用户名：dr.who可以创建多层级目录（类似mkdir-p）如果存在权限不足，可以通过命令行对上层目录权限进行修改：hadoopdfs-chmod-R777

佛系小懒·2024-01-03 04:26

使用Datax将Hive中的表迁移到MySQL

无法上传（2）解压datax压缩包sudotar-zxvfdatax.tar.gz-C/usr/local（解压到的目录，可自己设置）（3）修改文件夹名称 mvdatax.tar datax（4）给hadoop

孤城暮雨@·2024-01-03 04:17

Azkaban+Spark资源调度

前提条件：各节点之间的免密、登录启动Hadoop集群、Spark、Azkaban、Hive免密登录操作ssh-keygen-trsaslave01执行：scp~/.ssh/id_rsa.pubhadoop

孤城暮雨@·2024-01-03 04:46

Spark源码分析之：Shuffle

这一篇我们来分析Spark2.1的Shuffle流程。其实ShuffleDependency从SparkContext初始化就已经被DAGScheduler划分好了，本文主要探讨在Task运行过程中的ShufleWrite和ShuffleRead。要从Task运行开始说起，就要知道Task在哪里运行的。我们普遍认为Executor是负责执行Task的，但是我们发现Executor其实就是一个类pr

你说个der·2024-01-03 02:30

Redis Sentinel 源码分析 - Sentinel的初始化

作者：WenHui转载：中间件小哥RedisSentinel是Redis提供的高可用模型解决方案。Sentinel可以自动监测一个或多个Redis主备实例，并在主实例宕机的情况下自动实行主备倒换。本系列通过作者对RedisSentinel源码的理解，详细说明Sentinel的代码实现方式。Sentinel使用Redis内核相同的事件驱动代码框架，但Sentinel有自己独特的初始化步骤。在这篇文章

中间件小哥·2024-01-03 01:01

计算机毕业设计大数据类题目

序号题目题目要求（该课题的研究目的、所实现的主要功能等）1基于Hadoop的大数据宠物商城推荐系统收集大量有关宠物产品和用户购买行为的数据，并使用hadoop进行数据处理和存储，以构建一个个性化的宠物产品推荐系统

程序源码123·2024-01-03 00:14

Android无限广告轮播 - 自定义BannerView

上次讲了Android无限广告轮播-ViewPager源码分析，有了源码分析我们对ViewPager就有了一个大概的了解，那么再来封装成自定义View，就会简单许多，附视频讲解地址：http://pan.baidu.com

你也不知道·2024-01-03 00:40

freeRtos源码分析之核心数据结构链表

FreeRtos源码分析核心数据结构链表1.常见链表类型什么是链表，链表是一种通过指针串联在一起的线性结构，每一个节点由两部分组成，一个是数据域一个是指针域（存放指向下一个节点的指针），最后一个节点的指针域指向

执笔-叙写流年·2024-01-03 00:32

freeRtos源码分析之任务调度原理

freeRtos源码分析之调度原理1.任务切换的本质在FreeRtos中任务切换的本质是函数调用，CPU在指定时间内执行不同的函数，从微观上看每个任务都是顺序执行的，但是CPU运算能力很强，可以在很短时间内完成指令的执行

执笔-叙写流年·2024-01-03 00:32

seata分布式事务server模块源码分析

目录seata-server源码分析简介1、seata-server入口main()方法分析2、参数解析ParameterParse初始化方法init()分析2.1、配置工厂类ConfigurationFactory

老谭酸菜面·2024-01-02 19:01

hive多分隔符外表支持

CREATEEXTERNALTABLEtext_mid1(idSTRING,nameSTRING)ROWFORMATSERDE'org.apache.hadoop.hive.contrib.

甲乙寄几·2024-01-02 19:31

Hbase介绍以及Hive优势

因为HBase基于Hadoop的HDFS完成分布式存储，以及MapReduce完成分布式并行计算，所以它的一些特点与Hadoop相同，依靠横向扩展，通过不断增加性价比高的商业服务器来增加计算和存储能力。

毛毛虫同学·2024-01-02 14:38

【设计模式】责任链模式

文章目录前言一、概述结构二、案例三、优缺点五、JDK源码分析总结前言【设计模式】责任链模式——行为型模式，包含JDK源码分析。

浩泽学编程·2024-01-02 14:24

10.Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下：1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode

__元昊__·2024-01-02 13:45

【zookeeper选举源码分析】

文章目录为什么要看源码：1、提升技术功底：学习源码里的优秀设计思想，比如一些疑难问题的解决思路，还有一些优秀的设计模式，整体提升自己的技术功底2、深度掌握技术框架：源码看多了，对于一个新技术或框架的掌握速度会有大幅提升，看下框架demo大致就能知道底层的实现，技术框架更新再快也不怕3、快速定位线上问题：遇到线上问题，特别是框架源码里的问题(比如bug)，能够快速定位，这就是相比其他没看过源码的人的

向前再向前·2024-01-02 11:37

Spark内容分享(二十三)：Spark on K8s 在茄子科技的实践

4.EMR类产品的缺陷5.传统Hadoop生态，三大组件的前世今生6.SparkonK8s的优势SparkonK8s原理介绍1.Spark的集群部署模式2.Sparkonk8s如何运行3.Spark的dynamicAllocation

之乎者也··2024-01-02 11:30

Spark内容分享(二十二)：eBay最佳实践：Spark SQL优化之物化视图

的实现验证部分重写部分物化视图应用场景及收益应用场景：物化视图重写普通视图应用场景：物化视图重定义表结构物化视图应用收益总结及后续计划背景Carmel是eBay内部基于ApacheSpark打造的一款SQL-on-Hadoop

之乎者也··2024-01-02 11:00

Spark内容分享(二十一)：字节跳动 Spark 支持万卡模型推理实践

-资源匹配未来展望背景介绍随着云原生的发展，Kubernetes由于其强大的生态构建能力和影响力，使得包括大数据、AI在内越来越多类型的负载应用开始向Kubernetes迁移，字节内部探索Spark从Hadoop

之乎者也··2024-01-02 11:59

hadoop环境搭建

一、平台环境CentOS6.5二、软件版本hadoop-2.8.1下载地址jdk-8u45-linux-x64下载地址apache-maven-3.3.9软件下载三、内容目录前置内容1.1jdk安装和配置

熊_看不见·2024-01-02 10:00

小肥柴的Hadoop之旅

小肥柴的Hadoop之旅（目录）（第0章）导航0-0-1写博客的初衷0-0-2参考资料和书籍0-0-3完工部分传送门导航0-0-1写博客的初衷从门外汉边学边上课，到入门的菜鸡，对如何正确的学习Hadoop

卷毛迷你猪·2024-01-02 10:30

【Hadoop】如何启动和关闭Hadoop集群

启动Hadoop集群关闭Hadoop集群启动Hadoop集群参考官方文档ApacheHadoop3.3.6–HadoopClusterSetup要启动Hadoop集群，需要同时启动HDFS和YARN集群

不怕娜·2024-01-02 10:29

【Hadoop】集群配置之主要配置文件（hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml...）

Hadoop配置文件模板core-site.xmlhadoop-env.shhdfs-site.xmlyarn-env-shyarn-site.xmlmapred-site.xmlslavesHadoop

不怕娜·2024-01-02 10:27

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez

悦悦学Python·2024-01-02 08:59

react源码分析（1）-综述

目录2021SC@SDUSC整体介绍目录结构测试项目的运行与安装总结2021SC@SDUSC整体介绍react是一个比较流行的前端应用框架，具有声明化，组件化，一次学习，跨平台编写的特性。可以用于构建用户界面，支持JSX语法（当然也可以不使用，react.createElement方法就可以创造reactElement元素，但不如JSX简洁，两者可以用Babel进行转化），各个组件可以有自身的状态

zyuxing·2024-01-02 07:35

Hive(二)之bash群起脚本

集群的启动启动HDFS启动namenode$/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/sbin/hadoop-daemon.shstartnamenode2.启动datanode

DarrenmondZhang·2024-01-02 07:45

elementUI源码分析-01-目录及整体介绍

一、目录结构build：webpack等打包相关的文件examples：官网示例等packages：组件相关的核心代码src/directives：封装的自定义指令src/locale:语言相关的src/mixins：方式mixin相关的src/transitions:封装的相关动画src/utils:相关的工具函数test：单元测试文件types：ts相关的文件二、使用配置当我们在vue中使用e

范小饭_·2024-01-02 06:31

大数据 - Hadoop系列《三》- HDFS（分布式文件系统）概述

5.1hdfs的概念HDFS分布式文件系统,全称为:HadoopDistributedFileSystem。

王哪跑nn·2024-01-02 06:06

Hadoop运维--Zookeeper--安装配置

一、服务规划服务器IP地址软件服务备注master192.168.71.130zookeeperQuorumPeerMainfollowerslave1192.168.71.129zookeeperQuorumPeerMainleaderslave2192.168.71.132zookeeperQuorumPeerMainfollower二、ZooKeeper安装配置下载地址：https://zo

无剑_君·2024-01-02 06:39

Java集合 : 底层原理剖析

Collection接口方法三、⭐️Iterator迭代器接口1.Iterator接口中的方法2.foreach循环遍历集合元素四、⭐️Collection子接口:List1.List的接口框架2.ArrayList的源码分析

侯静川·2024-01-02 06:06

【Spring Boot配置文件简介】

SpringBoot配置文件简介简单介绍一下springboot的配置文件吧，主要介绍一下配置文件的优先级以及配置文件的使用，后面我会写一篇关于配置文件的源码分析文章，今天就先给大家热一下身，自己今天也摸一下鱼

不务专业的程序员--阿飞·2024-01-02 05:24

【2023】hadoop基础介绍

目录Hadoop组成HDFSHDFS操作HDFS分布式文件存储NameNode元数据数据读写流程YARN和MapReduceMapReduce：分布式计算YARN：资源管控调度YARN架构提交任务到**

方渐鸿·2024-01-02 03:26

flink 连接 hdfs 读取文件配置

flink连接hdfs读取文件配置hadoop版本为2.7.3window系统本地运行flink程序读取hdfs文件配置1，请导入hadoop和httpclient的包org.apache.flinkflink-hadoop-fs

eagle隼·2024-01-02 02:06

Qt仿Android带特效的数字时钟源码分析（滑动，翻页，旋转效果）

这个数字时钟的源码可以在QtDemo中找到，风格是仿Android的，不过该Demo中含有三种动画效果（鉴于本人未曾用过Android的系统，因此不知道Android的数字时钟是否也含有这三种效果），其分别为滑动、翻页和旋转。由于本人的QtCreator输入中文后显示的都是乱码，因而在此只能使用英文进行注释，后期如果有时间再进行中文的相关整理。可能有些地方理解并不是很正确。希望大家多多指正！以下为

ryxjxyx·2024-01-02 00:23

Ubuntu配置hadoop伪分布式

1.设置免密登录伪分布式搭建过程中会涉及各种管理员权限，一次一次输入密码太过麻烦，我们要求各集群间免密码连接sudoapt-getinstallopenssh-server#安装openssh-serversshlocalhost#连接到主机exit#退出刚才的sshlocalhostcd~/.ssh/#若没有该目录，请先执行一次sshlocalhostssh-keygen-trsa#会有提示，都

MA木易YA·2024-01-01 23:46

2018-05-21

1.hadoop是什么广义就是hadoop生态圈，狭义就是单指hadoop2.hadoop三大组件是什么?

CrUelAnGElPG·2024-01-01 23:55

推荐频道

hadoop源码分析