HDFS源码解析

1.0 Hadoop 教程

其核心部件包括分布式文件系统(HadoopDFS，HDFS)和Ma
二当家的素材网·2024-02-05 06:38

3.0 Hadoop 概念

Hadoop主要包含HDFS和MapReduce两大组件，HDFS负责分布储存数据，MapRed
二当家的素材网·2024-02-05 06:38

大数据框架(分区，分桶，分片)

建议收藏目录Hive分区与分桶ES分片Kafka分区HBase分区Kudu分区HiveHive分区是按照数据表的某列或者某些列分为多区，在hive存储上是hdfs文件，也就是文件夹形式。
坨坨的大数据·2024-02-05 06:29

CDH5.X中使用Sqoop导数据报Cannot run program “mysqldump“: error=2, No such file or director

一、背景CHD5.16环境中，使用sqoop从MySQL中进行ETL导数据到hdfs过程中，报了如下错误：20/12/2213:58:48INFOmapreduce.Job:TaskId:attempt
江畔独步·2024-02-05 01:49

从0到1学Binder-环境准备

我的微信公众号“ZZH的Android”，还有更多Android系统源码解析的干货文章等着你。
ZZH的Android·2024-02-04 23:45

【读红宝书（一）】背景知识

相反，MapReduce市场已经转变为HDFS市场，并且似乎准备成为关系型SQL市场。最近，HDFS领域出现了另一个值得讨论的重点，即“数据湖”。
三半俊秀·2024-02-04 23:41

SpringBoot响应处理源码分析以及自定义MessageConverter

文章目录自定义pojo类通过@ResponseBody响应数据为json格式源码解析内容协商自定义MessageConverter自定义pojo类通过@ResponseBody响应数据为json格式源码解析
Allure丶soul·2024-02-04 22:09

Flink1.18.0集成Yarn-session模式部署

上次部署了Hadoop集群Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager
china-zhz·2024-02-04 21:34

Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建

目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件5、启动hadoop集群6、集群部署验证一、节点部署角色目录节点ipNNSNNDNRMNMHSnode1192.168.88.11√√node2192.168.88.12√√√√node3192
china-zhz·2024-02-04 21:33

hive小文件合并问题

背景Hivequery将运算好的数据写回hdfs（比如insertinto语句），有时候会产生大量的小文件，如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的maptask
DuLaGong·2024-02-04 20:16

透过 Spring 源码解析注解 @Autowired、@Resource 的区别

目录一.前言二.源码解析2.1.概述2.2.代码块1：AbstractAutowireCapableBeanFactory#populateBean方法2.3.代码块2：AbstractBeanFactory
流华追梦·2024-02-04 20:00

spring-security 默认登录页面

spring-security默认登录页面版本信息项目搭建步骤源码解析过滤器处理具体分析开启Trace级别日志重定向到/login流程图流程图说明版本信息内容版本JDK17sprin
Chengdu.S·2024-02-04 20:05

（三）Hive的分桶详解

Hive分桶通俗点来说就是将表（或者分区，也就是hdfs上的目录而真正的数据是存储在该目录下的文件）中文件分成几个文件去存储。
小猪Harry·2024-02-04 19:20

HDFS常用命令

HDFS常用命令在hdfs文件系统上创建一个input文件夹bin/hdfsdfs-mkdir-p/user/anna/input将测试文件内容上传到文件系统上bin/hdfsdfs-putwc.input
须臾之北·2024-02-04 18:41

SpringBoot注解--05--注解@Valid

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录1前言1.1BeanValidation1.2@Valid实际案例1.3Spring中的@valid注解2@Valid详解2.1源码解析
知行合一。。。·2024-02-04 17:35

设计模式之单例模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 16:56

MapReduce执行过程

1.JobClient：运行于clientnode，负责将MapReduce程序打成Jar包存储到HDFS，并把Jar包的路径提交到Jobtracker，由Jobtracker进行任务的分配和监控。
HenlyX·2024-02-04 15:12

设计模式之原型模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 14:46

Netty发送数据writeAndFlush全流程 （下）

本系列Netty源码解析文章基于4.1.56.Final版本我们接着上篇文章一文搞懂Netty发送数据全流程|你想知道的细节全在这里继续讲解Netty的flush全流程。
bin的技术小屋·2024-02-04 12:06

设计模式之备忘录模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 11:42

设计模式之访问者模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 11:12

设计模式之模板方法

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 11:12

设计模式之工厂模式(工厂方法模式、抽象工厂模式)

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 11:40

Ranger-Yarn插件安装

登陆hdfs安装的用户，garrison/zdh1234(用户组hadoop),获取安装包解压安装scp/home/backup/ranger/ranger-0.6.0-yarn-plugin.tar.gz.tar–zxvfr
木木与呆呆·2024-02-04 10:22

【23种设计模式·全精解析 | 结构型模式篇】7种结构型模式的结构概述、案例实现、优缺点、扩展对比、使用场景、源码解析

3）静态代理（4）JDK动态代理（5）CGLIB动态代理（6）三种代理的对比（7）优缺点（8）使用场景2、适配器模式（1）概述（2）结构（3）类适配器模式（4）对象适配器模式（5）应用场景（6）JDK源码解析
蓝染-惣右介·2024-02-04 08:06

Hive 主要内容一览

Hadoop使用HDFS进行存储，使
大数据左右手·2024-02-04 07:13

设计模式之代理模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 06:41

设计模式之责任链模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 06:34

设计模式之组合模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 01:39

设计模式之适配器模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 01:38

设计模式之桥接模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 01:38

设计模式之装饰者模式

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-04 01:37

专治不会看源码的毛病--spring源码解析AOP篇

公众号编程一生昨天有个大牛说我啰嗦，眼光比较细碎，看不到重点。太他爷爷的有道理了！要说看人品，还是女孩子强一些。原来记得看到一个男孩子的抱怨，说怎么两人刚刚开始在一起，女孩子在心里就已经和他过完了一辈子。哥哥们，不想这么远行吗？看看何洁，看看带着俩娃跳楼的妈妈。所以现在的女孩子是很明白的，有些男孩子个子不高，其貌不扬，但是一看那人品气质就知道能找个不错的女盆友。不过要说看人的技术能力，男孩子确实更
八年码农·2024-02-04 00:09

2019-10-08 大数据开发进阶之路

市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握Hadoop生态主流技术，如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术，如Spark架构/RDD
红瓦李·2024-02-03 20:39

大数据环境搭建(一)-Hive

1hive介绍由Facebook开源的,用于解决海量结构化日志的数据统计的项目本质上是将HQL转化为MapReduce、Tez、Spark等程序Hive表的数据是HDFS上的目录和文件Hive元数据metastore
xfchn多多学习学习·2024-02-03 20:42

volatile源码解析【解决可见性（依据happened-befor）有序性（依据内存屏障）】

volatile源码解析解决内存可见性问题volatile实现原理-源码分析转自极客时间解决内存可见性问题volatile实现原理-源码分析
_蓝天IT_·2024-02-03 16:43

EventBus源码解读文档

顺序前后有些乱，请见谅：###EventBus源码解析先看一个使用的例子：publicclassMainActivityextendsAppCompatActivity{privateTextViewtvShow
Davisxy·2024-02-03 15:57

大数据面试题 ---阿善有用

大数据工程师面试题1.选择题1.1.下面哪个程序负责HDFS数据存储。
okbin1991·2024-02-03 15:21

(Note) Android-SparseArray

ThanksEmptyArray.javaArrayUtils.java面试必备：SparseArray源码解析SparseArray.javaGrowingArrayUtils.javaAndroid
CokeNello·2024-02-03 15:40

数据结构+算法（第13篇）：精通二叉树的“独门忍术”——线索二叉树（上）

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-03 11:13

数据结构+算法（第14篇）：精通二叉树的“独门忍术”——线索二叉树（中）

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-03 11:13

数据结构+算法（第12篇）：玩平衡二叉树就像跷跷板一样简单！

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-03 11:12

数据解构+算法（第07篇）：动态编程！黄袍加身！

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析码哥源码部分码哥讲源码-原理源码篇【2024年最新大厂关于线程池使用的场
smart哥·2024-02-03 11:10

# 用Sqoop将MySQL的表导入到HDFS中，表导入成功，但数据为空，报错：Unknown column ‘????‘ in ‘field list‘

用Sqoop将MySQL的表导入到HDFS中，报错：Unknowncolumn‘???’
Quan_Mu·2024-02-03 10:24

2024-02-01(Hive)

2.Hive看似处理的是mysql的表，但实际上处理的是HDFS中的文本文件。
陈xr·2024-02-03 08:53

hadoop 50070 无法访问问题解决汇总

djt002hadoop]#vi/etc/selinux/config改为：SELINUX=disabled解决办法2：查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml
無法複制·2024-02-03 08:13

Datax3.0+DataX-Web部署分布式可视化ETL系统

DataX致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源（即不同的数据库）间稳定高效的数据同步功能。
無法複制·2024-02-03 08:06

ClickHouse基于数据分析常用函数

1.2调用函数1.3子查询二、GROUPBY子句（结合WITHROLLUP、CUBE、TOTALS）三、FORM语法3.1表函数3.1.1file3.1.2numbers3.1.3mysql3.1.4hdfs
懒惰的小白521·2024-02-03 08:31

Hadoop：学习HDFS，看完这篇就够了！

HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统中的分布式文件系统，用于存储和处理大规模数据集。
爱写代码的July·2024-02-03 08:09

Hadoop：HDFS学习巩固——基础习题及编程实战

一HDFS选择题1.对HDFS通信协议的理解错误的是？
爱写代码的July·2024-02-03 08:09
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他