HDFS源码解析

Spring Cloud LoadBalancer 源码解析

前言LoadBalancer（负载均衡器）：一种网络设备或软件机制，用于分发传入的网络流量负载到多个后端目标服务器上，依次来提高系统的可用性和性能，SpringCloud2020版本以后，移除了对Netflix的依赖，也就移除了负载均衡器Ribbon，SpringCloud官方推荐使用Loadbalancer替换Ribbon，并成为了SpringCloud负载均衡器的唯一实现。LoadBalanc
码农爱java·2024-08-25 18:11

Hadoop入门基础（五）：Hadoop 常用 Shell 命令一网打尽，提升你的大数据技能！

1.2启动和停止Hadoop集群start-dfs.shstart-yarn.shstop-dfs.shstop-yarn.shstart-dfs.sh和stop-dfs.sh分别用于启动和停止HDFS
william.zhang(张)·2024-08-25 15:52

HDFS的编程

一、HDFS原理HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分
卍king卐然·2024-08-25 07:02

Hadoop 的基本 shell 命令

Hadoop的基本shell命令主要用于与Hadoop分布式文件系统（HDFS）和MapReduce进行交互。
难以触及的高度·2024-08-24 14:22

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark
我码玄黄·2024-08-24 12:09

java源码浅析之dubbo

原理图如下[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9fEwo2Az-1623312993257)(java源码解析之dubbo.assets
DaHuangXiao·2024-08-24 07:05

ThreadLocal源码解析

使用示例publicclassThreadLocalDemo{privatestaticThreadLocalthreadLocal=newThreadLocal{threadLocal.set(1);System.out.println(Thread.currentThread().getName()+","+threadLocal.get());},"thread1").start();new
七月拾光·2024-08-24 06:57

Java集合框架：了解TreeMap

TreeMap基于红黑树实现的有序映射目录TreeMap继承关系TreeMap源码解析TreeMap总结TreeMap继承关系TreeMap继承了AbstractMap抽象类，拥有map的相关操作方法TreeMap
索茄啦你·2024-08-23 08:37

Java 集合框架：TreeMap 的介绍、使用、原理与源码解析

大家好，我是栗筝i，这篇文章是我的“栗筝i的Java技术栈”专栏的第021篇文章，在“栗筝i的Java技术栈”这个专栏中我会持续为大家更新Java技术相关全套技术栈内容。专栏的主要目标是已经有一定Java开发经验，并希望进一步完善自己对整个Java技术体系来充实自己的技术栈的同学。与此同时，本专栏的所有文章，也都会准备充足的代码示例和完善的知识点梳理，因此也十分适合零基础的小白和要准备工作面试的同
栗筝i·2024-08-23 07:01

大数据存储

曾经负责过一款底层存储系统的测试工作，最近看hdfs的文章发现，从架构上真心没啥特别大的区别。
龙哥vw·2024-08-22 02:32

Azkaban各种类型的Job编写

Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java任务hive：支持执行hiveSQLpig：pig脚本任务spark：spark任务hdfsToTeradata
__元昊__·2024-03-28 21:00

Linux（centos7）部署hive

前提环境：已部署完hadoop(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL
灯下夜无眠·2024-03-28 12:44

关于HDP的20道高级运维面试题

HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive
编织幻境的妖·2024-03-26 15:34

YOLOv5 | 源码解析 | 计算损失loss原理——独家原创注释

⭐欢迎大家订阅我的专栏一起学习⭐订阅专栏，更新及时查看不迷路YOLOv5涨点专栏：http://t.csdnimg.cn/D9kR0YOLOv8涨点专栏：http://t.csdnimg.cn/5hNr8YOLOv7专栏：http://t.csdnimg.cn/hJsf1魔改网络、复现论文、优化创新各位订阅YOLOv8专栏读者，非常抱歉，这篇文章加错专栏了，但是因为是订阅的，所以不能删除或者移动这
kay_545·2024-03-24 20:39

【笔记】HDFS基础笔记

启动hadoop命令（未配环境变量）：进入hadoop安装目录输入./sbin/start-dfs.sh已配环境变量：start-dfs.sh关闭hadoop命令：stop-dfs.sh启动完成后，可以通过命令jps来判断是否成功启动，若成功启动则会列出如下进程:"NameNode"、"DataNode"和"SecondaryNameNode"三种Shell命令方式：1.hadoopfs2.had
哇咔咔哇咔·2024-03-20 04:12

hive库表占用空间大小的命令

1、查每个hive表占用的空间大小hdfsdfs-du-h/user/hive/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/hive/warehouse/ipms.db|
刀鋒偏冷·2024-03-15 13:13

HDFS

（一）HDFS简介及其基本概念  HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般
weixin_51987187·2024-03-12 14:32

大数据开发（Hadoop面试真题-卷二）

2、请解释一下HDFS架构中NameNode和DataNode之间是如何通信的？3、请解释一下Hadoop的工作原理及其组成部分？4、HDFS读写流程是什么样子？
Key-Key·2024-03-12 02:15

大数据开发（Hadoop面试真题-卷九）

2、既然HBase底层数据是存储在HDFS上，为什么不直接使用HDFS，而还要用HBase?3、Sparkmapjoin的实现原理？4、Spark的stage如何划分？
Key-Key·2024-03-09 10:06

大数据开源框架技术汇总

目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖·2024-03-08 20:48

hbase、hive、clickhouse对比

概念架构hbasemaster存储元数据、regionServer实际控制表数据，存储单位是Region，底层数据存储使用HDFShive通过driver将sql分解成mapreduce任务元数据需要单独存储到一个关系型数据库
freshrookie·2024-03-05 16:40

【Hadoop】使用Metorikku框架读取hive数据统计分析写入mysql

一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置，具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:
方大刚233·2024-03-03 06:23

SeaweedFS部署

Githup地址：https://github.com/chrislusf/seaweedfs官方文档：https://github.com/chrislusf/seaweedfs/wikiseaweedfs源码解析
仙女陈·2024-03-02 04:46

【axios】从源码解析axios拦截器是如何工作的

本文所用axios版本号为：1.3.2。axios拦截器的配置方式axios中有两种拦截器：axios.interceptors.request.use(onFulfilled,onRejected,options)：配置请求拦截器。*onFulfilled方法在发送请求前执行，接收config对象，返回一个新的config对象，可在此方法内修改config对象。*onRejected方法在onF
web安全学习资源库·2024-02-24 20:03

基于Docker搭建hdfs分布式实验环境

理论知识DockerDocker是一个开源的应用容器引擎，基于Go语言并遵从Apache2.0协议开源。Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口，容器性能开销极低。Docker能够将应用程序与基础架构分开，从而可以快速交付软件。借助Docker，开发者可以与管
dejiedoor·2024-02-20 22:38

docker搭建hadoop hdfs完全分布式集群

这里注意，在做好的镜像里，要安装which工具，否则在执行hdfs命令时会报命令不存在异常。
shangcunshanfu·2024-02-20 22:08

基于docker安装HDFS

1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau/hadoop-cluster-docker4.创建网桥由于Hadoop的master节点需要与slave节点通信，需要在各个主机节点配置节点IP，为了不用每次启动都因为IP改变了而重新配置
core512·2024-02-20 22:02

快速排序详解！c语言

快速排序的优化1.hore法（初代目）hore法的源码源码解析2.挖坑法（常用）！！！！挖坑法源码3.前后指针法（常用）前后指针代码4.非递归法快速排序全过程图快速排序是什么？
自律的阿龙·2024-02-20 21:13

HIVE中MAP和REDUCE数量

1、输入就不用说了，数据一般放在HDFS上面就可以了，而且文件是被分块的。关于文件块和文件分片的关系，在输入分片中说明。2、输入分片：在进行Map阶段之前，MapReduce框架会根据输入文件计算输
这孩子谁懂哈·2024-02-20 20:38

Hadoop生态圈

生态圈1.HBase的数据存储在HDFS里2.MapReduce可以计算HBase里的数据，也可以计算HDFS里的数据3.Hive是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎
陈超Terry的技术屋·2024-02-20 19:47

16.用Hadoop命令向CDH集群提交MR作业

OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的，因为使用hadoop命令提交时会加载集群的配置信息（如hdfs
大勇任卷舒·2024-02-20 19:27

记一次 Flink 作业启动缓慢

记一次Flink作业启动缓慢背景应用发现，Hadoop集群的hdfs较之前更加缓慢，且离线ELT任务也以前晚半个多小时才能跑完。
卢说·2024-02-20 18:38

航班数据预测与分析

数据清洗：数据存储到HDFS：使用pyspark对数据进行分析：//数据导入frompysparkimportSparkContextfrompyspark.sqlimportSQLContextsc=
林坰·2024-02-20 16:15

将Spring Cloud项目改造为Spring-cloud-kubernetes项目

每天10:33更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ
公众号-芋道源码·2024-02-20 12:44

Excel导出显示服务器,javaexcel导出到远程服务器

不支持直接导出文件到HDFS文件系统。CN只负责任务的规划及下发，把数据导出的工作交给了D需要确保每一
weixin_39946029·2024-02-20 12:50

ConcurrentHashMap的死循环问题

文章目录前言1.情景复现2.源码解析3.代码调试4.原因5.解决前言对于ConcurrentHashMap来说，能保证多线程下的安全问题，但是在JDK1.8中还是会出现一个bug，就是computeIfAbsent
JWASX·2024-02-20 11:19

Flink1.14源码解析Reactive-mode自动扩缩容

已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解。如未购买，请购买专栏，再申请。文章部分截图如下：更多详情请见以下链接：【腾讯文档】Flink源码中Reactive-Mode自动扩缩容关于扩容的处理
Better~Me·2024-02-20 09:27

Redisson 如何实现分布式锁

针对项目中使用的分布式锁进行简单的示例配置以及源码解析，并列举源码中使用到的一些基础知识点，但是没有对redisson中使用到的netty知识进行解析。
不怕天黑_0819·2024-02-20 09:42

测试环境搭建整套大数据系统（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

一：搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二：搭建hadoop，yarn，mapreduce。1.安装hadoop。sudotar-zxvfhadoop-3.2.4.tar.gz-C/opt2.修改java配置路径。cd/opt/hadoop-3.2.4/etc/hadoopvimhadoop-env.
宇智波云·2024-02-20 08:05

Hadoop Streaming原理

Streaming简介•MapReduce和HDFS采用Java实现，默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用•Streaming
可乐加冰丶丶·2024-02-20 07:18

若依前后端分离如何写移动端接口_前后端分离架构概述

1、背景2、未分离时代（各种耦合）3、半分离时代4、分离时代5、总结参考《Java2019超神之路》《Dubbo实现原理与源码解析——精品合集》《Spring实现原理与源码解析——精品合集》《MyBatis
weixin_39637661·2024-02-20 07:11

2024.2.19 阿里云Flink

两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions,logs,iot,clicksTransformation:事件驱动,ETL,批处理Sink:输出HDFS
白白的wj·2024-02-20 07:05

生产环境下，应用模式部署flink任务，通过hdfs提交

前言  通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统1.实践  （1）生产集群为cdh集群，从cm上下载配置文件，设置环境exportHADOOP_CONF_DIR
但行益事莫问前程·2024-02-20 07:04

以内存为核心的开源分布式存储系统

此外，Tachyon还能够整合众多现有的存储系统（如AmazonS3,ApacheHDFS,RedHatGlusterFS,OpenStackSwift等），为用
这次靠你了·2024-02-20 05:26

HBase——基础概念介绍

HBase底层存储基于HDFS实现，集群的管理基于ZooKeeper实现。
zhanglf1016·2024-02-20 04:43

马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解

分布式计算原则：移动计算，而不是移动数据hadoop默认包含了hdfs、yarn、mapReduce三个组件yarn（YetAnotherResourceNegotiater）是资源调度系统，yarn调配的是内存和
PC_Repair·2024-02-19 20:28

ClickHouse--07--Integration 系列表引擎

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Integration系列表引擎1HDFS1.1语法1.2示例：2MySQL2.1语法2.2示例：3Kafka3.1语法3.2示例
知行合一。。。·2024-02-19 20:33

kerberos 合并keytab文件 ktutil

非交互式：printf"%b""rkt/root/keytab/hdfs.keytab\nrkt/root/keytab/hive.keytab\nwkt/root/keytab/merged.keytab
brandblue·2024-02-19 19:51

呵呵，一个 bug 你改了两天？难吗？

源码精品专栏原创|Java2020超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
Java基基·2024-02-19 16:55

【Spring源码分析】解析配置类-ConfigurationClassPostProcessor源码分析

】执行流程之非懒加载单例Bean的实例化逻辑【Spring源码分析】从源码角度去熟悉依赖注入（一）【Spring源码分析】从源码角度去熟悉依赖注入（二）【Spring源码分析】@Resource注入的源码解析
假正经的小柴·2024-02-19 15:49
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他