HDFS源码解析

JVM实战（15）——Full GC调优

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介本章将会讲解一个频繁FullGC的案例，示例来自于JVM基础篇中
smart哥·2024-01-18 11:17

大数据小白初探Hbase从零到入门

目录1.前言2.初识Hbase2.1有了HDFS为什么还需要HBase呢？2.2HBase主要做什么的？2.3HBase架构特点？2.4HBase的适用场景？2.5HBase的数据模型和物理储存格式？
北京-景枫·2024-01-18 09:10

HBASE学习一：原理架构详解

HBase的存储是基于HDFS的，HDFS有着高容错性的特点，被设计用来部署在低廉的硬件上，基于Hadoop意味着HBase与生俱来的超强的扩展性和吞吐量。HBase采用的时ke
Studying！！！·2024-01-18 08:34

大数据分析之ClickHouse技术选型

文章目录1.快速入门2.企业应用与实践3.踩坑4.优化最近公司的战略上需要更多的数据支撑，目前在构思打造一个用户数据分析平台，由于团队人力有限，没有Hdfs生态的技术人员。
凡尘技术·2024-01-18 08:12

Spark—shell，Hbase—shell

Spark：SPARKSQLresults=spark.sql("SELECT*FROMpeople")//读取JSON文件valuserScoreDF=spark.read.json("hdfs://
꧁༺朝花夕逝༻꧂·2024-01-18 07:21

Spring Boot源码解析 - 自动装配原理

引言SpringBoot自动装配是SpringBoot框架的一个关键特性，它的目标是让开发者能够快速构建Spring应用程序，减少繁琐的配置工作。一、注解解析@SpringApplication从启动类@SpringApplication注解入手，@SpringBootApplication是一个组合注解，它是SpringBoot框架中常用的一个主要注解之一。它结合了多个注解，简化了SpringB
陈皮太·2024-01-18 07:32

基于华为MRS实时消费Kafka通过Flink落盘至HDFS的Hive外部表的调度方案

文章目录1Kafka1.1Kerberos安全模式的认证与环境准备1.2创建一个测试主题1.3消费主题的接收测试2Flink1.1Kerberos安全模式的认证与环境准备1.2Flink任务的开发3HDFS
大数据程序终结者·2024-01-18 06:25

sqoop事务如何实现

场景1：如Sqoop在导出hdfs数据到Mysql时，某个字段过长导致任务失败，该错误记录之前的数据正常导入，之后的数据无法导入。如何保证错误发生后数据回滚？
qzWsong·2024-01-18 06:50

阿里云大数据ACA及ACP复习题（21~40)

（D）A:HDFSB:DFSC:RDDD:MapReduce解析：MAPREDUCE（分布式运算编程框架）22.以下选项中不属于MaxCompute特点的是(D)A:支持多种多种经典的分布式计算模型B:
周周的奇妙编程·2024-01-18 03:08

HDFS 系统架构

HDFSArchitectureIntroductionHadoopDistributedFileSystem(HDFS)是设计可以运行于普通商业硬件上的分布式文件系统。
偷油考拉·2024-01-18 03:52

JVM实战（24）——大对象优化

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、案例背景本章将介绍一个因为大对象而导致的频繁GC问题，其本质也是开发
smart哥·2024-01-18 01:02

JVM实战（22）——jamp和MAT实战

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介我们通过jstat进行分析，发现FullGC非常频繁，基本上每隔
smart哥·2024-01-18 01:32

JVM实战（23）——内存碎片优化

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、案例背景本案例的背景是一个高峰期每秒十万QPS的社交APP，这类AP
smart哥·2024-01-18 01:32

JVM实战（21）——jstat实战（2）

阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析阶段5、深入jvm源码解析一、简介上一章，我们通过jstat命令分析了BI系统中新生代对象的GC情
smart哥·2024-01-18 01:59

spark-udf函数

frompyspark.sqlimportSparkSessionfrompyspark.sql.typesimport*创建连接ss=SparkSession.builder.getOrCreate()读取hdfs
中长跑路上crush·2024-01-17 23:34

常用图算法实现--Spark

1211523242526273134251151261676871788189810914911011013111211112113141412151网页：123456789101112131415将这两个文件放入HDFS
zealscott·2024-01-17 19:45

Hotspot源码解析-第十八章-元空间的创建与分配

元空间就是从C堆中划出来的一片完整的区域，为了提升元数据的内存分配效率，又把元空间按若干个chunk内存块管理起来，其中chunk块又分为已使用和空间两种类型，并分别用VirtualSpaceList和ChunkManager来管理，chunk内存块之间以链表的形式关联起来，同时为了满足不同元数据占用内存大小的内存分配，chunk内存块也是有多种不同大小的chunk，如SpecializedChu
多栖码农·2024-01-17 19:53

Hotspot源码解析-第二十章-虚函数表

这一章涉及到一个vtable（虚函数表）的概念，所以先从虚函数表讲起20.1虚函数表刚学Java入门的时候，有一个概念叫多态，这是面向对象语言都有的特性，C++也不例外，在C++中，虚函数的主要作用就是实现多态机制。多态就是用父类的指针指向子类的实例，再通过父类指针调用实际子类的成员函数，该技术可以让父类的指针有“多种形态”，所以叫多态，也是一种泛型技术。所谓泛型技术，就是试图使用不变的代码来实现
多栖码农·2024-01-17 19:53

Hotspot源码解析-第二十章-基础类型的数组类型对象的创建与分配

20.2基础类型的数组类型创建该函数的入口在init.cpp->init_globals()，然后再调用universe.cpp->universe2_init()函数，实际执行的函数是Universe::genesis，所以从这开始源码的解析。解析前先了解一下Klass的概念，大家思考个问题：我们编写的java类在JVM中是以何种形式存在的呢？答：其实他就是以Klass类存在的，Klass类就是
多栖码农·2024-01-17 19:53

Hotspot 内存管理之ClassLoaderData 源码解析

目录一、ClassLoaderData1、Dependencies2、ChunkedHandleList3、JNIMethodBlock4、init_null_class_loader_data/init_dependencies5、构造和析构函数6、record_dependency7、add_to_deallocate_list/free_deallocate_list8、metaspace_
孙大圣666·2024-01-17 19:21

Hotspot启动和初始化源码解析

目录1、JVM启动入口2、JLI_Launch3、可移植性4、JavaMain5、JavaVM和JNIEnv对象6、JNI_CreateJavaVM7、Threads::create_vm学习一个复杂项目源码的最关键的一步是找准应用启动和对外提供服务的入口，从这些入口处开始顺藤摸瓜式的查看代码，可以对项目的各功能模块有一个整体宏观上的认识，并以此为切入点，有的放矢，按需深入了解各功能模块的实现细节
孙大圣666·2024-01-17 19:21

Hotspot源码解析一

文章目录call_stub_call_stub_entry例程JAVA数据结构与面向对象解析魔数java字节码试了一天,windows一直失败.无奈了.安装了一个linux明天试试.詹姆斯老爷子通过一种中间语言形式,兼容所有操作系统.刚开始是通过C进行编译,但是效率极低,为了提高中间语言执行效率,老爷子从指令集出发,高度抽象出了java指令集.从而当一个程序编译成中间语言也就是class后,运行时
Nuan_Feng·2024-01-17 19:51

Hotspot源码解析-第十九章-ClassLoaderData、符号表、字符串表的初始化

第十九章-ClassLoaderData初始化讲解本章先从一张图开始众所周知，Java类的相关信息都是存储在元空间中的，但是是怎么存储的，相信很多读者是不清楚的，这里就不得不涉及到ClassLoaderDataGraph、classLoader、classLoaderData（简称CLD）和Klass的概念及他们四者的关系，这里简单描述下他们的概念，具体细节放到类加载器那一张来讲解。Instanc
多栖码农·2024-01-17 19:50

本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法

1.背景在开发大数据平台XSailboat中的查看Flink任务的状态数据工具时，用StateProcessAPI解析保存点数据，将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存，然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat·2024-01-17 18:05

HDFS简介与常用API

HDFS简介HDFS是一个文件系统（HadoopDocumentFileSystem），通过目录树来定位文件。其次，它是分布式的。HDFS适用于：一次写入，多次读出的场景。
正橙橙橙橙·2024-01-17 16:45

面试官：ThreadLocal 为什么会内存泄漏吗？是怎么产生的？面试必问！

每天14:00更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ
Java基基·2024-01-17 12:26

机器学习算法实战案例：Informer 源码详解与代码实战

文章目录机器学习算法实战案例系列答疑&技术交流1源码解析1.1文件结构1.2mian_informer.py文件1.3模型训练1.4模型测试1.5模型预测2Informer模型2.1process_one_batch2.2Informer
Python算法实战·2024-01-17 11:28

大数据开发之Hadoop（HDFS）

第1章：HDFS概述1.1HDFS产出背景及定义1、HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件
Key-Key·2024-01-17 10:22

【转载】workflow 源码解析 : 深入分析 workflow 线程池

深入分析workflow线程池线程池是日常开发中很常用的一种管理线程的工具。它是池化技术中的一种。池化技术的初衷就是将一些资源进行重复利用，以避免重复的构建来提高执行效率。类似的还有数据库连接池，字符串常量池，httpClient连接池。本文将分享一个好用的线程池，其来源于搜狗开源高性能网络框架workflow。workflow是搜狗公司近期开源发布的一款C++服务器引擎，支撑搜狗几乎所有后端C+
敬先生·2024-01-17 08:53

【转载】workflow 源码解析 : 基础数据结构 list

https://zhuanlan.zhihu.com/p/474833945workflow源码解析:基础数据结构list项目源码:https://github.com/sogou/workflow更加详细的源码注释可看
敬先生·2024-01-17 08:23

workflow源码解析：ThreadTask

1、使用程序，一个简单的加法运算程序#include#include#include//直接定义thread_task三要素//一个典型的后端程序由三个部分组成，并且完全独立开发。即：程序=协议+算法+任务流。//定义INPUTstructAddInput{intx;inty;};//定义OUTPUTstructAddOutput{intres;};//加法流程voidadd_routine(co
敬先生·2024-01-17 08:20

Hadoop——HDFS、MapReduce、Yarn期末复习版（搭配尚硅谷视频速通）

一、HDFS1.HDFS概述1.1HDFS定义HDFS(HadoopDistributedFileSystem),它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能
革斤要加油·2024-01-17 06:10

axios：基本使用、常用配置项、create方法、请求和响应拦截器、取消请求

、发送ajax请求1.axios函数发送通用请求2.精简版GET请求3.精简版POST请求二、配置通用属性（create方法）三、请求和响应拦截器1.请求拦截器2.响应拦截器四、取消请求五、axios源码解析官网
DantinZhang·2024-01-17 06:54

Spring 源码解析 —— 配置类处理流程（@Configuration）

title:Spring源码解析——配置类处理流程（@Configuration）date:2021/01/1413:36remark:Spring版本为5.2.5简介@Configuration注解的主要作用就是向容器中注入一些
想54256·2024-01-17 04:44

HDFS 机架感知配置导致数据不均衡

HDFS机架感知介绍HDFS机架感知是一种逻辑上的网络架构设计，它主要是用来区分不同节点的网络拓扑情况下，保证数据是能够高性能写入和查询的一种机制，毕竟跨网络的数据读写是有网络带宽消耗的，当没有配置机架信息时
KubeData·2024-01-17 02:41

【状态管理｜概述】Flink的状态管理：为什么需要state、怎么保存state、对于state过大怎么处理

文章目录一.state相关1.state种类2.State的存在形式3.state在哪产生4.state内存设置二.statebackend1.三种状态后端2.如何在hdfs中存储？
roman_日积跬步-终至千里·2024-01-17 01:13

HashMap源码解析

1.设计原理  HashMap基于哈希表的Map接口实现，是以key-value存储形式存在，即主要用来存放键值对。HashMap的实现不是同步的，这意味着它不是线程安全的。它的key、value都可以为null，此外，HashMap中的映射不是有序的。  jdk1.8之前HashMap由数组+链表组成，数组是HashMap的主体，链表则是主要为了解决哈希冲突（两个对象调用的hashCode方法计
小灰灰-58·2024-01-17 00:28

flume

为什么选用FlumePython爬虫数据Java后台日志数据服务器本地磁盘文件夹HDFSFlumeFlume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。
添柴少年yyds·2024-01-17 00:55

hls::LineBuffer 源码解析

hls::LineBuffer以下是LineBuffer的类定义，可以看到初始化，需要的数据包括行、列、类型名字（如char）和转置（默认行列）本质上是一个二维数组/*TemplateclassofLineBuffer*/templateclassLineBuffer;templateclassLineBuffer{public:LineBuffer(){#pragmaHLSarray_parti
花椒且喵酱·2024-01-16 23:58

Hadoop详解

核心内容包含hdfs和mapreduce。hadoop2.0以后引入yarn.hdfs是提供数据存储的，mapreduce是方便数据计算的。
武昌库里写JAVA·2024-01-16 21:20

Android Activity的启动流程源码解析(8.0)

https://blog.csdn.net/pihailailou/article/details/78545391
笨笨哒2018·2024-01-16 20:23

hive:创建自定义python UDF

addfilehdfs://home/user/py3_script/;setspark.yarn.dist.archives=hdfs://home/user/py3.tar.gz;setspark.shuffle.hdfs.enabled
青盏·2024-01-16 16:35

企业级大数据安全架构（四）Ranger安装

作者：楼高Ranger是支持审计功能的，安装时可以选择审计数据保存的位置，默认支持Solr和HDFS。
云掣YUNCHE·2024-01-16 16:50

【PostgreSQL内核学习（二十三）—— 执行器（ExecEndPlan）】

本文主要参考了postgresql-10.1的开源代码和《OpenGauss数据库源码解析》和《PostgresSQL数据库内核分析》一书概述  在这三篇文章中，首先是【
J.Kuchiki·2024-01-16 15:07

【PostgreSQL内核学习（二十二）—— 执行器（ExecutePlan）】

本文主要参考了postgresql-10.1的开源代码和《OpenGauss数据库源码解析》和《PostgresSQL数据库内核分析》一书概述  在文章【OpenGauss源
J.Kuchiki·2024-01-16 15:07

【PostgreSQL内核学习（二十一）—— 执行器（InitPlan）】

本文主要参考了postgresql-10.1的开源代码和《OpenGauss数据库源码解析》和《PostgresSQL数据库内核分析》一书概述  在【OpenGauss源
J.Kuchiki·2024-01-16 15:35

Nacos-config自动配置源码解析

前言鉴于目前大多数项目大都部署在微服务环境下，而不少小伙伴日常维护的项目里都或多或少的用到了自动配置，有的公司可能是zookeeper，有的公司可能用consul，nacos或者apollo等等。这些开源组件都是很好用的能帮助我们很方便的实现和管理或者运维我们的项目配置。那大家有没有想过，我们在修改了一项配置后，这些开源组件是怎么样通知到我们的服务节点的呢？这篇文章，我将记录一下翻阅nacos源码
虎虎她爹·2024-01-16 13:56

只知道HDFS和GFS？你其实并不懂分布式文件系统

一、概述分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是HDFS/GFS。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场景/问题时，具有借鉴意义。
王知无(import_bigdata)·2024-01-16 13:14

分布式文件系统应该从哪些方面考虑

分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是HDFS/GFS。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场景/问题时，具有借鉴意义。
吃胖点儿·2024-01-16 13:44

Jmeter 测试脚本录制器-HTTP 代理服务器

配置代理服务器代理服务器获取请求地址示例图配置步骤浏览器配置代理Google浏览器插件配置代理windows本地网络配置代理启动录制，生成证书生成证书导入证书Jmeter配置证书浏览器点击页面，录制请求地址过滤配置源码解析使用
modelmd·2024-01-16 13:57
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他