HDFS源码分析

springMVC处理请求全过程

目录一、SpringMVC全过程略写图二、SpringMVC处理请求源码分析2.1全过程详解图2.2执行过程：2.3源码解析三、总结全过程略写图用户发送请求，经过前端控制器Dispacherservlet
Supreme13·2025-03-29 21:33

阿里开源的免费数据集成工具——DataX

什么是DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功
遇码·2025-03-29 03:55

Sqoop-试题

A.使用--call参数调用存储过程B.存储过程需要提前在hive中创建C.存储过程需要提前在hdfs中创建D.使用--c
minaMoonGirl·2025-03-28 20:59

嵌入式LINUX驱动学习之15 i2c总线源码分析

嵌入式LINUX驱动学习之15i2c总线源码分析一、i2c设备的注册1.1、structi2c_board_info结构体及头文件1.2、i2c_register_board_info()函数头文件1.2.1
weixin_47273317·2025-03-28 18:19

Spark 从HDFS读取时，通常按文件块（block）数量决定初始partition数，这是怎么实现的？

在Spark中，从HDFS读取数据时按文件块（block）数量决定初始partition数，这一机制是通过HadoopInputFormat的分片（split）策略实现的。
闯闯桑·2025-03-28 16:33

Linux PPP实现源码分析

转自http://blog.csdn.net/osnetdev/article/details/8958058LinuxPPP实现源码分析作者：kwest版本：v0.7©所有版权保留转载请保留作者署名，
电鱼智能·2025-03-28 13:15

hadoop相关面试题以及答案

其主要组件包括HadoopDistributedFileSystem（HDFS）和MapReduce。解释HDFS的工作原理。HDFS采用主从架构，包括一个NameNode和多个DataNode。
酷爱码·2025-03-28 13:12

Nginx源码分析

目录解析auto:configure编译的脚本html：默认htmlobjs：执行configure之后产生的src：源码conf：默认配置文件contrib:一些使用工具e.vim的高亮语法man：帮助文件auto文件：cc:＃检各种编译器的脚本lib:＃检各种编译依赖库的脚本os:＃检各种操作系统的脚本types:＃检平台相关的基本类型的脚本src文件core数据结构定义和核心代码event事
编程界的谢菲尔德·2025-03-28 07:59

axios--源码解析

源码目录结构源码分析axios与Axios的关系?
前端_学习之路·2025-03-28 04:36

Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file:

执行hdfs命令查看目录时，控制台上有这么一句警告JVM报错：共享内存文件空间不足df-h以可读性较高的方式来显示磁盘使用信息可以看到主盘已使用100%暴力解决办法：找到对应占用磁盘的文件，然后rm-f
fzip·2025-03-27 14:23

《深度剖析Android 12 SystemUI锁屏通知布局亮屏流程：从源码到实现》

优化后文章结构：1.前言强调锁屏通知布局的重要性及分析目的，引出后续源码分析的必要性。2.核心类解析KeyguardViewMediator：锁屏核心逻辑控制，处理亮屏/息屏事件分发。
KdanMin·2025-03-27 12:35

Redis原理：watch命令

源码分析//监控对应的keyvoidwatchCommand(client*c){intj;if(c->flags&CLIENT_MULTI){addReplyError(c,"WATCHins
csjane1079·2025-03-27 11:27

《Operating System Concepts》阅读笔记：p483-p488

一、技术总结1.objectstorage(1)objectstorage管理软件Hadoopfilesystem(HDFS)、Ceph。
·2025-03-27 10:34

Hadoop/Spark 生态

传统单机瓶颈：数据量超过单机存储极限（如PB级数据）计算任务无法在合理时间内完成（如TB级日志分析）核心解决思路：分布式存储：数据拆分到多台机器存储（如HDFS）分布式计算：任务拆分到多台机器并行处理
不辉放弃·2025-03-27 09:15

从问题排查到源码分析：ActiveMQ消费端频繁日志刷屏的秘密

最近优化了一个ActiveMQ消费端应用消费速度慢的问题，原先采用Spring的@Scheduled定时每秒调用ActiveMQMessageConsumer.receive(2000)拉取消息并同步处理，简化后的代码如下：@Scheduled(cron="1/0?")publicvoidconsumer(){newThread(()->{try{logger.info("ActiveMQClie
·2025-03-27 02:59

第30周Java分布式入门 ThreadLocal

章节分为六大模块：ThreadLocal的两大使用场景ThreadLocal所带来的好处ThreadLocal的主要方法及使用顺序ThreadLocal原理源码分析使用ThreadLocal的注意点和使用规范从下一个小节开始
kill bert·2025-03-26 14:25

读取hdfs上snappy压缩文件并发送kafka的两种方式速度测试

最近有一个需求，因为第一次做，踩了许多坑，故在此记录一下需求背景：现在hdfs上有一份snappy压缩的文件，要把这份文件中的数据读出来并发送给kafka解决思路平时我90%的时间都是在消费kafka，
今天上上签·2025-03-26 04:40

「React源码分析」一. React开源项目概览

2021SC@SDUSCReact简介正如React项目官网所说，React是一个「用于构建用户界面的JavaScript库」。人们往往也会将React与Vue、Angular作为前端三大框架进行对比（但如今Angular的热度也越来越小了，而前两者的社区规模和热度仍在不断发展壮大）。React相对其他前端框架（说前端框架其实并不准确，因为React早已不再单纯地面向“前端”，本身也并不是所谓的“
英国大爷扫广场·2025-03-26 03:58

Ray 源码分析(16)—Ray Serve

前言RayServe是一个可扩展的模型服务库，用于构建在线推理API。Serve与框架无关，因此你可以使用一个单一的工具包来服务从使用PyTorch、TensorFlow和Keras等框架构建的深度学习模型，到Scikit-Learn模型，再到任意Python业务逻辑的所有内容。它具有多项用于服务大语言模型的特性和性能优化，例如响应流、动态请求批处理、多节点/多GPU服务等。据说OpenAI背后用
Jim.Li·2025-03-26 01:15

Ray 源码分析系列(10)—stats

Overviewsrc/ray/stats下面包含了所有要采集的指标，这些指标都是以opencensusproto的格式进行存放，在可视化工具里面用promethus和grafana进行展示。
Jim.Li·2025-03-26 01:45

Ray 源码分析系列(6)—CoreWorker

CoreWorkerCoreWorker是Ray中最核心的组件之一,它封装了分布式系统的复杂性,为上层应用提供简单统一的编程模型。它提供了任务执行、对象管理、Actor调用等核心功能，每个组件都有明确的职责划分，通过良好的接口设计实现了功能解耦和高效协作。核心文件功能总结文件名主要类核心功能关键特性core_worker.h/ccCoreWorker工作进程管理-任务提交执行-对象存取-Actor
Jim.Li·2025-03-26 01:45

Ray 源码分析系列(2)—编译

编译步骤1.下载代码仓库gitclonehttps://github.com/ray-project/ray.git2.下载官方镜像由于习惯用gpu的镜像开发与调试，直接来个gpu版本的。当然这个是非必须的，也可以直接用conda创建虚拟环境，总之隔离主机环境十分必要。dockerpullrayproject/ray:latest-gpu3.安装依赖3.1虚拟环境#创建虚拟环境myenvconda
Jim.Li·2025-03-26 01:45

QT USB设备开发

QTUSB设备开发使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-03-25 19:28

尚硅谷大数据项目【电商数仓6.0】-Datax-6

tar-zxvfdatax.tar.gz-C/opt/module/测试python/opt/module/datax/bin/datax.py/opt/module/datax/job/job.jsonMySQLToHDFS
Xiaoweidumpb·2025-03-25 14:26

大数据（2）Hadoop架构深度拆解：HDFS与MapReduce企业级实战与高阶调优

目录一、分布式系统的设计哲学演进1.1从Google三驾马车到现代数据湖二、企业级HDFS架构全景图2.1联邦架构的深度实践2.2生产环境容灾设计2.3性能压测方法论三、MapReduce引擎内核解密3.1Shuffle
一个天蝎座 白勺 程序猿·2025-03-25 13:48

从android源码分析activity的启动流程【一】

从android源码分析activity的启动流程本文从源码角度去深入分析、探索activity的真正启动流程，为后续hook主流框架的探索，打下夯实基础。
itbird01·2025-03-25 12:42

Binder机制源码分析

Binder机制源码分析一、前言Binder是Android系统中最重要的进程间通信机制，它不仅是应用程序和系统服务通信的基础，也是Android系统安全机制的重要组成部分。
Ya-Jun·2025-03-25 05:18

【源码分析设计模式 8】mybatis中的代理模式

六、动态代理======1、动态代理特点代理对象不需要实现接口，但是目标对象要实现接口；代理对象的生成，是利用JDK的API，动态的在内存中构建代理对象；动态代理也叫JDK代理或接口代理；2、使用JDK实现动态代理jdk实现动态代理必须有实现接口InvocationHandler的处理类，用于执行被代理类的方法。（1）接口IMoviepackagedesignMode.advance.proxy.
2401_84048832·2025-03-25 00:10

hadoop-HDFS操作

2.在操作hdfs时，需要在hadoop用户下的/usr/local/hadoop，此时是在根目录下。
wenying_44323744·2025-03-24 19:02

Hadoop安装

伪分布式模式：Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。分布式
Cindy_0124·2025-03-24 19:59

数据权限访问控制（Apache Sentry）

ApacheSentry最初由Cloudera公司内部开发，针对Hadoop系统中的数据（主要是HDFS、Hive的数据）进行细粒度控制，对HDFS、Hive以及Impala有着良好的支持性。
deepdata_cn·2025-03-24 14:56

Linux内核网络源码分析——发送数据

原文地址:http://www.penna.cn/blog/?p=218UDP发送：|sys_writefs/read_write.c|sock_writevnet/socket.c|sock_sendmsgnet/socket.c|inet_sendmsgnet/ipv4/af_inet.c|udp_sendmsgnet/ipv4/udp.c|ip_build_xmitnet/ipv4/ip_o
hellolwl·2025-03-24 04:22

Java架构师成长之路

进行优化分析MVCC原理剖析日志机制解析2.框架源码掌握Spring底层原理带你手写一个Spring解析IOC、AOP源码、以及事务原理3.并发编程剖析Java底层锁机制CAS、JUC工具使用、AQS源码分析以及并发的集合类的讲解
hweiyu00·2025-03-24 00:50

漫谈JVM

2019独角兽企业重金招聘Python工程师标准>>>背景介绍创建了一个技术类公众号:一起源码分析，里面会分享最新的开源代码、源码解读、开发技巧等，欢迎大家关注。
weixin_34111790·2025-03-23 21:50

HBase的架构介绍，安装及简单操作

确保Hadoop的相关服务（如HDFS、YARN等）已经正常启动。2.下载HBase从HBase官方网站（https://hbase.apache.org/）下载适
pk_xz123456·2025-03-23 01:00

HDFS相关的面试题

以下是150道HDFS相关的面试题，涵盖了HDFS的基本概念、架构、操作、数据存储、高可用性、权限管理、性能优化、容错机制、与MapReduce的结合、安全性、数据压缩、监控与管理、与YARN的关系、数据一致性
努力的搬砖人.·2025-03-22 18:16

hadoop3.x--搭建hadoop高可用集群（HA模式）

hadoop高可用集群（HA模式）一、安装前1.集群规划2.安装前配置3.安装jdk与hadoop4.克隆虚拟机与互信配置5.搭建zookeeper集群二、HDFS1.配置hdfs2.初始化启动hdfs
运维小菜·2025-03-22 14:17

C语言，记录一次局部变量被意外修改的问题

1、源码分析voidmain(void){init_gpio();init_face();face_power_up();begin_face_rec
三日沐水·2025-03-22 01:39

Netty源码分析之Reactor线程模型详解

在分析源码之前，我们先分析，哪些地方用到了EventLoop？NioServerSocketChannel的连接监听注册NioSocketChannel的IO事件注册NioServerSocketChannel连接监听在AbstractBootstrap类的initAndRegister()方法中，当NioServerSocketChannel初始化完成后，会调用case标记位置的代码进行注册。f
Java-进阶架构师·2025-03-22 01:36

Sqoop安装部署

ApacheSqoop简介Sqoop（SQL-to-Hadoop）是Apache开源项目，主要用于：将关系型数据库中的数据导入Hadoop分布式文件系统（HDFS）或相关组件（如Hive、HBase）。
愿与狸花过一生·2025-03-21 22:10

cv2 orb 图像拼接_图像拼接Opencv源码重构

一.本文所做的事1.重构了Opencv图像拼接的源代码，整个代码是面向过程的；2.在赵春江源码分析基础上，对一些细节部分进行说明。
是佐罗而非索隆·2025-03-21 17:29

Lodash源码分析-every,some,size,includes

collection相关的函数，collection指的是一组用于处理集合（如数组或对象）的工具函数。lodash源码研读之every,some,size,includes一、源码地址GitHub地址:GitHub-lodash/lodash:AmodernJavaScriptutilitylibrarydeliveringmodularity,performance,&extras.官方文档地址
初学者7.·2025-03-20 17:35

Lodash源码分析-uniq,uniqBy,uniqWith

lodash源码研读之uniq,uniqBy,uniqWith一、源码地址GitHub地址:GitHub-lodash/lodash:AmodernJavaScriptutilitylibrarydeliveringmodularity,performance,&extras.官方文档地址:Lodash官方文档二、结构分析uniq,uniqBy,uniqWith基于baseUniq模块。三、函数介
初学者7.·2025-03-20 17:35

数据中台（二）数据中台相关技术栈

1.平台搭建1.1.Amabari+HDP1.2.CM+CDH2.相关的技术栈数据存储：HDFS，HBase，Kudu等数据计算：MapReduce,Spark,Flink交互式查询：Impala,Presto
Yuan_CSDF·2025-03-20 05:25

Hadoop相关面试题

以下是150道Hadoop面试题及其详细回答，涵盖了Hadoop的基础知识、HDFS、MapReduce、YARN、HBase、Hive、Sqoop、Flume、ZooKeeper等多个方面，每道题目都尽量详细且简单易懂
努力的搬砖人.·2025-03-20 01:53

http框架核心之ngx_http.c源码分析

ngx_http.c内主要实现了一个模块:ngx_http_module。ngx_http_module是nginx的http框架的一部分，它是所有http模块能够被加载的唯一入口，承担了http块配置解析，合并，以及http框架及其相关数据结构的初始化。它本身是NGX_CORE_MODULE类型，只有一个指令，就是http，如下所示:staticngx_command_tngx_http_com
qiuhui00·2025-03-20 00:13

Flink读取kafka数据并写入HDFS

硬刚大数据系列文章链接：2021年从零到大数据专家的学习指南(全面升级版)2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇2021年从零到大数据专家面试篇之SparkSQL篇2021
王知无(import_bigdata)·2025-03-19 22:59

Hadoop 实战笔记（二）-- HDFS 常用 shell 命令总结

一、HDFS命令显示当前目录结构#显示当前目录结构hadoopfs-ls#递归显示当前目录结构hadoopfs-ls-R#显示根目录下内容hadoopfs-ls/创建目录#创建目录hadoopfs-mkdir
dazhong2012·2025-03-19 17:48

中电金信25/3/18面前笔试（需求分析岗+数据开发岗）

一、需求分析第1题，单选题,Hadoop的核心组件包括HDFS和以下哪个？
苍曦·2025-03-19 12:43

[HelloCTF]PHPinclude-labs超详细WP-Level 2-data协议

源码分析重点关注这两行代码echoinclude("data://text/plain;base64,4pedKCrigbDilr/igbAqKeKXnEhlbGxvLUNURnd3");isset($
Haicaji·2025-03-19 01:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他