HDFS源码分析

ping命令第1版主流程的源码分析

我们知道，ping命令是通过ICMP（InternetControlMessageProtocol，互联网控制消息协议）来检测网络连通性和延迟的。执行ping命令的主机（源主机）会向目标主机发送ICMPEchoRequest报文，目标主机收到该报文后，应响应ICMPEchoReply报文。如果源主机能够收到目标主机返回的ICMPEchoReply报文，就说明目标主机可达。再根据当前时间戳与发送时间
·2025-01-26 11:24

mysql的单表数据导入到hive数据库中

1、将mysql的数据导出借助dbeaver工具，将单表数据table1格式导出为csv文件2、将csv的后缀名手动改为txt后缀，为了让每行的的字段是以，分隔3、将得到的txt文件上传到hdfs文件系统中
熏陶·2025-01-26 05:43

Sqoop数据导出 第3关：Hive数据导出至MySQL中

Hive数据导入MySQL中MySQL建表因为之前已经创建过数据库了，我们直接使用之前的数据库hdfsdb，在数据库中建表project，表结构如下：名类状态pro_noint主键，序号pro_namevarchar
是草莓熊吖·2025-01-26 05:09

用 Docker 搭建 Spark 集群

熟悉Hadoop的同学也不必担心，Spark很多设计理念和用法都跟Hadoop保持一致和相似，并且在使用上完全兼容HDFS。但是Spark的安装并不容易，依赖包括Java、Scala、HDFS等。
yeasy·2025-01-26 00:22

C# Json字符串生成工具的实现与应用

本课程主要介绍如何在C#中使用Json.NET库生成JSON字符串，并提供源码分析，帮助开发者理解并根据需求定制自己的Json字符串生成工具。
徐子贡·2025-01-25 21:01

Spring注解09——BeanPostProcessor后置处理器深度剖析

文章目录1.写在之前2.BeanPostProcessor是什么3.xxxBeanPostProcessor源码分析4.Spring框架用该接口干嘛呢？总结1.写在之前本篇会有一些源码的分析，
大黄奔跑·2025-01-25 17:06

Hadoop、Hive、Hbase集群间的数据迁移

文件（重要，包括各个数据节点）两个集群版本不相同hadoopdistcphftp://192.168.57.73:50070/hive3/20171008/hive3/如果两个集群的版本相同，则可以使用hdfs
这个操蛋的人生！！！·2025-01-25 07:18

Redis之父学生时代发现的ping漏洞的源码分析

Redis的作者SalvatoreSanfilippo（网名antirez）在意大利西西里岛长大，虽然从小就接触计算机，也有一些编程经验，但在大学期间却选择了建筑学院，可能当时并没有打算走职业程序员的道路吧。然而antirez应该就属于老天爷赏饭的那类人，据说仅仅因为错把显卡买成了网卡，商家又不肯退货，他就放下游戏，拿起了C语言的教材。不久之后，antirez发现了一个ping的漏洞，非root用
·2025-01-24 20:12

hive数据操作，导入导出

数据导入导出将数据文件导入hive的表方式1：导入数据的一种方式：手动用hdfs命令，将文件放入表目录；方式2：在hive的交互式shell中用hive命令来导入本地数据到表目录hive>loaddatalocalinpath
qzWsong·2025-01-24 14:10

【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据

Hive3.1.2高可用集群搭建二、hive加载Json格式数据1、数据准备vistu.json[{"id":111,"name":"name111"},{"id":222,"name":"name22"}]上传到hdfshadoopfs-putstu.j
forest_long·2025-01-24 12:27

Hadoop 与 Spark：大数据处理的比较

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-23 16:50

Hive（11）：Transactional Tables事务表

且映射的数据通常存储于HDFS上，而HDFS是不支持随机修改文件数据的。
不死鸟.亚历山大.狼崽子·2025-01-23 15:48

ffmpeg学习六：avcodec_open2函数源码分析

上一节我们尝试分析了avformat_open_input函数的源码，这个函数的虽然比较复杂，但是它基本是围绕着创建和初始化一些数据结构来展开的，比如，avformat_open_input函数会创建和初始化AVFormatContext，AVClass，AVOption,URLContext,URLProtocol,AVInputFormat,AVStream等数据结构，这些数据结构的关系如下：
阳光玻璃杯·2025-01-23 13:04

Hadoop分布式文件系统-HDFS架构

一、HDFS的简介HDFS全称HadoopDistributedFileSystem，是分布式文件管理系统。
Fancs2024·2025-01-23 09:37

深入解析Spring AI框架：在Java应用中实现智能化交互的关键

合集-Spring源码分析(22)1.Spring入门系列：浅析知识点2023-04-102.Spring源码系列：初探底层，手写Spring2023-04-123.Spring源码系列：核心概念解析2023
鵝鵝鵝·2025-01-23 07:15

基于MRS-Hudi构建数据湖的典型应用场景介绍

一、传统数据湖存在的问题与挑战传统数据湖解决方案中，常用Hive来构建T+1级别的数据仓库，通过HDFS存储实现海量数据的存储与水平扩容，通过Hive实现元数据的管理以及数据操作的SQL化。
华为云技术精粹·2025-01-23 04:50

深入MapReduce——引入

引入前面我们已经深入了HDFS的设计与实现，对于分布式系统也有了不错的理解。但HDFS仅仅解决了海量数据存储和读写的问题。
黄雪超·2025-01-22 23:41

HUDI-0.11.0 BUCKET index on Flink 特性试用

当前环境：Flink1.13.2+Hudi0.11.0（master2022.04.11）+COW+HDFS。关键配置项：index.type=BUCKEThoodie.buc
_Magic·2025-01-22 23:06

RocketMQ源码分析之事务消息分析

rocketMQ事务消息原理概述RocketMQ采用两阶段提交（2PC）的思想来实现事务消息，当事务消息失败或者超时，同时采用补偿的方式处理这个问题。这两个阶段分别为正常事务消息的发送与提交以及事务消息的补偿。我们看看官方文档给的事务消息的流程图：1、事务消息的发送与提交MQProducer将事务消息发送给MQServer（Broker服务器），这时的消息称为半消息，半消息是不能被消费者消费的。当
小虾米 ~·2025-01-22 19:09

Hadoop是什么，怎么部署安装？

它包括两个核心组件：Hadoop分布式文件系统（HDFS）和HadoopYARN（YetAnotherResourceNegotiator）。
狮歌~资深攻城狮·2025-01-22 15:01

SpringCloud系列——5Spring Cloud 源码分析之OpenFeign

学习目标为什么加一个注解就能实现远程过程调用呢？推导它底层的实现主流程？OpenFeign怎么实现RPC的基本功能的通过源码验证第1章OpenFeign主流程推导要明确OpenFeign的主流程首先我们还是要明确它的核心目标是什么？说白了，OpenFeign最核心的目标就是让客户端在远程调用过程中不需要做什么多余的操作，只要拿到一个对象，然后调用该对象的方法就好了，剩下的操作都交给OpenFeig
木木_2024·2025-01-22 02:58

分布式存储的技术选型之HDFS、Ceph、MinIO对比

分布式存储的技术选型比：HDFS、Ceph、MinIO对比一文读懂分布式存储在当今数字化时代，数据呈爆炸式增长，分布式存储技术应运而生，成为大数据存储与管理的得力助手。
Linux运维老纪·2025-01-22 00:40

HDFS Disk Balancer 介绍&使用

一、介绍一句话介绍：用于HDFSDataNode单节点内多个数据盘数据均衡。
_Magic·2025-01-21 20:00

hadoop常用命令

mapreduce）看正在运行的yarn任务yarnapplication-list杀死对应的yarn任务yarnapplication-kill{application_Id}（id可以通过-list看到）hdfs
我要用代码向我喜欢的女孩表白·2025-01-21 05:54

Mybatis-plus 多租户插件

源码分析MybatisPlus官方是由TenantLineInnerInterceptor这个拦截器进行多租户功能处理，所以，本篇章主要对TenantLineInnerInterceptor这个类的讲解
YaYicho·2025-01-21 00:55

Go 语言源码分析——map

哈希表用于存储键值对的映射关系，具有O(1)的读写性能。通过哈希函数可以将不同的键映射到不同索引上，当不同的键映射到同一个索引上时，会产生哈希冲突，可通过开放寻址法、链表法来解决哈希冲突，其中Go使用的是链表法。一、数据结构map将键值对存放在桶数组中，每个桶只保存8个键值对，通过键的低8位选择桶，通过键的高8位选择放在桶的哪个位置。如果有超过8个键值对映射到同一个桶，则会放到溢出桶typehma
SSSTing_·2025-01-20 17:51

flume系列之：flume落cos

一、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章Kafka数据通过Flume存储到HDFS
快乐骑行^_^·2025-01-20 13:42

Go 语言 map源码分析及图解（一）（查找、写入、删除K/V值）

值定位K/V值map创建计算桶的数量申请buckets内存空间tophash标记位介绍查找K/V值（mapaccess1）写入K/V值（mapassign）删除K/V值（mapdelete）map扩容的源码分析见下一节
Mr.禾·2025-01-20 10:38

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

大数据学习（五）：如何使用 Livy提交spark批量任务--转载

/bin/livy-server这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。
zuoseve01·2025-01-19 22:15

defer 源码分析

在Go语言中多个defer形成一个链表.defer语句会首先调用一个deferproc函数,new一个对应的结构体挂载到对应的G上面调用new之前会从G所绑定的P的deferpool里面取,没有取到会从全局的deferpool里取,实在没有的话才新建一个。这是Goruntime里非常常见的操作，即设置多级缓存，提升运行效率在执行RET指令之前（注意不是return之前），调用deferreturn
线程A·2025-01-19 20:56

DynamicDatasource动态数据源实现及使用

文章目录动态数据源DynamicDatasource简介源码分析ThreadLocal和AbstractRoutingDataSourceDynamicRoutingDataSourceDynamicDatasource
m0_74825074·2025-01-19 15:09

【Lua源码分析系列】1. 概述

如题，这是一系列关于Lua的源码分析的文章。分析的重点在编译原理和虚拟机的部分，而不是相关的库的实现部分。写这系列文章，最初是因为想要设计一门编程语言以及它的虚拟机，为此参考现有的优秀的实现。
·2025-01-19 11:07

hive小文件合并机制_hive小文件的问题弊端以及合并

小文件的弊端1、HDFS中每个文件的元数据信息，包括位置大小分块信息等，都保存在NN内存中，在小文件数较多的情况下，会造成占用大量内存空间，导致NN性能下降；2、在读取小文件多的目录时，MR会产生更多map
做生活的创作者·2025-01-19 08:49

Golang map实现原理及源码分析

本文涉及到的源码版本为GoSDK1.16.11、map的基本结构map是Golang中的一种常用数据结构，其本质上是一种哈希表，类似于java的HashMap以及Python的字典(dict)，是一种存储键值对(Key-Value)的数据结构。一般的Map会包含两个主要结构：数组：数组里的值指向一个链表链表：目的解决hash冲突的问题，并存放键值而在Golang中，解决hash冲突的不是链表，而是
Aeiu·2025-01-19 08:42

Java 大视界 -- 解锁 Java 与 Hadoop HDFS 交互的高效编程之道（二）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

QML音视频实时通信

QML音视频实时通信使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-01-18 22:44

QML Web云应用开发

QMLWeb云应用开发使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-01-18 22:14

QT硬件接口设计

QT硬件接口设计使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-01-18 22:44

【QT教程】QML音视频效果实现 QT音视频

QML音视频效果实现使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-01-18 22:43

MediaCrawler 小红书爬虫源码分析

前言MediaCrawler是最近冲上Github热搜的开源多社交平台爬虫。虽然现在已删库，但还好我眼疾手快，有幸还Fork了一份，乘着周末，简单分析了下小红书平台的相关代码。爬虫难点一般写爬虫，都需要面对以下几个问题如果app/网页需要登录，如何获取登录态（cookie/jwt）大部分app/网页都会对请求参数进行sign，如果有，如何获取sign逻辑绕过其它遇到的反爬措施我将带着这三个问题，阅
·2025-01-18 22:46

Spark 源码分析(一) SparkRpc中序列化与反序列化Serializer的抽象类解读 （正在更新中~）别人能写出来的，你也能行！多学习别人的思路，形成自己的思路，高薪工作奔你而来！

后一篇链接在这接上一章请先看解读序列化抽象类第一部分（这是一个链接）目录接上一章请先看解读序列化抽象类第一部分2.Java序列化实现类JavaSerializer(1)JavaSerializationStream类代码实际例子1：序列化(2)JavaDeserializationStream代码实际例子2：反序列化Spark源码下类图在学习过程中，抓住主要问题，请思考问题为什么Kryo序列化更加
小白的大数据历程·2025-01-18 22:07

Spark 源码分析(一) SparkRpc中序列化与反序列化Serializer的抽象类解读 （java序列化部分完结，正在更新RpcEnv部分~）

目录(3)JavaSerializerInstance定义了一个Java序列化实例(1)构造方法参数(2)方法1：serializeStream(3)方法2：deserializeStreamdefaultClassLoader(4)方法3：deserializeStreamloader(5)方法4：serialize(6)方法5：deserializeloader(7)方法6：deseriali
小白的大数据历程·2025-01-18 22:37

hdfs和hive对于小文件的处理方案

一、hdfs如何处理小文件小文件问题的危害小文件问题对HDFS的性能和稳定性产生显著影响，主要包括：占用过多的存储空间：每个小文件都会占用一个独立的Block，导致存储资源的浪费。
二进制_博客·2025-01-18 19:35

【Bluedroid】HFP连接流程源码分析（一）

Bluedroid蓝牙HFP（HFP,Hands-FreeProfile）连接流程涵盖多个环节，从前期准备到连接建立、状态管理以及维护与断开，各环节紧密相扣，确保蓝牙免提连接稳定可靠。一、概述1.1.连接前准备用户操作：用户需在Android设备上开启蓝牙功能。同时，目标蓝牙设备（如车载蓝牙）要进入配对模式，Android设备通过搜索发现目标设备并完成配对，此过程可能需用户输入PIN码或确认配对请
byte轻骑兵·2025-01-18 15:05

百万架构师第二十二课：源码分析：Spring 源码分析：Spring经典面试答疑｜JavaGuide

Spring面试解答上半节：面试中需要注意的细节动脑子，面试是一种交流面试的时候，要用心去感受当时面试场景了解自己，自己的长处、自己的短处（巧妙地扬长避短）了解1.公司的业务场景2.你是去面试什么岗位的？Java高级工程师实际工作经验是1年（如实填写）1、请描述SpringIOC的工作原理答：定位加载注册BeanFactoryBeanDefintion...1-3年1+ApplicationCon
·2025-01-18 13:24

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
武子康·2025-01-18 10:29

Rabbitmq源码分析，重复消费问题的redis或数据库代码实现

目录底层源码解析自定义唯一id算法MessageProperties类的相关实现自定义消息ID生成器配置和使用Rabbitmq是怎么判断是不是重复消息的呢？通过Redis的幂等性处理消息消费者实现分布式锁实现的重复检测完整的消息处理流程基于数据库实现Mapper接口消息处理服务RabbitMQ消息消费者底层源码解析RabbitMQ判断重复消息主要通过消息的唯一标识（MessageId）和幂等性处理
xweiran·2025-01-18 10:26

pyspark 中删除hdfs的文件夹

搜索了下资料，发现pyspark并没有提供直接管理hdfs文件系统的功能。寻找到一个删除的方法，是通过调用shell命令hadoopfs-rm-f来删除，这个方法感觉不怎么好，所以继续找。
TDengine （老段）·2025-01-18 09:21
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他