hdfs源码分析

解决flume在抽取不断产生的日志文件时，hdfs上出现很多小文件的问题

问题在使用flume时，需要编写conf文件，然后执行，明明sinks已经指定了roll的三个参数：a1.sinks.k1.hdfs.rollInterval=0（根据写入时间来切割）a1.sinks.k1
lzhlizihang·2024-09-10 07:36

Hadoop的搭建流程

、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量5、刷新配置文件6、验证hadoop命令是否可以识别八、全分布搭建7、修改配置文件core-site.xml8、修改配置文件hdfs-site.xml9
lzhlizihang·2024-09-10 07:06

hive搭建 -----内嵌模式和本地模式

文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹
lzhlizihang·2024-09-10 07:06

详解 JuiceFS sync 新功能，选择性同步增强与多场景性能优化

JuiceFSsync是一个强大的数据同步工具，支持在多种存储系统之间进行并发同步或迁移数据，包括对象存储、JuiceFS、NFS、HDFS、本地文件系统等。
Juicedata·2024-09-10 05:51

深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】

本系列讲解重点是结合实际的应用场景以及源码分析，以及写一些triton周边的插件、集成等。非速成，适合同样喜欢深入的小
u013250861·2024-09-10 03:09

Tinywebserver数据库连接池源码分析day0

Tinywebserver的第一天源自github：GitHub-qinguoyi/TinyWebServer::fire:Linux下C++轻量级WebServer服务器这是项目的数据库连接池一共有两个文件，.h/.cpp先看md文档数据库连接池*单例模式，保证唯一*list实现连接池*连接池为静态大小*互斥锁实现线程安全直接看sql_connection_pool.cpp，在代码里看看具体是怎
winsons_lu·2024-09-10 02:02

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件
BigDataMLApplication·2024-09-10 00:38

【Hadoop|HDFS篇】NameNode和SecondaryNameNode

1.NN和2NN的工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsIm
Vez'nan的幸福生活·2024-09-09 23:00

【HarmonyOS】- HAR与HSP区别及使用原则

文章目录知识回顾前言源码分析1.2.3.拓展知识总结知识回顾前言HAR与HSP源码分析1.2.3.拓展知识总结系统提供了两种共享包，HAR静态共享包和HSP动态共享包。
数的羊都睡了·2024-09-09 20:41

fescar源码分析4-TM

一、概要说明这里重点分析下TM的实现。下面是TM的定义：TransactionManager(TM):明确全局事务的范围：开始一个全局事务，提交或者回滚一个全局事务简单来说，就是分布式事务的业务发起方。二、配置定义GlobalTransactionScanner。构造函数如下。applicationId和txServiceGroup我们这里可以理解为一个分布式事务的唯一标识。可以用于保存一个事务的
leiwingqueen·2024-09-09 12:39

Hbase的简单使用示例

HBase是基于HadoopHDFS构建的分布式、列式存储的NoSQL数据库，适用于存储和检索超大规模的非结构化数据。它支持随机读写，并且能够处理PB级数据。
傲雪凌霜，松柏长青·2024-09-09 11:40

Leveldb源码分析--9

6SSTable之36.5读取sstable文件6.5.1类层次Sstable文件的读取逻辑在类Table中，其中涉及到的类还是比较多的，如图6.5-1所示。图6.5-1Table类导出的函数只有3个，先从这三个导出函数开始分析。其中涉及到的类（包括上图中为画出的）都会一一遇到，然后再一一拆解。本节分析sstable的打开逻辑，后面再分析key的查找与数据遍历。6.5.2Table::Open()
sparkliang·2024-09-09 04:23

鸿蒙轻内核M核源码分析系列二十 Newlib C

LiteOS-M内核LibC实现有2种，可以根据需求进行二选一，分别是musllibC和newlibc。本文先学习下NewlibC的实现代码。文中所涉及的源码，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。使用MuslC库的时候，内核提供了基于LOS_XXX适配实现pthread、mqeue、fs、semaphore、time等模块
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十七（2） 异常钩子函数的注册操作

本文中所涉及的源码，以OpenHarmonyLiteOS-M内核为例，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。鸿蒙轻内核异常钩子模块代码主要在components\exchook目录下。异常钩子函数的注册、解注册、异常钩子类型定义在utils\los_debug.h|.c。1、异常钩子函数节点结构体和异常钩子函数节点数组在文件
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十五 CPU使用率CPUP

CPUP（CentralProcessingUnitPercentage，CPU占用率）分为系统CPU占用率和任务CPU占用率。用户通过系统级的CPU占用率，判断当前系统负载是否超出设计规格。通过系统中各个任务的CPU占用情况，判断各个任务的CPU占用率是否符合设计的预期。系统CPU占用率是指周期时间内系统的CPU占用率，用于表示系统一段时间内的闲忙程度，也表示CPU的负载情况。系统CPU占用率的
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十六 MPU内存保护单元

本文主要分析鸿蒙轻内核MPU模块的的源码。本文中所涉及的源码，以OpenHarmonyLiteOS-M内核为例，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取。鸿蒙轻内核支持的ARMCortex-M芯片架构都支持MPU的，代码都是一样的，以kernel\arch\arm\cortex-m4\gcc\los_mpu.c为例进行讲解。1、
OpenHarmony_小贾·2024-09-09 04:50

鸿蒙轻内核M核源码分析系列十三 消息队列Queue

队列（Queue）是一种常用于任务间通信的数据结构。任务能够从队列里面读取消息，当队列中的消息为空时，挂起读取任务；当队列中有新消息时，挂起的读取任务被唤醒并处理新消息。任务也能够往队列里写入消息，当队列已经写满消息时，挂起写入任务；当队列中有空闲消息节点时，挂起的写入任务被唤醒并写入消息。如果将读队列和写队列的超时时间设置为0，则不会挂起任务，接口会直接返回，这就是非阻塞模式。消息队列提供了异步
OpenHarmony_小贾·2024-09-09 04:20

HBase

ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜，松柏长青·2024-09-08 17:07

Hive的优势与使用场景

以下是Hive的主要优势：1.与Hadoop生态系统的紧密集成Hive构建在Hadoop分布式文件系统(HDFS)之上，能够处理海量数据并进行分布式计算。
傲雪凌霜，松柏长青·2024-09-08 17:07

HashMap源码分析

一.HashMap类结构二.属性解析1.默认初始容量staticfinalintDEFAULT_INITIAL_CAPACITY=1MAXIMUM_CAPACITY)initialCapacity=MAXIMUM_CAPACITY;if(loadFactor>>1;n|=n>>>2;n|=n>>>4;n|=n>>>8;n|=n>>>16;return(n=MAXIMUM_CAPACITY)?MAX
SimpleRecord·2024-09-08 17:01

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
蓦然_·2024-09-08 15:50

ERROR:master启动报错： Attempting to operate on hdfs namenode as root

[root@masterhadoop]#sbin/start-all.shStartingnamenodeson[master]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
CourageLee·2024-09-08 07:55

Linux驱动学习--网络设备驱动架构介绍及底层源码分析

------>网络协议接口层------>sk_buff------>sk_buff的操作函数------>网络设备接口层------>net_device相关介绍------>设备驱动接口层四、驱动源码分析
文艺小少年·2024-09-08 00:41

View绘制流程（三） - onLayout

onLayout了，作用是确定view的位置；performTraversals__>perforLayouthost.layout__>view.onLayout__>viewgroup.onLayout2.源码分析
世道无情·2024-09-07 21:31

Error: java.io.IOException: java.lang.reflect.InvocationTargetException

java.lang.reflect.InvocationTargetException；往下继续看log，发现是car3g_prpcitemkind（文件名）显示prpcitemkind分区数据不在了，这种通常发生在抽数的时候，抽数脚本最一开始有没有进行-rm一些hdfs
lics10·2024-09-07 20:12

Mapbox源码分析（1）样式加载

简介:通过源码，我们来一步步分析Mapbox地图引擎如何进行不同样式的数据加载的，这里是基于5.3.0的版本．通过官网案例，我们知道在SDK中配置了不同的style样式给我们使用，通过配置不同style,便可加载不同的类型地图，那么我们便可以从setStyleUrl()这个方法着手．这里我们从MapView的setStyleUrl()方法看起这里我们看到，他将相关配置直接往下传到底层了，从nati
一个观察世界的普通人·2024-09-07 19:17

Python 操作大数据使用 Hadoop

参考：https://blog.csdn.net/wuShiJingZuo/article/details/135620018fromhdfsimportInsecureClienthdfs_client
静听山水·2024-09-07 17:47

DataX用hdfsreader导入或导出hive数据

DataX读取Hive数据的话，其本身只提供了hdfsreader，因为hive一来不是个数据库，它只是hdfs数据的结构化管理工具，所以datax默认没有自带hive的reader，因此默认只能直接用
尘世壹俗人·2024-09-07 10:02

【Hadoop】- MapReduce & YARN 初体验[9]

目录提交MapReduce程序至YARN运行1、提交wordcount示例程序1.1、先准备words.txt文件上传到hdfs，文件内容如下：1.2、在hdfs中创建两个文件夹，分别为/input、/
星星法术嗲人·2024-09-07 04:21

多种model serving 的调研比较

image.pnggithubofficesite框架语言依赖项服务端开发语言客户端调用语言是否支持restful支持算法是否支持hdfs大规模是否支持同时部署多个模型服务是否支持模型切换是否支持模型跟踪是否支持
Helen_Cat·2024-09-06 18:35

前端MVVM框架设计及实现（一）

最近抽出点时间想弄个dom模块化的模板引擎，不过现在这种都是MVVM自带的，索性就想自己造轮子写一个简单的MVVM框架了借鉴的自然还是从正美的avalon开始了，我记得还是去年6月写过一个系列的avalon源码分析的
baoaoba9317·2024-09-06 13:08

spring读取java启动参数_Spring Boot启动命令参数详解及源码分析

本文带大家系统的了解一下SpringBoot命令行参数相关的功能及相关源码分析。
weixin_39613692·2024-09-06 10:47

spark读取csv文件

测试spark读取本地和hdfs文件frompyspark.sqlimportSparkSessionspark=SparkSession.builder\.appName("ExamplePySparkScript
静听山水·2024-09-06 10:44

hadoop-hdfs系统构成

2019独角兽企业重金招聘Python工程师标准>>>HDFS组成1)NameNode元数据2)DataNode存储文件内容block3)SecondaryNameNode合并NameNode与editsHDFS
weixin_33701564·2024-09-06 00:46

字节跳动10万节点HDFS集群多机房架构演进之路(1)

如何高效运维如此超大规模的集群要回答这些问题需要HDFS从多个方向迭代优化，例如DanceNN的上线、运维平台的建设等，本文不会介绍字节跳动HDFS所有的演进方案，而是聚焦在HDFS多机房架构的演进策略上
2401_84122782·2024-09-05 21:23

Ribbon 源码分析【Ribbon 负载均衡】

前言在SpringCloud2020版本以后，移除了对Netflix的依赖，也就移除了负载均衡器Ribbon，SpringCloud官方推荐使用Loadbalancer替换Ribbon，而在LoadBalancer之前SpringCloud一直使用的是Ribbon来做负载[均衡器的，而且Ribbon的负载均衡策略也比Loadbalancer更为丰富，本篇分享一些关于Ribbon相关的源码。Ribb
码农爱java·2024-09-05 07:18

nginx源码分析--内存池

内存池是nginx很重要的数据结构，结构图大概如下。ngx_palloc.h/**Copyright(C)IgorSysoev*Copyright(C)Nginx,Inc.*/#ifndef_NGX_PALLOC_H_INCLUDED_#define_NGX_PALLOC_H_INCLUDED_#include#include/**NGX_MAX_ALLOC_FROM_POOLshouldbe(n
theanarkh·2024-09-05 04:01

kube-scheduler调度策略之优选算法(四)

二、正文说明：基于kubernetesv1.12.0源码分析上文我们说的(g*genericScheduler)Schedule()函数调用了PrioritizeNodes()执行优选策略(打分)，接下来我们就具体展开分析
SRExianxian·2024-09-04 23:31

HDFS的读写流程

写入的流程流程：客户端先向NameNode节点发送上传数据的请求NameNode接收到请求之后进行权限校验，校验之后，会计算出来三个节点客户端会将输入的文件切割成块，然后一个个块进行传递客户端先跟第一个服务器创建连接，这个通道的名字是PipeLine每次传递数据的时候都是以Packet为单位进行传递的，每个Packet大约是64KB各个数据节点（DataNode）之前也会创建连接PipeLine，
Yz9876·2024-09-04 22:57

大数据学习｜理解和对比 Apache Hive 和 Apache Iceberg

文章目录数据模型与存储事务支持性能优化使用场景总结数据模型与存储Hive:Hive使用的是传统的关系型数据模型，数据存储在Hadoop分布式文件系统(HDFS)中，通常是以文本格式（如CSV或TSV）或者二进制格式
进击的小白菜·2024-09-04 16:50

三，Hive的分桶详解

Hive分桶通俗点来说就是将表（或者分区，也就是hdfs上的目录而真正的数据是存储在该目录下的文件）中文件分成几个文件去存储。
__元昊__·2024-09-04 04:02

hive学习（五）

inpath'路径'[overwrite]intotable表名[partition(partcol1=val1,…)];特殊说明1）local：标识从本地加载数据到Hive表，若没有local的话从HDFS
2301_79721847·2024-09-03 14:00

超维小课堂 | 7、ROS使用offboard模式控制无人机定点悬停源码分析

源码分析可以查看代码注释即可。此处为视频详解：源码视频详解：特别注意：
流浪者1015·2024-09-03 13:23

hive学习记录

数据存储：Hive处理的数据存储在HDFS（HadoopDistributedFileSystem）上。执行引擎：Hive的
2302_80695227·2024-09-03 12:46

Hadoop 中的大数据技术：调优篇（3）

HDFS—故障排除NameNode故障处理需求NameNode进程崩溃且存储的数据丢失，如何恢复NameNode？
大数据深度洞察·2024-09-03 00:33

apache 网站转nginx_nginx部署避坑指南+高级配置详解

provisionalheadersareshown四：nginx服务访问出现403问题五：nginx的反向代理及负载均衡原理及实现（高级教程）微信前端核心500人群：群内不定期会有赞助商送书活动，BAT大厂资深大牛定期推送面经与源码分析
weixin_39818691·2024-09-03 00:59

Spring高手之路22——AOP切面类的封装与解析

2.1什么是Advisor2.2Advisor的构建（源码分析+时序图说明）3.TargetSource的构建和作用3.1TargetSource的作用3.2TargetSource的构建1.AOP是如何收集切面类并封装的
砖业洋__·2024-09-02 15:09

ffplay源码分析（五）包缓存队列和帧缓存队列

在音视频处理流程中，ffplay的有两种队列，包缓存队列（PacketBufferQueue）和帧缓存队列（FrameBufferQueue）。这两个队列的存在，是为了适应音视频数据处理过程中的多线程架构——包括收包线程、解码线程和渲染线程。具体来说，收包线程负责从网络或文件中读取数据并将其放入包缓存队列中；解码线程从包缓存队列中取出数据进行解码，然后将解码后的数据放入帧缓存队列中；最后，渲染线程
头快撑不住了·2024-09-02 12:23

Spring-Security（二）OAuth2认证详解（持续更新）

SpringSecurity&Oauth2系列：SpringSecurity（一）源码分析及认证流程SpringSecurity（二）OAuth2认证详解及自定义异常处理文章目录1、OAuth2.0简介
lbmydream·2024-09-02 11:46

kubernetes垃圾回收器GarbageCollector 源码分析（三）

kubernetes版本：1.13.2接两节：kubernetes垃圾回收器GarbageCollectorController源码分析（一）kubernetes垃圾回收器GarbageCollectorController
进击云原生·2024-09-02 04:32
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他