hadoop源码分析

[ docker-ce源码分析系列 ] 修改resolv.conf文件被还原的原因

1概述：1.1环境版本信息如下：a、操作系统：centos7.6，amd64b、服务器docker版本：v18.09.22resolv.conf文件被还原的现象：容器中的/etc/resolv.conf文件，是由宿主机/var/lib/docker/containers/xxxx/resolv.conf文件挂载。在dockerrestart容器之前，手动修改了/var/lib/docker/con
nangonghen·2024-09-14 07:18

Hadoop学习第三课（HDFS架构--读、写流程）

1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org
小小程序员呀~·2024-09-14 03:53

hadoop启动HDFS命令

启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
m0_67401228·2024-09-14 03:49

dispatch_once源码分析

GCD里的单例函数dispatch_once是我们经常会用到的，今天我们来稍做深入分析一下。GCD的源码都在libdispatch.dylib库里，这个库在libSystem_initializer被初始化，可理解为在dyld里被加载和初始化的(之前的文章有分析过)。dispatch_once作为单例的使用入口，通过分析得到它是一个宏定义，_dispatch_once函数在libdispatch.
福伟_Y·2024-09-14 02:00

【计算机毕设-大数据方向】基于Hadoop的电商交易数据分析可视化系统的设计与实现

博主介绍：✌全平台粉丝5W+,高级大厂开发程序员，博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来，同学门有不懂的毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展，电商平台积累了海量的数据资源，这些数据不仅包括用户的基本信息、购物记录，还包括用户的浏览行为、评价反馈等多
程序员-石头山·2024-09-13 13:19

分布式离线计算—Spark—基础介绍

原文作者：饥渴的小苹果原文地址：【Spark】Spark基础教程目录Spark特点Spark相对于Hadoop的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor
测试开发abbey·2024-09-13 11:11

spark常用命令

hadoop@wyy:/app/hadoop/spark100$bin/spark-submit--
我是浣熊的微笑·2024-09-13 10:38

spark启动命令

hadoop启动：cd/root/toolssstart-dfs.sh，只需在hadoop01上启动stop-dfs.sh日志查看：cat/root/toolss/hadoop/logs/hadoop-root-datanode-hadoop03
学不会又听不懂·2024-09-13 10:36

编程常用命令总结

编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令
Yellow0523·2024-09-13 02:42

jQuery Easyui 源码分析之combo组件

/***jQueryEasyUI1.3.1*该源码完全由压缩码翻译而来，并非网络上放出的源码，请勿索要。*/(function($){functionsetSize(target,width){varopts=$.data(target,"combo").options;varcombo=$.data(target,"combo").combo;varpanel=$.data(target,"co
90后北京程序员·2024-09-13 02:38

Hadoop常见面试题整理及解答

Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。
叶青舟·2024-09-12 19:24

html5carousel图片轮播,全面解析Bootstrap中Carousel轮播的使用方法

Bootstrap中Carousel的使用方法，供大家参考，具体内容如下源码文件：Carousel.scssCarousel.js实现原理：隐藏所有要显示的元素，然后指定当前要显示的为block，宽、高自适应源码分析
RemusrickCat·2024-09-12 17:40

Java集合-----List接口及其实现类：ArrayList、LinkedList、Vector

文章目录List接口概述List接口的常用方法List接口的实现类ArrayList源码分析类继承关系ArrayList中的属性：ArrayList构造函数：ArrayList中常用方法添加操作：add
Colourful．·2024-09-12 09:22

React Native通讯原理

之前写过一篇文章ReactNativeAndroid源码分析，在此文章的基础上分析和总结下RN与Native的通讯流程。本文基于Android代码分析，iOS实现原理类似。
zbl_zbl·2024-09-12 09:19

[linux 驱动]增加一个文件节点控制led灯亮灭

目录1修改设备树2修改驱动3驱动源码3.1驱动源码3.2设备树节点3.3驱动源码分析3.3.1##解释3.3.2class_create解释3.3.3class_create_file解释3.3.4of_get_named_gpio_flags
嵌入式成长家·2024-09-11 23:43

【QT教程】QT6对话框编程

QT6对话框编程使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2024-09-11 22:09

鸿蒙轻内核M核源码分析系列十二 事件Event

事件（Event）是一种任务间通信的机制，可用于任务间的同步。多任务环境下，任务之间往往需要同步操作，一个等待即是一个同步。事件可以提供一对多、多对多的同步操作。本文通过分析鸿蒙轻内核事件模块的源码，深入掌握事件的使用。本文中所涉及的源码，以OpenHarmonyLiteOS-M内核为例，均可以在开源站点https://gitee.com/openharmony/kernel_liteos_m获取
OpenHarmony_小贾·2024-09-11 19:44

鸿蒙轻内核M核源码分析系列四 中断Hwi

在鸿蒙轻内核源码分析系列前几篇文章中，剖析了重要的数据结构。本文，我们讲述一下中断，会给读者介绍中断的概念，鸿蒙轻内核的中断模块的源代码。
OpenHarmony_小贾·2024-09-11 19:44

鸿蒙轻内核M核源码分析系列五 时间管理

在鸿蒙轻内核源码分析上一篇文章中，我们剖析了中断的源码，简单提到了Tick中断。本文会继续分析Tick和时间相关的源码，给读者介绍鸿蒙轻内核的时间管理模块。
OpenHarmony_小贾·2024-09-11 19:44

鸿蒙轻内核M核源码分析系列六 任务及任务调度（1）任务栈

继续分析鸿蒙轻内核源码，我们本文开始要分析下任务及任务调度模块。首先，我们介绍下任务栈的基础概念。任务栈是高地址向低地址生长的递减栈，栈指针指向即将入栈的元素位置。初始化后未使用过的栈空间初始化的内容为宏OS_TASK_STACK_INIT代表的数值0xCACACACA，栈顶初始化为宏OS_TASK_MAGIC_WORD代表的数值0xCCCCCCCC。一个任务栈的示意图如下，其中，栈底指针是栈的最
OpenHarmony_小贾·2024-09-11 19:44

鸿蒙轻内核M核源码分析系列三 数据结构-任务排序链表

在鸿蒙轻内核源码分析系列一和系列二，我们分析了双向循环链表、优先级就绪队列的源码。本文会继续给读者介绍鸿蒙轻内核源码中重要的数据结构：任务排序链表TaskSortLinkAttr。
OpenHarmony_小贾·2024-09-11 19:43

2025毕业设计指南：如何用Hadoop构建超市进货推荐系统？大数据分析助力精准采购

⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码基于hadoop的超市进货推荐系
计算机编程指导师·2024-09-11 18:08

鸿蒙轻内核A核源码分析系列七 进程管理 (2)

本文先熟悉下进程管理的文件kernel\base\core\los_process.c中的内部接口，读读代码，做些记录。1、LiteOS-A内核进程全局变量⑴是进程池，存放各个进程控制块LosProcessCB的信息。⑵处开始的g_freeProcess是空闲进程链表，挂载各个空闲进程控制块；g_processRecycleList是待回收进程控制块链表，挂载各个等待回收的进程控制块。⑶处开始的g
OpenHarmony_小贾·2024-09-11 17:59

鸿蒙原生开发——轻内核A核源码分析系列三 物理内存（2）

3.1.2.3函数OsVmPhysLargeAlloc当执行到这个函数时，说明空闲链表上的单个内存页节点的大小已经不能满足要求，超过了第9个链表上的内存页节点的大小了。⑴处计算需要申请的内存大小。⑵从最大的链表上进行遍历每一个内存页节点。⑶根据每个内存页的开始内存地址，计算需要的内存的结束地址，如果超过内存段的大小，则继续遍历下一个内存页节点。⑷处此时paStart表示当前内存页的结束地址，接下来
OpenHarmony_小贾·2024-09-11 17:29

Hadoop Common 之序列化机制小解

这不过此种序列化虽然跨病态兼容性强，但是因为存储过多的信息，但是传输效率比较低，所以hadoop弃用它。
猫君之上·2024-09-11 08:59

深入理解hadoop(一)----Common的实现----Configuration

一,hadoop的配置管理a,hadoop通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml
maoxiao_jsd·2024-09-11 08:59

JsonCpp源码分析——Reader

1、与Writer模块功能相反，可以将Reader理解成一个反序列化的工具，Writer的作用主要是将Value对象转成string或者流式的结构，Reader的作用主要是将流式的结构转成Value类型的对象。Reader类的主要职责有3个，解析JSON字符串：将JSON格式的字符串读取并解析成相应的C++数据结构。处理不同的数据类型，支持解析JSON对象、数组、字符串、数字、布尔值和null。处
哎呦，帅小伙哦·2024-09-11 06:48

vue源码分析-挂载流程和模板编译

前面几节我们从newVue创建实例开始，介绍了创建实例时执行初始化流程中的重要两步，配置选项的资源合并,以及响应式系统的核心思想，数据代理。在合并章节，我们对Vue丰富的选项合并策略有了基本的认知，在数据代理章节我们又对代理拦截的意义和使用场景有了深入的认识。按照Vue源码的设计思路，初始化过程还会进行很多操作，例如组件之间创建关联，初始化事件中心，初始化数据并建立响应式系统等，并最终将模板和数据
yyzzabc123·2024-09-11 05:05

hadoop 0.22.0 部署笔记

hbase是部署在hadoop平台上的NOSql数据库，因此在部署hbase之前需要先部署hadoop。
weixin_33701564·2024-09-10 17:41

解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(4)

org.apache.hadoophadoop-com
2401_84160087·2024-09-10 16:34

解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(3)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！xmlns:xsi="http://www.w3.or
2401_84160087·2024-09-10 16:04

深入解析HDFS：定义、架构、原理、应用场景及常用命令

引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney·2024-09-10 12:39

鸿蒙内核解析,鸿蒙内核源码分析(内存概念篇)|解读鸿蒙源码

本系列全部文章进入鸿蒙源码分析(总目录)查看目录最难讲的章节坦白讲内存是整个系列里面最
刘轩鸿·2024-09-10 09:53

鸿蒙轻内核A核源码分析系列七 进程管理 (3)

本文记录下进程相关的初始化函数，如OsSystemProcessCreate、OsProcessInit、OsProcessCreateInit、OsUserInitProcess、OsDeInitPCB、OsUserInitProcessStart等。1、LiteOS-A内核进程创建初始化通用函数先看看一些内部函数，不管是初始化用户态进程还是内核态进程，都会使用这些函数，包含进程控制块初始化函数
OpenHarmony_小贾·2024-09-10 09:20

鸿蒙轻内核A核源码分析系列五 虚实映射（6）虚拟映射修改转移

6.1映射属性修改函数LOS_ArchMmuChangeProt函数LOS_ArchMmuChangeProt用于修改进程空间虚拟地址区间的映射保护属性，其中参数archMmu为进程空间的MMU结构体，vaddr为虚拟地址，count为映射的页数，flags为映射使用的新标签属性信息。其中函数名称中的Prot是英文Protect的简写。⑴处对参数进行校验，⑵处查询虚拟地址映射的物理地址，如果没有映
OpenHarmony_小贾·2024-09-10 09:50

鸿蒙轻内核A核源码分析系列五 虚实映射（1）基础概念

虚实映射是指系统通过内存管理单元（MemoryManagementUnit，MMU）将进程空间的虚拟地址(VA)与实际的物理地址(PA)做映射，并指定相应的访问权限、缓存属性等。程序执行时，CPU访问的是虚拟内存，通过MMU找到映射的物理内存，并做相应的代码执行或数据读写操作。MMU的映射由页表（PageTable）来描述，页表保存虚拟地址和物理地址的映射关系以及访问权限等。每个进程在创建的时候都
OpenHarmony_小贾·2024-09-10 09:20

鸿蒙轻内核A核源码分析系列四（3） 虚拟内存

4.2函数LOS_RegionAlloc函数LOS_RegionAlloc用于从地址空间中申请空闲的虚拟地址区间。参数较多，LosVmSpace*vmSpace指定虚拟地址空间，VADDR_Tvaddr指定虚拟地址，当为空时，从映射区申请虚拟地址；当不为空时，使用该虚拟地址。如果该虚拟地址已经被映射，会先相应的解除映射处理等。size_tlen指定要申请的地区区间的长度。UINT32regionF
OpenHarmony_小贾·2024-09-10 09:19

鸿蒙轻内核A核源码分析系列四（1）虚拟内存进程空间编号

在熟悉下OpenHarmony鸿蒙轻内核提供的虚拟内存（Virtualmemory）管理模块之前，作为预备基础知识，我们先了解下虚拟内存进程空间编号，进程空间编号功能相对独立，源代码文件单独维护。涉及的头文件和C源代码文件分别为arch/arm/arm/include/los_asid.h和arch/arm/arm/src/los_asid.c。本文先介绍OpenHarmony鸿蒙轻内核LiteO
OpenHarmony_小贾·2024-09-10 09:49

鸿蒙轻内核A核源码分析系列一 数据结构-双向循环链表

在学习OpenHarmony鸿蒙轻内核源代码的时候，常常会遇到一些数据结构的使用。如果没有掌握它们的用法，会导致阅读源代码时很费解、很吃力。本文会给读者介绍源码中重要的数据结构，双向循环链表DoublyLinkedList。在讲解时，会结合数据结构相关绘图，培养读者们的数据结构的平面想象能力，帮助更好的学习和理解这些数据结构的用法。本文中所涉及的源码，以OpenHarmonyLiteOS-A内核为
OpenHarmony_小贾·2024-09-10 09:49

Netty源码分析:NioEventLoopGroup

Netty源码分析:NioEventLoopGroup在工作之余，看到自己公司的超哥（俞超）关于Netty的系列博文，讲解的很好，因此，自己在学习之余也跟了下源代码，来了解Netty，也做了相关的笔记，
HelloWorld_EE·2024-09-10 07:09

Hadoop的搭建流程

文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步：2、第二步：3、第三步：4、第四步：5、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量
lzhlizihang·2024-09-10 07:06

hive搭建 -----内嵌模式和本地模式

文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹
lzhlizihang·2024-09-10 07:06

Hadoop之mapreduce -- WrodCount案例以及各种概念

文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法（自定义分区器）4、reducer方法5、driver（main方法）6、Writable（手机流量统计案例的实体类）三、关于片和块1、什么是片，什么是块？2、mapreduce启动多少个MapTask任务？四、MapReduce的原理五、Shuffle过
lzhlizihang·2024-09-10 07:06

IAAS: IT公司去IOE-Alibaba系统构架解读

从Hadoop到自主研发，技术解读阿里去IOE后的系统架构原地址：......................云计算阿里飞天摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现
wishchin·2024-09-10 04:18

深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】

本系列讲解重点是结合实际的应用场景以及源码分析，以及写一些triton周边的插件、集成等。非速成，适合同样喜欢深入的小
u013250861·2024-09-10 03:09

Tinywebserver数据库连接池源码分析day0

Tinywebserver的第一天源自github：GitHub-qinguoyi/TinyWebServer::fire:Linux下C++轻量级WebServer服务器这是项目的数据库连接池一共有两个文件，.h/.cpp先看md文档数据库连接池*单例模式，保证唯一*list实现连接池*连接池为静态大小*互斥锁实现线程安全直接看sql_connection_pool.cpp，在代码里看看具体是怎
winsons_lu·2024-09-10 02:02

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件
BigDataMLApplication·2024-09-10 00:38

【Hadoop|HDFS篇】NameNode和SecondaryNameNode

1.NN和2NN的工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsIm
Vez'nan的幸福生活·2024-09-09 23:00

Yarn介绍 - 大数据框架

YARN的概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x
why do not·2024-09-09 23:58

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
haotian1685·2024-09-09 22:26
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他