MapReduce源码分析

CDH6.3.1安装指南

CDH简介CDH基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度。
H.20·2023-11-12 03:27

【Python大数据笔记_day05_Hive基础操作】

一.SQL,Hive和MapReduce的关系用户在hive上编写sql语句,hive把sql语句转化为MapReduce程序去执行二.Hive架构映射流程用户接口:包括CLI、JDBC/ODBC、WebGUI
LKL1026·2023-11-12 03:06

hadoop集群优化(四)：开启历史任务服务器

文章目录说明分享操作修改配置同步配置启动历史服务器查看jobHistory总结说明hadoop支持历史服务器功能，默认关闭，开启后，通过web可查看完成运行的MapReduce做的的信息记录，如Map和
羽落风起·2023-11-12 01:36

2021-09-01[ZJCTF 2019]NiZhuanSiWei

[ZJCTF2019]NiZhuanSiWei首先根据连接打开得到一个，PHP源码：根据源码分析，我们需要GET三个参数分别是:text,file,password首先需要检查是否对text传一个文件，
南冥~·2023-11-12 01:26

Flink 1.13.0 sql-client 新特性及源码分析

在Flink1.13.0版本中增加了很多新特征,具体可以参考前面一篇文章,其中很重要的一点是对sql-client功能做了加强,支持了初始化脚本和执行SQL文件,SQL客户端是直接运行和部署SQL流和批处理作业的便捷方法，而无需从命令行或作为CI的一部分来编写任何代码,这个版本大大改进了SQL客户端的功能。现在，SQL客户端和SQL脚本都支持Java应用程序可用的几乎所有操作（通过编程方式从Tab
JasonLee实时计算·2023-11-12 00:00

Hadoop架构、Hive相关知识点及Hive执行流程

Hadoop架构Hadoop由三大部分组成:HDFS、MapReduce、yarnHDFS：负责数据的存储其中包括：namenode：主节点，用来分配任务给从节点secondarynamenode：副节点
LKL1026·2023-11-12 00:09

Spark Streaming发布到Yarn

YARN的设计目标是解决HadoopMapReduce在处理大规模数据处理时面临的问题，例如扩展性、灵活性、容错性和性能优化。
cong_han·2023-11-11 23:50

vue源码分析【1】-new Vue之前

当前篇：vue源码分析【1】-newVue之前以下代码和分析过程需要结合vue.js源码查看，通过打断点逐一比对。
南城夏季·2023-11-11 22:49

【spring源码分析】之bean的生命周期

流程图：共有13个阶段一、Bean元信息配置阶段Bean信息定义有4中方式API方式Xml文件方式Properties文件方式注解方式API方式：是通过实现BeanDefinition接口的方式，具体的实现类有5种：RootBeanDefinition：根bean定义信息。表示没有父bean的beanChildBeanDefinition：子bean定义信息。需要通过parentName属性来指定
现实、太残忍·2023-11-11 21:21

spring源码分析-生命周期

spring-系列文章目录spring-系列前言源码分析AnnotationConfigApplicationContextrefresh()invokeBeanFactoryPostProcessors
罗德阿·2023-11-11 21:48

Spring源码分析之Bean的生命周期（一）

文章目录前言一、Bean生命周期例子二、执行结果分析说明注意前言相信大多数初级程序员在面试的时候都面试过Spring中bean的生命周期，大多数人对其不太了解，认为周期一般都是:初始化->使用->销毁就行了，Spring对bean的管理增加了很多操作，所以Spring中bean的生命周期上涉及的内容就比较多了，本文写个简单的例子来说明一下。本文只是举例介绍下，具体源码讲解在下一篇：Spring源码
浪子阿志·2023-11-11 21:47

Android之Scroller详解讲解-真正了解滚动处理

本身不会去移动View，它是一个移动计算辅助类，用于跟踪控件滑动的轨迹，只相当于一个滚动轨迹的记录工具，最终还是通过View的scrollTo，scrollBy方法完成View的移动；2.Scroller源码分析
mayundoyouknow·2023-11-11 21:23

如何在虚拟机上安装和配置Spark开发环境

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark拥有HadoopMapReduc
Deng872347348·2023-11-11 19:39

python—spark本地安装及环境变量配置

Spark和Hadoop的关系是，Hadoop的MapReduce是大家广为熟知的计算框架，而Spark则是一种新的计算框架
Sun_shine99·2023-11-11 19:38

Failed to get field handle to set library path 问题解决(jdk17 升级)--附 xgboost4j 源码分析

说明@authorblog.jellyfishmix.com/JellyfishMIX-githubLICENSEGPL-2.0问题现象应用程序启动失败，查看日志grep-A50‘Errorcreatingbean’catalina.out发现报错:FailedtogetfieldhandletosetlibrarypathCausedby:org.springframework.beans.fa
JellyfishMIX·2023-11-11 19:57

vuex2.0源码分析

一、前言当我们用Vue.js开发一个中到大型的单页应用时，经常会遇到如下问题：如何让多个Vue组件共享状态Vue组件间如何通讯通常，在项目不是很复杂的时候，我们会利用全局事件总线（globaleventbus）解决，但是随着复杂度的提升，这些代码将变的难以维护。因此，我们需要一种更加好用的解决方案，于是，Vuex诞生了。本文并不是Vuex的科普文章，对于还不了解Vuex的同学，建议先移步Vuex官
面向对象的夜猫子·2023-11-11 17:53

hadoop、jboss未授权访问漏洞复现与未授权访问漏洞学习（内含服务器与中间件的区别）

由于服务器直接在开放了Hadoop机器HDFS的50070web端口及部分默认服务端口，黑客可以通过命令行操作多个目录下的数据，如进行删除，下载，目录浏览甚至命令执行等操作主要HDFS（Hadoop分布式文件系统）和MapReduce
不想当脚本小子的脚本小子·2023-11-11 17:28

core-site.xml,yarn-site.xml,hdfs-site.xml,mapred-site.xml配置

core-site.xmlfs.defaultFShdfs://node02:9820hadoop.tmp.dir/opt/module/hadoop-3.3.3/datayarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.hostnamenode03yarn.nodemanager.env
芝士小熊饼干·2023-11-11 15:47

kubernetes源码分析-pod创建流程

前言首先放一张kubernetes的架构图。其中apiserver是整个架构的信息交互中心。所有组件都会与apisever交互。kubernetes中，每个node都部署了一个kubelet，通过kubelet实现对pod的创建、删除、更新等操作。Pod正式创建前的操作那么kubelet是怎么知道何时需要创建/删除一个pod以及对应的业务容器的呢？在kubernetes中，用户通过kubectlc
hahachenchen789·2023-11-11 13:27

kubernetes源码分析-pod删除流程

在Node节点上，k8s是通过kubelet删除具体的pod。而用户删除pod一般通过kubectldeletepod命令，或者利用http直接调用api-server暴露的接口去删除pod。因此在分析kubelet删除具体pod之前，先分析用户删除pod的命令是如何一步步传达给具体node上的（以kubectldeletepod命令为例）。用户删除Pod流程k8s中采用cobra框架作为命令行的
hahachenchen789·2023-11-11 13:27

【Kafka源码分析】三、消费者Consumer

一、推拉模式和基本设计消息队列通常有两种消息获取模式：pull（拉）模式：consumer采用从broker中主动拉取数据，不足之处是如果没有数据，消费者可能会陷入循环中，一直返回空数据。push（推）模式：由broker主动向消费者主动推送消息，缺点是由broker决定消息发送速率，很难适应所有消费者的消费速率。Kafka采用pull（拉）模式！！！基本设计：消费者组内每个消费者负责消费不同分区
wanger61·2023-11-11 13:15

【Apache Kafka3.2】KafkaConsumer源码分析

这里写目录标题KafkaConsumer分析方法概述字段概述ConsumerNetworkClientpoll流程回调对象——RequestFutureCompletionHandlerRequestFutureRequestFuture.composeRequestFuture.chain()SubscriptionStatesubscribe方法ConsumerCoordinatorGroup
Mrkang1314·2023-11-11 13:12

源码分析之Kafka Consumer消费消息的过程

文章目录说明Consumer如何使用？KafkaConsumer源码中给出的代码示例上述示例主要流程订阅主题的过程是如何实现的？经典思路：主动检测不支持的情况并抛出异常，避免系统产生不可预期的行为有关元数据更新拉取消息的过程是如何实现的？updateAssignmentMetadataIfNeeded()更新元数据Coordinator#poll()维持心跳，更新元数据ConsumerNetwor
evasnowind·2023-11-11 13:10

Rtthread源码分析＜1＞启动文件和链接脚本

启动文件和链接脚本1）启动文件启动文件里面使用的是汇编语言，汇编语言常常可以分为两个部分语法风格和而不同的toolchain有不同的汇编语法风格，通常分配unified和非unified。常见的工具包有ARMtoolchains和GNUtoolchains。比如keil中使用的就是ARMtoolchains也就是MDK-ARM，而在一些开源的平台比如espidf，platform，rtthread
PlayCodes·2023-11-11 11:22

MIT 6.824分布式 LAB1： MapReduce

介绍lab1其实就是让你利用MapReduce的原理去实现数单词的程序。MapReduce也是谷歌的大数据三篇重要论文之一
Wedge_Ss·2023-11-11 11:46

【6.824】分布式lab1 mapReduce

PapermainideaFigure1showstheoverallflowofaMapReduceoperationinourimplementation.WhentheuserprogramcallstheMapReducefunction
叩钉吧zz·2023-11-11 11:14

阻塞队列 — SynchronousQueue源码分析

点赞再看，养成习惯，公众号搜一搜【一角钱技术】关注更多原创技术文章。本文GitHuborg_hejianhui/JavaStudy已收录，有我的系列文章。前言SynchronousQueue一个不存储元素的阻塞队列，每一个put操作必须等待take操作，否则不能继续添加元素。支持公平锁和非公平锁2种策略来访问队列。默认是采用非公平性策略访问队列。公平性策略底层使用了类似队列的数据结构，而非公平策略
一角钱技术·2023-11-11 10:48

阻塞队列 — LinkedTransferQueue源码分析

点赞再看，养成习惯，公众号搜一搜【一角钱技术】关注更多原创技术文章。本文GitHuborg_hejianhui/JavaStudy已收录，有我的系列文章。前言LinkedTransferQueue是一个由链表结构组成的无界阻塞传输队列，它是一个很多队列的结合体（ConcurrentLinkedQueue，LinkedBlockingQueue，SynchronousQueue），在除了有基本阻塞队
一角钱技术·2023-11-11 10:48

java io StreamDecoder源码分析

目录实例域构造方法InputStreamReader类构造方法与StreamDecoder类的关系read()方法read(charcbuf[],intoffset,intlength)方法implRead(cbuf,off,end)方法readBytes()方法close()方法InputStreamReader类和StreamDecoder类的联系注意：本文参考https://blog.csd
xushiyu1996818·2023-11-11 10:04

操作系统 | 源码分析

目录结构1.操作系统实验之源码分析1.1实验目的1.2实验内容1.3实验步骤1.4实验过程1.5心得体会2.致读者资源链接：安装软件+矢量图链接提取码：6pl3专栏地址：linux操作系统实验（万字详解
Sarapines Programmer·2023-11-11 08:53

简易搜索引擎原理与基于Hadoop MapReduce的搜索引擎实现

本文所述搜索引擎较为简单，无法达到商用级别，但仍可管中窥豹，学习其基本原理，并锻炼编写MapReduce程序的能力。阅读目标了解搜索引擎工作原理，并编写简单的搜索引擎。
枫铃树·2023-11-11 08:11

hadoop

MapReduce对海量数据处理map函数进行数据的提取、排序，实现mapper，四个形参（
yuanjianqiang_0925·2023-11-11 08:01

【SA8295P 源码分析】119 - QNX 中如何在代码中快速配置 TLMM_GPIO 或 PMIC_GPIO 中断 及 中断回调函数

【SA8295P源码分析】119-QNX中如何在代码中快速配置TLMM_GPIO或PMIC_GPIO中断及中断回调函数一、配置TLMMGPIO15中断示例代码二、配置PMIC2GPIO1中断示例代码三、
"小夜猫&小懒虫&小财迷"的男人·2023-11-11 03:39

hadoop-mapred-site.xml配置文件详解

hadoop-mapred-site.xml配置文件详解mapred-site.xml配置文件简介MapReduce配置相关mapred-site.xml配置namevaluedescriptionmapreduce.jobtracker.jobhistory.locationIfjobtrackerisstaticthehistoryfilesarestoredinthissinglewellk
许喜朝·2023-11-11 03:31

Hadoop配置文件_mapred-default.xml

mapreduce.jobtracker.jobhistory.locationIfjobtrackerisstaticthehistoryfilesarestoredinthissinglewellknownplace.IfNovalueissethere
达达呀·2023-11-11 03:30

android4.2 锁屏源码分析

笨人，大到浏览了android4.2锁屏代码的流程，以及关键的几个类，及布局文件，用于备忘。写得有点乱，等有时间再整理下。//1java层核心第一个类：（famework/base/service/java/com/android/server/）SystemServer.javaà//2系统调用第一个类的入口init1（）：nativepublicstaticvoidinit1(String[]
summer夏123·2023-11-11 03:41

2023.11.10 hadoop,hive框架概念,基础组件

目录分布式和集群的概念:hadoop架构的三大组件:Hdfs,MapReduce,Yarn1.hdfs分布式文件存储系统HadoopDistributedFileSystem2.MapReduce分布式计算框架
白白的wj·2023-11-11 01:08

Hive-入门学习之 hive 简介和安装 (1)

开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析).是基于hadoop的一个数据仓库工具(服务性的软件),可以将结构化的数据文件映射为一张表,并提供类似SQL查询.本质是将HiveSQL转化成MapReduce
算啦粉·2023-11-11 01:37

Webpack--动态 import 原理及源码分析

前言在平时的开发中，我们经常使用import()实现代码分割和懒加载。在低版本的浏览器中并不支持动态import()，那webpack是如何实现import()polyfill的？原理分析我们先来看看下面的demofunctioncomponent(){constbtn=document.createElement("button");btn.onclick=()=>{import("./a.js
小小哭包·2023-11-10 22:13

（7）【路径跟踪】方法三：pure_pursuit纯跟踪算法代码实现

纯跟踪算法（1）pure_pursuit纯追踪算法几何分析图例（2）pure_pursuit纯追踪算法输入输出（3）pure_pursuit纯追踪算法原理（4）pure_pursuit纯追踪算法公式推导及源码分析
盒子君~·2023-11-10 22:35

Hadoop入门指南之分组实战

入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs命令行使用.Hadoop入门指南之MapReduce
我辈岂是蓬蒿人225·2023-11-10 20:24

Hadoop入门指南之统计库存实战

入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs命令行使用.Hadoop入门指南之MapReduce
我辈岂是蓬蒿人225·2023-11-10 20:54

Hadoop入门指南之分区、规约实战

入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs命令行使用.Hadoop入门指南之MapReduce
我辈岂是蓬蒿人225·2023-11-10 20:54

Hadoop入门指南之排序实战

入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs命令行使用.Hadoop入门指南之MapReduce
我辈岂是蓬蒿人225·2023-11-10 20:54

简单概括Xposed hook原理

转载自：https://www.jianshu.com/p/b29a21a162ad这块知识本身是挺多的，网上有对应的源码分析，本文尽量从不分析代码的角度来把原理阐述清楚。
Tomes_V_White·2023-11-10 20:53

hadoop MapReduce 实战（java）：单词计数

hadoopMapReduce实战（java）：单词计数点击【File】—>【Project】，选择【Map/ReduceProject】，输入项目名称test，一直回车。
柯努力·2023-11-10 20:51

koa 中间件洋葱模型源码分析

中间件基本使用app.use(async(ctx,next)=>{ctx.state={username:'jeff'};awaitnext();...})app.use(async(ctx,next)=>{ctx.state={username:'jeff2'};awaitnext();...})Koa初始化应用实例constapp=newKoa()为app实例添加context、request
神奇大叔·2023-11-10 18:42

Koa2 洋葱模型 —— compose 串联中间件的四种实现

是当下主流NodeJS框架，以轻量见长，而它中间件机制与相对传统的Express支持了异步，所以编码时经常使用async/await，提高了可读性，使代码变得更优雅，上一篇文章NodeJS进阶——Koa源码分析
Panda Shen·2023-11-10 18:37

MapReduce 与 关系型数据库的区别

MapReduce与关系型数据库的区别：1数据访问模式受限于磁盘寻址磁盘寻址时间提高速度远远小于数据传输速率提高速度。对于超大规模数据（以PB为单位）必须考虑使用其他方式。
GeoWin_CAU·2023-11-10 16:26

hadoop 写入mysql_hadoop读写mysql数据库

hadoop技术推出一度曾遭到关系数据库研究者的挑衅和批评，认为MapReduce不具有关系数据库中的结构化数据存储和处理能力。
weixin_39827315·2023-11-10 16:54
上一页 47 48 49 50 51 52 53 54 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他