hadoop源码分析

HADOOP大数据之HDFS管理与运维

HDFS分布式拷贝工具DistCp数据迁移使用场景：冷热集群数据同步、分类存储集群数据整体搬迁数据的准实时同步数据迁移要素考量带宽性能是否支持增量同步4、数据迁移的同步性image.pngDistCp是Hadoop
奋斗的韭菜汪·2024-01-15 01:33

Hadoop Dont's: What not to do to harvest Hadoop's full potential

We'veallheardthisstory.AllwasfineuntilonedayyourbossheardsomewherethatHadoopandNo-SQLarethenewblackandmandatedthatthewholecompanyswitchoverwhateveritwasdoingtotheHadoopetal.technologystack
hacker_zhb·2024-01-15 00:33

手把手图解教你Java SPI源码分析

原创/朱季谦我在《JavaSPI机制总结系列之开发入门实例》一文当中，分享了JavaSPI的玩法，但是这只是基于表面的应用。若要明白其中的原理实现，还需深入到底层源码，分析一番。这里再重温一下SPI机制的概念：SPI，是ServiceProviderInterface的缩写，即服务提供者接口，单从字面上看，可以这样理解，该机制提供了一种可根据接口类型去动态加载出接口实现类对象的功能。打一个比喻，该
朱季谦·2024-01-15 00:31

【大数据进阶第三阶段之Hue学习笔记】Hue简介和架构介绍

1、Hue简介Hue是一个开源的ApacheHadoopUI系统，由ClouderaDesktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于PythonWeb
Allen_lixl·2024-01-15 00:56

centos spark单机版伪分布式模式

1.2Spark部署依赖SparkStandalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于HadoopHDFS，因此我们也部署了伪分布式的
piziyang12138·2024-01-15 00:05

Hadoop之mapreduce参数大全-6

126.指定Map任务运行的节点标签表达式mapreduce.map.node-label-expression是HadoopMapReduce框架中的一个配置属性，用于指定Map任务运行的节点标签表达式
OnePandas·2024-01-14 22:07

深入理解 Spark（二）SparkApplication 提交和运行源码分析

spark核心流程yarn-clientyarn-clusterspark任务调度sparkstage级别调度sparktask级别调度失败重试和白名单对于运行失败的Task，TaskSetManager会记录它失败的次数，如果失败次数还没有超过最大重试次数，那么就把它放回待调度的Task池子中等待重新执行，当重试次数过允许的最大次数，整个Application失败。在记录Task失败次数过程中，
我很ruo·2024-01-14 21:19

Scala Parser原理介绍与源码分析

ScalaParser原理介绍与源码分析版权声明：本文为博主原创文章，未经博主允许不得转载。
海角Q·2024-01-14 18:24

【Scala原理系列】scala Breeze Rand RandBasis 原理方法示例源码分析

scalaBreezeRandRandBasis原理方法示例源码分析文章目录scalaBreezeRandRandBasis原理方法示例源码分析原理Rand接口方法源码RandBasis类方法示例源码RandBasisRand
BigDataMLApplication·2024-01-14 18:52

被标记为事务的方法互相调用的坑（下）

微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java高级交流：854630135，群里有阿里大牛直播讲解技术，以及Java大型互联网技术的视频免费
程序员日常填坑·2024-01-14 16:40

linux ssh免密登入配置

免密登入配置[hadoop@Hadoop001~]$ssh-keygenGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/
吃货大米饭·2024-01-14 16:53

test-04-test case generate 测试用例生成 tcases 快速开始

拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.
老马啸西风·2024-01-14 15:06

test-03-test case generate 测试用例生成 Randoop 介绍

拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.
老马啸西风·2024-01-14 14:36

test-04-test case generate 测试用例生成 tcases A model-based test case generator

拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.
老马啸西风·2024-01-14 14:36

test-02-test case generate 测试用例生成 EvoSuite 介绍

拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.
老马啸西风·2024-01-14 14:29

HDFS的三大机制

文章目录概要整体架构流程技术名词解释技术细节小结概要HDFS（HadoopDistributedFileSystem）的三大机制包括：心跳机制：DataNode会定期向NameNode发送心跳信号，以保持连接
听风细雨66·2024-01-14 14:17

hadoop java 创建文件夹 弹出窗口填写文件夹名称

在Hadoop中使用Java创建文件夹时，无法弹出窗口来填写文件夹名称，因为Hadoop是一个分布式系统，运行在多台计算机上，无法直接与用户交互。
酷爱码·2024-01-14 14:16

Hadoop HDFS集群 和 Yarn集群的架构

前言：Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。
听风细雨66·2024-01-14 14:15

Vue源码分析—组件化(五)

组件注册在Vue.js中，除了它内置的组件如keep-alive、component、transition、transition-group等，其它用户自定义组件在使用前必须注册。在开发过程中可能会遇到如下报错信息：'Unknowncustomelement:-didyouregisterthecomponentcorrectly?Forrecursivecomponents,makesureto
oWSQo·2024-01-14 14:54

Hadoop命令

进程命令对hadoop集群的操作start-dfs.shstop-dfs.sh打开和关闭dfsstart-yarn.shstop-yarn.sh打开和关闭yarnhadoop单进程操作旧版本命令hadoop-daemon.shstart
CJ21·2024-01-14 14:25

flink源码分析 - yaml解析

flink版本:flink-1.12.1代码位置:org.apache.flink.configuration.GlobalConfiguration主要看下解析yaml文件的方法:org.apache.flink.configuration.GlobalConfiguration#loadYAMLResource/**LicensedtotheApacheSoftwareFoundation(A
zxfBdd·2024-01-14 13:39

flink源码分析 - flink命令启动分析

flink版本:flink-1.12.1源码位置:flink-dist/src/main/flink-bin/bin/flinkflink命令源码:#!/usr/bin/envbash#################################################################################LicensedtotheApacheSoftware
zxfBdd·2024-01-14 13:28

大数据Hadoop3.0更新，到底改进了哪些新的特性呢

截止到目前，大数据hadoop已经更新到了3.0版本，那么相比较之前的版本，3.0到底在哪些方面做出了新的改变呢？到底做了哪些重大的改进呢？
尚学先生·2024-01-14 11:21

深入理解 Spark（一）spark 运行模式简介与启动流程源码分析

spark的运行模式standalone模式以standalone-client为例，运行过程如下：SparkContext连接到Master，向Master注册并申请资源（CPUCore和Memory）；Master根据SparkContext的资源申请要求和Worker心跳周期内报告的信息决定在哪个Worker上分配资源，然后在该Worker上获取资源，然后启动StandaloneExecut
我很ruo·2024-01-14 10:56

设计模式 代理模式(静态代理 动态代理) 与 Spring Aop源码分析 具体是如何创建Aop代理的

代理模式代理模式是一种结构型设计模式，它通过创建一个代理对象来控制对真实对象的访问。这种模式可以用于提供额外的功能操作，或者扩展目标对象的功能。在代理模式中，代理对象与真实对象实现相同的接口，以便在任何地方都可以使用相同的接口来调用真实对象的方法。这样做的好处是可以在不改变原始代码的情况下，增加或修改代码的行为。根据创建代理对象的方式和时机，代理模式可以被分为静态代理、动态代理等类型。其中，静态代
疯狂的狮子Li·2024-01-14 10:31

安卓MediaRecorder(3)音频采集编码写入详细源码分析

文章目录前言音频采集音频初始化AudioRecord分析AudioSource采集到音频音频编码音频编码后数据处理MPEG4Writer写入音频编码后数据到文件MPEG4Writer::Track取编码后的音频编数据结语本文首发地址https://blog.csdn.net/CSqingchen/article/details/134896808最新更新地址https://gitee.com/ch
清霜辰·2024-01-14 10:23

Spark-累加器

内存地址无法改变.你传你的,我传我的,没有把值给返回去双端对列当发送错误的时候要放回到要来头部对列一般是先进先出,要是发送错误,放回到尾部顺序就错了所以叫累加器不是很准确,叫采集器importorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.hbase
疯子@123·2024-01-14 09:00

Sqoop与其他数据采集工具的比较分析

SqoopSqoop是一个Apache项目，专门设计用于在Hadoop生态系统和关系型数据库之间传输数据。它提供了方便的命令行界面，支持从关系型数据库导入数据到Hadoop集群，
晓之以理的喵~~·2024-01-14 06:00

Hadoop-HA高可用

一、集群规划二、HDFS高可用官方地址在opt目录下创建一个ha文件夹，将/opt/module/下的hadoop-3.1.3拷贝到/opt/ha目录下（记得删除data和log目录）配置core-site.xmlhdfs-site.xmldfs.namenode.name.dirfile
DIY……·2024-01-14 06:28

hbase集群之间数据迁移_HBase集群数据迁移方案

2、采用Hadoopdistcp方式，将以上目录的内容，迁移到另一个集群。使用add_table.rb进行恢复。
无畏道人·2024-01-14 06:14

一种HBase数据备份及恢复方法

这里我们引入Hbase的一个API，hbaseorg.apache.hadoop.hbase.map
莫叫石榴姐·2024-01-14 06:42

【opencv】中值滤波代码分析及优化

opencv源码分析opencv4.7.0实现中值滤波的主要函数有三个：（1）medianBlur_SortNet（2）medianBlur_8u_Om（3）medianBlur_8u_O1其中（1）是实现小核的中值
冷月枫晚·2024-01-14 05:25

mac 上 ssh: connect to host localhost port 22: Connection refused

问题在搭建hadoop环境的时候发现sshlocalhost在报错2.解决打开系统设置->共享->->在左边服务中选择远程登录注意红框这些选项慎重选择！！！
寂夜了无痕·2024-01-14 05:50

mac上部署单体hbase

它是GoogleBigTable的开源实现，并且是Apache基金会的Hadoop项目的一部分1。
寂夜了无痕·2024-01-14 05:15

一：Hadoop初始化环境搭建-1

一：虚拟机和Linux的安装在搭建Hadoop集群环境之前，我们必须要进行如下的准备工作：01.安装虚拟机02.安装3台Linux03.修改主机名和IP地址对应关系04.SSH免密码登陆1.1：虚拟机的安装步骤
小葱_拌豆腐·2024-01-14 05:15

(Android 9.0)动态权限运行机制源码分析

概述Google在Android6.0开始引入了权限申请机制，将所有权限分成了正常权限和危险权限。应用的相关功能每次在使用危险权限时需要动态的申请并得到用户的授权才能使用。动态权限申请的使用主要涉及到以下几种方法：方法作用checkSelfPermission(@NonNullStringpermission)检查权限requestPermissions(@NonNullString[]permi
心中有梦丶身边有你·2024-01-14 04:07

Toast源码分析

Toast的使用Toast.makeText(MainActivity.this,"-----",Toast.LENGTH_LONG).show();publicstaticToastmakeText(Contextcontext,CharSequencetext,@Durationintduration){returnmakeText(context,null,text,duration);}p
风月寒·2024-01-14 03:10

java开发，年薪15W的和年薪50W的差距

在这个IT系统动辄就是上亿流量的时代，Java作为大数据时代应用最广泛的语言，诞生了一批又一批的新技术，包括HBase、Hadoop、MQ、Netty、SpringCloud等等。
墨雨轩夏·2024-01-14 02:57

第十六节 netty源码分析之 server端的源码分析

nettyserver端以netty官方EchoServer服务器端的启动代码分析:publicfinalclassEchoServer{staticfinalbooleanSSL=System.getProperty("ssl")!=null;staticfinalintPORT=Integer.parseInt(System.getProperty("port","8007"));public
勃列日涅夫·2024-01-14 02:49

大数据调度框架Oozie，这个学习网站让你事半功倍！

它主要用于管理和调度ApacheHadoop作业，支持的任务类型包括HadoopMapReduce、PigJobs等。Oozie的核心概念包括workflowjobs和coordinatorjobs。
知识分享小能手·2024-01-14 01:59

【五】CocosCreator-CCScheduler.js源码分析

PS：只是看源码学习过程中把认为重要的内容以笔记的形式记录下来。【1】HashTimerEntry：用于保存指定target的事件定时器相关参数的数据结构。【2】_hashForTimers：targetId作为key，HashTimerEntry【2】对象作为value的hash数组。【3】ListEntry：用于保存指定target的update定时器相关参数的数据结构【4】_hashForU
0zien0·2024-01-14 01:24

java技术专家【分布式框架】【通过C语言深度解读Redis核心架构】06-内存管理源码分析

文章目录一、动态内存分配器1.1、内存分配器概述进程的内存空间申请动态内存brk函数mmap1.2、Jemalloc设计Jemalloc的内存分配策略1.3、Redis的内存管理Redis的内存管理封装zmalloczcalloczreallocztryrealloc_usable
不走小道·2024-01-14 00:07

java技术专家【分布式框架】【通过C语言深度解读Redis核心架构】02-Redis底层数据结构源码分析之跳跃表的源码分析

文章目录二、跳跃表的源码分析2.1、跳跃表的基本思想2.2、节点与结构跳跃表节点跳跃表链表2.3、API解析zslCreatezslCreateNodezslInsertzslGetRankzslDelete2.4
不走小道·2024-01-14 00:34

内存与IO访问--Apple的学习笔记

就当重新入门吧，本次也没有看内核源码，是从需求理解或API基本去看地，我承认对于linux内核就是初级水平，等我下次通过自己看源码分析内核才能进入中级水平。
applecai·2024-01-13 23:21

基于Spark2.x新闻网大数据实时分析可视化系统项目

全套课程内容概述2.案例需求分析3.系统架构设计4.系统数据流程设计5.集群资源规划设计第二章：linux环境准备与设置1.Linux系统常规设置2.克隆虚拟机并进行相关的配置3.对集群中的机器进行基本配置第三章：Hadoop2
飞雪雪团队·2024-01-13 23:30

RxSwift 核心探究

前言RxSwift由于在日常工作中会经常使用，所以下面进行核心源码分析与探究，学习优秀开源框架之路，先进行序列的源码分析。
bill666500·2024-01-13 23:42

字节微服务HTTP框架Hertz使用与源码分析｜拥抱开源

一、前言大家好，这里是白泽，今天介绍一个自己参与过一些维护的HTTP框架。Hertz[həːts]是一个Golang微服务HTTP框架，在设计之初参考了其他开源框架fasthttp、gin、echo的优势，并结合字节跳动内部的需求，使其具有高易用性、高性能、高扩展性等特点，目前在字节跳动内部已广泛使用。如今越来越多的微服务选择使用Golang，如果对微服务性能有要求，又希望框架能够充分满足内部的可
-白 泽-·2024-01-13 22:04

vue算是很通俗的源码分析（面试装逼大法）

1.请你说下数据绑定（数据绑定原理）：image首先通过一次渲染操作触发Data的getter（这里保证只有视图中需要被用到的data才会触发getter）进行依赖收集，这时候其实Watcher与data可以看成一种被绑定的状态（实际上是data的闭包中有一个Deps订阅者，在修改的时候会通知所有的Watcher观察者），在data发生变化的时候会触发它的setter，setter通知Watche
凉宫春日的简书·2024-01-13 22:07

Flink 源码之OperatorChain

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言OperatorChain是Flink中一个很重要的优化措施，能够将尽可能多的满足条件的数据处理操作在一个slot中串联完成，从而最小化线程执行上下文切换和网络通信
AlienPaul·2024-01-13 20:35

【Linux 内核源码分析】进程调度 -CFS 调度器

Linux调度器Linux内核调度器是负责决定哪个进程在何时执行的组件。它管理着CPU资源的分配和任务的调度，以确保系统资源的合理利用和任务的高效执行。Linux内核中常见的调度器有多种，包括经典的O(1)调度器、CFS（CompletelyFairScheduler）调度器等。这些调度器根据不同的策略和算法来进行任务切换，如时间片轮转、优先级抢占等，以满足不同场景下的性能要求和公平性需求。通过合
攻城狮百里·2024-01-13 20:19
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他