hadoop源码分析

java大数据hadoop2.92 Java连接操作

1、要想Java可以连接自己虚拟机的hadoop文件系统，需要给文件系统权限（1）需要在/usr/local/hadoop/etc/hadoop/core-site.xmlcore-site.xml文件配置具体
crud-boy·2024-01-15 06:29

java大数据hadoop2.9.2 Java编写Hadoop分析平均成绩

1、准备文件，例如score.txt，内容如下：zsk188lsk198wwk178zsk288lsk298wwk278zsk388lsk398wwk3782、创建maven项目org.apache.hadoophadoop-common2.9.2org.apache.hadoophadoop-client
crud-boy·2024-01-15 06:23

线程池 - ThreadPoolExecutor源码分析

之所以存在线程池是基于以下两个原因：1.线程的创建和销毁是需要有资源消耗的，多线程环境下频繁创建、销毁线程会影响系统性能2.对于一个需要频繁创建任务、线程的应用来说，创建的任务数、线程数需要受到控制或管理有了线程池，尤其是类似ThreadPoolExecutor这种可以通过参数调整其行为的线程池，可以近乎完美的解决上述两个问题。####线程池工作原理简单来说线程池的工作原理就是：提前或者在执行任务
weixin_44612246·2024-01-15 06:40

put: .‘: No such file or directory:hdfs://bdp/user/root‘ Linux上传本地文件到HDFS中时，出现“No such file or dir“

1.首先在hadoop节点的网址上查看是否有自己需要把资料上传到的目标目录，比如我查看我需要上传文档到bdp，我查看我的hadoop是否有bdp这个目标目录。
YoYoYoWhatIsUp·2024-01-15 05:28

idea的big data tool 连接不上HDFS所有问题汇总：

1.OnWindowsyoushouldhaveHADOOP_HOMEenvironmentvariabledefinedorJavapropertyhadoop.home.dir.Please,refertoHadoopWikiformoredetails
YoYoYoWhatIsUp·2024-01-15 05:28

项目实战-知行教育大数据分析平台-01

2、什么是事实表与维度表3、事实表与维度表的分类4、维度建模的三种模型5、缓慢渐变维七、本项目数仓架构八、HUE的使用九、自动化调度工具介绍十、通过HUE操作oozie本文将利用前面所学的Linux，Hadoop
吆喝的翅膀·2024-01-15 04:22

一，安装Linux

1，创建虚拟机：image.png2，继续安装：image.pngimage.pngimage.png可以起名为hadoop01，地址任选：image.png文件大小也可以为10G，也可以设置成单一文件
小猪Harry·2024-01-15 04:31

架构设计：远程调用服务架构设计及zookeeper技术详解

Hadoop是一个技术生态圈，zookeeper是hadoop生态圈里一个非常重要的技术。
Java圈子·2024-01-15 01:15

chromium通信系统-ipcz系统(十一)-mojo binding

由于比较复杂，这里只做简单源码分析。我们知道要实现rpc，必须实现客户端和服务端。mojo实现了一套领域语言，通过领域语言描述接口和数据，再通过特有编译器编译成c++代码。
TangGeeA·2024-01-15 01:25

java技术专家【分布式框架】【通过C语言深度解读Redis核心架构】02-Redis底层数据结构源码分析之SDS的源码分析

文章目录一、SDS的源码分析1.1、Redis底层数据结构1.2、SDS概述1.3、SDS结构体sdshdr5sdshdr8sdshdr16sdshdr32sdshdr641.4、API解析sdsnewlensdsfreesdscatlensdsMakeRoomFor1.6
不走小道·2024-01-15 01:49

HADOOP大数据之HDFS管理与运维

HDFS分布式拷贝工具DistCp数据迁移使用场景：冷热集群数据同步、分类存储集群数据整体搬迁数据的准实时同步数据迁移要素考量带宽性能是否支持增量同步4、数据迁移的同步性image.pngDistCp是Hadoop
奋斗的韭菜汪·2024-01-15 01:33

Hadoop Dont's: What not to do to harvest Hadoop's full potential

We'veallheardthisstory.AllwasfineuntilonedayyourbossheardsomewherethatHadoopandNo-SQLarethenewblackandmandatedthatthewholecompanyswitchoverwhateveritwasdoingtotheHadoopetal.technologystack
hacker_zhb·2024-01-15 00:33

手把手图解教你Java SPI源码分析

原创/朱季谦我在《JavaSPI机制总结系列之开发入门实例》一文当中，分享了JavaSPI的玩法，但是这只是基于表面的应用。若要明白其中的原理实现，还需深入到底层源码，分析一番。这里再重温一下SPI机制的概念：SPI，是ServiceProviderInterface的缩写，即服务提供者接口，单从字面上看，可以这样理解，该机制提供了一种可根据接口类型去动态加载出接口实现类对象的功能。打一个比喻，该
朱季谦·2024-01-15 00:31

【大数据进阶第三阶段之Hue学习笔记】Hue简介和架构介绍

1、Hue简介Hue是一个开源的ApacheHadoopUI系统，由ClouderaDesktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于PythonWeb
Allen_lixl·2024-01-15 00:56

centos spark单机版伪分布式模式

1.2Spark部署依赖SparkStandalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于HadoopHDFS，因此我们也部署了伪分布式的
piziyang12138·2024-01-15 00:05

Hadoop之mapreduce参数大全-6

126.指定Map任务运行的节点标签表达式mapreduce.map.node-label-expression是HadoopMapReduce框架中的一个配置属性，用于指定Map任务运行的节点标签表达式
OnePandas·2024-01-14 22:07

深入理解 Spark（二）SparkApplication 提交和运行源码分析

spark核心流程yarn-clientyarn-clusterspark任务调度sparkstage级别调度sparktask级别调度失败重试和白名单对于运行失败的Task，TaskSetManager会记录它失败的次数，如果失败次数还没有超过最大重试次数，那么就把它放回待调度的Task池子中等待重新执行，当重试次数过允许的最大次数，整个Application失败。在记录Task失败次数过程中，
我很ruo·2024-01-14 21:19

Scala Parser原理介绍与源码分析

ScalaParser原理介绍与源码分析版权声明：本文为博主原创文章，未经博主允许不得转载。
海角Q·2024-01-14 18:24

【Scala原理系列】scala Breeze Rand RandBasis 原理方法示例源码分析

scalaBreezeRandRandBasis原理方法示例源码分析文章目录scalaBreezeRandRandBasis原理方法示例源码分析原理Rand接口方法源码RandBasis类方法示例源码RandBasisRand
BigDataMLApplication·2024-01-14 18:52

被标记为事务的方法互相调用的坑（下）

微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java高级交流：854630135，群里有阿里大牛直播讲解技术，以及Java大型互联网技术的视频免费
程序员日常填坑·2024-01-14 16:40

linux ssh免密登入配置

免密登入配置[hadoop@Hadoop001~]$ssh-keygenGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/
吃货大米饭·2024-01-14 16:53

test-04-test case generate 测试用例生成 tcases 快速开始

拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.
老马啸西风·2024-01-14 15:06

test-03-test case generate 测试用例生成 Randoop 介绍

拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.
老马啸西风·2024-01-14 14:36

test-04-test case generate 测试用例生成 tcases A model-based test case generator

拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.
老马啸西风·2024-01-14 14:36

test-02-test case generate 测试用例生成 EvoSuite 介绍

拓展阅读junit5系列基于junit5实现junitperf源码分析Autogeneratemockdataforjavatest.
老马啸西风·2024-01-14 14:29

HDFS的三大机制

文章目录概要整体架构流程技术名词解释技术细节小结概要HDFS（HadoopDistributedFileSystem）的三大机制包括：心跳机制：DataNode会定期向NameNode发送心跳信号，以保持连接
听风细雨66·2024-01-14 14:17

hadoop java 创建文件夹 弹出窗口填写文件夹名称

在Hadoop中使用Java创建文件夹时，无法弹出窗口来填写文件夹名称，因为Hadoop是一个分布式系统，运行在多台计算机上，无法直接与用户交互。
酷爱码·2024-01-14 14:16

Hadoop HDFS集群 和 Yarn集群的架构

前言：Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。
听风细雨66·2024-01-14 14:15

Vue源码分析—组件化(五)

组件注册在Vue.js中，除了它内置的组件如keep-alive、component、transition、transition-group等，其它用户自定义组件在使用前必须注册。在开发过程中可能会遇到如下报错信息：'Unknowncustomelement:-didyouregisterthecomponentcorrectly?Forrecursivecomponents,makesureto
oWSQo·2024-01-14 14:54

Hadoop命令

进程命令对hadoop集群的操作start-dfs.shstop-dfs.sh打开和关闭dfsstart-yarn.shstop-yarn.sh打开和关闭yarnhadoop单进程操作旧版本命令hadoop-daemon.shstart
CJ21·2024-01-14 14:25

flink源码分析 - yaml解析

flink版本:flink-1.12.1代码位置:org.apache.flink.configuration.GlobalConfiguration主要看下解析yaml文件的方法:org.apache.flink.configuration.GlobalConfiguration#loadYAMLResource/**LicensedtotheApacheSoftwareFoundation(A
zxfBdd·2024-01-14 13:39

flink源码分析 - flink命令启动分析

flink版本:flink-1.12.1源码位置:flink-dist/src/main/flink-bin/bin/flinkflink命令源码:#!/usr/bin/envbash#################################################################################LicensedtotheApacheSoftware
zxfBdd·2024-01-14 13:28

大数据Hadoop3.0更新，到底改进了哪些新的特性呢

截止到目前，大数据hadoop已经更新到了3.0版本，那么相比较之前的版本，3.0到底在哪些方面做出了新的改变呢？到底做了哪些重大的改进呢？
尚学先生·2024-01-14 11:21

深入理解 Spark（一）spark 运行模式简介与启动流程源码分析

spark的运行模式standalone模式以standalone-client为例，运行过程如下：SparkContext连接到Master，向Master注册并申请资源（CPUCore和Memory）；Master根据SparkContext的资源申请要求和Worker心跳周期内报告的信息决定在哪个Worker上分配资源，然后在该Worker上获取资源，然后启动StandaloneExecut
我很ruo·2024-01-14 10:56

设计模式 代理模式(静态代理 动态代理) 与 Spring Aop源码分析 具体是如何创建Aop代理的

代理模式代理模式是一种结构型设计模式，它通过创建一个代理对象来控制对真实对象的访问。这种模式可以用于提供额外的功能操作，或者扩展目标对象的功能。在代理模式中，代理对象与真实对象实现相同的接口，以便在任何地方都可以使用相同的接口来调用真实对象的方法。这样做的好处是可以在不改变原始代码的情况下，增加或修改代码的行为。根据创建代理对象的方式和时机，代理模式可以被分为静态代理、动态代理等类型。其中，静态代
疯狂的狮子Li·2024-01-14 10:31

安卓MediaRecorder(3)音频采集编码写入详细源码分析

文章目录前言音频采集音频初始化AudioRecord分析AudioSource采集到音频音频编码音频编码后数据处理MPEG4Writer写入音频编码后数据到文件MPEG4Writer::Track取编码后的音频编数据结语本文首发地址https://blog.csdn.net/CSqingchen/article/details/134896808最新更新地址https://gitee.com/ch
清霜辰·2024-01-14 10:23

Spark-累加器

内存地址无法改变.你传你的,我传我的,没有把值给返回去双端对列当发送错误的时候要放回到要来头部对列一般是先进先出,要是发送错误,放回到尾部顺序就错了所以叫累加器不是很准确,叫采集器importorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.hbase
疯子@123·2024-01-14 09:00

Sqoop与其他数据采集工具的比较分析

SqoopSqoop是一个Apache项目，专门设计用于在Hadoop生态系统和关系型数据库之间传输数据。它提供了方便的命令行界面，支持从关系型数据库导入数据到Hadoop集群，
晓之以理的喵~~·2024-01-14 06:00

Hadoop-HA高可用

一、集群规划二、HDFS高可用官方地址在opt目录下创建一个ha文件夹，将/opt/module/下的hadoop-3.1.3拷贝到/opt/ha目录下（记得删除data和log目录）配置core-site.xmlhdfs-site.xmldfs.namenode.name.dirfile
DIY……·2024-01-14 06:28

hbase集群之间数据迁移_HBase集群数据迁移方案

2、采用Hadoopdistcp方式，将以上目录的内容，迁移到另一个集群。使用add_table.rb进行恢复。
无畏道人·2024-01-14 06:14

一种HBase数据备份及恢复方法

这里我们引入Hbase的一个API，hbaseorg.apache.hadoop.hbase.map
莫叫石榴姐·2024-01-14 06:42

【opencv】中值滤波代码分析及优化

opencv源码分析opencv4.7.0实现中值滤波的主要函数有三个：（1）medianBlur_SortNet（2）medianBlur_8u_Om（3）medianBlur_8u_O1其中（1）是实现小核的中值
冷月枫晚·2024-01-14 05:25

mac 上 ssh: connect to host localhost port 22: Connection refused

问题在搭建hadoop环境的时候发现sshlocalhost在报错2.解决打开系统设置->共享->->在左边服务中选择远程登录注意红框这些选项慎重选择！！！
寂夜了无痕·2024-01-14 05:50

mac上部署单体hbase

它是GoogleBigTable的开源实现，并且是Apache基金会的Hadoop项目的一部分1。
寂夜了无痕·2024-01-14 05:15

一：Hadoop初始化环境搭建-1

一：虚拟机和Linux的安装在搭建Hadoop集群环境之前，我们必须要进行如下的准备工作：01.安装虚拟机02.安装3台Linux03.修改主机名和IP地址对应关系04.SSH免密码登陆1.1：虚拟机的安装步骤
小葱_拌豆腐·2024-01-14 05:15

(Android 9.0)动态权限运行机制源码分析

概述Google在Android6.0开始引入了权限申请机制，将所有权限分成了正常权限和危险权限。应用的相关功能每次在使用危险权限时需要动态的申请并得到用户的授权才能使用。动态权限申请的使用主要涉及到以下几种方法：方法作用checkSelfPermission(@NonNullStringpermission)检查权限requestPermissions(@NonNullString[]permi
心中有梦丶身边有你·2024-01-14 04:07

Toast源码分析

Toast的使用Toast.makeText(MainActivity.this,"-----",Toast.LENGTH_LONG).show();publicstaticToastmakeText(Contextcontext,CharSequencetext,@Durationintduration){returnmakeText(context,null,text,duration);}p
风月寒·2024-01-14 03:10

java开发，年薪15W的和年薪50W的差距

在这个IT系统动辄就是上亿流量的时代，Java作为大数据时代应用最广泛的语言，诞生了一批又一批的新技术，包括HBase、Hadoop、MQ、Netty、SpringCloud等等。
墨雨轩夏·2024-01-14 02:57

第十六节 netty源码分析之 server端的源码分析

nettyserver端以netty官方EchoServer服务器端的启动代码分析:publicfinalclassEchoServer{staticfinalbooleanSSL=System.getProperty("ssl")!=null;staticfinalintPORT=Integer.parseInt(System.getProperty("port","8007"));public
勃列日涅夫·2024-01-14 02:49

大数据调度框架Oozie，这个学习网站让你事半功倍！

它主要用于管理和调度ApacheHadoop作业，支持的任务类型包括HadoopMapReduce、PigJobs等。Oozie的核心概念包括workflowjobs和coordinatorjobs。
知识分享小能手·2024-01-14 01:59
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他