hadoop源码分析

linux上面hadoop配置集群

要在Linux上配置Hadoop集群，需要按照以下步骤进行操作：安装JavaDevelopmentKit(JDK)：首先，确保您的Linux系统上已经安装了JDK。
酷爱码·2024-01-21 05:14

【Spring源码分析】扫描并注册BeanDefinition逻辑

扫描并注册BeanDefinition逻辑一、ClassPathBeanDefinitionScanner扫描源码分析doScan扫描的具体逻辑findCandidateComponents方法解析generateBeanName
假正经的小柴·2024-01-21 05:05

Netty-Netty源码分析

Netty线程模型图Netty线程模型源码剖析图Netty高并发高性能架构设计精髓主从Reactor线程模型NIO多路复用非阻塞无锁串行化设计思想支持高性能序列化协议零拷贝(直接内存的使用)ByteBuf内存池设计灵活的TCP参数配置能力并发优化无锁串行化设计思想在大多数场景下，并行多线程处理可以提升系统的并发性能。但是，如果对于共享资源的并发访问处理不当，会带来严重的锁竞争，这最终会导致性能的下
长情知热爱·2024-01-21 04:19

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-

1.问题来源hadoop启动时控制台一直提示WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform…usingbuiltin-javaclasseswhereapplicableStartingnamenodeson
寂夜了无痕·2024-01-21 04:57

mac-hadoop3.3.6 源码构建以及踩坑记录

1.为什么需要构建源码因为hadoop的可执行文件是在专门的机器上编译的其中native库不一定能适用于每个机器导致在启动hadoop过程中出现烦人的警告WARNutil.NativeCodeLoader
寂夜了无痕·2024-01-21 04:55

HDFS中的Erasure Coding纠删码是个什么样的存在？

在Hadoop3.x之后就引入了纠删码技术（ErasureCoding）纠删码技术（Erasurecoding）简称EC，是一种编码容错技术。最早用于通信行业，数据传输中的数据恢复。它通过对数
小KKKKKKKK·2024-01-21 03:29

ElasticSearch 亿级数据检索深度优化！

一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考
夜空_2cd3·2024-01-21 03:53

Redis学习笔记--尚硅谷

、Tomcat、HTML、Linux、JDBC、SVNe解决扩展性的问题:Struts、Spring、SpringMVC、Hibernate、Mybatise解决性能的问题:NoSQL、Java线程、Hadoop
Geho·2024-01-21 02:52

大数据技术原理及应用课实验1 熟悉常用的Linux操作和Hadoop操作

实验1熟悉常用的Linux操作和Hadoop操作一、实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。
Blossom i·2024-01-21 02:21

大数据技术原理及应用课实验2 ：熟悉常用的HDFS操作

实验2熟悉常用的HDFS操作目录实验2熟悉常用的HDFS操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：（
Blossom i·2024-01-21 02:21

通过WordCount解析Spark RDD内部源码机制

HelloSparkHelloScalaHelloHadoopHelloFlinkSparkisAwesome然后在Eclipse中编写wo
联旺·2024-01-21 01:54

客户案例｜知名证券机构核心大数据平台升级之路

Hadoop作为海量数据处理的关键技术框架，自诞生以来就改变了企业对数据的存储、处理和分析的过程，因具备开源低成本、高可靠等特性，在证券行业得到了广泛的应用。
云掣YUNCHE·2024-01-21 01:17

k8s client-go源码分析 informer源码分析-初始化与启动分析

informer架构先来回忆一下informer的架构。k8sclient-goinformer主要包括以下部件：（1）Reflector：Reflector从kube-apiserver中list&watch资源对象，然后调用DeltaFIFO的Add/Update/Delete/Replace方法将资源对象及其变化包装成Delta并将其丢到DeltaFIFO中；（2）DeltaFIFO：Del
格格巫 MMQ!!·2024-01-21 00:54

Spark(一): 基本架构及原理

前言:目标：架构及生态：Spark与hadoop:运行流程及特点：常用术语:Spark运行模式：RDD运行流程：前言:ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009
贝賏赑钡·2024-01-20 22:46

大数据导论（3）---大数据技术

文章目录1.大数据技术概述2.数据采集与预处理2.1数据采集2.2预处理3.数据存储和管理3.1分布式基础架构Hadoop3.2分布式文件系统HDFS3.3分布式数据库HBase3.4非关系型数据库NoSQL4
冒冒菜菜·2024-01-20 21:28

Spring源码分析：IOC容器的刷新 - refresh()

面试常见问题：bean生命周期循环依赖三级缓存FactoryBean和beanFactoryApplicationContext和BeanFactory的区别设计模式bean定义信息BeanDefinition读取xml配置文件，通过抽象接口BeanDefinitionReader读取配置文件规范，源码当中的ConfigurableListableBeanFactory部分内容就是读取.xml配置
GeekInk小火龙·2024-01-20 21:56

分布式定时任务系列8：XXL-job源码分析之远程调用

任务执行引擎设计分布式定时任务系列4：任务执行引擎设计续分布式定时任务系列5：XXL-job中blockingQueue的应用分布式定时任务系列6：XXL-job触发日志过大引发的CPU告警分布式定时任务系列7：XXL-job源码分析之任务触发
kobe_t·2024-01-20 20:36

Sqoop与HBase结合使用：实现强大的数据存储

Sqoop用于将数据从关系型数据库导入到Hadoop生态系统中，而HBase则用于实时、非关系型数据存储和查询。
晓之以理的喵~~·2024-01-20 19:57

使用Sqoop从Oracle数据库导入数据

在大数据领域，将数据从关系型数据库（如Oracle）导入到Hadoop生态系统是一项常见的任务。Sqoop是一个强大的工具，可以帮助轻松完成这项任务。
晓之以理的喵~~·2024-01-20 19:27

Sqoop数据传输中的常见挑战及其解决方法

Sqoop是一个用于将数据传输到Hadoop生态系统的强大工具，但在实际使用中，可能会面临一些挑战。
晓之以理的喵~~·2024-01-20 19:26

创建虚拟机

弹出如下对话框，点击“下一步”3.继续点击“下一步”4.选择“稍后安装操作系统”，然后点击“下一步”5.在版本下拉框中选择“CentOS764位”，然后点击“下一步”6.给虚拟机起一个名字，本机叫做“Hadoop100
吃草料的羊·2024-01-20 19:56

CVE2020-1938漏洞复现

这个漏洞是tomcat的然后我们先了解漏洞产生的原理首先我们先来看tmocat纠结是干什么的tomcat是个中间件最主要的两个结构、servlet的定义和部分源码，漏洞就是从这来的tomcat处理http请求源码分析
hellodaoyan·2024-01-20 18:22

大数据Hadoop入门——HDFS分布式文件系统基础

HDFS命令基础语法：【hadoopfs具体命令、hdfsdfs具体命令】两个是完全相同的。显示文件列表#hdfsdfs-lsURL创建目录#hdfsdfs-mkdir[-p]URL使用-p参数可以
nucty·2024-01-20 16:00

Zookeeper简介

一、Zookeeper简介ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务，它是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
破茧......·2024-01-20 16:35

大数据技术之Hadoop伪分布式安装步骤及结果（Ubuntu）

、下载安装虚拟机软件；下载Ubuntu镜像文件，安装Ubuntu虚拟机；2、在Ubuntu系统中创建用户、更新APT、安装SSH并配置SSH无密码登录、安装Java环境、配置PATH环境变量；3、下载Hadoop
小嘤嘤怪学·2024-01-20 16:52

【大数据】了解 YARN 架构的基础知识

3.1.2ApplicationManager应用程序管理器3.2NodeManager节点管理器3.3ApplicationMaster应用程序主控3.4Container容器4.在YARN中提交应用程序5.HadoopYARN
G皮T·2024-01-20 14:23

mybatis查询结果resultMap映射vo源码分析

等操作；将一个复杂查询拆分成简单查询；在vo中的变量有时候会定义初始值，那么当mybatis中查询结果为null的时候，会覆盖这个初始值吗;mybatis版本：3.5.10mysql版本:8.0.32源码分析映射
好大的月亮·2024-01-20 14:23

scratch3.0 源码分析

最新一直在做少儿编程方向的创业，用到了scratch3.0，在这里简单分享一下其原理。什么是scratch3.0？Scratch是美国麻省理工学院的“终身幼儿园团队”开发的一款图形化编程工具，通过点击并拖拽的方式就能完成编程，可以帮助儿童或成人初学者更好地学习编程的基础概念等。Scratch1.0在2007年第一次公开发布，随后在2012年又推出了Scratch2.0版本，而Scratch3.0则
空无一码·2024-01-20 14:35

Hive性能优化

sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop在map端的汇总合并优化，使数据倾斜不成问题。count(distinct),在数据量大的情况下，效率较
La victoria·2024-01-20 13:23

【Spring源码分析】执行流程之非懒加载单例Bean的实例化逻辑

执行流程之非懒加载单例Bean的实例化逻辑preInstantiateSingletons()源码分析合并BeanDefinitiongetMergedLocalBeanDefinitionBean的分类
假正经的小柴·2024-01-20 13:17

【Spring源码分析】从源码角度去熟悉依赖注入（一）

从源码角度去熟悉依赖注入一、全局出发引出各种依赖注入策略二、@Autowired依赖注入源码分析属性注入源码分析（AutowiredFieldElement.inject）方法注入源码分析（AutowiredMethodElement.inject
假正经的小柴·2024-01-20 13:17

【Spring源码分析】BeanFactory系列接口解读

认识Bean工厂一、认识Bean工厂BeanFactoryListableBeanFactoryHierarchicalBeanFactoryAutowireCapableBeanFactoryConfigurableBeanFactoryConfigurableListableBeanFactory二、总结一、认识Bean工厂SpringBean工厂是Spring框架提供的一种机制，用于创建和管
假正经的小柴·2024-01-20 13:17

hive Error while compiling statement: FAILED: ClassCastException org.apache.hadoop.hive.serde2.objec

Errorwhilecompilingstatement:FAILED:ClassCastExceptionorg.apache.hadoop.hive.serde2.objectinspector.primitive.WritableConstantStringObjectInspectorcannotbecasttoorg.apache.hadoop.hive.serde2
圆周率的后六位·2024-01-20 12:35

hadoop运行任务出错，Hive Runtime Error while processing row

Error:java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException:HiveRuntimeErrorwhileprocessingrow
圆周率的后六位·2024-01-20 12:05

Hadoop配置文件加载

1.hadoop使用org.apache.hadoop.conf.Configuration类来加载配置文件2.一般我们在写客户端程序等需要连接hadoop集群时，需要自己准备好core-site.xml
sf_www·2024-01-20 11:52

Hadoop基础知识

Hadoop基础知识1、Hadoop简介广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
坐在风口上de猪·2024-01-20 10:10

大数据开发之Hadoop（完整版+练习）

第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。
Key-Key·2024-01-20 10:36

令牌桶算法与Guava的实现RateLimiter源码分析

令牌桶算法与Guava的实现RateLimiter源码分析令牌桶RateLimiter简介RateLimiter使用示例导入maven依赖编写测试代码RateLimiter的实现源码解析SmoothRateLimiterSmoothBursty
迷思特王·2024-01-20 09:39

Kylin安装学习教程

Kylin安装学习教程Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。
Luo_Yang111·2024-01-20 09:28

mixin看这篇事半功倍

这里写目录标题一、mixin是什么二、使用场景三、源码分析一、mixin是什么Mixin是面向对象程序设计语言中的类，提供了方法的实现。
花言儿·2024-01-20 09:11

Spring-Boot-配置刷新

#I.配置动态刷新本篇将介绍并演示如何实现配置信息的刷新，但不会涉及到底层的实现原理，想要探究里面的神奇，可以网上google一下，或者期待后续的源码分析篇#1.ContextReferer我们这里主要借助这
无心六神通·2024-01-20 08:20

黑猴子的家：Linux 文件有空格或特殊字符--转义

1、使用window斜杠""转义处理[victor@hadoop102~]$cdwindow\vnc/2、使用英文双引号处理[victor@hadoop102~]$cd"windowvnc"
黑猴子的家·2024-01-20 07:10

SpringMVC父子容器源码分析

书接上文文章目录一、Spring整合SpringMVC1.Spring整合SpringMVC案例分析2.Spring和SpringMVC父子容器的关系3.SPI机制详解二、源码分析1.注册父子容器2.加载父子容器一
jakiechaipush·2024-01-20 05:06

RockerMQ源码分析——Broker消息发送流程

org.apache.rocketmq.example.quickstart.Producer创建一个消息的生产者，且指定一个组设置namesrv地址，可以从此地址获取topic的队列信息启动生产者实例循环中创建消息对象，并指定topic、tag和消息体在循环中发送消息，采用默认的负载策略，调用org.apache.rocketmq.client.producer.DefaultMQProduce
fustcyasdy·2024-01-20 05:01

Windows平台安装配置Hadoop2.7.X

一，准备1.安装jdk1.82.下载hadoop2.7.7.tar.gz官网下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7
sun_十一·2024-01-20 04:23

余老师带你学习大数据-Spark快速大数据处理第十章Kafka第八节Kafka-Connect

kafkaKafkaConnect基本概念1、KafkaConnect是Kafka流式计算的一部分，左侧是数据源包括了数据库、hadoop、文本等等，右侧是数据结果包括了文本、hadoop、数据库，中间上层就是
weixin_45810046·2024-01-20 03:41

Kylin基础教程（一）

一、Kylin介绍1.1现状Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战
GOD_WAR·2024-01-20 03:43

kylin安装学习教程

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。
打工人何苦为难打工人·2024-01-20 03:07

Kylin安装学习教程

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。
终将老去的穷苦程序员·2024-01-20 03:04

CVE-2023-46226 Apache iotdb远程代码执行漏洞

它具有体量轻、性能高、易使用的特点，完美对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。
棱镜七彩·2024-01-20 02:27
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他