hadoop源码分析

大数据高级开发工程师——Hadoop学习笔记（4）

文章目录Hadoop进阶篇MapReduce：Hadoop分布式并行计算框架MapReduce的理解MapReduce的核心思想MapReduce编程模型MapReduce编程指导思想【八大步骤】Map
讲文明的喜羊羊拒绝pua·2024-01-05 08:20

大数据学习方向

一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。
乐姐·2024-01-05 08:18

大数据开发学习资料汇总

目录大数据系列HadoopHadoop权威指南Hadoop权威指南修订Hadoop实战Hadoop实战_2Hadoop源码分析大数据处理系统：Hadoop源代码情景分析Hadoop开发者入门专刊Hadoop
比屋大数据·2024-01-05 08:44

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 概述

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop概述-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop运行环境搭建-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop
伊达·2024-01-05 08:12

Hadoop大数据生态系统及常用组件简介

经过多年信息化建设，我们已经进入一个神奇的“大数据”时代，无论是在通讯社交过程中使用的微信、QQ、电话、短信，还是吃喝玩乐时的用到的团购、电商、移动支付，都不断产生海量信息数据，数据和我们的工作生活密不可分、须臾难离。什么是大数据什么是大数据，多大算大，100G算大么?如果是用来存储1080P的高清电影，也就是几部影片的容量。但是如果100G都是文本数据，比如我们的后端kafka里的数据，抽取一条
669生活·2024-01-05 08:11

【大数据（一）】hadoop2.4.1集群搭建(重点)

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=server1.itcast.cn1.2修改ip地址vi/etc/sysconfig/network-scripts/ifcfg-eth0重新启动网络：servicenetworkrestart1.3修改ip地址和主机名的映射关系v
幸福巡礼·2024-01-05 08:09

java与大数据：Hadoop与MapReduce

Hadoop和MapReduce是由Apache软件基金会开发和维护的开源项目。它们的出现主要是为了解决传统的数据处理工具无法处理大数据量的局限性。首先，让我们深入了解一下Hadoop。
naer_chongya·2024-01-05 08:38

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop概述-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop运行环境搭建-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop
伊达·2024-01-05 08:08

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行模式

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop概述-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop运行环境搭建-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop
伊达·2024-01-05 08:08

面试题：你如何理解 System.out.println()?

文章目录前言首先分析System源码：out源码分析println分析前言如果你能自己读懂System.out.println()，就真正了解了Java面向对象编程的含义。
xuxu1116·2024-01-05 07:43

【zk源码分析】

zk作为java分布式系统注册中心和配置中心的典范，一直在思考分析这么一个系统到底从哪里入手呢？zk在使用上是非常的简单，监听节点的变化即可。一般是从哪里使用，就从哪里开始研究api。客户端和zk断开时，我看到了一些zk控制台的打印：因此我决定就从断开这入手：1.可以看出，很清晰看出来zk客户端和zkserver断开后触发的信息。2.等了22s又打印出来session超时了，所以zkserver应
zfoo-framework·2024-01-05 07:57

字节跳动 Spark 支持万卡模型推理实践

背景介绍在云原生化的发展过程中Kubernetes由于其强大的生态构建能力和影响力，使得包括大数据、AI在内越来越多类型的负载应用开始向Kubernetes迁移，字节内部探索Spark从Hadoop迁移到
字节跳动云原生计算·2024-01-05 06:09

AQS 源码分析

1.是什么？全称：AbstractQueuedSynchronizer抽象的队列式的同步器，AQS定义了一套多线程访问共享资源的同步器框架，许多同步类实现都依赖于它，如常用的ReentrantLock/Semaphore/CountDownLatch...2.框架数据结构：1）维护了一个volatileintstate2）先进先出的双向链表，头节点为获取锁的线程自定义同步器和AQSAQS顶层已经实
不是明天·2024-01-05 05:51

HBase 和 Hive 的差别是什么，各自适用在什么场景中？

一、区别：Hbase：Hadoopdatabase的简称，也就是基于Hadoop数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等。
杰在天涯·2024-01-05 05:23

Collectors.toMap mergeFunction参数，(o1,o2)-＞o1的含义

文章目录前言结论代码示例源码分析前言在java8Stream流中经常有看到这么一种写法Collectors.toMap(Person::getName,Function.identity(),(o1,o2
五月天的尾巴·2024-01-05 04:33

【源码分析】 Calcite 处理流程详解：calcite架构、处理流程以及就一个运行示例进行源码分析

文章目录一.Calcite整体架构二.Calcite处理流程三.处理流程样例说明1.样例demo1.1.样例数据1.2.使用calcite2.流程源码分析Step1:SQL解析阶段（SQL–>SqlNode
roman_日积跬步-终至千里·2024-01-05 02:20

[k8s源码分析][client-go] client之clientset

1.前言转载请说明原文出处,尊重他人劳动成果!源码位置:https://github.com/nicktming/client-go/tree/tming-v13.0/tools/cache分支:tming-v13.0(基于v13.0版本)2.概括client-go中提供了三种client可以去访问api-server中的资源.clientset:提供集群外部的服务用来访问,只能访问集群中已有的资
nicktming·2024-01-05 01:30

大数据与hadoop的介绍

大数据是什么，什么是大数据？萝卜和青菜各自有各自的看法，下面说说我所了解到的大数据，那，就从大数据特征说起：大数据，不仅仅具备大的特征，只有外行人才会天真的以为大数据，就是数据，量大！量大只是大数据其中的一个特征，除了这个特征之外，它还和另外三个特征和起来组成了大数据必不可少的四个特征：Volume大量的海量的数据Variety多种多样的数据的类型多种多样，比如数据来源多样，企业内部的日志，互联网
昨天_03fb·2024-01-05 00:31

Java ArrayList 面试题

JavaArrayList面试题文章目录JavaArrayList面试题ArrayList源码分析成员变量构造方法ArrayList源码分析面试题-ArrayListlist=newArrayList(
xwhking·2024-01-05 00:29

什么是CAS和AQS

什么是CAS和AQSCAS理解概念ABA问题AQS理解获取同步状态AQS源码分析获取锁释放锁CAS是一种乐观锁，通过在修改数据时，通过和原来的值进行比较，判断是否有被其他人改变。
Hell_potato777·2024-01-05 00:04

kudu NoSQL数据库详解

一、Hbase、Kudu和ClickHouse对比Hadoop生态圈中HDFS一直用来保存底层数据。
wespten·2024-01-04 23:09

金色麦芒的2023

通过学习Hadoop、Spark等框架，我掌握了大数据的存储、处理和分析技术，能够更高效地处理大规模数据集。同时，我也深入学习
溜达的大象·2024-01-04 22:44

Hadoop集群三节点搭建（一）

一、第一台虚拟机准备确认是可以上网，方便下载文件和工具，使用ping命令测试下安装工具net-tool：工具包集合，包含ifconfig等命令，大家可以根据自己需要按需下载创建普通用户attest，并修改attest用户的密码配置attest用户具有root权限，方便后期加sudo执行root权限的命令在/opt目录下创建文件夹，并修改所属主和所属组二、安装JDK卸载虚拟机自带的JDKrpm-qa
DIY……·2024-01-04 21:08

微信基于StarRocks的湖仓一体实践

作者：StarRocksActiveContributer、微信OLAP内核研发工程师微信作为国内活跃用户最多的社交软件，其数据平台建设经历了从Hadoop到ClickHouse亚秒级实时数仓的阶段，但仍旧面临着数据体验割裂
StarRocks_labs·2024-01-04 20:38

【二】CocosCreator-CCGame.js源码分析

PS：只是看源码学习过程中把认为重要的内容以笔记的形式记录下来。【1】config：当前游戏的一些配置1.debugMode：用于控制输出日志的级别2.showFPS：是否显示FPS3.exposeClassName4.frameRate：设置游戏帧率5.id6.renderMode：使用canvas渲染还是使用WebGL渲染（简单理解：WebGL能实现高效的3D渲染、支持多平台，通过各种着色器实
0zien0·2024-01-04 20:48

【三】CocosCreator-CCDirector.js源码分析

PS：只是看源码学习过程中把认为重要的内容以笔记的形式记录下来。【1】cc.director：cc.Director的一个单例对象。如果需要用到导演类的内容，统一通过cc.director这个单例对象来调用。【2】init()：对导演类的成员变量进行初始化操作。在构造函数对此init函数注册了消息监听，当接收到来自CCGame的EVENT_ENGINE_INITED事件后才执行导演类的init函数
0zien0·2024-01-04 20:46

2021-11-08 正则表达式

matcher.find()底层源码分析:*1.根据指定的规则,定位满足规则的子字符串(比如(19)(98))*2.找到后，将子字符串的开始的索引记录到matcher对象的属性int[]groups;*
技术小白3687·2024-01-04 18:05

大数据应用场景-搜索引擎概述

从互联网网页爬取网页数据,存储到网页库;2.建立索引:分析整理爬虫收集到的数据资源,建立索引,为检索系统提供数据;3.提供检索服务:从预处理好的资源里挑选出用户最满意的结果最快最好的展现给用户;二.基于HadoopMapReduce
GuangHui·2024-01-04 16:14

hbase编程

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.
SunsPlanter·2024-01-04 15:23

11111111

参考步骤1.使用vim编辑器打开/usr/local/hadoop/etc/hadoop/core-site.xml文件，它的初始内容如下：修改以后，core-site.xml文件的内容如下：hadoop.tmp.dirfile
SunsPlanter·2024-01-04 15:23

跨年烟花-Html5实现_附完整源码【可直接运行】

文章目录前言目录结构⚫完整源码源码分析注意事项总结前言随着科技的进步和互联网的普及，人们对于跨年庆祝的方式也在不断变化。传统的烟花燃放虽然美丽，但存在环境污染、安全隐患等问题。
一见已难忘·2024-01-04 14:16

LinkedBlockingDeque分析

或者存放一个特殊要求的数据，它的前驱指向链表的尾结点(即最后一个结点)，它的后继指向链表的首元结点(即第一个结点)双向链表结点包含前驱指针域，数据域，后继指针域三个部分LinkedBlockingDeque部分源码分析
萍水相逢_程序员·2024-01-04 13:54

Spring Boot中如何干掉if else

微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java高级交流：787707172，群里有阿里大牛直播讲解技术，以及Java大型互联网技术的视频免费分享给大家。
程序员日常填坑·2024-01-04 13:57

重学iOS系列之APP启动（七）优化总结

前文已经通过源码分析以及实战演练带领读者学习了APP启动的整个过程，既然知识已经学了，就要学以致用。APP启动-优化总结:main()函数之前的优化：1、减少动态库加载。
佛系编程·2024-01-04 12:29

2024.1.3 Spark on Yarn部署方式与工作原理

YARN模式：这是一种分布式资源管理器，可以与Hadoop集成，将
白白的wj·2024-01-04 11:44

【数据湖架构】数据湖101：概述

数据湖是非结构化和结构化数据池，按原样存储，没有特定的目的，可以建立在多种技术上，如Hadoop，NoSQL，AmazonSimpleStorageService，关系数据库或各种组合根据一份名为“什么是数据湖
架构师研究会·2024-01-04 10:08

Flume基础知识（四）：Flume实战之实时监控单个追加文件

1）案例需求：实时监控Hive日志，并上传到HDFS中2）需求分析：3）实现步骤：（1）Flume要想将数据输出到HDFS，依赖Hadoop相关jar包检查/etc/profile.d/my_env.sh
依晴无旧·2024-01-04 10:08

Ceph源码分析-std::unique_ptr＜rgw::sal::RGWObject::WriteOp＞ obj_op = head_obj-＞get_write_op(&obj_ctx)；

std::unique_ptrobj_op=head_obj->get_write_op(&obj_ctx);这行代码是C++代码，涉及到智能指针和某个对象或库的特定操作。我会为你逐步解释这行代码：std::unique_ptr:这是C++11引入的一个智能指针，用于管理对象的生命周期。unique_ptr确保其指向的对象在任何时刻都只有一个unique_ptr拥有它，当unique_ptr被销毁
瓦哥架构实战·2024-01-04 09:14

Ceph源码分析-使用VScode调试ceph-osd教程

本篇内容全部都是干货，请先收藏，以免后期找不到哦。前言：本文以cephosd部分为例，为您演示通过第三方社区提供的vscode编辑软件，对cephosd进行进行图形化单步调试以及配置操作。Step1.下载安装windows的vscode****在该地址下载:code.visualstudio.com/；安装openssh(一般情况不用自己手动安装)；如果需要远程开发，Windows机器也需要支持o
瓦哥架构实战·2024-01-04 09:36

Java技术栈 —— Hadoop入门（一）

Java技术栈——Hadoop入门（一）一、Hadoop第一印象二、安装Hadoop三、Hadoop解析3.1Hadoop生态介绍3.1.1MapReduce-核心组件3.1.2HDFS-核心组件3.1.3YARN
键盘国治理专家·2024-01-04 08:02

大数据-HDFS原理

HDFS（HadoopDistributionFileSystem）是基于谷歌发布的GFS论文设计的；出了具有其他文件系统具有的特性之后，HDFS还具有：高容错性：认为硬件总是不可靠的；高吞吐量：为大量数据访问的应用提供高吞吐量的支持
运维仙人·2024-01-04 07:00

【Hadoop-HDFS-S3】HDFS 和存储对象 S3 的对比

【Hadoop-HDFS-S3】HDFS和存储对象S3的对比1）可扩展性2）数据的高可用性3）成本价格4）性能表现5）数据权限6）其他限制虽然ApacheHadoop以前都是使用HDFS的，但是当Hadoop
bmyyyyyy·2024-01-04 07:25

Java 并发（3）AbstractQueuedSynchronizer 源码分析之共享模式

转：https://mp.weixin.qq.com/s/mykFjE-t9wbQBjG3xMzDWw通过上一篇《Java并发（2）AbstractQueuedSynchronizer源码分析之独占模式
george_george·2024-01-04 07:54

对比Pig、Hive和SQL，浅看大数据工具之间的差异

以下为译文有人说对于大数据分析来说Hadoop才是炙手可热的新技术，SQL虽然久经考验但已经有些过时了。这话说得不错，但有非常多的项目都用Hadoop作
MayerBin·2024-01-04 06:09

CloudManager大数据本地环境标准部署文档

一、基本信息文档目的：标准化、规范化Hadoop在本地化环境中部署所涉及的操作和流程，以便高效、高质地落地本地化环境部署的工作。
有语忆语·2024-01-04 04:29

【SpringBoot框架篇】34.使用Spring Retry完成任务的重试

SpringRetry是从SpringBatch独立出来的一个功能，已经广泛应用于SpringBatch,SpringIntegration,SpringforApacheHadoop等Spring项目
皓亮君·2024-01-04 04:45

多台机器的时钟同步

本文将以第二种方式介绍三台机器之间的时间同步具体的操作步骤：本文是以centos6.5作为服务器搭建的三台机器Hadoop伪分布式的平台，解决三台机器之间的时间同步的问题，主机master的IP为192.168.141.130
无为二里·2024-01-04 03:26

Java ORM 框架 Mybatis详解

本文以一个Mybatis完整示例为切入点，结合Mybatis底层源码分析，图文并茂的讲解Mybatis的核心工作机制。
码农小旋风·2024-01-04 03:55

docker-compose部署hadoop集群（高可用）—— 筑梦之路

hadoop高可用依赖组件zookeeper1.下载二进制文件###1、zookeeper#下载地址：https://zookeeper.apache.org/releases.html#zookeeper
筑梦之路·2024-01-04 03:11

【Spring之创建对象源码分析】

Spring之内部创建对象源码分析1.看源码(AbstractBeanFactory)2.解析1.看源码(AbstractBeanFactory)@SuppressWarnings("unchecked
代码哲学·2024-01-04 03:02
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他