Hadoop深入浅出

Hadoop的mapreduce的执行过程

一、map阶段的执行过程第一阶段：把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。默认Splitsize=Blocksize（128M），每一个切片由一个MapTask处理。（getSplits）第二阶段：对切片中的数据按照一定的规则读取解析返回对。默认是按行读取数据。key是每一行的起始位置偏移量，value是本行的文本内容。（TextInputFormat）第三阶段：调用Mapp
画纸仁·2025-03-10 01:34

Hadoop：分布式计算平台初探

Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。
dccrtbn6261333·2025-03-10 01:32

【Hadoop】如何理解MapReduce？

MapReduce是一种用于处理大规模数据集的编程模型和计算框架。它的核心思想是将复杂的计算任务分解为两个简单的阶段：Map（映射）和Reduce（归约）。通过这种方式，MapReduce可以高效地并行处理海量数据。一.MapReduce的核心概念1.Map（映射）：将输入数据分割成小块，并对每个小块进行初步处理。输出键值对（key-valuepairs），例如。2.Shuffle和Sort（洗牌
2302_79952574·2025-03-10 00:30

Hadoop：全面深入解析

Hadoop是一个用于大规模数据处理的开源框架，其设计旨在通过集群的方式进行分布式存储和计算。
CloudJourney·2025-03-09 21:29

Hadoop介绍：什么是Hadoop？了解Hadoop的应用

一、认识Hadoop框架Hadoop是一个提供分布式存储和计算的开源软件框架，使用Java语言编写，具有高扩展性、高容错性、无共享和高可用（HA）等特点，非常适合处理海量数据。
Zzzxt007·2025-03-09 21:55

Hbase在hdfs上的archive目录占用空间过大

hbase版本：1.1.2hadoop版本：2.7.3Hbase在hdfs上的目录/apps/hbase/data/archive占用空间过大，导致不停地发出hdfs空间使用率告警。
宝罗Paul·2025-03-09 13:50

Manus：颠覆 AI 代理的新时代

ReactHook深入浅出CSS技巧与案例详解vue2与vue3技巧合集VueUse源码解读Manus，这款突破性的AI代理，近期在科技界掀起了巨大波澜。
·2025-03-09 12:10

Hadoop、Spark、Flink Shuffle对比

一、Hadoop的shuffle前置知识：Map任务的数量由Hadoop框架自动计算，等于分片数量，等于输入文件总大小/分片大小，分片大小为HDFS默认值128M，可调Reduce任务数由用户在作业提交时通过
逆袭的小学生·2025-03-09 10:55

Mybatis中使用的设计模式

建造者模式这里讲得很清楚了深入浅出设计模式——建造者模式（BuilderPattern）在mybatis中，在解析配置文件的时候使用。
rice_88·2025-03-09 09:24

【Hadoop】什么是Zookeeper？如何理解Zookeeper？

ZooKeeper是一个开源的分布式应用程序协调服务，可以为分布式应用提供一致性的服务，功能包括：配置维护、名字服务、分布式同步、组服务等等。ZooKeeper的目标是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。1.Zookeeper的特点最终一致性：Client不论连接到哪个Server,展示给它的都是同一个视图。可靠性：如果某个消息被一台服务器接受，那么它
2302_79952574·2025-03-09 09:46

【Hadoop】详解HDFS

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统，它是一个高度容错性的系统，适合部署在廉价的机器上，能够提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
2302_79952574·2025-03-09 09:13

HDFS的设计架构

HDFS是Hadoop生态系统中的分布式文件系统，设计用于存储和处理超大规模数据集。它具有高可靠性、高扩展性和高吞吐量的特点，适合运行在廉价硬件上。
F_0125·2025-03-09 05:21

android_audio架构全分析,Android深入浅出之AudioFlinger分析

一目的本文承接Audio第一部分的AudioTrack，通过AudioTrack作为AF(AudioFlinger)的客户端，来看看AF是如何完成工作的。在AT(AudioTrack)中，我们涉及到的都是流程方面的事务，而不是系统Audio策略上的内容。WHY？因为AT是AF的客户端，而AF是Android系统中Audio管理的中枢。AT我们分析的是按流程方法，那么以AT为切入点的话，AF的分析也
迷荆·2025-03-09 05:41

大数据Flink（六十四）：Flink运行时架构介绍_flink中涉及到的大数据组件

从以Greenplum为代表的MPP（MassivelyParallelProcessing，大规模并行处理）架构，到Hadoop、Spark为代表的批处理架构，再到Storm、Flink为代表的流处理架构
2401_84181942·2025-03-09 03:39

《Head First 设计模式》例子的C++实现（2 观察者模式）

感觉这本书写的还是很不错的，深入浅出的介绍了各种常用的设计模式。唯一有点不方便的地方是这本书的例子全都是用的Java来实现的。而我主要是用C++。所以就动手将书上的代码用C++来实现了一遍。
liyuanbhu·2025-03-09 03:49

大数据运维实战指南：零基础入门与核心技术解析（第一篇）

大数据运维实战指南：零基础入门与核心技术解析（第一篇）系列文章目录第一篇：大数据运维概述与核心技能体系第二篇：Hadoop生态体系与集群部署实战第三篇：分布式存储系统运维与优化第四篇：资源调度框架YARN
emmm形成中·2025-03-09 01:19

hadoop框架与核心组件刨析（四）MapReduce

MapReduce是一种用于大规模数据处理的编程模型和计算框架，最初由Google提出，后来由ApacheHadoop实现并广泛应用。
小刘爱喇石( ˝ᗢ̈˝ )·2025-03-09 00:42

hadoop 运行java程序_原生态在Hadoop上运行Java程序

第一种：原生态运行jar包1，利用eclipse编写Map-Reduce方法，一般引入Hadoop-core-1.1.2.jar。
淇水煮汤·2025-03-08 09:23

hadoop运行java程序命令_使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0

网上的MapReduceWordCount教程对于如何编译WordCount.java几乎是一笔带过…而有写到的，大多又是0.20等旧版本版本的做法，即javac-classpath/usr/local/hadoop
emi0wb·2025-03-08 09:53

深入浅出的理解deepseek类大模型（附运行代码）

我们把Qwen2模型想象成一个非常聪明的“阅读理解专家”。这个专家，就像我们人类一样，需要先“看”到文字，然后才能理解文字的意思，最后才能回答问题或者生成新的文字。深入理解之运行代码：fromtransformers.models.qwen2importQwen2Config,Qwen2Modelimporttorchdefrun_qwen2():#根据模型需求配置参数，构造Qwen2模型的配置对
AI人工智能时代·2025-03-08 08:47

大数据Hadoop集群运行程序

目录1运行自带的MapReduce程序2常见错误1运行自带的MapReduce程序下面我们在Hadoop集群上运行一个MapReduce程序，以帮助读者对分布式计算有个基本印象。
赵广陆·2025-03-08 08:37

hadoop框架与核心组件刨析（三）YARN

一、负载均衡的概念负载均衡（LoadBalancing）是一种将工作负载（如网络流量、计算任务或数据请求）分配到多个资源（如服务器、计算节点或存储设备）的技术，目的是优化资源使用、最大化吞吐量、最小化响应时间，并避免单个资源过载。负载均衡广泛应用于计算机网络、分布式系统、云计算等领域。负载均衡的核心目标提高性能：通过将负载分配到多个资源，避免单个资源成为瓶颈，从而提高系统的整体性能。提高可用性：如
小刘爱喇石( ˝ᗢ̈˝ )·2025-03-08 04:46

【有啥问啥】深入浅出：大模型应用工具 Ollama 技术详解

深入浅出：大模型应用工具Ollama技术详解引言近年来，大型模型（LargeModels，LLMs）技术突飞猛进，在自然语言处理、计算机视觉、语音识别等领域展现出强大的能力。
有啥问啥·2025-03-08 00:21

Doris 数据集成 Kafka

这是我们Doris数据集成篇的第二篇，前面我们介绍过通过Catalog进行集成的例子Doris基础篇—数据集成Catalog目前公司的很多数据服务都开始使用Doris了，目前使用下来感觉还是很方便的，比起Hadoop
不二人生·2025-03-07 16:29

Dockerfile 深入浅出：从基础到进阶全解析

Dockerfile深入浅出：从基础到进阶全解析各位同学，大家好！欢迎来到今天的Dockerfile课程。
TechStack 创行者·2025-03-07 11:52

大数据面试系列之——Hadoop

Hadoop的三个核心：HDFS（分布式存储系统）MapReduce（分布式计算系统）YARN(分布式资源调度)1.Hadoop集群的几种搭建模式1.单机模式：直接解压安装，不存在分布式存储系统2.伪分布式
潜心_守道·2025-03-07 07:17

深入浅出地理解-随机森林与XGBoost模型

目录一、决策树的不足与集成学习的优势1.1决策树的缺点1.2集成学习：通过集成多个模型提升稳定性二、随机森林：通过多棵决策树减少方差2.1随机森林的基本原理2.2随机森林的优势2.3随机森林的参数调整三、XGBoost：高效且强大的Boosting方法3.1Boosting的基本原理3.2XGBoost的优化3.3XGBoost的优点四、随机森林与XGBoost的对比五、总结在机器学习的实战中，决
HP-Succinum·2025-03-07 00:06

Azkaban其一，介绍、体系架构和安装

比如：想启动hadoop集群先启动zk集群，再启动hdfs,再启动yarn，再启动日志系统工作过程中总会遇到多个脚本执行的时候有顺序。任务可以有一个编排的工具
出发行进·2025-03-07 00:35

深入浅出微服务基础设施：服务架构的演进历史

业界有很多介绍微服务框架的文章，但是对于微服务架构本身以及基础设施组件介绍的文章不多，本系列文章将聚焦于微服务架构的底层原理，从基础概念到核心机制，帮助读者真正理解微服务架构的设计理念和运行机制，从而更好地将其应用于实际开发中。在软件工程的漫长历史中，服务架构经历了从单体应用到面向服务的架构（SOA），再到微服务架构的演进。本章将详细探讨这一演进过程，帮助读者理解不同架构的起源、优势和局限性，以及
·2025-03-06 23:15

上班族的DeepSeek指南，厦门大学·DeepSeek手册Ⅲ《DeepSeek企业应用实践》

随着DeepSeek的普及，无论是高校师生、上班族的小伙伴、机构工作人员还是面向社会大众人群，都能在各大高校的一系列手册中找到自己想要学习、了解的内容，这些手册面向大众群体深入浅出地讲解大模型概念、技术与应用实践
纪元A梦·2025-03-06 21:37

【数据库初阶】MySQL中表的约束（上）

在这篇文章中，我们将深入浅出地为大家讲解MySQL中表的约束帮助您轻松入门，快速掌握核心概念。如果文章对您有所启发或帮助，请别忘了点赞??、收藏??、留言??支持！
bsefef·2025-03-06 14:02

hdfs HA 机制， 一台 namenode 宕机了， joualnode ， namenode ， edit.log fsimage 的 变 化？思维导图 代码示例（java 架构)

HDFS（HadoopDistributedFileSystem）的高可用性（HA,HighAvailability）机制旨在解决单点故障问题，确保即使在NameNode出现故障的情况下，文件系统仍然可以继续正常工作
用心去追梦·2025-03-06 10:00

IntelliJ IDEA + Maven环境编写第一个hadoop程序

1.新建IntelliJ下的maven项目点击File->New->Project，在弹出的对话框中选择Maven，JDK选择你自己安装的版本，点击Next2.填写Maven的GroupId和ArtifactId你可以根据自己的项目随便填，点击Next这样就新建好了一个空的项目这里程序名填写WordCount,我们的程序是一个通用的网上的范例,用来计算文件中单词出现的次数3.设置程序的编译版本打开
IT独白者·2025-03-06 06:00

hadoop

Hadoop是一个用于分布式存储和处理大规模数据的开源框架，它的架构主要由以下几个核心组件组成：1.Hadoop生态系统核心组件Hadoop的核心架构主要包括HDFS（HadoopDistributedFileSystem
百里自来卷·2025-03-06 06:00

第一个Hadoop程序

编写和运行第一个Hadoop程序是学习Hadoop的重要步骤。以下是一个经典的“WordCount”程序示例，它统计文本文件中每个单词出现的次数。
lqlj2233·2025-03-06 05:53

在虚拟机上安装 Hadoop 全攻略

在虚拟机上安装Hadoop是进入大数据处理和分析领域的重要一步。
麻芝汤圆·2025-03-06 05:22

量子位招聘 | DeepSeek帮我们改的招聘启事

岗位面向：社招、应届毕业生，所有岗位均可实习——表现出色均可转正加分项：乐于探索AI新工具，善用AI新工具；拥有解读论文的能力，能深入浅出讲解原理；有写代码能力；量子位长期读者。加入我们，你可以获得：
·2025-03-06 01:06

深入浅出：ASP.NET Core 中间件的使用与封装

在ASP.NETCore中，中间件（Middleware）是处理HTTP请求和响应的核心组件。中间件可以在请求到达最终处理前对请求进行处理，也可以在响应返回客户端之前修改响应。通过使用中间件，开发者能够灵活地扩展应用程序功能，处理认证、日志记录、跨域请求、错误处理等常见任务。本文将详细介绍ASP.NETCore中间件的工作原理、如何使用内置中间件、如何封装自定义中间件，并提供实际的例子来帮助你掌握
江沉晚呤时·2025-03-05 23:05

深入浅出 Serilog：全面掌握 .NET 日志记录

在现代应用程序中，日志记录是至关重要的一部分，它帮助开发人员追踪和调试应用程序的问题。Serilog是一个功能强大且灵活的.NET日志记录库，它不仅支持结构化日志，还能轻松集成到各种日志管理平台中。本教程将介绍如何在.NET应用程序中使用Serilog进行日志记录。一、Serilog概述Serilog是一个为.NET应用程序设计的第三方日志库，具有以下特点：结构化日志：Serilog可以记录结构化
拾忆4377·2025-03-05 23:01

【自学笔记】Hadoop基础知识点总览-持续更新

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Hadoop基础知识点总览1.Hadoop简介2.Hadoop生态系统3.HDFS（HadoopDistributedFileSystem
Long_poem·2025-03-05 22:24

深入浅出：UniApp 从入门到精通全指南

https://juejin.cn/post/7440119937644101684uni-app官网本文是关于UniApp从入门到精通的全指南，涵盖基础入门（环境搭建、创建项目、项目结构、编写运行）、核心概念与进阶知识（组件与开发、页面路由与导航、数据绑定与响应式原理、生命周期钩子）、电商应用开发（商品展示、购物车、订单结算等功能）、项目优化与部署（性能、安全优化及不同平台部署）、案例分析及总结
大胖丫·2025-03-05 20:39

spark hdfs 常用命令

lsrmgettext以下按照使用频率和使用先后顺序排序（纯个人习惯）ls列出hdfs文件系统路径下的目录和文件hdfsdfs-ls列出hdfs文件系统路径下所有的目录和文件hdfsdfs-ls-Rrmhadoopfs-rm
毛球饲养员·2025-03-05 11:19

Spark详解二

masterlocal[2]（local[2]是说，执行Application需要用到CPU的2个核）2、Standalone独立模式：Spark自带的一种集群模式Spark自己管理集群资源，此时只需要将Hadoop
卢子墨·2025-03-05 11:13

Spark基本命令

一、spark所在目录cdusr/local/spark二、启动spark/usr/local/spark/sbin/start-all.sh启动Hadoop以及Spark：bash.
chenworeng5605·2025-03-05 10:42

Spark是什么？可以用来做什么？

相比传统的HadoopMapReduce，Spark在速度、易用性和功能多样性上具有显著优势。
Bugkillers·2025-03-05 10:37

大数据面试临阵磨枪不知看什么？看这份心理就有底了-大数据常用技术栈常见面试100道题

目录1描述Hadoop的架构和它的主要组件。2MapReduce的工作原理是什么？3什么是YARN，它在Hadoop中扮演什么角色？4Spark和HadoopMapReduce的区别是什么？
大模型大数据攻城狮·2025-03-04 21:59

Spark使用Parqute存储方式有什么好处

列式存储：压缩效率和查询效率谓词下推存储层：查询数据块生态兼容性高：Spark，hadoop等都兼容
冰火同学·2025-03-04 21:27

初学者如何用 Python 写第一个爬虫？

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark
ADFVBM·2025-03-04 16:19

14个Flink SQL性能优化实践分享

本文将深入浅出地探讨FlinkSQL的常见性能问题、调优方法、易错点及调优技巧，并提供代码示例。1.常见性能问题1.1数据源读取效率低并行度不足：默认的并行度可能无法充分利用硬件资源。
快乐非自愿·2025-03-04 15:40

hadoop集群启动问题总结

首先，我们来尝试启动hadoop集群：start-all.sh然后，我遇到了下面的问题：Warning:Permanentlyadded'hadoop'(RSA)tothelistofknownhosts
@飞往你的山·2025-03-04 01:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他