玩转Hadoop

hadoop和hive的客户端安装与配置

1文件列表：hadoop_client.tar.gz（hadoop和hive的client环境）hadoop_java.tar.gz(java的环境)hadoop_python.tar.gz（python
yccn214·2025-05-11 17:57

Hadoop的客户端配置

1.下载eclipse2.下载与集群上版本号相同的hadoop压缩包解压然后配置环境变量HADOOP_HOME解压目录Path中添加%HADOOP_HOME%\bin3.在eclipse中建立Maven
奋斗的憨憨小S·2025-05-11 17:56

Hadoop生态系统：如何高效处理大规模数据集？

Hadoop生态系统：如何高效处理大规模数据集？大家好，我是Echo_Wish，今天我们聊聊大数据处理的核心技术——Hadoop生态系统。
Echo_Wish·2025-05-11 17:56

hadoop客户端该如何配置

Hadoop集群主要是由三部分组成的：主节点、从节点和客户端，即master、slave和client。我们在搭建hadoop集群的时候通常只考虑了主节点和从节点的搭建，却忽略了客户端。
huanbia·2025-05-11 17:24

Hadoop中的集群配置规划

对普通用户来说，Hadoop就是一个东西，一个整体，它能给我们提供无限的磁盘用来保存文件，可以使用提供强大的计算能力。但是，我们要把它搭建起起来，就必须要了解它的基本组成，知道它的内部分工。
End928·2025-05-11 17:22

内存、磁盘、CPU区别，Hadoop/Spark与哪个联系密切

在Hadoop/Spark中的表现：内存不足时，任务可能会频繁使用磁盘（即“溢写
大数据知识搬运工·2025-05-11 10:43

hive分桶表join_Hive:JOIN及JOIN优化 2015.10.25

1.Join的基本原理大家都知道，Hive会将所有的SQL查询转化为Map/Reduce作业运行于Hadoop集群之上。
贺叔·2025-05-11 09:07

Kubernetes Docker-in-Docker存储注意事项

鉴于在功能和性能上都表现良好，为我们开拓了一个权限的玩转Docker容器的思路。Docker容器是运行其他工具的非常有用的工具，因此将Docker容器作为另一个容器的
weixin_34378922·2025-05-11 00:38

Spark集群搭建之Yarn模式

简介SparkonYARN（YetAnotherResourceNegotiator）是Spark框架在Hadoop集群中运行的一种部署模式，它借助HadoopYARN来管理资源和调度任务模式分类Client
悻运·2025-05-10 17:21

《云计算》第三版总结

《云计算》第三版总结云计算体系结构云计算成本优势开源云计算架构Hadoop2.0Hadoop体系架构Hadoop访问接口Hadoop编程接口Hadoop大家族分布式组件概述ZooKeeperHbasePigHiveOozieFlumeMahout
冰菓Neko·2025-05-10 10:34

yarn的概述

1.Yarn的定义2.Yarn的三大组件3.Yarn的调度策略1.YARN的定义YARN（YetAnotherResourceNegotiator）是Hadoop生态系统中的一个资源管理框架，用于管理和调度集群中的计算资源
洋芋爱吃芋头·2025-05-10 08:22

大数据领域数据架构的分布式系统设计

大数据领域数据架构的分布式系统设计关键词：大数据、分布式系统、数据架构、Hadoop、Spark、数据分区、容错机制摘要：本文深入探讨大数据领域中的数据架构和分布式系统设计。
AI天才研究院·2025-05-10 05:00

启动hdfs报错：Attempting to operate on hdfs namenode as root but there is no HDFS NAMENODE USER defined.

问题：配置好了hadoop的文件一启动就发现报错造成原因：这个问题呢，其实还是你的配置文件配错了，有两个配置文件的问题：core-site.xml文件hadoop-env.sh文件这两个文件都是在hadoop
鸡哥爱技术·2025-05-10 02:12

Yarn-tool接口

Tool接口定义org.apache.hadoop.util.Tool是ApacheHadoop框架里的一个接口，其用途是协助开发可通过命令行运行的Hadoop应用程序。
夏天吃哈密瓜·2025-05-10 00:30

【JavaScript-Day 7】深入探索 JavaScript 中的数字 (Number) 与文本处理核心 (String)

Langchain系列文章目录01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南02-玩转LangChainMemory模块：四种记忆类型详解及应用场景全覆盖03-全面掌握LangChain
吴师兄大模型·2025-05-09 21:09

【Python-Day 11】列表入门：Python 中最灵活的数据容器 (创建、索引、切片)

Langchain系列文章目录01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南02-玩转LangChainMemory模块：四种记忆类型详解及应用场景全覆盖03-全面掌握LangChain
吴师兄大模型·2025-05-09 21:39

【hadoop】hadoop-daemon.sh

开启：hadoop-daemon.shstartnamenode关闭：hadoop-daemon.shstopnamenode
火龙谷·2025-05-09 10:56

《spark》

这是一篇关于Spark概述的文章，主要介绍了Spark的基本概念、与Hadoop的关系、核心模块以及运行模式。
快乐的蛋挞·2025-05-09 09:11

✍️【Vue组件通信全攻略】8种方式一网打尽，父子孙组件都能聊！

就像快递小哥如何在小区里送货，看完这篇让你轻松玩转组件聊天室！(•̀ω•́)✧一、为什么需要组件通信？
淺黙ベ·2025-05-09 07:36

Python面向对象编程：从入门到实战（手把手教你玩转类和对象）

一、为什么说面向对象是编程的"任督二脉"？（敲黑板）各位程序员小伙伴们！今天我们要聊的这个话题，绝对是你编程路上必须打通的"任督二脉"——Python面向对象编程！！！你可能听说过这些名词：类、对象、继承、多态…是不是感觉脑袋嗡嗡的？别慌！咱们今天就用最接地气的方式，把这些概念揉碎了讲明白。相信我，学完这篇，你会突然发现：“原来面向对象这么有意思！”二、类和对象：编程世界的"乐高积木"2.1什么是
binbinaijishu88·2025-05-09 06:25

hadoop的序列化

Hadoop中的序列化是指将数据转换为字节流的过程，以便在网络上传输或存储。Hadoop使用自定义的序列化和反序列化机制来处理大量的数据，这有助于在分布式环境中高效地进行数据传输和处理。
嘟嘟嘟嘟嘟嘟嘟.·2025-05-09 05:18

Java 与大数据：Hadoop 和 Spark 的完美集成

今天我们要一起探索Java世界里的大数据处理技术，特别是Hadoop和Spark如何集成在一起。无论你是初学者还是有经验的大数据开发者，这篇充满趣味和知识的文章都会让你收获满满！
墨瑾轩·2025-05-08 20:23

Spark和Hadoop之间的区别

1、HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
lucky_syq·2025-05-08 20:52

Spark和Hadoop之间的联系

（二）Hadoop概述Hadoop是一个由Apache基金会开发的开源的分布式系统基础架构，旨在处理大规
古拉拉明亮之神·2025-05-08 19:48

【深度学习-Day 7】精通Pandas：从Series、DataFrame入门到数据清洗实战

Langchain系列文章目录01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南02-玩转LangChainMemory模块：四种记忆类型详解及应用场景全覆盖03-全面掌握LangChain
吴师兄大模型·2025-05-08 18:37

【Python-Day 8】从入门到精通：Python 条件判断 if-elif-else 语句全解析

Langchain系列文章目录01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南02-玩转LangChainMemory模块：四种记忆类型详解及应用场景全覆盖03-全面掌握LangChain
吴师兄大模型·2025-05-08 17:05

【Spark】【第三章】 Spark运行环境

作为一个分布式数据处理框架和计算引擎，被设计在所有常见的集群环境中运行:1.本地模式所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境1.1本地模式的安装配置将spark-3.0.0-bin-hadoop3.2
败给你的黑色幽默丶·2025-05-08 14:41

大数据处理利器：Hadoop 入门指南

一、Hadoop是什么？——分布式计算的基石在大数据时代，处理海量数据需要强大的技术支撑，Hadoop应运而生。
widder_·2025-05-08 12:04

Hadoop集群配置（三节点）&& Hbase集群配置（三节点）保姆级步骤

️1.所有节点安装Hadoop虽然不使用完整的Hadoop，但HDFS仍然属于Hadoop组件，因此需要下载Hadoop并配置HDFS。
海洋猿·2025-05-08 12:33

如何对比某个表在Hive和Doris磁盘空间大小和Doris表如何优化存储空间保姆级教程(亲试可用）

目录一、如何查看某个表在Hive占用的磁盘空间大小1.使用DESCRIBEFORMATTED查询2.使用HDFS命令查看目录大小3.使用hadoopfs-du命令二、如何查看某个表在Doris占用的磁盘空间大小
大模型大数据攻城狮·2025-05-08 12:32

大数据技术全景解析：Spark、Hadoop、Hive与SQL的协作与实战

本文将通过通俗类比+场景化拆解，带你深入理解四大关键技术：Hadoop、Hive、Spark和SQL，揭秘它们如何像“仓储-物流-管理”系统一样协同工作。
V文宝·2025-05-08 12:32

hadoop中的序列化和反序列化（2）

2.为什么需要序列化序列化在分布式系统中非常重要，尤其是在Hadoop这样的大数据处理框架中。以下是序列化的主要用途：数据存储：将对象持久化到磁盘文件中。网络传输：将对象通过网络发送到其他节点。
洋芋爱吃芋头·2025-05-08 12:31

spark读取mongodb数据配置

/omrapollo/article/details/66968147引入依赖创建方法见上一篇博客：Spark+IntelliJIDEA创建项目引入如下依赖：实现代码importorg.apache.hadoop.conf.Configurationimportorg.apache.log4j
Maximilian_M·2025-05-08 09:41

数据分析项目中的关键技术与工具

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-05-08 03:12

大数据毕业设计PySpark+Hadoop航班延误预测系统 航班可视化

（2）意义提高乘客购票决策：基于Hadoop的飞机票价格预测能够提供乘客准确的价格预测信息，帮助他们选择合适的购票时间和最优的价
QQ21503882·2025-05-08 01:24

《大数据： Spark Standalone 模式配置历史服务器》

8081虽然能看到日志和结果，但是体验非常差2.spark-shell本身就是客户端模式，这个是改不了为cluster模式，并且运行时候日志打印是有，但是一旦退出了再也没地方看到日志了yexiang@hadoop2
HarkerYX·2025-05-08 00:52

Spark 配置历史服务器

类似Hadoop，Spark也有自己的historyserver，这里我们就来配置下：修改spark-defaults.conf.template文件名为spark-defaults.confmvspark-defaults.conf.templatespark-defaults.conf
涵sir·2025-05-08 00:51

spark配置历史服务

Logcpspark-defaults.conf.templatespark-defaults.conf在spark-defaults.conf文件中,添加如下内容:spark.eventLog.enabledtruespark.eventLog.dirhdfs://hadoop213
都教授2000·2025-05-08 00:51

Spark集群搭建之Yarn模式

什么是SparkONYarn模式SparkonYARN（YetAnotherResourceNegotiator）是Spark框架在Hadoop集群中运行的一种部署模式，它借助HadoopYARN来管理资源和调度任务
lix的小鱼·2025-05-07 23:46

✍️【TS类型体操进阶】挑战类型极限，成为类型魔法师！[特殊字符]♂️✨

今天我们要玩转TS类型体操，让你的类型系统像体操运动员一样灵活优雅~学会这些绝招，保准你的代码类型稳如老狗！（文末附类型体操段位表）一、什么是类型体操？
淺黙ベ·2025-05-07 22:09

【深度学习-Day 2】图解线性代数：从标量到张量，理解深度学习的数据表示与运算

Langchain系列文章目录01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南02-玩转LangChainMemory模块：四种记忆类型详解及应用场景全覆盖03-全面掌握LangChain
吴师兄大模型·2025-05-07 14:44

Spark应用部署模式实例

Local模式新启动一个终端SparkSubmit#pyspark命令启动的进程，实际上就是启动了一个Spark应用程序SparkStandalone模式讲解：6321SecondaryNameNode#hadoop
qrh_yogurt·2025-05-07 14:43

Spark读取HDFS加密区数据乱码问题解决

spark程序代码如下System.setProperty("HADOOP_USER_NAME","user1")valspark=SparkSession.builder().master("local
蹩脚法师·2025-05-07 11:58

虚拟机启动hdfs、spark命令

说明：用的案例是一个master，两个worker，开启三台虚拟机的情况，已配置好hadoop和spark。
一只菜鸟A·2025-05-07 11:28

通过proxy实现外部网络访问Docker集群内部服务

由于在本地搭建了dockerhadoop集群，要想通过docker容器端口映射的方式访问多个服务节点的状态实在麻烦，并且需要为每个服务分配唯一的端口。
楓葉也·2025-05-07 10:50

揭秘大数据 | 16、OLAP 那些事儿

OLAP阵营主要有两大主流，一大主流是基于MapReduce而构建的Hadoop生态圈，另一大主流是MPP数据库阵营。
XAI嬴图·2025-05-07 09:44

【大数据】服务器上部署Apache Paimon

Hadoop或对象存储（可选）:如果需要将数据存储到分布式文件系统（如HDFS）或云存储（如AWSS3），请提前配
大数据追光猿·2025-05-07 09:43

Spark，所用几个网页地址

hadoop的三大组成：1.HDFS：存储。文件上传，下载2.MapReduce：计算。
Amu_Yalo·2025-05-07 07:33

二、Hadoop狭义和广义的理解

作者：IvanCodes日期：2025年5月6日专栏：Hadoop教程Hadoop的双重身份：核心框架与生态系统在大数据领域，Hadoop是一个广为人知的概念，但它并非单指某一个软件，而是涵盖了两个层面的含义
IvanCodes·2025-05-06 20:55

年轻人秒懂的 Go-Spring 配置秘籍

写配置不再痛苦，让我们一起轻松玩转！
·2025-05-06 15:51
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他