-----Hadoop

手把手教你搭建 Hadoop Namenode 高可用集群（HA）

路径一致性：所有节点的Hadoop安装路径、数据目录需完全一致。端口冲突：检查9820、9870、8485等端口是否被占用。ZooKeeper集群：确保ZK集群稳定运行，至少3个节点避免脑裂。
线条1·2025-05-21 12:27

hadoop集群搭建-克隆虚拟机，安装jdk，hadoop

2.2hadoop运行环境的搭建2.2.1环境准备1）安装模板虚拟机，IP地址192.168.10.100，主机名hadoop100，内存41GB，硬盘50GB2）虚拟机配置首先测试虚拟机是否可以正常上网
花不完根本花不完·2025-05-21 11:16

spark自定义分区器实现

为了使得资源的合理布置我们会进行重分区，根据spark内部提供的分区器HashPartitioner&RangePartitioner，我们也可以实现自定义不bb了：testcase：用如下数据做wordcount实现自定义分区hadoop
盈欢·2025-05-21 00:39

HDFS分布式文件系统

HDFS（HadoopDistributedFileSystem）是ApacheHadoop框架的核心组件之一，是一种分布式文件系统，专为处理大规模数据集在廉价硬件上运行而设计。
Wlq0415·2025-05-20 00:03

Hive数据库操作

createdatabasechengzhi;如果出现如下错误：hive>createdatabasedb_hive;FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.Databasedb_hivealreadyexiSts
干饭小龚·2025-05-19 22:20

梦开始的地方（Java）

Java能干啥：手机游戏，安卓开发，桌面游戏开发，大数据分析平台（Hadoop）。
漂泊老猫·2025-05-19 19:56

【人工智能】Hadoop和Spark使用教程

目录一、Hadoop使用教程1.1安装Hadoop1.2启动Hadoop服务1.3使用HDFS1.4编写MapReduce程序二、Spark使用教程2.1安装Spark2.2启动Spark服务2.3使用
大雨淅淅·2025-05-19 06:29

HDFS与MapReduce

HDFS（HadoopDistributedFileSystem）和MapReduce是ApacheHadoop生态系统中的两个核心组件，它们共同支持大规模数据处理和存储。
CoderIsArt·2025-05-18 22:09

【MapReduce】一个完整MR程序案例教你如何用IDEA打包及运行

我们假设已经安装配置好了Hadoop。我们要做的就是在IDEA里写MapReduce代码并打包后放到我们的集群上执行。
大数据技术部落·2025-05-18 21:09

Standalone模式介绍

SparkStandalone是ApacheSpark自带的集群管理器，无需依赖外部系统（如HadoopYARN或Kubernetes），可直接部署Spark集群。
姬激薄·2025-05-18 21:36

mapreduce

（一）MapReduce基本介绍MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
懒羊羊大王-O·2025-05-18 21:06

MapReduce打包运行

例如，一个简单的WordCount程序：javaimportjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration
姬激薄·2025-05-18 21:36

【ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializi】HBase单机模式意外退出导致后续创建崩溃的解决方法

错误提示信息如下ERROR:org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializing错误背景错误原因：按照林子雨的大数据教程搭建好
一只程序猿林·2025-05-18 20:58

Hive组成架构和工作原理

  ApacheHive是一个基于Hadoop的数据仓库工具，主要用于处理和分析大规模结构化数据。
Cynthiaaaaalxy·2025-05-18 19:18

运行一个mapreduce实例

importjava.io.IOException;importjava.util.Iterator;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration
有梦想的人运气不太差·2025-05-18 08:35

Hadoop之MapReduce命令

概述所有的Hadoop命令都通过bin/mapred脚本调用。在没有任何参数的情况下，运行mapred脚本将打印该命令描述。
iteye_14970·2025-05-18 08:32

SparkSQL操作Mysql

（一）准备mysql环境我们计划在hadoop001这台设备上安装mysql服务器，（当然也可以重新使用一台全新的虚拟机）。
心碎土豆块·2025-05-18 07:59

hadoop中创建MySQL新数据库数据表

在Hadoop环境中创建MySQL数据库和数据表，通常需要通过MySQL命令行工具来完成，而不是直接在Hadoop中操作。以下是具体步骤：1.登录MySQL首先，需要登录到MySQL服务器。
rylshe1314·2025-05-18 04:31

在Hadoop上实现分布式深度学习

在Hadoop上实现分布式深度学习引言随着大数据和深度学习的快速发展，分布式深度学习已成为当前研究和应用领域的热点。
小村学长毕业设计·2025-05-18 00:37

快速部署Hadoop+MySQL+Hive+Spark的集群

这里我们在克隆后的克隆机上需要重新修改成对应的主机名）（3）、使用setup命令配置网络环境（这里我们在克隆后的克隆机上需要重新修改成对应的主机ip）（4）、关闭防火墙二、配置hosts文件列表三、安装JDK四、Hadoop
会飞的胖猪胖·2025-05-17 16:41

什么是SparkONYarn模式

SparkonYARN是ApacheSpark的一种部署模式，允许Spark应用程序在HadoopYARN集群上运行，充分利用YARN的资源管理和调度能力。
姬激薄·2025-05-17 14:20

配置Hadoop集群-配置历史和日志服务

完成Hadoop集群配置后，需要进行全面测试以验证其功能和性能。
姬激薄·2025-05-17 14:50

Hadoop的组成，HDFS架构，YARN架构概述

Hadoop的组成Hadoop1.X时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。
计算机人哪有不疯的·2025-05-17 05:50

spark基础介绍

Hadoop是一个分布式系统基础架构。
满分对我强制爱·2025-05-16 16:47

安装Hadoop并运行WordCount程序

（一）asdfghjklx在虚拟机上安装java来，我们先给虚拟机上安装javaJDK。注意，后面我们会按照如下步骤来操作有：1.把javaJDK文件上传到服务器上。2.解压文件。3.配置环境变量。来，分别操作如下：1.上传文件到虚拟机。用FinalShell传输工具将JDK导入到opt目录下面的software文件夹下面(opt/software文件夹是我们自己创建的)\2.解压文件。把刚才创建
凹凸曼暴打小怪兽·2025-05-16 14:33

sqoop到数据到mysql报错_hadoop sqoop 同步hive数据到mysql报错 classnotfound

环境下，用sqoop导出mysql数据，然后再导入hive，成功用sqoop同步hive数据到mysql失败，求大神答疑：1.hive下有一个表testamysql下有一个表testa结构一样2.版本hadoop2.6CDH5.4.4sqoop1.4.5
Sinaean Dean·2025-05-16 07:45

hbase shell的常用命令

一、hbaseshell的基础命令#版本号查看[root@Test-Hadoop-NN-01hbase]$.
Pluto_CSND·2025-05-16 07:43

hadoop

1.Hadoop的三大结构及各自的作用•HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）◦作用：提供高可靠、高吞吐量的海量数据存储服务。
薇晶晶·2025-05-16 07:12

Spark on YARN 环境搭建

server/spark/confcpspark-env.sh.templatespark-env.shvim/export/server/spark/conf/spark-env.sh添加以下内容:HADOOP_CONF_DIR
傻么老幺·2025-05-15 23:46

hadoop知识点

（一）复制和移动1.复制文件格式：cp源文件目标文件示例：把filel.txt复制一份得到file2.txt2.复制目录格式：cp-r源文件夹目标文件夹示例：把目标dir1复制一份得到dir23.重命名和移动格式：mv源文件目标文件重命名操作：mvfile.txtnewfile.txt移动操作：mvfile,txtnewdir/file.txt（二）查看文件内容1.cat命令2.more命令ent
薇晶晶·2025-05-15 18:10

Hadoop和Spark生态系统

二、NodeManager1.来源：HadoopYARN的工作节点服务
富能量爆棚·2025-05-15 05:11

hadoop的三大结构及各自的作用

1.HDFS（HadoopDistributedFileSystem）结构：NameNode：是HDFS的主节点，负责管理文件系统的元数据（如文件和目录的结构、文件块的存储位置等）。
只因只因爆·2025-05-15 05:10

Yarn-tool接口2

前面我们学习了相关的理论，接下来，我们开始去解决开头提出的问题（五）Tool接口改进代码（1）新建Maven项目YarnDemo，并设置pom.xml如下：4.0.0com.atguigu.hadoopyarn_tool_test1.0
满分对我强制爱·2025-05-15 01:17

Apache Hadoop--集群部署

知识点01：ApacheHadoop–概述与起源发展1.1、Hadoop介绍狭义上：hadoop指的是Apache一款java开源软件，是一个大数据分析处理平台。HadoopHDFS：分布式文件系统。
狂野虎蛋·2025-05-14 19:02

分区器和序列化

参考代码如下：importorg.apache.hadoop.io.T
七七-d·2025-05-14 19:58

配置Hadoop集群-上传文件

下面我们来看具体操作：打开hadoop100:9870,点击上传，选择我们需要上传的文件（建议选择一个简单的文本文件）,上传之后的结果如下：命令格式如下：hadoopfs-put要上传的文件目标位置下面
七七-d·2025-05-14 19:58

spark读文件忽略第一行_Spark 核心概念与操作

它的优势有三个方面：通用计算引擎能够运行MapReduce、数据挖掘、图运算、流式计算、SQL等多种框架；基于内存数据可缓存在内存中，特别适用于需要迭代多次运算的场景；与Hadoop集成能够直接读写HDFS
weixin_39569894·2025-05-14 16:14

如何使用scp命令拉取其他虚拟机中文件

使用scp拉取其他虚拟机文件的核心语法：bashscp目标主机用户@目标主机IP:源文件路径本地保存路径示例：-从hadoop101拉取/data/log.txt到本地/tmp：bashscphadoop
Freedom℡·2025-05-14 16:38

hadoop3.x单机部署

jdkhadoop3.x需要jdk8以上的版本hadoop3.x从官网下载对应的tar.gz文件配置环境变量vim/etc/profile#需要替换为自己的安装地址！！！
江喜原·2025-05-14 09:24

spark和Hadoop之间的对比和联系

Hadoop是一个分布式系统基础架构。
lix的小鱼·2025-05-14 08:51

大数据技术之Hadoop(十)——Sqoop数据迁移

目录一、Sqoop概述1、Sqoop认识2、Sqoop原理（1）导入原理（2）导出原理二、Sqoop安装配置1、下载安装2、MySQL配置启动3、配置Sqoop环境4、Sqoop效果测试三、Sqoop数据导入1、MySQL表数据导入HDFS2、MySQL表数据增量导入HDFS3、MySQL表数据导入Hive4、MySQL表数据子集导入四、Sqoop数据导出参考书籍一、Sqoop概述1、Sqoop认
雨诺风·2025-05-14 08:20

大数据领域Hadoop的多集群部署方案

大数据领域Hadoop的多集群部署方案关键词：大数据、Hadoop、多集群部署、分布式系统、数据处理摘要：本文聚焦于大数据领域中Hadoop的多集群部署方案。
AI天才研究院·2025-05-14 08:50

Hadoop与HBase集群数据迁移问题及解决方案

在大数据领域中，Hadoop和HBase是两个常用的开源技术，用于处理大规模数据和实时查询。
GnabVue·2025-05-14 07:46

spark基本介绍

以下是其核心要点：核心特点1.内存计算：数据可驻留内存，大幅提升迭代计算（如机器学习、图计算）效率，比HadoopMapReduce快数倍至数十倍。
祈533·2025-05-13 23:49

搭建Hadoop平台（六）（实时更新，随时有新内容，注意多多查看）

:start-dfs.sh和start-yarn.sh来分别启动hdfs平台和yarn平台*/在mapreduce上运行内置程序1.配置环境变量1.进入到相关路径也可以这样直接引用环境变量的方式进入到hadoop
Patrick_kafka·2025-05-13 20:32

Yarn-tool接口

（二）Tool接口定义org.apache.hadoop.util.Tool是ApacheHadoop框架里的一个接口，其用途是协助开发可通过命令行运行的Hadoop应用程序。
小白的白是白痴的白·2025-05-13 13:44

pyspark on yarn 配置

1yarn模式出错pysparkonyarn在pycharm上执行出现以下问题：解决方案：在程序最前面添加如下程序importosos.environ["HADOOP_CONF_DIR"]="/opt/
强强0007·2025-05-13 12:40

Spark基础介绍

Hadoop是一个分布式系统基础架构。
小白的白是白痴的白·2025-05-13 12:35

安装Hadoop并运行WordCount程序

（一）asdfghjklx在虚拟机上安装java来，我们先给虚拟机上安装javaJDK。注意，后面我们会按照如下步骤来操作有：1.把javaJDK文件上传到服务器上。2.解压文件。3.配置环境变量。来，分别操作如下：1.上传文件到虚拟机。用FinalShell传输工具将JDK导入到opt目录下面的software文件夹下面(opt/software文件夹是我们自己创建的)2.解压文件。把刚才创建的
2401_84653595·2025-05-13 09:19

ssh免密 linux 极简教程

解决hadoop集群ssh免密登录通信问题1、家目录/home/xxx/.ssh文件夹下[xxx@hadoop201~]$cd/home/xxx/.ssh2、生成公钥和私钥：[xxx@hadoop201
青瓜先生·2025-05-13 07:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他