hadoop2 第8页

Hadoop HA集群两个NameNode都是standby或者主NameNode是standby，从NameNode是active的情况集锦

文章目录背景架构HDFSHA配置错误原因解决方案方案一方案二方案三（首先查看自己各参数文件是否配置出错）后记补充failovertransitionToActive常用端口号及配置文件常用端口号hadoop3.xhadoop2

想你依然心痛·2023-08-18 07:54

Window 安装Hive

基本环境资源Hadoop:2.7.XHive:2.1.X.bin.tar.gz版本Hive:1.x.src.tar.gz源码版本第一步：windows安装Hadoop2.7.x,请参考：第二步：下载Hive.tar.gz

在奋斗的大道·2023-08-17 09:29

Hive环境搭建（保姆级教程）

目录一、Hive简介二、Hive环境安装1.准备工作1）安装Hadoop2）安装MariaDB（1）查看MariaDB安装情况（2）卸载MariaDB/MySQL（3）安装MariaDB（4）简单配置MariaDB

JJustRight·2023-08-17 06:57

【原创 Hadoop&Spark 动手实践 3】Hadoop2.7.3 MapReduce理论与动手实践

开始聊MapReduce，MapReduce是Hadoop的计算框架，我学Hadoop是从Hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架

weixin_33812433·2023-08-14 14:09

Spark+hadoop环境配置

1.下载安装包虚拟机jdk-1.8scalasparkHadoop2.安装虚拟机和Linux3.配置jdk4.配置Hadoop4.1Hadoop单机配置5.安装scala6.配置spark7.spark

尊尊123·2023-08-13 16:40

Hadoop-3.1.3（七）YARN

hadoop2.x中，改变了JobTracker的工作机制只负责资源的调度，这样的设计方式减了JobTracker的工作负载，从而可以更专注的处理资源分配

_大叔_·2023-08-12 16:16

使用IDEA本地调试MapReduce程序

演示环境基于Hadoop2.6.5；启动HDFS与YARN高可用集群环境，可参考以下两篇博客：从0开始搭建Hadoop2.x高可用集群（HDFS篇）从0开始搭建Hadoop2.x高可用集群（YARN篇）

NickZxing·2023-08-11 08:12

Hadoop2学习路程-HDFS

什么是HadoopHDFS?Hadoop分布式文件系统是世界上最可靠的文件系统。HDFS可以再大量硬件组成的集群中存储大文件。它的设计原则是趋向于存储少量的大文件，而不是存储大量的小文件。即使在硬件发生故障的时候，HDFS也能体现出它对数据存储的可靠性。它支持高吞吐量的平行访问方式。HDFS的介绍源自于Google的GFS论文发表于2003年10月HDFS是GFS克隆版，HDFS的全称是Hadoo

Q75999·2023-08-10 09:48

Hadoop中常用端口说明和相关配置文件

2.1配置文件分类2.2默认配置文件2.3自定义配置文件core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml1.Hadoop中常用端口说明端口名称Hadoop2

广阔天地大有可为·2023-08-10 05:01

pyspark报错:FileNotFoundError: [WinError 2] 系统找不到指定的文件。

解决问题（以idea为例）:1，确认安装spark(例如本人安装的spark-2.2.0-bin-hadoop2.7)，如果没有安装的话去spark官网下载一个，并解压即可。

丑图高手·2023-08-09 04:24

Scala日志SLF4J配置

Scala日志配置scala的日志与java的基本相同，看到网上一篇入门讲解的非常详细java日志使用记录log4j使用总结,作者是习翔宇Spark默认的日志配置文件路径在spark-2.1.1-bin-hadoop2.7

巴拉巴拉朵·2023-08-08 17:45

mapreduce

aA518189/article/details/80020857MapReduce核心原理与使用https://blog.csdn.net/aA518189/article/details/79931360hadoop2.0

在路上很久了·2023-08-08 13:08

大数据学习笔记

大数据学习笔记一.概念1.传统数据处理架构2.有状态的流处理二.批处理与流处理1.批处理2.流处理三.大数据软件生态1.Hadoop2.Spark3.Flink一.概念大数据（BigData）指无法在一定时间范围内用常规软件工具进行捕捉

smilinggg·2023-08-07 04:59

flink on yarn 测试环境搭建

flinkonyarn测试环境搭建软件版本hadoop2.7.3flink0.8.0jdk-8u171-linux-x64tar-zxvfjdk-8u171-linux-x64.tar.gzmvjdk1.8.0

长名字可以让你朋友更容易记住你·2023-08-07 00:23

Yarn是个什么玩意

在hadoop1.0中有一些弊端，比如hdfs元数据信息保存的单节点故障，并且任务计算框架只能使用mapreduce，而且造成了任务管理器的压力过大，因此在hadoop2.0中加入了yarn资源统一管理的机制

乌拉乌拉儿·2023-08-06 22:04

linux搭建pyspark环境，本地pycharm使用远程连接

环境准备：python3.6jdk1.8spark-2.3.4-bin-hadoop2.7Downloads|ApacheSpark#java安装mkdir/apps/jdktarxvzfjdk-8u251

yuxj记录学习·2023-08-06 11:07

Kettle8.2实现抽取文件到Hive

Kettle8.2实现抽取文件到Hive一、Hadoop2.7.3安装（安装略）二、Hive的安装及准备工作1、Hive的安装（本地模式）2、启动hiveserver2服务3、创建weblogs表三、案例演示

若兰幽竹·2023-08-05 08:35

Hadoop2.7.3全分布式环境搭建

Hadoop2.7.3全分布式环境搭建一、准备工作二、在主节点上进行安装配置（niit01）三、分发到从节点四、在主节点(niit01)上启动五、验证结果说明：完成Hadoop全分布式环境搭建，需准备至少

若兰幽竹·2023-08-05 08:35

Kettle8.2与Hadoop2.7.3集成

Kettle8.2与Hadoop2.7.3集成一、Hadoop伪分布式安装二、Kettle的配置三、案例演示说明：环境：Windows+虚拟机操作系统：CentOS7Hadoop版本及模式：Hadoop2.7.3

若兰幽竹·2023-08-05 08:04

[最新安全稳定，自带haddop生态]Hadoop伪分布式ubuntu虚拟镜像

yasuo626·2023-08-05 01:34

spark on ACK

构建sparkdocker镜像下载spark-2.4.8-bin-hadoop2.7.tgzNote:这里下载spark包一定不是能是withouthadoop的。

迷茫_小青年·2023-08-04 20:33

四、Yarn

随着大数据的发展，Hadoop2将MapReduce中关于资源调度的内容分离了出来，并做成了一个独立的分布式集群的资源调度框架，也就是Yarn。

阿文灬·2023-08-04 19:21

HDFS文件块大小

HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M–如果寻址时间约为10ms，即查找到目标block的时间维

Link_999·2023-08-04 01:58

HDFS集群滚动升级以及回滚相关

注：从hadoop2.4.0开始才支持滚动升级因此为了在不停机的情况下升级hdfs集群，必须使用HA设置集

fiveym·2023-08-02 04:07

《大数据开发》环境安装

Storm环境安装（Storm）Zookeeper环境安装（Zookeeper）Hbase环境安装（HBase）Hive环境安装（Hive）Kafka环境安装（Kafka）Flume环境安装（Flume）Hadoop2.0

Steve_Abelieve·2023-08-01 12:10

大数据开发学习笔记——HA简介

单点故障---解决hahadoop2.x之后，Cloudera提出了QJM/QuromJournalManager，这是一个基于Paxos算法实现的HDFSHA方案，它给出了一种较好的解决思路和方案,示意图如下

卿卿老祖·2023-08-01 02:11

hadoop部署配置

端口名称Hadoop2.xHadoop3.xNameNode内部通信端口8020/90008020/9000/9820NameNodeHTTPUI500709870MapReduce查看执行任务端口80888088

yyyyjinying·2023-08-01 01:23

wordcount

安装pyspark通过拷贝pyspark包安装源目录：D:\software\spark-2.2.0-bin-hadoop2.6\python\pyspark目标目录：D:\software\Anaconda3

一只特立独行的猪1991·2023-07-30 21:31

MacOS 安装启动Hadoop

1.安装jdk2.安装hadoop(1)将hadoop2.8.4的安装包解压到指定文件夹：tar-zxvfhadoop-2.8.4.tar.gz-C/Users/macbook/Documents/hadoop

Movle·2023-07-30 09:53

Hadoop调度器

Hadoop2.X默认的资源调度器是容量调度器。

scott_alpha·2023-07-30 05:43

HDFS数据写入流程详解

下面以300m文件写入hadoop2.x为例，详细讲解HDFS数据写入的详细过程。

amingo_ss·2023-07-27 11:53

搭建基于 HDFS 碎片文件存储服务

在Hadoop2.x版本中默认大小是128M，一般将1M的文件定义为碎片文件，该类文件如果需要存储到HDFS中的话，需要合并成一个大文件存储在HDFS中的一个块中，这样可以节约存储空间。

无良人斜杆人生·2023-07-27 03:26

Hadoop 之 Spark 配置与使用（五）

Hadoop之Spark配置与使用一.Spark配置1.Spark下载2.单机测试环境配置3.集群配置二.Java访问Spark1.Pom依赖2.测试代码1.计算π三.Spark配置Hadoop1.配置Hadoop2

猪悟道·2023-07-26 06:14

大数据hadoop生态体系之hadoop安装配置(8)

装系统软件介绍：虚拟机：VMware®Workstation15Pro操作系统：centos7.6jdk版本：jdk1.8hadoop软件包：hadoop2.7.41.jdk的安装配置1>直接下载jdk1.8

welun·2023-07-25 21:27

HDFS的文件块大小（重点）

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。

bankq·2023-07-25 17:51

Hadoop生态体系-HDFS

目录标题1、ApacheHadoop2、HDFS2.1设计目标：2.2特性：2.3架构2.4注意点2.5HDFS基本操作2.5.1shell命令选项2.5.2shell常用命令介绍3、HDFS基本原理3.1NameNode

海星？海欣！·2023-07-25 17:17

hive2.3.7安装部署-问题：show databases；没反应

目录一、安装包准备二、安装mysql三、hive安装四、hive启动五、问题环境：CentOS7.2.xx、hadoop2.6.4、jdk1.8.0xx、mysql-5.7.38hive是基于Hadoop

lurenyi168·2023-07-25 12:10

利用Docker快速部署hadoop、hive和spark

stop.sh一、配置文件yml1.docker-compose.ymlversion:'3.4'services:namenode:image:test/hadoop-namenode:1.1.0-hadoop2.8

绝域时空·2023-07-25 12:55

大数据学习04-Hbase分布式集群部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5一、下载HBASE官网cd/home/toolswgethttps://archive.apache.org

小火柴012·2023-07-25 10:59

大数据学习05-Kafka分布式集群部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5本次实验使用版本kafka_2.12-3.0.0一、安装Kafka官网将安装包上传至linux服务器上解压

小火柴012·2023-07-24 15:11

Hadoop 之分布式集群配置与使用（三）

Hadoop之分布式集群一.集群实例创建二.配置1.创建三个虚拟机（Anolis）1.修改HostName2.配置免密登录，配置前2.配置命名节点1.在nd1/nd2部署hadoop2.配置3.查看集群信息三

猪悟道·2023-07-24 15:22

Spark的安装部署和客户端使用

/spark.apache.org/downloads.html通过工具上传Spark压缩包解压Spark[hadoop@mastersoftware]$tarzxvfspark-2.4.1-bin-hadoop2.7

shairvin·2023-07-24 02:11

使用sqoop将hive数据库导入至mysql

厦大数据库实验室操作前准备数据数据放在/usr/local/data/comment.csv数据来源于：AmazonReviews:UnlockedMobilePhones|Kaggle大数据开发环境软件版本hadoop2.7mysql5.7hive2.1.0

思想在拧紧·2023-07-22 14:55

【基本功】Spark常用参数详解

一、Hadoop&Hive&Spark官方文档官网文档永远是最好的指导手册hive1.2.1参数配置官方文档spark2.2参数配置官方文档/sparksql参数配置文档/spark最新版本官方文档hadoop2.7.1

小马过河@大数据·2023-07-22 14:41

windows本机搭建Hadoop环境

记录一下整个过程：一、下载Hadoop安装包官网下载Hadoop2.6，并配置相关环境变量，自行百度下载hadooponwindows-master.zip，能支持Hadoop能在Windows运行的工具

paopaodaxia·2023-07-22 10:21

MAC单机版本Pyspark运行

a.进入spark安装路径cd/Users/jingwang/Documents/tools/spark-2.1.1-bin-hadoop2.7b.进入交互式环境bin/pyspark如果你已经在环境变量中设置交互式环境为

大林_·2023-07-22 08:32

Hadoop: High Available

序言在Hadoop2.X以前的版本，NameNode面临单点故障风险（SPOF），也就是说，一旦NameNode节点挂了，整个集群就不可用了，而且需要借助辅助NameNode来手工干预重启集群，这将延长集群的停机时间

cuiyaonan2000·2023-07-20 13:35

hadoop基础选择题

1.Hadoop2.x中，DataNode中默认的块配置的大小是（）MBA128B64C256D1025A.正确，Hadoop2.0中，HDFS默认的块大小是128MB，所以，比如2MB,7MB或9MB

奇异的喵星人pip·2023-07-20 00:52

spark on yarn 配置及异常解决

转载请务必注明原创地址为：https://dongkelun.com/2018/04/16/sparkOnYarnConf/前言YARN是在Hadoop2.0中引入的集群管理器，它可以让多种数据处理框架运行在一个共享的资源池上

董可伦·2023-07-19 11:25

推荐频道

hadoop2