historyServer

Spark基础笔记之启动命令顺序

系统环境（三台虚拟机）node1192.168.32.101（主）node2192.168.32.102node3192.168.32.1031、启动hdfs、yarn、historyserver（hadoop
java刘先生·2025-06-01 05:56

Spark 配置历史服务器

类似Hadoop，Spark也有自己的historyserver，这里我们就来配置下：修改spark-defaults.conf.template文件名为spark-defaults.confmvspark-defaults.conf.templatespark-defaults.conf
涵sir·2025-05-08 00:51

Spark，所用几个网页地址

词频统计，流量统计3.YARN：调度HistoryServer网址：192.168.56.100:18080HDFS的NameNode网址：http://hadoop100:9870YARN的ResourceManager
Amu_Yalo·2025-05-07 07:33

Flink on k8s之historyServer

1.FlinkHistoryServer用途HistoryServer可以在Flink作业终止运行（Flink集群关闭）之后，还可以查询已完成作业的统计信息。
卤蛋x001·2024-02-06 06:54

Hive基本操作

在所有操作前先启动hdfs、yarn、historyserver。
明明德撩码·2024-02-02 11:19

搭建大数据平台常用的端口号

yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark基于standalone的提交任务的端口号8081：worker的webUI的端口号18080：historyServer
修勾勾L·2024-01-27 13:51

MapReduce配置 & YARN集群部署

mapred-env.sh；添加如下配置#设置jdk路径exportJAVA_HOME=/opt/module/jdk#设置JobHistoryServer进程内存为1GexportHADOOP_JOB_HISTORYSERVER_HEAPSIZE
%HelloWorld%·2024-01-24 13:28

hadoop historyserver启动，无法访问，查看报错等问题

hadoophistoryserver启动，无法访问，查看报错等问题1、historyserver无法启动2、historyserver已启动，可以看到进程，web无法访问url3、historyserver
这都不是事er·2024-01-13 10:07

十六、YARN和MapReduce配置

部署说明（3）集群规划2、修改配置文件MapReduce（1）修改mapred-env.sh配置文件exportJAVA_HOME=/export/server/jdkexportHADOOP_JOB_HISTORYSERVER_HEAPSIZE
弦之森·2023-12-16 01:55

11、Flink配置flink-conf.yaml详细说明（HA配置、checkpoint、web、安全、zookeeper、historyserver、workers、zoo.cfg）

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基
一瓢一瓢的饮 alanchan·2023-12-15 21:14

Spark系列-5、Spark的部署方式之Spark on YARN

大数据系列文章目录官方网址：http://spark.apache.org/、https://databricks.com/spark/about目录前言属性配置设置环境变量历史服务MRHistoryServer地址历史服务HistoryServer
技术武器库·2023-11-30 03:21

一次azkaban-exec某个节点不执行任务的问题总结复盘

1、问题描述先说下我们生产环境的部署情况azkaban-exec部署在prod11、prod12两台机器上，这两台都是物理机，同时还不部署了namenode、resourcemanafer、historyserver
Java小田·2023-11-28 21:24

spark 配置historyserver进程 报错 org.apache.spark.deploy.history.HistoryServer

报错查看日志文件发现原因是因为我们这里配置的存储目录和hadoop的core-site.xml的defaultFS配置不匹配造成的，修改成相同就可以了
生于忧患丶·2023-11-09 20:12

flink实战--HistoryServer配置与应用

页面最多也只能查看JobManager的日志了，像检查点，处理的数据量，水印等指标如果没有Metrics监控，那么很遗憾这些信息就丢失了，对我们分析flink任务出现的bug，异常退出的原因很不友好，此时flink的HistoryServer
阿华田512·2023-11-09 05:58

jps process information unavailable

processinformationunavailable2225QuorumPeerMain30210Worker2306DataNode30914--processinformationunavailable2995HistoryServer30917
金刚_30bf·2023-11-05 20:29

ubuntu16.04 spark连接hadoop配置

1.spark配置historyserver2.hadoop配置yarn3.hadoop添加配置cd/usr/share/hadoop/hadoop-2.7.7/etc/hadoop配置yarn-site.xmlsudovimyarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-service
WJXZ·2023-10-18 13:05

启动spark历史服务失败问题处理

报错[root@managerfile]#$SPARK_HOME/sbin/start-history-server.shstartingorg.apache.spark.deploy.history.HistoryServer
泊涯·2023-09-21 23:52

Spark History Server 架构原理介绍

HistoryServer启动后，会监听一个端口，同时启动两个定时任务线程，分别用来解析eventLog日志文件
疯狂的哈丘·2023-08-29 06:48

flink開啟歷史服務器

flink開啟歷史服務器在flink-conf.yaml配置文件添加如下配置#HistoryServer#================================================
m0_37759590·2023-08-26 13:17

Hadoop学习指南：探索大数据时代的重要组成——Hadoop运行模式(下）

hadoop102启动历史服务器4）查看历史服务器是否启动5）查看JobHistory2.7配置日志的聚集1）配置yarn-site.xml2）分发配置3）关闭NodeManager、ResourceManager和HistoryServer4
老虎也淘气·2023-08-05 13:09

Yarn WebUI使用各指标详解

转发自大佬：大Null，http://program-park.top/2022/02/10/hadoop_38/目录前言1.WebUIV1使用指南1.1首页1.2应用程序分析2.HistoryServer
承缘丶·2023-08-04 15:23

Yarn 任务缓存数据和HistoryServer 历史任务日志数据清理

清理yarn-nodemanager历史任务存储的中间结果以及依赖jar包修改yarn-site.xmlvim$HADOOP_HOME/etc/hadoop/yarn-site.xml添加以下内容yarn.nodemanager.localizer.cache.target-size-mb1024数据最大限制超过此值将清除历史任务数据yarn.nodemanager.localizer.cache
IT_小白·2023-07-21 00:56

CDH常用端口汇总

HDFSWEBUI端口8020：高可用的HDFSRPC端口9000：非高可用的HDFSRPC端口8088：Yarn的WEBUI接口8485：JournalNode的RPC端口8019：ZKFC端口10020：historyserver
AlexYao·2023-06-24 04:56

Flink 流批一体在 Shopee 的大规模实践

流批一体在Shopee的大规模实践1.流批一体在Shopee的应用场景2.批处理能力的生产优化2.1稳定性2.2易用性3.与离线生态的完全集成3.1开发层面3.2执行层面4.平台在流批一体上的建设和演进4.1HistoryServer
明月清风，良宵美酒·2023-06-20 10:37

集群启动详解

hadoop编写两个hadoop集群常用脚本：Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh//进入用户目录下的bin目录：cd/home/gfs
祝我好运！！·2023-04-08 21:44

Flink 使用之配置与调优

history.web.port基于web的historyserver的端口号
AlienPaul·2023-03-14 12:04

Spark的Job Historyserver无法查看历史日志记录的解决

最近下载了个CDH的quickstartvm玩玩，发现个问题，spark的JobHistoryServer无法查看已经跑过的Spark任务。进入Server页面显示如下Eventlogdirectory:hdfs://quickstart.cloudera:8020/user/spark/applicationHistoryNocompletedapplicationsfound!Didyousp
润土1030·2023-01-26 11:28

记一次spark数据倾斜问题解决过程

由于没有开启historyserver，所以重新运行了一次查看原因，发现以下现象：某个Stage的Task大部分很快完成，只有一个Task一直不能完成，而且shuffle
nzealand·2023-01-19 07:26

Hadoop中常见组件的常用命令：Hadoop、Flume、Hive、Zookeeper、Hbase、Spark、Kafka、Redis、Flink

一、Hadoop（1）启动start-all.sh（2）停止stop-all.sh（3）查看进程jpsjps-mps-ef|grep进程名称（4）查看History1）启动historyserver进程
做一个有趣的人Zz·2022-12-26 08:19

hadoop-配置history server

historyserver配置:mapred-site.xmlmapreduce.framework.nameyarnmapreduce.jobhistory.addresshadoop-4:10020mapreduce.jobhistory.webapp.addresshadoop
·2022-10-30 22:11

数仓 用户认证 安全模式下启动Hadoop集群

文章目录修改特定本地路径权限启动HDFS修改HDFS特定路径访问权限启动Yarn启动HistoryServer修改特定本地路径权限local$HADOOP_LOG_DIRhdfs:hadoopdrwxrwxr-xlocaldfs.namenode.name.dirhdfs
Alienware^·2022-02-05 12:54

hadoop的搭建笔记2-完全分布式搭建

pngdatanode和nodemanager每台机器都搭配一个作为数据存储，一个数据分析领导者：一号机分配namenode二号机resourcemanager三号机secondarymanager一号机多一个historyserver
一花一叶异世界·2021-06-19 10:40

第二次课作业

Hadoop集群搭建及测试1.格式化namenode2.格式化zookeeper3.启动dfs4.启动yarn5.启动resourcemanager6.启动historyserver7.执行hadoopmapreducejob
zangalewa·2021-06-09 09:50

Apache Spark 3.1 中 Structured Streaming 方面的改进

这个版本继续保持使得Spark更快，更容易和更智能的目标，Spark3.1的主要目标如下：•提升了Python的可用性；•加强了ANSISQL兼容性；•加强了查询优化；•Shufflehashjoin性能提升；•HistoryServer
过往记忆·2021-05-16 21:56

18【在线日志分析】之Spark on Yarn配置日志Web UI(HistoryServer服务)

1.进入spark目录和配置文件[root@sht-sgmhadoopnn-01~]#cd/root/learnproject/app/spark/conf[root@sht-sgmhadoopnn-01conf]#cpspark-defaults.conf.templatespark-defaults.conf2.创建spark-history的存储日志路径为hdfs上(当然也可以在linux文
crazy_stone0002·2020-09-14 00:56

Spark History Server的配置方法

1、启动HistoryServer1.1准备一个spark-client1.2基本配置（必须）A、可配置的参数：image.pngB、两种配置方式，spark-defaults.conf中直接添加配置项和在
wendy0101·2020-08-22 10:35

Flink开发遇到的问题汇总-

提交的离线任务完成之后，在一段时间后web端没有显示或者说自动消失：原因分析：https://blog.csdn.net/u013076044/article/details/104740792是需要开启historyserver2
黄瓜炖啤酒鸭·2020-08-21 04:44

Pig相关操作

copyFromLocal（上传）、copyToLocal（下载）sh:调用操作系统的命令register、define----->部署pig的自定义函数的jar包使用PigLatin语句分析数据1、需要启动Yarn的HistoryServer
sinat_41642318·2020-08-10 21:13

Pig数据分析引擎 二 使用PigLatin语句分析数据

配置好环境启动hadoop--启动hadoopstart-all.sh--查看是否处于安全模式hdfsdfsadmin-safemodeget--启动historyServer记录了所有的mapreduce
atom2018·2020-08-10 14:12

spark教程1 (cdh5.12 安装自带spark)

1.在主页选择添加服务2.选择spark3.按步骤走下去，分配好historyserver和gateway角色，我这里选择一个节点作为historyserver，所有节点作为gateway，添加好并启动好
lief2liu·2020-08-03 03:11

CDH常用端口汇总

HDFSWEBUI端口8020：高可用的HDFSRPC端口9000：非高可用的HDFSRPC端口8088：Yarn的WEBUI接口8485：JournalNode的RPC端口8019：ZKFC端口10020：historyserver
风情客家__·2020-08-03 01:02

【Spark】HistoryServer 进程运行日志无限增长问题解决

Spark-HistoryServer在运行过程中会打印自身进程的日志，这里是指打印在${SPARK_HOME}/logs目录下，名称为spark-spark-org.apache.spark.deploy.history.HistoryServer
PowerMe·2020-07-10 08:33

Spark基础全解析

Spark源码编译Spark本地模式安装配置及SparkShell基本使用Spark集群SparkApplication开发、运行及监控（IDEA）Spark日志监控（HistoryServer）配置SparkRDDSpark
vinfly_li·2020-07-10 05:15

【Spark】HistoryServer首页加载页面慢问题

【问题分析】当刷新HistoryServer首页时，页面会发送一个REST请求（/api/v1/applications）到HistoryServer，获取application列表信息（jsonresponse
PowerMe·2020-07-10 03:45

Spark部分：几个重要的端口汇总

yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark基于standalone的提交任务的端口号8081：worker的webUI的端口号18080：historyServer
道法—自然·2020-07-06 08:22

Kylin实战

Kylin的部署要准备的环境包括:HDFS的安装和启动:特别注意启动job-historyserver服务,并开放10020端口;HBASE的安装和启动hive的安装;保证hive脚本能正常运行;spark
hq_allen·2020-07-05 07:57

hadoop 配置history server 和timeline server

一,配置historyserver1.配置historyserver,在etc/hadoop/mapred-site.xml中配置以下内容.mapreduce.jobhistory.addresslocalhost
houzhizhen·2020-07-04 17:10

Hadoop的各个web界面的地址

1、HDFS页面：500702、YARN的管理界面：80883、HistoryServer的管理界面：198884、Zookeeper的服务端口号：21815、
匿名啊啊啊·2020-06-25 21:37

查看YARN任务日志的几种方式

1、通过historyserver通过historyserver，直接在webui上查看（如果任务异常退出，可能会看不到）AllApplicationsapplicationapplicationlog2
我终于有blog了·2020-06-25 04:27

部署Spark2.2集群(on Yarn模式)

机器规划本次实战用到了三台CentOS7的机器，身份信息如下所示：IP地址hostname(主机名)身份192.168.119.163node0NameNode、ResourceManager、HistoryServer
程序员欣宸·2020-06-22 18:35
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他