E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Dr.Elephant
大数据开源框架技术汇总
目录系统平台(Hadoop、CDH、HDP)监控管理(CM、Hue、Ambari、
Dr.Elephant
、Ganglia、Zabbix、Eagle)文件系统(HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖
·
2024-03-08 20:48
数据仓库
hive
flume
分布式
scipy
makefile
crm
lighttpd
Dr.Elephant
入门
Dr.Elephant
是一个Hadoop和Spark的性能监控和调优工具,由LinkedIn于2016年4月份开源。能自动化收集所有计算任务指标,进行数据分析,并以简单易用的方式进行呈现。
文贞武毅
·
2023-11-26 17:46
史上最全!大数据开源框架技术扫盲
一目录系统平台(Hadoop、CDH、HDP)监控管理(CM、Hue、Ambari、
Dr.Elephant
、Ganglia、Zabbix、Eagle)文件系统(HDFS、GPFS、Ceph、GlusterFS
hanxiaolaa
·
2023-08-12 16:22
其他
大数据
【大数据架构】-- 开源框架技术汇总
1.系统平台Hadoop、CDH、HDP、BigTop2.监控管理CM、Hue、Ambari、
Dr.Elephant
、Ganglia、Zabbix、Eagle3.文件系统HDFS、GPFS、Ceph、GlusterFS
high2011
·
2023-03-30 18:07
架构设计
大数据
架构
开源
Dr. Elephant:Hadoop和Spark的优化“神器”
美国加州软件公司Pepperdata的应用程序分析软件建立在
Dr.Elephant
(
Dr.Elephant
是Hadoop和Spark的性能监视和调优工具)开源项目上。
weixin_33713503
·
2023-03-30 02:45
大数据
devops
java
Dr. Elephant 使用文档
1.引言
Dr.Elephant
由LinkedIn于2016年4月份开源,是一个Hadoop和Spark的性能监控和调优工具。
jhonshonjs
·
2023-02-04 00:29
大数据常用开源框架
目录系统平台(Hadoop、CDH、HDP)监控管理(CM、Hue、Ambari、
Dr.Elephant
、Ganglia、Zabbix、Eagle)文件系统(HDFS、GPFS、Ceph、G
lucasmaluping
·
2022-11-02 13:10
hadoop
组件
系统平台(Hadoop、CDH、HDP)监控管理(CM、Hue、Ambari、
Dr.Elephant
、Ganglia、Zabbix、Eagle)文件系统(HDFS、GPFS、Ceph、GlusterFS
·
2022-10-09 19:08
go
Dr.Elephant
简介 - 【
Dr.Elephant
系列文章-1】
Dr.Elephant
被定位成一个对Hadoop和Spark任务进行性能监控和调优的工具,它能够自动收集Hadoop平台所有的度量标准,并对收集的数据进行分析,并将分析结果以一种简单且易于理解的形式展示出来
屈世超
·
2022-08-07 07:27
大数据开发
Dr.Elephant
Hadoop
Spark
Hadoop性能分析
Spark性能优化
史上最全!大数据开源框架技术扫盲
一目录系统平台(Hadoop、CDH、HDP)监控管理(CM、Hue、Ambari、
Dr.Elephant
、Ganglia、Zabbix、Eagle)文件系统(HDFS、GPFS、Ceph、GlusterFS
华矩数诊台
·
2021-06-12 19:11
大数据技术体系分类
一、一、目录系统平台(Hadoop、CDH、HDP)监控管理(CM、Hue、Ambari、
Dr.Elephant
、Ganglia、Zabbix、Eagle)文件系统(HDFS、GPFS、Ceph、GlusterFS
七_seven
·
2021-04-14 23:35
大数据测试学习笔记之监控工具
Dr.Elephant
大数据测试学习笔记之监控工具
Dr.Elephant
随着大数据测试方面的学习扩展得越来越多,开始找了些关于大数据技术方面的监控工具,本文主要介绍linkedin开源的
Dr.Elephant
监控工具。
zhusongziye
·
2020-07-06 13:19
大数据和人工智能
Hadoop和Spark性能监控工具Dr. Elephant的编译、部署及使用
Dr.Elephant
是linkedin开源的mapreduce和spark作业的性能监控及调优工具,它开发了可插拔式的启发式规则来诊断mapreduce和spark作业运行中存在的问题,并给出调优的解决方案
guoqian123
·
2019-12-22 11:06
Dr.Elephant
源码分析--MapReduce
Job日志mapred-site.xml配置任务执行日志路径(hdfs)yarn.app.mapreduce.am.staging-dir/data/yarn/stagemapreduce.jobhistory.intermediate-done-dir/data/yarn/intermediate_donemapreduce.jobhistory.done-dir/data/yarn/done作
炮灰向前冲啦
·
2019-12-21 10:59
Dr.Elephant
遇到的问题
今天刚到公司,想跑一个复杂的mapreduce,结果刚打开电脑就傻眼了,两个datanode全挂了,原因是磁盘容量不足,20G全用完了,好家伙,之前完全没有意识到已经用了这么多了,可能最近为了测试往hdfs里面导入了大文件。服务起不起来,格式化namenode也没用,还好用的云主机,先扩容,然后重起巴拉巴拉,这里还有个hadoop的坑,就是簇群id不一致问题,这里先不谈了。然后启动Dr.Eleph
文贞武毅
·
2019-12-02 00:33
Dr.Elephant
mysql connection error
ThisisthefirsttimeItrytouseenglishtowritemyblog,sodon'tjeeratthemistakeofmygrammarandspelling.BecauseofmultithreadeddrelephantwillcauseJobHistoryServer’sLoadsveryhigh,soIstoppeditforastrenchoftime.Unt
Slaytanic
·
2017-03-07 12:27
mysql
dr
elephant
hadoop
Hadoop监控分析工具
Dr.Elephant
公司基础架构这边想提取慢作业和获悉资源浪费的情况,所以装个drelephant看看。LinkIn开源的系统,可以对基于yarn的mr和spark作业进行性能分析和调优建议。DRE大部分基于java开发,spark监控部分使用scala开发,使用play堆栈式框架。这是一个类似Python里面Django的框架,基于java?scala?没太细了解,直接下来就能用,需要java1.8以上。prere
Slaytanic
·
2017-01-04 18:26
dr
hadoop
elephant
hadoop
核心流程 - 【
Dr.Elephant
源码分析系列文章-2】
原因如下:
Dr.Elephant
的核心代码不多,截止到我读代码时,一共1万行左右。核心代码部分比较集中,可以通过一篇文章来分析完。
DerekJiang
·
2016-07-06 09:35
大数据
Dr.Elephant
Dr.
Elephant
核心流程 - 【
Dr.Elephant
源码分析系列文章-2】
原因如下:
Dr.Elephant
的核心代码不多,截止到我读代码时,一共1万行左右。核心代码部分比较集中,可以通过一篇文章来分析完。
EverString_China
·
2016-07-06 09:43
Dr.Elephant
大数据
Dr.
Elephant
综述 - 【
Dr.Elephant
源码分析系列文章-1】
Dr.Elephant
的问世将改变Ha
DerekJiang
·
2016-05-26 10:34
大数据
Dr.Elephant
Dr.
Elephant
[EverString收录]综述 - 【
Dr.Elephant
源码分析系列文章-1】
Dr.Elephant
的问世将改变Hadoop/Spark用户
EverString_China
·
2016-05-26 10:10
Dr.
Elephant
Dr.Elephant
官方文档翻译汇总
Dr.Elephant
的设计目的是
DerekJiang
·
2016-05-13 01:38
Dr.
Elephant
Dr.Elephant
官方文档翻译汇总
Dr.Elephant
被定位成一个对Hadoop和Spark任务进行性能监控和调优的工具,它能够自动收集Hadoop平台所有的度量标准,并对收集的数据进行分析,并将分析结果以一种简单且易于理解的形式展示出来
EverString_China
·
2016-05-12 15:49
Dr.
Elephant
[EverString收录]
Dr.Elephant
FAQ 常见问题
Dr.Elephant
需要部署在一个有Hadoop平台环境的机器上。Er.Elephant会在集群上运行“Hadoopclasspath”命令来获得c
EverString_China
·
2016-05-12 15:17
Dr.
Elephant
FAQ 常见问题 -【
Dr.Elephant
系列文章-8】
Dr.Elephant
需要部署在一个有Hadoop平台环境的机器上。Er.Elephant会在集群上运行“hadoopclasspath”命令来获得classpaht中所有的配置和jar包。
qsc0624
·
2016-05-09 15:00
hadoop
Dr.Elephant
Hadoop性能优化工具
Hadoop性能分析
Hadoop平台监控
Dr.Elephant
Rest API -【
Dr.Elephant
系列文章-7】
有的情况下,用户可能不能访问
Dr.Elephant
的UI界面,但是需要和
Dr.Elephant
进行交互来获得
Dr.Elephant
的一些分析结果。
qsc0624
·
2016-05-08 23:00
hadoop
Hadoop性能优化工具
Dr.Elephant
Hadoop平台监控
Hadoop性能分析
Hadoop任务优化建议 - 【
Dr.Elephant
系列文章-6】
使用
Dr.Elephant
来分析我们的任务,可以知道有哪些地方可以进行优化。加速你的任务流程对于特定的任务,最好有特定的参数配置。
qsc0624
·
2016-05-08 23:00
hadoop
大数据平台
Hadoop性能优化工具
Hadoop平台监控
Dr.Elephant
Dr.Elephant
启动过程问题汇总
转载自:http://blog.csdn.net/qsc0624/article/details/51335607---------------------------在首次启动
Dr.Elephant
时
DerekJiang
·
2016-05-07 01:26
Dr.
Elephant
Dr.Elephant
启动过程问题汇总
在首次启动
Dr.Elephant
时,因为配置不当或者环境因素可能会导致启动失败。
qsc0624
·
2016-05-07 00:00
mysql
Hadoop平台监控
Dr.Elephant
Hadoop性能分析
Hadoop性能优化工具
Dr.Elephant
部署启动详细流程
最近尝试在测试环境安装部署了
Dr.Elephant
,花了不少时间,碰到一些问题。借助于官方文档和LinedIn akshayrai大神的帮助,最终成功启动
Dr.Elephant
。
qsc0624
·
2016-05-06 22:00
Dr.Elephant
Hadoop平台监控
Hadoop性能分析
Hadoop性能优化工具
Spark性能优化
[EverString收录]
Dr.Elephant
启发式算法指南
转载自:http://blog.csdn.net/qsc0624/article/details/51327378-------------Map-ReduceMapper数据倾斜数据进入到Mapper作业中后,有可能会发生数据的倾斜,Mapper数据倾斜启发式算法(mapperdataskewheuristic)能够判定这种情况是否存在。启发式算法会将所有的Mapper分成两部分,其中一部分的所
EverString_China
·
2016-05-06 06:33
Dr.Elephant
大数据
Dr.
Elephant
Dr.Elephant
启发式算法指南
转载自:http://blog.csdn.net/qsc0624/article/details/51327378-------------Map-ReduceMapper数据倾斜数据进入到Mapper作业中后,有可能会发生数据的倾斜,Mapper数据倾斜启发式算法(mapperdataskewheuristic)能够判定这种情况是否存在。启发式算法会将所有的Mapper分成两部分,其中一部分的所
DerekJiang
·
2016-05-06 03:08
Dr.
Elephant
Hadoop
Dr.Elephant
启发式算法指南 - 【
Dr.Elephant
系列文章-5】
Map-ReduceMapper数据倾斜数据进入到Mapper作业中后,有可能会发生数据的倾斜,Mapper数据倾斜启发式算法(mapperdataskewheuristic)能够判定这种情况是否存在。启发式算法会将所有的Mapper分成两部分,其中一部分的所有作业(task)的平均数据量会大于另一部分的平均数据量。例如:第一部分有900个Mapper作业,每个Mapper作业平均数据量为7MB,
qsc0624
·
2016-05-06 00:00
hadoop
Hadoop性能分析
Dr.Elephant
Hadoop性能优化工具
Hadoop平台监控
LinkedIn开源Dr. Elephant:Hadoop和Spark性能监控工具
utm_source=tuicool&utm_medium=referral-----------------------------我们今天很荣幸的宣布项目
Dr.Elephant
的开源,这是一个强大的工具
DerekJiang
·
2016-05-05 04:36
Dr.
Elephant
Hadoop
Dr.Elephant
简介
Dr.Elephant
的设计目的是通过它对任务的分析结果指导H
DerekJiang
·
2016-05-05 02:20
大数据
Dr.Elephant
Dr.
Elephant
Hadoop
Dr.Elephant
入门指南 ——Hadoop监控
Dr.Elephant
被定位成一个对Hadoop和Spark任务进行性能监控和调优的工具,它能够自动收集Hadoop平台所有的度量标准,并对收集的数据进行分析,并将分析结果以一种简单且易于理解的形式展示出来
u010022051
·
2016-05-04 14:00
[EverString收录]
Dr.Elephant
部署指南
收录自:http://blog.csdn.net/qsc0624/article/details/51274559----------------------系统环境要求
Dr.Elephant
通过Yarn
EverString_China
·
2016-05-04 11:13
Dr.
Elephant
[EverString收录]
Dr.Elephant
开发者指南
收录自:http://blog.csdn.net/qsc0624/article/details/51274145------------------------创建
Dr.Elephant
项目获取源代码从
EverString_China
·
2016-05-04 10:33
Dr.
Elephant
[EverString收录]
Dr.Elephant
用户指南
收录自:http://blog.csdn.net/qsc0624/article/details/51258955--------------------------这篇文章介绍怎么样使用
Dr.Elephant
EverString_China
·
2016-05-04 10:01
大数据
Dr.Elephant
Dr.
Elephant
[EverString收录]
Dr.Elephant
简介
Dr.Elephant
的设计目的是通过它对任务的分析结果指导H
EverString_China
·
2016-05-04 10:30
Dr.
Elephant
Dr.Elephant
部署指南 - 【
Dr.Elephant
系列文章-4】
系统环境要求
Dr.Elephant
通过Yarn的资源管理器和历史任务服务来获取任务的详细信息。
qsc0624
·
2016-04-28 15:00
hadoop
spark
Hadoop性能优化工具
Spark性能优化
Dr.Elephant
Dr.Elephant
开发者指南 - 【
Dr.Elephant
系列文章-3】
创建
Dr.Elephant
项目获取源代码从Github仓库中获取代码,dr-elephant。
qsc0624
·
2016-04-28 14:00
hadoop
spark
Dr.Elephant
Spark性能优化
Hadoop性能优化工具
Dr.Elephant
用户指南 - 【
Dr.Elephant
系列文章-2】
这篇文章介绍怎么样使用
Dr.Elephant
来进行任务分析。UI首页
Dr.Elephant
启动后,首页如下:集群统计信息首页的灰色部分包含了最新的集群信息。
qsc0624
·
2016-04-27 10:00
大数据平台
Spark性能优化
Hadoop性能优化工具
Dr.Elephant
Hadoop平台监控
Dr.Elephant
简介 - 【
Dr.Elephant
系列文章-1】
Dr.Elephant
被定位成一个对Hadoop和Spark任务进行性能监控和调优的工具,它能够自动收集Hadoop平台所有的度量标准,并对收集的数据进行分析,并将分析结果以一种简单且易于理解的形式展示出来
qsc0624
·
2016-04-26 11:00
hadoop
spark
Hadoop性能分析
Spark性能优化
Dr.Elephant
LinkedIn开源Dr. Elephant
今天LinkedIn宣布开源
Dr.Elephant
,
Dr.Elephant
能够很好地帮助用户理解、分析和优化Hadoop和Spark的工作流。
Akshay Rai
·
2016-04-18 00:00
上一页
1
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他