Livy

hadoop、hive、sqoop、spark、livy、jdk单节点伪分布式集群一键部署shell脚本

ards.1.0安装说明注：脚本tgz包后续上传，欢迎留言与我交流讨论一、使用说明本脚本可实现快速自动安装（hadoop-2.7.3/hive-1.1.0/sqoop-1.4.6/spark-2.3.0/livy
王若蠢·2020-08-20 19:12

小米open-falcon agent脚本无法运行，导致agent挂掉

1出错现象如下：2020/07/2814:15:44scheduler.go:71:pluginstarted:/opt/open-falcon/agent/script/livy/60_livy.pypanic
人蠢多读书·2020-08-09 10:23

opentsdb无法展示open-falcon的指标

":"hostname1","tags":"sub=http://xxx.xxx.xxx:8998/ui#,cluster=hdp","timestamp":1595920008,"metric":"livy.alive
人蠢多读书·2020-08-09 10:51

Apach Zeppelin和Apach Livy搭配使用配置

2.6.3.jarjackson-annotations-2.6.3.jar使用上面三个jackson包替换$zeppelin-home/lib中的jackson按照githublivy页面下载并编译livy
qwemicheal·2020-08-03 04:36

大数据利器Zeppelin的快速搭建法宝及简单使用

首先是安装使用简单，然后是Zeppelin支持丰富的插件，比如ElasticSearch、Flink、Hbase、livy、Python和Sp
太白酒仙·2020-08-03 00:15

如何源码编译Livy

首先下载Livy前置条件：XcodecommandlinetoolsOracle'sJDK1.7+Maven(Homebrew)Python2.6+R3.xLivyrequiresatleastSpark1.6andsupportsbothScala2.10and2.11buildsofSpark
舒克_开飞机·2020-07-11 15:02

阿里巴巴高级技术专家章剑锋：大数据发展的 8 个要点

@https://unsplash.com/文|章剑锋笔者从2008年开始工作到现在也有11个年头了，一路走来都在和数据打交道，做过大数据底层框架内核的开发（Hadoop，Pig，Tez，Spark，Livy
阿里巴巴中间件·2020-07-10 09:24

如何评估一项技术是否值得长期投入

笔者从2008年开始工作到现在也有12个年头了，一路走来都在和数据打交道，做过很多大数据底层框架内核的开发（Hadoop，Pig，Hive，Tez，Spark），也做过多年上层数据计算框架（Livy,Zeppelin
程序猿DD_·2020-07-09 18:43

Cloudera Manager中安装部署Zeppelin服务

制作Zeppelin的Parcel包和csd文件部署Livy服务参考ClouderaManager中安装部署Livy服务将Parcel包和manifest.json文件部署到httpd服务中[root@
storm_fury·2020-07-08 21:59

Cloudera Manager中安装部署Livy服务

制作Livy的Parcel包和csd文件将Parcel包和manifest.json文件部署到httpd服务中[root@node01~]#mkdir-p/var/www/html/livy[root@
storm_fury·2020-07-08 21:27

黑猴子的家：Hue 中 Spark 实现提交运行源码过程

为了执行Spark作业，需要安装Livy服务器。1.2SparkLivyServe
黑猴子的家·2020-07-08 16:52

ConcurrentMap

在学习livy源码过程中，发现其代码使用ConcurrentMap，自己不太理解，搜索之后，特意记录一下，以便回顾。
星翔宇尘·2020-07-08 12:45

HUE配置Notebook提交spark

为执行SparkJob，Hue提供了执行服务器Livy，加强了Huenotebook对spark的支持。
陆继森·2020-07-02 10:30

通过 spark.files 传入spark任务依赖的文件源码分析

但是公司产品的架构是通过livy来调spark任务，livy的实现其实是对spark-submit的一个包装，所以如何指定依赖文件归根到底还是在spark这边。既然
diaoxie5099·2020-07-01 22:51

扎心！天天写代码，方向真的对吗？

笔者从2008年开始工作到现在也有12个年头了，一路走来都在和数据打交道，做过很多大数据底层框架内核的开发（Hadoop，Pig，Hive，Tez，Spark），也做过多年上层数据计算框架（Livy,Zeppelin
阿里技术·2020-06-30 14:25

如何评估一项技术是否值得长期投入

笔者从2008年开始工作到现在也有12个年头了，一路走来都在和数据打交道，做过很多大数据底层框架内核的开发（Hadoop，Pig，Hive，Tez，Spark），也做过多年上层数据计算框架（Livy,Zeppelin
阿里巴巴中间件·2020-06-28 22:04

oozie workflow开发步骤

这里以扩展livy的workflow为例，主要功
RacingHeart·2020-06-27 04:20

黑猴子的家：Hue 与 Spark 集成 +livy

1、先决条件安装hue、hadoop2、sparkonyarn安装(1)环境变量##JAVA_HOMEexportJAVA_HOME=/opt/module/jdk1.8.0_144exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportPATH=$PATH:$JAVA_HOME/bin##SCALA_HOMEex
黑猴子的家·2020-06-24 14:50

本地搭建Kerberos 客户端删除

sudoapt-getremovekrb5-userlibpam-krb5libpam-ccredsauth-client-config2.查看自己本地$HADOOP_HOME/etc/hadoop，$SPARK_HOME/conf，$LIVY
dymkkj·2020-06-23 05:54

如何在 Kylin 中优雅地使用 Spark

为了更方便地向Spark提交、管理和监控任务，有些用户会使用Livy作为Spark的交互接口。
Hadoop技术博文·2020-06-22 16:36

扎心！天天写代码，方向真的对吗？

笔者从2008年开始工作到现在也有12个年头了，一路走来都在和数据打交道，做过很多大数据底层框架内核的开发（Hadoop，Pig，Hive，Tez，Spark），也做过多年上层数据计算框架（Livy,Zeppelin
阿里云云栖号·2020-05-30 10:19

扎心！天天写代码，方向真的对吗？

笔者从2008年开始工作到现在也有12个年头了，一路走来都在和数据打交道，做过很多大数据底层框架内核的开发（Hadoop，Pig，Hive，Tez，Spark），也做过多年上层数据计算框架（Livy,Zeppelin
ApacheFlink·2020-05-28 00:38

Spark云化架构演进的实践和探索

用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配Spark：基于内存计算的通用大规模数据处理框架Livy：通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行
SeanKChan·2020-05-27 18:06

学不动？Apache Member 教你评估实用技术的思路

作者：章剑锋(简锋)导读：笔者从2008年开始工作到现在也有11个年头了，一路走来都在和数据打交道，做过很多大数据底层框架内核的开发(Hadoop，Pig，Tez，Spark，Livy)，现在是多个Apache
ApacheFlink·2020-04-06 18:37

mvn编译异常“was cached in the local repository, resolution will not be reattempte

问题最近编译livy-release工程，各种异常，加入hdp的relase库之后，出现了找不到jetty-ssslengine,jetty-util,jetty的1.26.1.hwxjar包和pom文件异常
WestC·2020-03-30 08:45

三月（3.18-3.24）livy周检视

每天进步1%,成为1%的人。持续成长才能让你立于不败之地，了解人明白人你将无所不能。一、健康本周休息，因为上周跑完全马，左腿有伤。体重又上升了2kg，又要甩脂和控制饮食了。二、家庭陪儿子学乐高，开心的陪伴。不倒翁火车开动三、效能分享全马经验给娘子军姐妹们，有总结才有成长。四、财富购买招商理财产品五、休闲看印度电影《摔跤吧，爸爸》，很励志的，一直没有看过，终于如愿。我们要换个角度看问题，因为你是我的
张丽辉_1012·2020-03-29 16:01

当下大数据发展的 8 个要点

作者|章剑锋来源|阿里巴巴中间件笔者从2008年开始工作到现在也有11个年头了，一路走来都在和数据打交道，做过大数据底层框架内核的开发（Hadoop，Pig，Tez，Spark，Livy），也做过上层大数据应用开发
CDA数据分析师培训·2020-02-19 14:58

阿里巴巴高级技术专家章剑锋：大数据发展的 8 个要点

笔者从2008年开始工作到现在也有11个年头了，一路走来都在和数据打交道，做过大数据底层框架内核的开发（Hadoop，Pig，Tez，Spark，Livy），也做过上层大数据应用开发（写MapReduceJob
Ververica·2020-02-13 04:06

梨形女孩穿搭手册 | 心得全在“藏”与“露”

Hi，我是梨薇，大家可以叫我Livy。这是我的第一篇，很高兴在这里遇见你。我会在这里写时尚，写穿搭，写旅行，写有趣有用的购物指南，也写诗意的生活和远方。
梨薇Livy·2020-02-06 10:28

一文带你弄懂Livy——基于Apache Spark的REST服务

背景ApacheSpark作为当前最为流行的开源大数据计算框架，广泛应用于数据处理和分析应用，它提供了两种方式来处理数据：一是交互式处理，比如用户使用spark-shell或是pyspark脚本启动Spark应用程序，伴随应用程序启动的同时Spark会在当前终端启动REPL(Read–Eval–PrintLoop)来接收用户的代码输入，并将其编译成Spark作业提交到集群上去执行;二是批处理，批处
丨程序之道丨·2020-01-07 11:34

Apache Kylin with Apache Livy(incubator)

ApacheKylinwithApacheLivy(incubator)前言Livy介绍为什么使用Livy当前Spark存在的问题Livy优势KylinwithLivy引入Livy之前Kyin是如何使用
WangRupeng·2020-01-02 22:44

Farewell Livy, Hi Linkis

1.数据分析平台搭建的若干主题笔者从事大数据功能平台建设若干年，在笔者就职的公司，业务分析人员常使用到如SparkSql，PySpark，hive，python等方式分析数据。搭建一个安全、稳定同时满足所有业务分析人员使用习惯的大数据功能分析功能平台并不是一个简单的任务，因为要考虑的东西比较多，笔者认为通常有以下几点。1.资源的细粒度以及多维度管控。2.多租户隔离。3.多样的执行方式支持。4.用户
菜鸟wanna飞·2019-12-11 22:22

使用 Livy Rest API 提交 spark 批量任务 （jar，Python， streaming）

Livy是一个开源的REST接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。image.pngLivy封装了spark-submit并支持远端执行。
nummy·2019-11-08 06:19

Spark & Zeppelin

在zeppelin上使用sparkNoteBook，有spark和livy两种方式。
breeze_lsw·2019-11-03 20:17

口红扫盲 | 如何挑选一支最合适的阿玛尼口红？

Hi，我是梨薇Livy今天有一篇超详细功课要分享给大家，非常适合口红小白～一篇搞懂阿玛尼的全系列唇部产品，进阶口红小达人早些时候我去参加了阿玛尼BOX在北京的活动，全面的了解了阿玛尼家彩妆家族的全线产品
梨薇Livy·2019-11-03 06:04

阿里巴巴高级技术专家章剑锋：大数据发展的 8 个要点

笔者从2008年开始工作到现在也有11个年头了，一路走来都在和数据打交道，做过大数据底层框架内核的开发（Hadoop，Pig，Tez，Spark，Livy），也做过上层大数据应用开发（写MapReduceJob
技术小能手xihaha·2019-10-15 05:23

阿里巴巴高级技术专家章剑锋：大数据发展的 8 个要点

笔者从2008年开始工作到现在也有11个年头了，一路走来都在和数据打交道，做过大数据底层框架内核的开发（Hadoop，Pig，Tez，Spark，Livy），也做过上层大数据应用开发（写MapReduceJob
大涛学长·2019-10-15 05:21

阿里巴巴高级技术专家章剑锋：大数据发展的 8 个要点

笔者从2008年开始工作到现在也有11个年头了，一路走来都在和数据打交道，做过大数据底层框架内核的开发（Hadoop，Pig，Tez，Spark，Livy），也做过上层大数据应用开发（写MapReduceJob
阿里云官网·2019-09-30 11:25

2019-07-28 Livy源码编译

Centos7下的Livy源码编译由于开发的需要，我选择了在云服务器上进行编译和运行livy服务，我的云服务器是centos7版本。
美梦是个可怜虫·2019-07-28 19:59

Java 创建与读取Livy Session以及结果

直接上代码packagenet.aas.penrose.deploy.utils;importorg.springframework.http.*;importorg.springframework.web.client.RestTemplate;importjava.util.Map;publicclassLivyServerUtil{privatestaticfinalStringHOST="
Rone-X·2019-07-22 16:58

谈谈 Spark 应用日志级别的坑

环境说明：HDP3.0+Kerberos+Livy根据Spark官方文档的指引，清楚的知道存在三种方式可以对应用的日志级别进行调整。
迹_Jason·2019-06-24 00:00

hadoop生态笔记之livy

u013063153/article/details/741713622、https://blog.csdn.net/gx304419380/article/details/798684043、http://livy.incubator.apache.org
hnmpf·2019-06-04 17:07

大数据学习（五）：如何使用 Livy提交spark批量任务

Livy是一个开源的REST接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。Livy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。.
猪笨是念来过倒·2019-05-21 15:15

livy 集成cdh中编译parcel包出现问题解决

问题：ERROR]Failedtoexecutegoalonprojectcloudera-manager-schema:Couldnotresolvedependenciesforprojectcom.cloudera.cmf.schema:cloudera-manager-schema:jar:5.12.0:Failuretofindcommons-cli:commons-cli:jar:1.
Alongpo·2019-04-03 19:04

livy0.5.0安装

livy0.5.0安装安装步骤解压livy压缩包复制所有模板配置livy-env.sh配置livy.conf手动创建logs目录配置环境变量启动livy判定是否安装成功安装步骤livy是一个基于Spark
yangjab·2019-02-28 14:50

livy简介

livy简介什么是livyLivy通过提供REST服务来简化与Spark集群的交互。
小月亮吖·2019-02-16 11:28

记一次HDFS Delegation Token失效问题（续）

在上篇讲到了，HDFSDelegationToken问题的解决方法是Spark-Submit方式可以进行解决，经过了一段时间的反思和查看Livy和Spark-Submit两者日志之后，有了一点新发现，并且测试认证了
迹_Jason·2019-01-22 00:00

Livy简单使用 & 架构解读

Livy使用——关于Session的操作官网案例：http://livy.incubator.apache.org/examples/RESTAPI：http://livy.incubator.apache.org
疯狂呼呼呼·2018-11-10 02:03

Livy安装&部署

官网http://livy.incubator.apache.org/get-started/Download[hadoop@hadoop001software]$wgethttp://mirrors.hust.edu.cn
疯狂呼呼呼·2018-11-05 01:28

Livy安装&部署

官网http://livy.incubator.apache.org/get-started/Download[hadoop@hadoop001software]$wgethttp://mirrors.hust.edu.cn
疯狂呼呼呼·2018-11-05 01:28
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他