Livy

初识livy

背景介绍对于Spark有这样一个应用场景：Spark应用程序都是通过spark-submit进行提交的；而在工作当中，肯定是要将我们的spark-submit封装到shell里面去的，比如：今天凌晨去处理昨天的数据，肯定是需要获取到date，然后做date-1操作(当前天数减1就是昨天了)，之后配置crontab，把shell脚本配置上去，每天凌晨定时执行就行了，或者采用azkaban、oozie
疯狂呼呼呼·2018-10-31 01:46

黑猴子的家：利用 livy 远程提交 spark作业

livy是cloudera开发的通过REST来连接。
黑猴子的家·2018-09-14 15:00

CDH中HUE开启Livy Spark提交工具

下载编译Livygitclonehttps://github.com/cloudera/livy.gitcdlivymvnpackage配置启动Livylivy-env.shexportSPARK_HOME
青行灯er·2018-09-10 13:02

spark系列-应用篇之通过livy提交Spark任务

前言上一篇使用yarnapi的提交spark任务比较麻烦，这次我们使用livy来提交spark任务。
马各马它·2018-08-24 00:39

spark系列-应用篇之通过yarn api提交Spark任务

虽然最终使用livy来提交任务，但是通过yarnapi提交任务可以帮助使用者更好的理解yarn，而且使用yarn查询任务还是不错的。至于livy的安装
马各马它·2018-08-23 13:33

记一次Spark Kerberos的故障解决

Livy启动的SparkAM默认会enableHiveSupport，且使用$LIVY_HOME/conf/livy.conf的如下配置作为spark.yarn.keytab和spark.yarn.kerberos
chncaesar·2018-08-13 14:51

Spark调度-livy 安装使用

1.下载压缩包,解压https://www.apache.org/dyn/closer.lua/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zipunziplivy
dymkkj·2018-07-12 14:32

livy读源码总结

1、spark任务提交https://blog.csdn.net/qq_32635069/article/details/800557452、线程池问题线程池：一个管理线程的工具解决的问题：一款好的软件设计是不建议手动创建和销毁会线程。线程的创建和销毁是非常耗CPU和内存的，因为这需要JVM和操作系统的参与64位JVM默认线程栈是大小1MB。这就是为什么说在请求频繁时为每个小的请求创建线程是一种资
前行中632·2018-04-25 20:27

livy源码阅读基础知识

1、解析json数据：interactiveSession使用的jackson来解析传入的request在org.apache.livy.server.JsonServlet中提供了三种不同的方法来处理
前行中632·2018-04-23 20:55

livy安装文档

1、下载Livy(可以自己下载源代码进行编译)http://livy.incubator.apache.org/download/源代码在git上能够找到apache版本和cloudera两个版本https
前行中632·2018-04-23 20:09

spark任务提交产生的问题，以及livy解决问题

spark任务提交spark目前提供pythonshell和scalashell两种交互式命令行运行PythonShell./bin/pyspark运行ScalaShell./bin/spark-shell比如用户使用spark-shell或是pyspark脚本启动Spark应用程序，伴随应用程序启动的同时Spark会在当前终端启动REPL（Read–Eval–PrintLoop）来接收用户的代码
前行中632·2018-04-23 20:08

使用REST接口调用Spark——Apache Livy使用笔记

0x0Livy安装与运行登录官网：http://livy.incubator.apache.org/下载最新版livy。
小小Tiny·2018-04-09 16:40

Livy原理详解

针对这些问题，cloudera研发了Livy，Livy结合了spark
GreatStep·2018-03-22 13:47

Livy：基于Apache Spark的REST服务

作者简介：邵赛赛，Hortonworks技术专家，专注于开源大数据领域，ApacheSpark和Livy的活跃贡献者。
csdn郭芮·2017-07-03 08:32

Spark2.0.1 on yarn with hue 集群安装部署（八）hue+livy+spark整合

huelivyspark整合1、配置huecd/bigdata/hue/desktop/confvim/hue.ini找到[spark]选项进行修改：[spark]#HostaddressoftheLivyServer.livy_server_host
荷籽花结·2016-11-28 21:20

Spark2.0.1 on yarn with hue 集群安装部署（七）livy安装测试

livy安装测试一、R安装如果未安装R，可以先安装R，用于支持SparkR，如果yum源中没有R语言的安装包，可以从官网下载相应版本进行手动编译安装。
荷籽花结·2016-11-25 00:42

Livy 安装使用说明

1.为什么要用LivyHavelongrunningSparkContextsthatcanbeusedformultipleSparkjobs,bymultipleclientsSharecachedRDDsorDataframesacrossmultiplejobsandclientsMultipleSparkContextscanbemanagedsimultaneously,andthey
bigdataCoding·2016-10-13 18:43

利用 livy 远程提交 spark作业

利用livy远程提交spark作业1.下载，安装livy下载地址：http://livy.io/quickstart.html下载之后，解压即可运行2.配置环境变量exportSPARK_HOME=/usr
Smoozer·2016-08-19 09:41

关于肥胖 你不知道的20件事

译者Livy681.肥胖问题正在西方国家肆意盛行。自1976到1999年，美国肥胖率翻倍，66%的美国人体重超标或患有肥胖。2007年，加利福尼亚州是美国唯一一个肥胖问题没有恶化的州。
Livy68·2012-07-11 21:00

关于肥胖 你不知道的20件事

译者Livy681. 肥胖问题正在西方国家肆意盛行。自1976到1999年，美国肥胖率翻倍，66%的美国人体重超标或患有肥胖。2007年，加利福尼亚州是美国唯一一个肥胖问题没有恶化的州。2. 
Livy68·2012-07-11 13:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他