Livy

livy使用样例_livy提交spark应用

spark-submit的使用shell时时灵活性较低，livy作为spark提交的一种工具，是使用接口或者java客户端的方式提交，可以集成到web应用中1.客户端提交的方式核心代码LivyClientclient
阿里聚安全·2024-02-02 13:11

浅谈Spark Livy

SparkLivy什么是LivyLivy的特点Livy的运作流程阐述Livy的安装、启动、访问Livy的使用1.什么是Livylivy是cloudera开发的通过REST来连接、管理spark的解决方案
浅汐yt·2024-02-02 13:40

spark livy hue

提供交互式shell*批量提交*多用户使用用一个服务(用户模拟)*可以从任何地方使用REST的方式提交*无需对代码进行任何修改wgethttp://archive.cloudera.com/beta/livy
bigdataf·2024-02-02 13:08

【livy】Spark Livy深究

什么是livyLivy的特点Livycloudera开发通过REST来连接、管理spark的解决方案从任何地方提交job使用交互式的Scala、Python语言与远程的spark集群进行通信无需更改代码Livy
小赵要加油·2024-02-02 13:07

kylin版本_如何在 Kylin 中优雅地使用 Spark

为了更方便地向Spark提交、管理和监控任务，有些用户会使用Livy作为Spark的交互接口。
weixin_39995943·2023-11-06 04:45

Hadoop No FileSystem for scheme “hdfs“ 客户端环境变量配置

131exportSPARK_HOME=/opt/spark-2.4.4-bin-hadoop2.7exportHIVE_HOME=/usr/hdp/current/hive-clientexportLIVY_HOME=/opt/livy
Cloud孙文波·2023-09-09 15:00

Griffin 数据管理任务的SQL和原理

Measure内部计算原理accuracycompletenessdistincttimelinessuniquenessprofilingspark-sqlpre.procService任务管理模块配置livy
wankunde·2023-09-09 04:05

livy 安装配置

spark：2.3.0livy：0.5.0下载bin包（下载的livy包的lib中hadoop的版本是2.7.3，可能会有问题！）
金刚_30bf·2023-08-26 16:45

spark 根据parquet 文件结构创建外部表 ( scala代码 )

zeppelin运行%livy2.sparkimportorg.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormatimportorg.apache.hadoop.io
迷茫_小青年·2023-04-14 12:54

centos7搭建kylin3.1.0

一下载软件具体版本apache-livy-0.6.0-incubating-binhadoop-2.7.0jdk1.8.0_141spark-2.3.1-bin-hadoop2.6apache-kylin
bluesky2004·2023-04-09 08:59

【大数据】Spark开源REST服务--Apache Livy的安装和使用

安装前提：需要安装HADOOP/HDFS/YARN、SPARK等组件，并且配置环境变量1.下载livy安装包从livy官网下载界面cd/optwgethttps://dlcdn.apache.org/incubator
笑起来贼好看·2023-04-03 06:14

spark python 上传代码包_hue通过livy提交spark jar包python文件到spark

背景：集群中有hive、spark2，没有impala需求：通过hue访问hive以及提交spark任务现状：hue以及通过sentry实现了对hive的权限管理CDH5.15.1centos7.4livy
weixin_39927408·2023-02-02 14:58

本地虚拟机集群搭建数据仓库实战

安装三.Hadoop安装过程四.Zookeeper安装五.Flume安装六.Kafka安装七.MySQL安装八.Sqoop安装九.Hive安装十.安装ES5.2十一.安装Spark2.4.3十二.安装Livy
ZhaoHY KeepRunning·2023-01-21 09:11

Livy Session 详解（中）

本文基于incubator-livy0.4.0-incubatingLivySession详解（上）-一文主要介绍了session整体的启动流程并详细分析了client端（livyserver端）是如何启动
牛肉圆粉不加葱·2022-02-14 12:27

Livy部署及提交Spark作业案例

一、Livy安装部署官网http://livy.incubator.apache.org/get-started/Download[hadoop@hadoop001software]$wgethttp:
喵星人ZC·2022-02-09 18:02

Apache Livy 实现思路及模块概述

本文基于incubator-livy0.4.0-incubating关于ApacheLivy（下文简称livy）是什么以及有什么用，请移步：Livy：基于ApacheSpark的REST服务一、实现思路在知道
牛肉圆粉不加葱·2022-02-07 11:41

4.29-5.5 周总结 Livy

拖延症很可怕每天进步1%,成为1%的人。一、健康4.29跑了5KM二、家庭五一陪家人去韶关丹霞山，天公也很作美。爬了两个大半天，两儿子表现都不错！一家人一起呆四天，难得的时光。偷拍背影pose摆的好丹霞地貌一家人三、效能专注效率与结果，更多是搭建工作的平台。四、财富正常工作，没有请假，也没有斜杠财富。五、休闲假期放松自己，陪孩子与家人对我而言就是休闲！六、觉醒细节需要每天记录，它将时刻提醒这是你当
张丽辉_1012·2022-02-05 20:14

基于Jupyter notebook搭建Spark集群开发环境的详细过程

一、概念介绍：1、Sparkmagic：它是一个在JupyterNotebook中的通过Livy服务器SparkREST与远程Spark群集交互工作工具。
·2021-10-12 15:51

如何基于Jupyter notebook搭建Spark集群开发环境

一、概念介绍：1、Sparkmagic：它是一个在JupyterNotebook中的通过Livy服务器SparkREST与远程Spark群集交互工作工具。
·2021-10-12 12:02

《哈姆雷特》阅后笔记

他的故事来源很多，其中包括罗马史学家李维(Livy)编写的罗马传说。400年后，萨克索笔下的哈姆雷特被法国人弗朗索瓦·德·贝尔福莱斯特重写，出现在其所著的《悲剧故事
大海的翅膀·2021-09-18 19:45

行走大马Malaysia~

去Malaysia还是四年前的事儿了，去年和Livy离开清迈的时候聊到一些去大马的细节，她惊叹于我还记得那么清楚，建议我写下来。喏，很快又过了一年，是时候写一写了。
深怜低语·2021-05-02 06:13

觉察自我|Livy 周检视（0225-0303）

张丽辉周而复始的意义，犹如人不能两次踏进同一条河流，在重复中体会每一点新的不同。本周温馨时刻及点滴成果一、健康1.本周跑步三次，25日|26日|3月2日，每次跑步身体都发出喜悦的信号，特别喜欢跑步后的身体，微|多出汗，身体感到放松。特别是公司管理部组织全公司跑10KM马拉松，真是特别开心，我还跑出了个人最好成绩，配速6分39秒。咕咚记录跑中抓拍马拉松前六名公司大合影与前三名合影二、家庭有时间就会陪
张丽辉_1012·2021-04-30 22:07

最好的学习是输出（4.1-4.7）livy

每天进步1%,成为1%的人。一、健康跑了一次7.02km饮食没有特别不一样。图片发自App二、家庭清明假期全家人去罗浮山，东江纵队纪念馆，排2小时队坐览车上山，排2小时队坐览车下山，儿子们很棒，走台阶爬山都很有精力。给儿子们与家婆点赞。图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App三、效能与公司同事沟通，传递正能量，以更高格局和思维要求自己。之前会以局部思维考
张丽辉_1012·2021-04-19 00:32

livy 安装并集成kerberos

使用原因：因为griffin需要安装livy组件的支持，所以需要安装livy提交spark任务。
w972779876·2020-10-10 12:10

Livy探究(七) -- 编程接口分析

在前面的篇章中，我们把重点放在livy的REPL功能的展示和源码分析。这篇我们探索一下livyUsingtheProgrammaticAPI功能。
P_Chou水冗·2020-10-10 01:04

Livy探究(六) -- RPC的实现

Livy基于netty构建了一个RPC通信层。本篇我们来探究一下Livy的RPC层的实现细节。读者应当具备netty编程的基础知识。
P_Chou水冗·2020-10-10 01:01

Livy探究(五) -- 解释器的实现

本篇我们深入源码，探究一下livy解释器的实现原理。ReplDriverReplDriver是真正最终运行的Driver程序对应的类（其基类是第三篇中提到的RSCDrvier）。
P_Chou水冗·2020-10-10 01:28

Livy探究(四) -- 从es读取数据

在前面的所有例子中，我们只是运行了livy官方给的两个例子。这篇我们要尝试运行一些有意义的代码。如没有特殊说明，以后所有的实验都是在yarn-cluster模式下运行的。
P_Chou水冗·2020-10-10 01:27

Livy探究(三) -- 核心架构细节探索

在前两篇中，我们通过官网的example体验了livy的功能，留下了一个疑问，究竟livy是如何做到的呢？这一篇从源码里面找一下答案。
P_Chou水冗·2020-10-10 01:27

Livy探究(二) -- 运行模式

上一篇的例子采用Livy默认的Local模式运行Spark任务。本篇我们尝试一下其他模式。因为修改配置文件需要重启，而每次重启服务都要设置SPARK_HOME和HADOOP_CONF_DIR比较麻烦。
P_Chou水冗·2020-10-10 01:27

Livy探究(一) -- 初体验

Livy探究(一)--初体验Livy探究(二)--运行模式Livy探究(三)--核心架构细节探索Livy探究(四)--从es读取数据Livy探究(五)--解释器的实现Livy探究(六)--RPC的实现Livy
P_Chou水冗·2020-10-10 01:26

Livy探究(七) -- 编程接口分析

在前面的篇章中，我们把重点放在livy的REPL功能的展示和源码分析。这篇我们探索一下livyUsingtheProgrammaticAPI功能。
P_Chou水冗·2020-10-10 00:07

Livy探究(六) -- RPC的实现

Livy基于netty构建了一个RPC通信层。本篇我们来探究一下Livy的RPC层的实现细节。读者应当具备netty编程的基础知识。
P_Chou水冗·2020-10-09 13:31

Livy探究(五) -- 解释器的实现

本篇我们深入源码，探究一下livy解释器的实现原理。ReplDriverReplDriver是真正最终运行的Driver程序对应的类（其基类是第三篇中提到的RSCDrvier）。
P_Chou水冗·2020-10-09 13:20

Livy探究(四) -- 从es读取数据

在前面的所有例子中，我们只是运行了livy官方给的两个例子。这篇我们要尝试运行一些有意义的代码。如没有特殊说明，以后所有的实验都是在yarn-cluster模式下运行的。
P_Chou水冗·2020-10-09 13:08

Livy探究(三) -- 核心架构细节探索

在前两篇中，我们通过官网的example体验了livy的功能，留下了一个疑问，究竟livy是如何做到的呢？这一篇从源码里面找一下答案。
P_Chou水冗·2020-10-09 13:08

Livy探究(二) -- 运行模式

上一篇的例子采用Livy默认的Local模式运行Spark任务。本篇我们尝试一下其他模式。因为修改配置文件需要重启，而每次重启服务都要设置SPARK_HOME和HADOOP_CONF_DIR比较麻烦。
P_Chou水冗·2020-10-09 13:36

Livy探究(一) -- 初体验

Livy探究(一)--初体验Livy探究(二)--运行模式Livy探究(三)--核心架构细节探索Livy探究(四)--从es读取数据Livy探究(五)--解释器的实现Livy探究(六)--RPC的实现Livy
P_Chou水冗·2020-10-09 13:56

Python到pyspark中的py-files的问题

图2为通过livy调用的情况截
码农道路深似海·2020-09-14 07:58

如何在 Kylin 中优雅地使用 Spark

为了更方便地向Spark提交、管理和监控任务，有些用户会使用Livy作为Spark的交互接口。
chuiqi5871·2020-09-10 13:19

Livy Session 详解（上）

本文基于incubator-livy0.4.0-incubating从LivyRestApi的介绍中我们可以知道，livy共有两种job，分别是session和batch。
牛肉圆粉不加葱·2020-08-23 06:16

解决在local模式中提交spark作业至Apache Livy Batch交互模式错误

问题详情：在使用ApacheLivy中Batch模式提交Spark作业时，提交json如下：{"conf":{"spark.master":"local"},"file":"/home/hadoop/Documents/spark/my_jars/SparkPlatform.jar","className":"com.application.SparkOperateKv"}其中file对应的是位于
古痴今狂·2020-08-22 13:49

Livy 安装和配置

从Livy所提供的基本功能可以看到Livy涵盖了原生Spar
Alex90·2020-08-21 20:37

记一次HDFS Delegation Token失效问题（续）

在上篇讲到了，HDFSDelegationToken问题的解决方法是Spark-Submit方式可以进行解决，经过了一段时间的反思和查看Livy和Spark-Submit两者日志之后，有了一点新发现，并且测试认证了
迹_Jason·2020-08-20 21:57

记一次HDFS Delegation Token失效问题（续）

在上篇讲到了，HDFSDelegationToken问题的解决方法是Spark-Submit方式可以进行解决，经过了一段时间的反思和查看Livy和Spark-Submit两者日志之后，有了一点新发现，并且测试认证了
迹_Jason·2020-08-20 21:57

hadoop、hive、sqoop、spark、livy、jdk单节点伪分布式集群一键部署shell脚本

ards.1.0安装说明注：脚本tgz包后续上传，欢迎留言与我交流讨论一、使用说明本脚本可实现快速自动安装（hadoop-2.7.3/hive-1.1.0/sqoop-1.4.6/spark-2.3.0/livy
王若蠢·2020-08-20 19:12

小米open-falcon agent脚本无法运行，导致agent挂掉

1出错现象如下：2020/07/2814:15:44scheduler.go:71:pluginstarted:/opt/open-falcon/agent/script/livy/60_livy.pypanic
人蠢多读书·2020-08-09 10:23

opentsdb无法展示open-falcon的指标

":"hostname1","tags":"sub=http://xxx.xxx.xxx:8998/ui#,cluster=hdp","timestamp":1595920008,"metric":"livy.alive
人蠢多读书·2020-08-09 10:51

Apach Zeppelin和Apach Livy搭配使用配置

2.6.3.jarjackson-annotations-2.6.3.jar使用上面三个jackson包替换$zeppelin-home/lib中的jackson按照githublivy页面下载并编译livy
qwemicheal·2020-08-03 04:36

大数据利器Zeppelin的快速搭建法宝及简单使用

首先是安装使用简单，然后是Zeppelin支持丰富的插件，比如ElasticSearch、Flink、Hbase、livy、Python和Sp
太白酒仙·2020-08-03 00:15
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他