Zeppelin

Flink Sql on Zeppelin（7）——Hive Streaming Sink之合并小文件

概述之前和大家聊HiveStreamingSink的时候说过，可以通过指定参数sink.partition-commit.policy.kind，来决定在提交分区时要做的事，比如合并小文件本身HiveStreamingSink是基于FileSystemStreamingSink，FileSystemStreamingSink其实已经做了保护，减少小文件的产生。主要是这两个参数sink.rollin
Flink-狄杰·2020-08-06 10:00

Flink Sql on Zeppelin（5）——双流Join

双流Join概述其实之前和大家聊过双流Join，这次之所以再拉出来讲并不是在炒冷饭，而是发现了之前讲的一些不足以UnBoundedJoin来说，我之前一直以为，无论哪边的流先到，只要匹配上之后，key对应的、存储在state中的数据应该被清理。这样，无论哪边再来一条同样key的数据，不会触发数据下发，也就是一对一。其实这样的理解是错误的，key会一直存储在state中，直到OOM或者配置TTL之后
Flink-狄杰·2020-08-06 10:00

Flink Sql on Zeppelin（6）——Hive Streaming

概述Flink1.11在上周二正式release了，在此之前我也给大家分享过了Flink1.11的一些新特性，然后和大家说过这一期会给大家单独说FlinkXHive本来打算找点数据，然后做一期类似于实时数仓的内容，但是数据不太好找，加上时间、精力有限就简单和大家聊聊吧在开始之前，大家参考一下HiveIntegration，把flink连接hive所需要的包放到lib目录下HiveStreaming
Flink-狄杰·2020-08-06 10:00

flink 1.11 集成zeppelin实现简易实时计算平台

背景zeppelin不提供perjob模式实时平台开发周期长基于zeppelin开发一个简易实时平台开发zeppelinInterpreter提交sql任务提交jar任务注意的点背景随着flink的蓬勃发展
大数据技术与应用实战·2020-08-06 09:01

zeppelin源码分析(4)——interpreter的调度和任务封装

SchedulerFactory工厂类负责创建所有的Scheduler实例。SchedulerFactory本身采用了Singleton设计模式，保证全局唯一实例，与Scheduler和其实现类之前形成了“简单工厂”设计模式：每个具体的Interpreter实现类在获取Scheduler实例时，都由自己决定初始化哪种类型的Scheduler实例:(PS：图中的SparkInterpreter是采用
spacewalkman·2020-08-05 20:16

Flink x Zeppelin ，Hive Streaming 实战解析

正巧Zeppelin-0.9-preview2也在前不久发布了，所以就写了一篇Zeppelin上的FlinkHiveStreaming的实战解析。
ApacheFlink·2020-08-05 02:10

HiveServer2与beeline的使用 & Hive JDBC编程

confluence/display/Hive/HiveServer2+ClientsHive仅仅是一个客户端而已，在生产上是不需要部署集群的Hive客户端有几大类：-hive-WebUI：通过HUE/Zeppelin
疯狂呼呼呼·2020-08-04 11:29

zeppelin中spark结合pyspark 常出现问题

问题：zeppelin运行程序过程中经常出现AttributeError:‘NoneType’objecthasnoattribute‘sc’和‘NoneType’objecthasnoattribute
lianchaozhao·2020-08-04 06:47

部署zeppelin时遇到的spark on yarn的submit方式问题

部署zeppelin时候遇到的一个跟sparksubmitapplication模式相关的问题具体stacktrace打印如下:org.apache.spark.SparkException:Detectedyarn-clustermode
Tony_老七·2020-08-04 01:22

zeppelin配置hive解释器

CDH安装配置zeppelin-0.8.01.下载zeppelin下载网站：http://zeppelin.apache.org/download.html2.解压并修改配置文件解压文件tar-zxvfzeppelin
麻雀加·2020-08-03 23:30

zeppelin报错 java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. This stop

java.lang.IllegalStateException:CannotcallmethodsonastoppedSparkContext.ThisstoppedSparkContextwascreatedat:原因之一是之前你在sparkwebui里面吧zeppelin
健忘主义·2020-08-03 22:22

Zeppelin组件配置和使用：使用JDBC连接Hive

Zeppelin使用JDBC方式提供对hive组件的支持，本文介绍如何在Zeppelin中配置hive的解释器。
机器熊技术大杂烩·2020-08-03 19:50

zeppelin+spark遇到的问题

由于电脑重装系统（Ubuntu18.04），之前运行得好好的zeppelin突然各种报错。由于本人比较菜，而且网上类似bug解决的帖子很少，所以最后花了好几个小时才搞定。
MESSD10S·2020-08-03 13:38

zeppelin spark SparkContext问题 Cannot call methods on a stopped SparkContext

在使用zeppelin写spark的代码的时候会出现个问题，zeppelin创建的SparkContext对象会一直占用在集群中如果spark集群没配置动态资源，这个对象就不会自动释放，一直占着资源，即使没有工作在
feloxx·2020-08-03 10:38

zeppelin环境搭建及连接hive使用--简易版一看就会

zeppelin环境搭建及连接hive使用一、准备工作1.zepeelin简介2.安装包下载3.环境要求二、解压安装三、修改配置文件1.修改配置文件zeppelin-site.xml2.修改zeppelin
我玩的很开心·2020-08-03 10:51

Apach Zeppelin和Apach Livy搭配使用配置

下载如下文件：jackson-core-2.6.3.jarjackson-databind-2.6.3.jarjackson-annotations-2.6.3.jar使用上面三个jackson包替换$zeppelin-home
qwemicheal·2020-08-03 04:36

hdp-2.6.3版本离线安装python插件

（1）首先找到你的hdp安装的那个目录，然后进入zeppelin的安装目录zeppelin-server里面，修改conf目录下zeppelin-site.xml文件的属性zeppelin.interpreter.group.order
太白酒仙·2020-08-03 00:15

大数据利器Zeppelin的快速搭建法宝及简单使用

Zeppelin是什么？
太白酒仙·2020-08-03 00:15

hdp-2.6.3版本Zeppelin实战应用自定义插件配置

我们知道，在hdp中使用Zeppelin的时候，我们往往很难使用Zeppelin插件默认的一些配置，需要我们自定义才能满足需求。现在就我工作中的一些项目经验，列举一些例子，希望对小伙伴有所帮助^_^。
太白酒仙·2020-08-03 00:44

Flink Sql on Zeppelin（3）——UDF&Redis维表

，通过Sql+UDF能够解决我们90%的问题Flink目前提供了大量的内置UDF供我们使用，详细可以参考官方文档不过有些时候，内置的UDF并不满足我们的需求，那就需要自定义UDF下面我们就来看看如何在Zeppelin
Flink-狄杰·2020-08-02 14:55

Flink Sql on Zeppelin（6）——Flink1.11预览（上）

&Sql预览概述之前就和大家说过要做一期Flink1.11的超前点映版，加上Flink1.11release在即，所以这次的内容就和大家简单分享一些Table&Sql方面的新特性就像标题一样，还是会在Zeppelin
Flink-狄杰·2020-08-01 06:12

Flink on Zeppelin (2) - Batch 篇

在FlinkonZeppelin入门篇中我们讲述了如何配置Zeppelin+Flink来运行一个最简单的WordCount例子。
Ververica·2020-08-01 06:36

Flink on Zeppelin (4) - 机器学习篇

今天我来讲下如何在Zeppelin里做机器学习。机器学习的重要性我就不多说了，我们直奔主题。
Ververica·2020-08-01 06:05

ApacheCN 学习资源汇总 2018.11

Java基础Java编程思想JavaWeb和大数据Spark中文文档Storm中文文档Kafka中文文档Flink中文文档Beam中文文档Zeppelin0.7.2中文文档Elastics
布客飞龙·2020-08-01 05:31

Flink on zeppelin 初试2

先跟鸡哥打个广告，博客地址:https://me.csdn.net/weixin_47482194写的博客很有水平的，上了几次官网推荐了。1，首先配置好与hive的集成2，该导入到flink的包都导入到flinklib下面，我是CDH版本，基本包如下：对于这个地方不懂的同学可以评论留言，这是踩过坑的。。3，实践操作：我们正常些代码去查询hive，代码如下：publicclassSourceData
黄瓜炖啤酒鸭·2020-07-31 12:06

CDH5.16+Flink1.11.0+zepplien初步踩坑

========================================================================经历了几天的折磨，在白斩鸡的帮助下完成集群任务提交运行：zeppelin
黄瓜炖啤酒鸭·2020-07-31 12:06

Flink on zeppelin 实时写入hive

概述随着Flink1.11.0版本的发布,一个很重要的特性就是支持了流数据直接写入到hive中,用户可以非常方便的用SQL的方式把kafka的数据直接写入到hive里面.这篇文章会给出Flinkonzeppelin
JasonLee'blog·2020-07-30 18:51

Flink on zeppelin第五弹设置checkpoint

checkpoint的,对于一个有状态的Flink任务来说如果想要在任务发生failover,或者手动重启任务的时候任务的状态不丢失是必须要开启checkpoint的,今天这篇文章主要分享一下Flinkonzeppelin
JasonLee'blog·2020-07-30 18:51

Flink on zeppelin第三弹UDF的使用

不管是在sparksql或者hive中都支持用户自定义UDF的使用,虽然Flink提供了很多内置的UDF可以直接使用,但是一些特定的场景可能需要我们自定义UDF去实现,这篇文章会主要介绍一下在Flinkonzeppelin
JasonLee'blog·2020-07-30 18:50

Flink on zeppelin 结合kafka实时计算pv uv写入mysql

上一篇文章主要介绍了Flinkonzeppelin的安装和使用,配置了yarn的模式跑通了一个streamingwordcount的例子,本文主要介绍结合kafka的使用,实时计算一个简单的pv,uv把结果写入到
JasonLee'blog·2020-07-30 18:50

Flink on zepplien的安装配置

ApacheZeppelin是一个让交互式数据分析变得可行的基于网页的notebook。Zeppelin提供了数据可视化的框架。
JasonLee'blog·2020-07-30 18:20

Zeppelin安装指南

登录Zeppelin官网，进入下载页面下载zeppelin版本，我这里下载的比较早是zeppelin-0.7.3-bin-netinst。下载完成后把包传到服务器上，解压缩。然后需要修改一些配置。
润土1030·2020-07-30 17:01

zeppelin-0.5.6+Hadoop-2.5.2+Hive-1.2.1环境构筑及测试

选了之前接触过的zeppelin.角色分工+------------------------------------------+------------------+-----------------
磨刀人·2020-07-30 15:32

使用Zeppelin代替spark-shell

启动使用bin/zeppelin-daemon.shstart启动后台服务然后使用bin/zeppelin.sh启动web端这样在服务器的8080端口就可以看见应用界面设置我
见丰·2020-07-30 13:52

ERC721以太坊通证实战教程

课程内容即包含ERC-721标准的自主实现，也讲解如何基于经过良好安全审计的OpenZeppelin合约代码库进行二次开发，实战项目采用Truffle开发框架，使用IPFS保存通证元数据，同时实现了通证以及去中心化的通证交易所
weixin_33701617·2020-07-30 10:57

代币合约二

一：初始化npm命令：npminit，初始化完成后在文件中增加package.json二：初始化truffle项目命令:truffleinit三：安装合约依赖模块：npminstallzeppelin-solidity
高宏惟·2020-07-30 03:09

Solidity 合约开发要掌握的特性和关键词记录

Solidity合约开发要掌握的特性和关键词记录1.入门扫盲常用的关键词用过的一些方法记录一些特别的操作记录常用的[OpenZeppelin](https://github.com/OpenZeppelin
高小小的家长·2020-07-29 09:08

【shell】三 grep -e 正则表达式

则需要查看目录，文件生成到哪一个，但是zeppelin中的shellinterpret只能查看100个文件，而且排序并不好看所以使用grep-e[option][regexString]来查看目录使用例如我的任务是
百物易用是苏生·2020-07-29 06:25

使用zeppelin分析电子商务消费行为

项目文件获取,提取码:m3d4文章目录一.任务描述二.问题分析问题分析1：Customer表问题分析2：Transaction表问题分析3：Store表问题分析1：Review表三.连接zeppelin
sun_0128·2020-07-29 06:29

zeppelin-0.7.2-bin-all 安装与使用

1下载官方地址：http://zeppelin.apache.org/2修改conf/zeppelin-env.sh,exportSPARK_HOME3修改conf/zeppelin-site.xml中的
易悠·2020-07-29 01:13

Spark性能调优2-总结分享

1、Spark调优背景目前Zeppelin已经上线一段时间，Spark作为底层SQL执行引擎，需要进行整体性能调优，来提高SQL查询效率。
xwc35047·2020-07-29 01:33

Flink Sql on Zeppelin（4）——聚合结果写入Kafka

聚合结果写入Kafka概述大家在使用FlinkSql，并将聚合数据写入Kafka的时候，肯定遇到过这样的报错Exceptioninthread"main"org.apache.flink.table.api.TableException:AppendStreamTableSinkrequiresthatTablehasonlyinsertchanges.atorg.apache.flink.tab
Flink-狄杰·2020-07-28 23:17

ApacheCN 学习资源汇总

关于我们：http://www.apachecn.org/aboutJava基础Java编程思想JavaWeb和大数据Spark中文文档Storm中文文档Kafka中文文档Flink中文文档Beam中文文档Zeppelin0.7.2
丹之·2020-07-28 21:42

【spark】一 spark on yarn的日志查看

sparkonyarn(ambari+zeppelin)查看日志(安全因素，端口映射不够用)日志四种方式：①yarn的hadoop的端口页面url(ip:8084/cluster/app/application
百物易用是苏生·2020-07-28 13:51

Apache Zeppelin简介

Zeppelin是一个Apache的孵化项目.一个基于web的笔记本，支持交互式数据分析。你可以用SQL、Scala等做出数据驱动的、交互、协作的文档。
sanfendi·2020-07-28 04:20

Flink 最佳搭档：开发部署平台 Zeppelin 的自白

很幸运，Apache社区就有这么一款工具：Zeppelin，而且可能是开源界最好的Flink开发平台。下面是Zeppelin和Flink的故事。Zep
ApacheFlink·2020-07-27 17:44

Spark性能调优-总结分享

1、Spark调优背景目前Zeppelin已经上线一段时间，Spark作为底层SQL执行引擎，需要进行整体性能调优，来提高SQL查询效率。
打怪的蚂蚁·2020-07-27 14:54

zeppelin在CDH上的安装及使用 -- 填坑

zeppelin可以跟spark、flink、kylin等直接访问，将结果可视化显示。在安装zeppelin的过程中碰到各种问题，跟陈大神一起研究了好几天，终于把问题解决。
poordicky·2020-07-16 06:39

zeppelin 安装使用，测试spark，spark sql

最近研究学习，发现一个新的大杀器zeppelin看这个图标就特别像小时候玩红警的大鲨鱼飞艇，基洛夫看了看官方的功能Aweb-basednotebookthatenablesinteractivedataanalytics.Youcanmakebeautifuldata-driven
feloxx·2020-07-15 22:50

Zeppelin 0.8.2安装

官网http://zeppelin.apache.org/docs/0.8.2/quickstart/install.html1.下载Zeppelin0.8.2安装包下载地址：http://archive.apache.org
C_time·2020-07-15 17:22
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他