E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kylin
大数据分析神兽麒麟
来源:https://www.cnblogs.com/huajiezh/p/6020880.html大数据分析神兽麒麟(Apache
Kylin
)1.Apache
Kylin
是什么?
cdmazzq
·
2020-06-22 20:21
大数据
深度的 Apache
Kylin
查询剖析
阅读本文前,请先阅读:Apache
Kylin
概览-简书Apache
Kylin
查询流程源码剖析-简书一、概览如上图,sqltext到物理执行计划主要分几个阶段:sqltext->parsedSqlNode
ccllcaochong1
·
2020-06-22 20:22
kylin
Kylin
Cube构建引擎原理及核心源码解析
本文主要介绍了Apache
Kylin
是如何将Hive表中的数据转化为HBase的KV结构,并简单介绍了
Kylin
的SQL查询是如何转化为HBase的Scan操作。
c929833623lvcha
·
2020-06-22 19:19
KYLIN
Kylin
高级主题-Cube构建算法介绍(逐层算法和快速算法)
Apache
Kylin
是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据。它能在亚秒内查询巨大的Hive表。
c929833623lvcha
·
2020-06-22 19:19
KYLIN
kylin
大数据平台搭建文档
文章目录前期准备包下载按顺序安装一.Hadoop二.Zookeeper三.Hbase四.Hive五.Sqoop六.
Kylin
七.Spark
Kylin
查询案例启动模式PS:将鼠标悬浮于对应图片上查看配置文件路径
Goofiness
·
2020-06-22 19:47
架构
国产银河麒麟系统配置源
源地址:http://archive.
kylin
os.cn/
kylin
/
KYLIN
-ALL/软件源使用方法在系统的/etc/apt/sources.list文件中,根据不同版本填入以下内容#4.0.2桌面版本
n大橘为重n
·
2020-06-22 19:00
教程
国产操作系统
银河麒麟
配置源
linux
CDH+
Kylin
三部曲之三:
Kylin
官方demo
本文是《CDH+
Kylin
三部曲》系列的终篇,先简单回顾前面的内容:《CDH+
Kylin
三部曲之一:准备工作》:准备好机器、脚本、安装包;《CDH+
Kylin
三部曲之二:部署和设置》:完成CDH和
Kylin
程序员欣宸
·
2020-06-22 18:02
Windows访问Ubuntu14.04远程桌面全攻略
开发要在台式机上进行,安装Ubuntu
Kylin
14.04,并且在串口连接了设备。个人使用的是笔记本电脑,系统是Windows8.1。自然想到使用远程桌面登录到Ubuntu,使用起来就方便多了。
bobbat
·
2020-06-22 18:10
LINUX
windows版docker desktop里,启动用kubernetes管理的容器
镜像虽然做了出来,但发现使用上太繁琐了,而且主机的资源使用效率不高,16G内存的主机,启动一组hdfs+hbase+
kylin
集群,什么都不干就要爆内存了。
傲慢程序员
·
2020-06-22 18:43
kube容万物
docker卷一切
kylin
新版 dashbard 功能开启
1.在
kylin
.properties中将一下配置开启
kylin
.server.query-metrics2-enabled=true
kylin
.metrics.reporter-query-enabled
bigdataf
·
2020-06-22 18:11
大数据
kylin
开源可视化工具 superset使用
superset+
kylin
1.superset和
kylin
连接问题使用
kylin
pypipinstall
kylin
py在
kylin
.py增加解决下拉列表问题@compact_response()deflist_schemas
bigdataf
·
2020-06-22 18:11
大数据
kylin
大数据可视化
Deepin/Ubuntu/Ubuntu
kylin
/Xubunt/Lubuntu/Kubuntu Android 开发环境配置
本文仅适用于通用android系统的编译环境(如CM、AOSP等)和patchrom代码插桩(如miui、Lewa等)--------------------------------------------------------------------------------Ubuntu采用的交互界面比较耗资源,且许多人吐槽无法适应其操作方式幸好Ubuntu有许多分支,且都支持android开发
benjaminwan
·
2020-06-22 17:44
android
cdh6.1.1+
kylin
2.6.2问题记录
kylin
安装参考(本人之前的文章):https://blog.csdn.net/belialxing/article/details/80888417如下是CDH6.1.1中安装
kylin
2.6.2遇到的问题
belialxing
·
2020-06-22 17:17
学习博客
Apache
Kylin
2.3.1 安装,基于CDH5
环境信息:Linux系统Redhat7CDHCDH5.14.3jdk1.8apache
kylin
2.3.1下载地址:apache
kylin
地址:forcdh5apache
kylin
2.3.1官网地址:http
belialxing
·
2020-06-22 17:17
学习博客
Kylin
_亚秒级数据预处理(多表)
目录按照订单渠道名称统计订单总额/总数量1、创建Model2、创建Cube3、执行构建、等待构建完成4、执行SQL查询,获取结果按照订单渠道名称统计订单总额/总数量1、创建Model指定关联表、关联条件添加查找第二张表设置事实表与维度表之间的主外键对应字段图解1图解2选择指标/度量2、创建Cube选择所需要的维度选择指标查看选择计算模式3、执行构建、等待构建完成刷新进度并查看4、执行SQL查询,获
神说要有光,于是就有了我
·
2020-06-22 17:47
大数据
#
Kylin
Kylin
2.6.3部署踩坑集锦
软件环境系统centos7hadoop3.2zookeeper-3.4.14jdk-8u201-linux-x64Hive3.1.2(metabase用的mysql)Hbase2.1.4
Kylin
2.3.6
智鼎在线IT团队
·
2020-06-22 16:18
Hive
Kylin
Hadoop
清除apk中多余权限
工具:Androguard作用:可以具体分析apk的权限是被哪些api使用安装Androguard:我的安装环境:ubuntu
kylin
16.04+python2.7+Androguard1.9下载地址
饮识止渴
·
2020-06-22 16:45
Apache
Kylin
在携程的实践
在近期的Apache
Kylin
Meetup上,携程大数据资深研发工程师张巍分享了
Kylin
在携程的应用。本文为大家介绍携程当前的架构以及使用
Kylin
过程中的挑战与心得。
Hadoop技术博文
·
2020-06-22 16:09
如何在
Kylin
中优雅地使用 Spark
前言
Kylin
用户在使用Spark的过程中,经常会遇到任务提交缓慢、构建节点不稳定的问题。为了更方便地向Spark提交、管理和监控任务,有些用户会使用Livy作为Spark的交互接口。
Hadoop技术博文
·
2020-06-22 16:36
大数据不就是写SQL吗?
SparkSQL、Hive、Phoenix、Drill、Impala、Presto、Druid、
Kylin
(这
aydnwba6940
·
2020-06-22 15:54
《基于Apache
Kylin
构建大数据分析平台》
Kyligence联合创始人兼CEO,Apache
Kylin
项目管理委员会主席(PMCChair)韩卿武汉市云升科技发展有限公司董事长,《智慧城市—大数据、物联网和云计算之应用》作者杨正洪万达网络科技集团大数据中心副总经理
anyingpou5339
·
2020-06-22 14:07
Apache
kylin
中cube的构建过程及原理分析
一、cube构建步骤登录页面创建Project同步数据1)加载Hive表2)从同步的目录中导入,即将上张图中左侧的数据库中的表导入3)上传Hive表4)添加流表。创建Model事实表关联其他表创建一个model1)填写基本信息2)选择事实表3)填写关联表(lookup_table)及关联方式4)选择维度5)选择统计值创建cube1)cube信息2)填写维度信息选择自动生成,全部勾选两种维度说明:为
andyleon2016
·
2020-06-22 14:42
Kylin
快速数据立方算法揭秘(新的算法)
Apache
Kylin
是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据。它能在亚秒内查询巨大的Hive表。
wangliang938
·
2020-06-22 13:52
Kafka+
kylin
——
kylin
2.5.0流式构建
《一份详细的
Kylin
执行样例——基于
kylin
2.5.0》一文中,小厨介绍了如何使用
kylin
,今天开辟一个新路线,个人感觉随着时代的发展,数据实时分析会成为主力军,因为今天介绍一下Kafka+
kylin
夏天小厨
·
2020-06-22 11:10
大数据-Kylin
大数据-KafKa
kylin流式构建
kylin+kafka
一份详细的
Kylin
执行样例——基于
kylin
2.5.0
在《
Kylin
2.5.0安装部署及样例sample.sh》一文中,我们搭建了
kylin
2.5.0版本的运行环境,并且简单演示了一下官方的SampleCube的示例,这样从宏观上对
kylin
的运行流程有了一个整体的认识
夏天小厨
·
2020-06-22 11:10
大数据-Kylin
Kylin
2.5.0安装部署及样例sample.sh
由于
Kylin
本身只是一个Server,所以安装部署还是比较简单的。但是不得不说
Kylin
对各个协作系统的版本要求还是比较高的。
夏天小厨
·
2020-06-22 11:09
大数据-Kylin
大厂最喜欢问的大数据场景题 -- 数据去重
Apache
Kylin
作为目前唯一一个同时支持精确与非精确去重查询的OLAP引擎,非常好地覆盖了大数据上的去重需求。
无精疯
·
2020-06-22 11:11
大数据学习之路
开篇致辞二、为什么要学大数据三、学习大数据门槛四、学习路线&独家干货(学生、在职、零基础)五、推荐书单六、Q&A一、开篇致辞我今年大四,大二的时候先后在厦门的两家小公司实习Java,大三的时候在Apche
Kylin
无精疯
·
2020-06-22 11:11
OLAP 玩转
KYLIN
步十四 为什么使用Hive View
本篇内容大部分参考自文章《
Kylin
实践之使用Hive视图》为什么需要使用视图
Kylin
在使用的过程中使用hive作为cube的输入,但是有些情况下,hive中的表定义和数据并不能满足分析的需求,例如有些列的值需要进行处理
啊_汤哥
·
2020-06-22 11:25
OLAP
OLAP 玩转
KYLIN
步十 官方案列实战之创建Cube之Configuration Overwrites
在
kylin
的安装目录下的conf/
kylin
.properties文件中有许多控制影响
kylin
执行的参数配置项;其中有些是全局配置,即一个运行中的
kylin
进程,全局参数一旦设定,运行过程中只以全局参数的配置为准
啊_汤哥
·
2020-06-22 11:25
OLAP
OLAP 玩转
KYLIN
步九 官方案列实战之创建Cube之Advanced Setting
紧接上一节数据刷新设置完毕,点击Next,便进入AdvancedSetting设置界面。首先,第一项设置聚合组,如图:合理的聚合组设置,既可以满足查询的需求,也可以优化cube的构建,让我们先理解概念,再谈如何优化。聚合组既将一个Cube的所有维度根据业务需求划分成若干组(当然也可以是一个组),由于同一个组内的维度更可能同时被同一个查询用到,因此会表现出更加紧密的内在关联。每个分组里的维度组合均是
啊_汤哥
·
2020-06-22 11:25
OLAP
OLAP 玩转
KYLIN
步七 官方案列实战之创建Cube之设计度量
进入度量添加界面,
Kylin
默认会为我们创建一个Count(1)的度量,避免不必要的麻烦,不要对其做修改或删除。如图:点击上图中的+Measure便可以添加我们自己的度量。
啊_汤哥
·
2020-06-22 11:25
OLAP
OLAP 玩转
KYLIN
步八 官方案列实战之创建Cube之数据刷新设置
紧接步七,我们就进入了cube数据刷新设置的界面,如图:这里的设置目前包含“AutoMergeThresholds”、“VolatileRange”、“RetentionThreshold”、“PartitionStartDate”。“PartitionStartDate”是指Cube默认的第一个Segment的起始时间。同一个Model下不同的Cube可以指定不同的起始时间,因此该设置项出现在C
啊_汤哥
·
2020-06-22 11:25
OLAP
OLAP 玩转
KYLIN
步一 万丈高楼平地起
教程假定
kylin
系统已被负责运维的人员安装部署完成,使用
kylin
的人员无需关心系统的运行及配置问题。
啊_汤哥
·
2020-06-22 11:54
OLAP
OLAP
KYLIN
数据仓库
OLAP 玩转
KYLIN
步二 官方案列实战之介绍涉及的表
接下来我将从
kylin
的官方案例开始循序渐进的开始
kylin
的学习。案例涉及的表的描述(1)
KYLIN
_SALES该表保存了销售订单的明细信息。每一行对应着一笔交易订单。
啊_汤哥
·
2020-06-22 11:54
OLAP
将ES中的数据推到kafka中,用
kylin
进行OLAP计算,发现统计数据对不上
下面是我用同一份数据,查询ES,推到kafka,导入
kylin
,导入的数据量一样,使用的cube设置是一样的结果得到的统计数据竟然不一样,当时简直是哔了狗了第一张查询ES时候是没有排序,第二张查询是按时间排序
我的裤衩呢
·
2020-06-22 11:39
NameNode启用HA主备节点进行切换,Hbase启动RegionServers失败
coordination.ZkOpenRegionCoordination:Openingofregion{ENCODED=>c5112e862e17377d2737596d6d5ddd0c,NAME=>'
KYLIN
_CY40CLW8S7
源神
·
2020-06-22 10:14
HBase
Kylin
重新设置密码登录不上:Overwriting conflict /user/ADMIN, expect old TS 1547448907000, but it is 15475148590
修改文件(先备份):/opt/apache-
kylin
-2.5.2-bin-hbase1x/tomcat/webapps/
kylin
/WEB-INF/classes/
kylin
Security.xml这串及是加密内容
源神
·
2020-06-22 10:14
Kylin
Apache
Kylin
原理学习之Cube构建
Apache
Kylin
原理简介Apache
Kylin
是一个开源的、基于Hadoop生态系统的OLAP查询引擎,能够通过SQL接口对十亿、甚至百亿行的超大数据集实现秒级的多维分析查询。
许振雪
·
2020-06-22 10:35
Kylin
大数据
Kylin
安装部署
一、安装准备1、操作系统Centos7.x2、时间问题集群内所有节点时间一定要同步。NTP、Chrony3、用户创建hadoop组和hadoop用户,并做ssh免密码登录4、HadoopHA集群Hadoop2.7.35、HBasehbase1.x6、HiveHive1.2.1,使用mysql存放元数据7、准备目录#mkdir/install#cd/install#chown-Rhadoop:had
With__Sunshine
·
2020-06-22 08:46
kylin
KYLIN
例行调度 自动BULID
KYLIN
提供RESTFUL接口,通过请求&crontab可实现例行调度参考url:http://
kylin
.apache.org/docs15/howto/howto_use_restapi.html
_木子_简单_
·
2020-06-22 07:52
MAC上安装使用
KYLIN
(OLAP工具)完整版
archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.3.2hive-0.13.1-cdh5.3.2hbase-0.98.6-cdh5.3.10apache-
kylin
_木子_简单_
·
2020-06-22 07:51
大数据
Hadoop+
Kylin
集群部署过程和问题
一.Hadoop安装初始化工作版本:hadoop:2.7.1hbase:1.3.1hive:2.3.0
kylin
:2.0.0jdk:1.8.01.新建用户和组>groupaddhadoop>useradd-d
Cloud_Leung
·
2020-06-22 06:01
java
简单粗暴 TensorFlow(Xihan Li(雪麒))
基于EagerExecution|BasedonEagerExecution在线阅读|Readonline:https://tf.wiki备用地址|AlternativeURL:https://snow
kylin
.github.io
VX平台:交叉学科俱乐部
·
2020-06-22 06:01
Tensorflow
Python
Kylin
的cube创建成功 但Build失败
cubebuild的过程中报如下错:Createanddistributetable,cmd:hive-e"SETdfs.replication=2;SEThive.exec.compress.output=true;SEThive.auto.convert.join.noconditionaltask=true;SEThive.auto.convert.join.noconditionaltas
_tommy
·
2020-06-22 05:06
kylin学习笔记
Apache
Kylin
v2.4.1 正式发布
Apache
Kylin
社区于日前宣布:Apache
Kylin
v2.4.1正式发布!欢迎大家下载使用。
Kyligence
·
2020-06-22 05:47
Apache
Kylin
从零开始构建Cube(含优化策略)
前言Apache
Kylin
采用“预计算”的模式,用户只需要提前定义好查询维度,
Kylin
将帮助我们进行计算,并将结果存储到HBase中,为海量数据的查询和分析提供亚秒级返回,是一种典型的“空间换时间”的解决方案
叫我不矜持
·
2020-06-22 05:12
kylin
增量更新cube设置
daily_monthly_alivetoday=`date+%Y-%m-%d`tdTs=`date-d"$today08:00:00"+%s`endTime=$(($tdTs*1000))curl--userADMIN:
KYLIN
-XPUT-H'Content-Type
动物管理员
·
2020-06-22 05:37
kylin
Kylin
学习笔记02 -
Kylin
快速入门,集成jdbc
Kylin
学习笔记-
Kylin
快速入门,集成jdbc一、快速入门1、登录系统2、创建工程1)点击图上所示“+”号2)填入项目名及描述点击Submit3、选择数据源1)选择加载数据源方式2)输入要作为数据源的表
SeafyLiang
·
2020-06-22 05:41
Kylin
apache
kylin
数据导入hive
编写导入数据的sql脚本:建表1.dropdatabaseifexistssample;2.createdatabasesample;3.droptableifexistssample.
kylin
_cal_dt
姹紫_嫣红
·
2020-06-22 04:49
数据分析
hive
上一页
51
52
53
54
55
56
57
58
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他