Kylin

Apache Kylin 从零开始构建Cube(含优化策略)

前言ApacheKylin采用“预计算”的模式，用户只需要提前定义好查询维度，Kylin将帮助我们进行计算，并将结果存储到HBase中，为海量数据的查询和分析提供亚秒级返回，是一种典型的“空间换时间”的解决方案
叫我不矜持·2020-06-22 05:12

kylin 增量更新cube设置

daily_monthly_alivetoday=`date+%Y-%m-%d`tdTs=`date-d"$today08:00:00"+%s`endTime=$(($tdTs*1000))curl--userADMIN:KYLIN-XPUT-H'Content-Type
动物管理员·2020-06-22 05:37

Kylin学习笔记02 - Kylin快速入门，集成jdbc

Kylin学习笔记-Kylin快速入门，集成jdbc一、快速入门1、登录系统2、创建工程1）点击图上所示“+”号2）填入项目名及描述点击Submit3、选择数据源1）选择加载数据源方式2）输入要作为数据源的表
SeafyLiang·2020-06-22 05:41

apache kylin 数据导入hive

编写导入数据的sql脚本：建表1.dropdatabaseifexistssample;2.createdatabasesample;3.droptableifexistssample.kylin_cal_dt
姹紫_嫣红·2020-06-22 04:49

Apache kylin Restful API

ApacheKylin的主要API：1.用户认证post/kylin/api/user/authenticationcurl-c/path/to/cookiefile.txt-XPOST-H"Authorization
姹紫_嫣红·2020-06-22 04:49

kylin创建cube时的步骤及一些notes

1.创建工程2.同步hive表定义（四种）3.创建DataModeljoin多表，定义了星型模型；join操作包括：leftjoin和innerjoin；创建的model可以被多个cube使用；-->demensions可以来自事实表和维表；Meassues必须来自事实表；-->settings可以设置构建cube时的分割列（必须为DATE类型或者TIMESTAMP）4.创建Cubecubenam
姹紫_嫣红·2020-06-22 04:18

Kylin的介绍及使用说明

介绍篇Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase
编程人生之路·2020-06-22 04:49

Kylin 大数据时代的OLAP利器

Olap简介OLAP的历史与基本概念Olap全称为在线联机分析应用，是一种对于多维数据分析查询的解决方案。典型的Olap应用场景包括销售、市场、管理等商务报表，预算决算，经济报表等等。最早的Olap查询工具是发布于1970年的Express，然而完整的Olap概念是在1993年由关系数据库之父EdgarF.Codd提出，伴随而来的是著名的“twelvelawsofonlineanalyticalp
Rainmt_水战·2020-06-22 04:21

ubuntu再次体验之【美化】--修改主题、字体、字体大小

修改字体，主题大小神马的，在之前，我会着重于看修改各式参数神马的，但是自从我接触UbuntuKylin后，发现了一种更为便捷的方式了。那就是使用优客助手。
ROVAST·2020-06-22 04:36

【转载】kylin详细介绍

转载地址OLAP(on-LineAnalysisProcessing)的实现方式ROLAP:基于关系数据库的OLAP实现（RelationalOLAP）。ROLAP将多维数据库的多维结构划分为两类表:一类是事实表,用来存储数据和维关键字;另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了"星型模式"。对于层次复杂的维,
mango-lemon·2020-06-22 03:55

从底层到应用，那些数据人的必备技能

1、大数据平台目前很火，数据源头，各种炫酷新技术，搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的。目前很多企业都把
yoku酱·2020-06-22 03:38

apache kylin和kafka的初识（一）

1、kylin的介绍1、简介：ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，它能在亚秒内查询巨大的Hive
numStudy·2020-06-22 02:58

虚拟机实践篇

现在物理机是Win7和Win8.1双系统，Win7内装了Ubuntukylin和Mac10.10，Win8装了Ubuntu。所用的虚拟机，俩Ubuntu是VirtualBox，Mac是Vmware。
Promisey2017·2020-06-22 01:30

Kylin On Druid Storage 原理与实践

目录•WhatisKylinKylin构建时的数据格式转换Kylin查询时的数据格式流转WhatisDruidStorage•WhyKylinonDruidStorage•HowKylinonDruidStorage1Druid
似梦似意境·2020-06-22 00:46

Kylin 之Cube 构建优化

从之前章节的介绍可以知道，在没有采取任何优化措施的情况下，Kylin会对每一种维度的组合进行预计算，每种维度的组合的预计算结果被称为Cuboid。
似梦似意境·2020-06-22 00:46

Kylin 环境搭建

1.安装地址•官网地址：http://kylin.apache.org/cn/•官方文档：http://kylin.apache.org/cn/docs/•下载地址：http://kylin.apache.org
似梦似意境·2020-06-22 00:16

Kylin 增量构建

前面介绍了如何构建Cube并利用其完成在线多维分析的查询。每次Cube的构建都会从Hive中批量读取数据，而对于大多数业务场景来说，Hive中的数据处于不断增长的状态。为了支持Cube中的数据能够不断地得到更新，且无需重复地为已经处理过的历史数据构建Cube，因此对于Cube引入了增量构建的功能。我们将Cube划分为多个Segment，每个Segment用起始时间和结束时间来标志。Segment代
似梦似意境·2020-06-22 00:16

Kylin 介绍

有幸参加了ebay的数次会议，有幸认识了产品经理Luke,现就其中的重要概念进行阐述：http://kylin.incubator.apache.org/Kylin是一个开源、分布式的OLAP分析引擎,
Lance_Zhang_SH·2020-06-22 00:15

手动删除/kylin hdfs 上的数据

手动删除/kylinhdfs上的数据使用kylin一段时间，不难发现kylin指定的workfolder目录下存储的数据越来越多。
Kumquatlemon·2020-06-21 23:37

UbuntuKylin13.10下安装配置Theano

今天在师兄的引领下开始学习基于Python的类库——Theano.来自网上的一种说法是Theano基于表示矩阵向量的numpy和包含大量数学功能的scipy模块。对于数据的处理来说Python还是具有一定的优势。打算配置Theano时，因为官网的一句温馨提示（“除Linux64位机外，其他OS并不能很好用于测试”），才想起来打开那尘封已久的Kubuntu13.10。遂毅然决定在Ubuntu下安装配
JIANTAO_YI·2020-06-21 22:02

【Apache Kylin 】 大数据下的OLAP解决方案(原理篇)

前言在现在的大数据时代，Hadoop已经成为大数据事实上的标准规范，一大批工具陆陆续续围绕Hadoop平台来构建，用来解决不同场景下的需求。让我们来想想有哪些业务需求呢？比如Hive是基于Hadoop的一个用来做企业数据仓库的工具，可以将存储在HDFS分布式文件系统上的数据文件映射为一张数据库表，并提供SQL查询功能，Hive执行引擎可以将SQL转换为MapReduce任务来进行运行，非常适合数据
JDJRdata·2020-06-21 22:24

Ubuntu Kylin下安装MySQL 5.7

操作系统：UbuntuKylin16.04.1LTS（64位）MySQL5.7下载：下载地址：http://dev.mysql.com/downloads/mysql/MySQLCommunityServer5.7.14SelectPlatform
柯南道尔2606·2020-06-21 21:54

大数据笔试真题集锦---Azkaban，kylin面试题

第十三,十四章目录第十三章Azkaban一个批量工作流任务调度器13.1Oozie和Azkaban的区别工作流配置上：azkaban使用properties或yml，oozie使用xml工作流传参上：azkaban直接传参，oozie还额外支持EL表达式定时任务上：azkaban基于时间，oozie还额外基于数据资源管理上：azkaban有权限管理，oozie暂无重试机制上：azkaban支持jo
千锋教育官方博客·2020-06-21 20:58

【大数据学习】VBox Ubuntu 14.04虚拟机安装

VitualBox版本:5.1.30Ubuntu版本：UbuntuKylin14.041.系统下载百度搜下即可，下载后缀为.iso的文件2.系统安装安装VBox时最好使用默认的安装路径，就是一直点下一步
FormatFa·2020-06-21 20:29

使用api查询Kylin数据

使用的环境是python3.61、安装pip必要包pipinstallkylinpypipinstallsqlalchemy2、查询代码：importsqlalchemyassadefkylin_query
EnterPine·2020-06-21 20:10

Apache Kylin 概述

1Kylin是什么今天，随着移动互联网、物联网、AI等技术的快速兴起，数据成为了所有这些技术背后最重要，也是最有价值的“资产”。如何从数据中获得有价值的信息？
大数据技术进阶·2020-06-21 19:10

Kylin构建Cube过程详解

1前言在使用Kylin的时候，最重要的一步就是创建cube的模型定义，即指定度量和维度以及一些附加信息，然后对cube进行build，当然我们也可以根据原始表中的某一个string字段（这个字段的格式必须是日期格式
大数据技术进阶·2020-06-21 19:10

IT运维平台算法背后的两大“神助攻”

本文主要谈算法对运维的作用，涉及异常检测和归因分析两方面，围绕运维系统Kale中skyline、Oculus模块、Opprentice系统、Grangercausality（格兰杰因果关系）、Fas
AIOPstack·2020-06-21 18:10

Ambari 集成 Apache Kylin 服务（适配于 2.6.x / 2.7.x 版本）

一、前言ApacheKylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBayInc.开发并贡献至开源社区。
CREATE_17·2020-06-21 18:22

上海沙龙回顾 | Apache Kylin 原理介绍与新架构分享（Kylin On Parquet）

以下是Kyligence大数据研发工程师陶加涛的分享主题沉淀，《ApacheKylin原理介绍与新架构分享（KylinOnParquet）》。大家好，我是来自Kyligenc
字节跳动技术团队·2020-06-21 17:49

大数据查询分析引擎比较

最后，Kylin和D
BabyFish13·2020-06-21 17:57

kylin搭建

本文档主要是kylin的搭建以及在搭建过程中遇见大问题。1.环境本文档主要搭建在开发环境。
Ayub·2020-06-21 17:11

kylin

前言OLAP和OLTP数据处理大致可以分成两大类：联机分析处理OLAP(On-LineAnalyticalProcessing)联机事务处理OLTP(On-LineTransactionProcessing)OLTP是传统的关系数据库的主要应用，主要用于基本的、日常的事务处理。例如银行交易OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果OLAP（On-
hello_zzw·2020-06-21 16:31

分布式大数据多维数据分析(olap)引擎kylin

ApacheKylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay开发并贡献至开源社区。
明星it·2020-06-21 15:39

Apache Kylin 2.5.0安装和使用

ApacheKylin2.5.0安装和使用1.背景ApacheKylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBayInc
zengrui_ops·2020-06-21 15:31

大数据运维学习之路

组成原理storm组成原理elasticsearch组成原理flume组成原理azkaban组成原理Oozie组成原理CDH组成原理ambari组成原理sqoop组成原理HUE组成原理kettle组成原理Kylin
火树银花之处·2020-06-21 15:51

OLAP引擎——Kylin介绍

Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（
教练_我要踢球·2020-06-21 15:11

Kylin实践之使用Hive视图

为什么需要使用视图Kylin在使用的过程中使用hive作为cube的输入，但是有些情况下，hive中的表定义和数据并不能满足分析的需求，例如有些列的值需要进行处理，有些列的类型不满足需求，甚至有时候在创建
教练_我要踢球·2020-06-21 15:40

Apache Kylin Buid Cube详细流程

BuildCube流程主要分为四个阶段：根据用户的cube信息计算出多个cuboid文件根据cuboid文件生成htable更新cube信息回收临时文件1.流程一：作业整体描述把构建Cube的来源表总行数写到指定的HDFS文件中2.流程二：生成中间临时数据这一步的操作是根据Cube设计中的定义生成原始数据，这里会新创建一个Hive外部表，然后再根据Cube中定义的星型模型，查询出维度（对于Deri
RangeYan2012·2020-06-21 14:58

Apache Kylin综述

1.简介1.1Kylin概览ApacheKylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力（可以把Kylin定义为OLAPonHadoop）。
打怪的蚂蚁·2020-06-21 14:55

kylin 2.3.0部署和遇到问题整理

一、部署kylin环境1.部署的环境准备Kylin2.3.0默认支持spark2.1版本，对版本的spark2.2兼容存在问题。
wuzhilon88·2020-06-21 14:23

开源OLAP引擎综评：HAWQ、Presto、ClickHouse

大家都知道开源大数据组件种类众多，其中开源OLAP引擎包含Hive、SparkSQL、Presto、HAWQ、ClickHouse、Impala、Kylin等。
百分点大数据团队·2020-06-21 14:00

大数据之CDH5.8.3集成安装Apache Kylin与探索使用

博文目录0.Kylin概览(官方)1.Kylin特性3.Kylin生态圈3.Kylin集成前环境准备4.安装部署4.1下载Kylin4.2部署Kylin4.3启动Kylin5.实例测试0.Kylin概览
ddttoop·2020-06-21 13:53

大数据数仓项目Kylin[安装]

Kylin安装资源下载:https://pan.baidu.com/s/1ot-vIOO64yiuGFG2GPSZEg提取码:8yau依赖环境：软件版本Apachehbase-1.1.1-bin.tar.gz1.1.1spark
真情流露哦呦·2020-06-21 13:39

快速学习-Kylin入门

第3章快速入门需求：实现按照维度（工作地点）统计员工信息3.1数据准备在Hive中创建数据，分别创建部门和员工外部表，并向表中导入数据。（1）原始数据（2）建表语句创建部门表createexternaltableifnotexistsdefault.dept(deptnoint,dnamestring,locint)rowformatdelimitedfieldsterminatedby'\t';
cwl_java·2020-06-21 12:33

Apache kylin 入门介绍

ApacheKylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBayInc.开发并贡献至开源社区。
圣者为王·2020-06-21 12:27

Kylin建模1之Hive数据准备

Kylin建模1之Hive数据准备准备工作1：本机上有格式为txt的数据。采用Xftp或者WinSCP工具都可以将数据传到相应的服务器上。2：启动hive直接在控制台输入hive命令即可。
beier02007·2020-06-21 12:15

第4章 Cube构建原理

上篇：第3章大数据Kylin快速入门1、Cube构建流程2、Cube构建算法我们知道，一个N维的Cube，是由1个N维子立方体、N个(N-1)维子立方体、N*(N-1)/2个(N-2)维子立方体、…、N
江湖侠客·2020-06-21 12:58

第1章 大数据Kylin之概述

Kylin概述1.1、Kylin定义ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay开发并贡献至开源社区
江湖侠客·2020-06-21 12:58

第1章 大数据Kylin之术语

上篇：第1章大数据Kylin之概述（上）1、DataWarehouse（数据仓库）数据仓库是一个各种数据（包括历史数据和当前数据）的中心存储系统，是BI（businessintelligence，商业智能
江湖侠客·2020-06-21 12:58
上一页 49 50 51 52 53 54 55 56 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他