BI&OLAP 第22页

OLAP和OLTP区别2

1、当今的数据处理大致可以分成两大类：联机事务处理On-LineTransactionProcessing联机分析处理On-LineAnalyticalProcessing2、二者特性的不同，决定了对资源需求的偏重OLTP(实时交易库大量短事务对IO要求高)一、面向交易的实时处理系统OLTPOLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，记录即时的增、删、改、查，比如在银行存

liuzx32·2023-04-10 16:42

Hive SQL 2023必考常用窗口函数及面试题

一、窗口函数概述窗口函数也称为OLAP函数，OLAP是OnLineAnalyticalProcessing的简称，意思是对数据库数据进行实时分析处理。

000X000·2023-04-10 07:36

ClickHouse & OLAP

installdockerinstallconnectbyDBeaverconnecterror:cannotcreatedriverinstance原因：DBeaver下载ClickHouse驱动失败解决方法：增加国内源的maven地址。窗口->首选项->DBeaver->驱动->Maven。添加阿里云的maven地址http://maven.aliyun.com/nexus/content/g

allen sue·2023-04-10 02:47

InnoDB中索引的实现

OLAP应用需要分析特定的

依晴无旧·2023-04-10 01:58

Apache Kylin 命令注入漏洞复现(CVE-2020-1956)

1、产品简介ApacheKylin是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay开发并贡献至开源社区。

OidBoy_G·2023-04-09 21:01

大数据处理之ClickHouse概述及架构参考（未完）

一、概述中移某业务拨测系统基于业务数据拨测指标及日志的分析需要，随着Clickhouse在OLAP领域的快速崛起，以及一些特性考虑，比如：数据量会很大，最好需要分布式；支持实时写入，支持快速计算，在较短时间内能完成计算

羌俊恩·2023-04-09 16:11

Spark shuffle

Shuffle这个词在spark和mr中经常被提及，经常被翻译成『洗牌』、『混洗』，这样翻译并不容易理解，其实可以翻译成『数据重分布』，因为对从事OLAP的同学来说，大家对『重分布』这个概念是熟悉的。

只要开始永远不晚·2023-04-09 06:10

将网页编辑为windows、mac、ios、安卓程序

https://www.coolapk.com/apk/cn.coldsong.fusionapphttps://electronjs.org/

kingloongMagic·2023-04-09 01:31

Flink-流/批/OLAP一体得到Flink引擎

Flink概述1.1ApacheFlink的诞生背景1.1.1什么是大数据大数据（BigData）:指无法在一定时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。大数据的特点：海量化（Volumes）多样化（Variety）快速化（Velocity）价值化（Value）1.1.2大数据计算框架发展历史(1)史前阶段~2006年传统数据仓库，Oracle，单机，黑箱使用(2)Hadoop

阿通666·2023-04-08 23:30

流/批/OLAP一体的Flink引擎介绍-字节跳动大数据青训营

流/批/OLAP一体的Flink引擎介绍开源生态2.Flink整体架构2.1Flink分层框架1.SDK层：分为三类：SQL/Table、DataStream、Python；2.执行引擎层（Runtime

北境旅客·2023-04-08 23:27

大数据项目离线数仓（全）二（数仓系统）

目录一、数据仓库系统1.1基础概念1.1.1数据分层的好处1.1.2数据分层1.1.3数据集市和数据仓库1.1.4OLTP和OLAP1.1.5关系建模与维度建模1.1.6事实表和维度表1.1.7维度建模分类

一个人的牛牛·2023-04-08 20:16

【ClickHouse为什么这么快？】MergeTree 表存储引擎图文实例详解

前言ClickHouse是俄罗斯最大的搜索引擎Yandex在2016年开源的数据库管理系统（DBMS），主要用于联机分析处理（OLAP）。

禅与计算机程序设计艺术·2023-04-08 17:18

数据仓库工具箱维度建模权威指南-第一章数据仓库、商业智能及维度建模初步

DataWarehousingandBusinessIntelligence,DW/BI)，DW/BI系统的数据结构与标识必须符合业务用户的思维过程和词汇信息两个目的：1.操作性记录的保存(oltp)2.分析型决策的制定(olap

Claroja·2023-04-08 09:42

图数据库中的 OLTP 与 OLAP 融合实践

在一些图计算的场景下，我们会遇到同时需要处理OLTP和OLAP的问题。而本文就给了一个OLTP与OLAP融合实践的指导思路，希望给你带来一点启发。

图数据库NebulaGraph·2023-04-08 08:04

去重方法-精确去重(Kylin的去重)

文章目录去重方法精确去重的原理RoaringBitmap实现思路小桶的类型与bitmap的性能对比全局字典介绍Trie树与AppendTrie树去重方法在OLAP数据分析领域，去重计数（countdistinct

迷雾总会解·2023-04-08 08:21

kylin的介绍

概念Kylin是一个OLAP引擎，OLAP是在线分析处理（OnlineAnalyticalProcessing）的缩写，它是一种数据分析处理方式，主要用于多维数据分析。

健鑫.·2023-04-08 07:56

浅谈OLAP系统各个核心技术点

0、前言OLAP系统广泛应用于BI、Reporting、Ad-hoc、ETL数仓分析等场景，本文主要从体系化的角度来分析OLAP系统的核心技术点，从业界已有的OLAP中萃取其共性，分为谈存储，谈计算，谈优化器

Impl_Sunny·2023-04-08 06:12

数据仓库电商项目-整体架构

,离线：sqoop存储平台：底层存储HDFS，基础设施：hive（数据仓库基础设施）运算引擎：spark任务调度：azkaban/oozie、informatica元数据管理：atlas（或自研系统）OLAP

四月天03·2023-04-08 05:50

百亿级实时查询优化实战，让你的Elasticsearch飞起来

最近的一个项目是风控过程数据实时统计分析和聚合的一个OLAP分析监控平台，日流量峰值在10到12亿上下，每年数据约4000亿条，占用空间大概200T。

ludongguoa·2023-04-08 05:16

数据仓库原理

导致数据不一致；1.2基本概述（DataWarehouse,DW）由数据仓库之父比尔恩门提出；数据仓库是一个面向主题的、集成的、非易失的且随着时间变化的数据集合；主要用于组织积累的历史数据，并使用分析方法（OLAP

周粥粥ph·2023-04-07 22:08

数据仓库原理 - 概念、架构、建模方法

ETLODSCDMADS2.2ETL流程数据抽取数据转换数据加载ETL工具2.3数据积存操作数据层ODS2.4数据分析数据明细层DWD数据汇总层DWS数据应用层ADS3、建模方法3.1基本概念3.2ROLAP3.3MOLAP3.4

海星？海欣！·2023-04-07 21:45

大数据训练营课程大纲&项目简介

大数据的“三驾马车”：HDFS、MapReduce/YARN、HBase模块二：大数据时代数据仓库实践：Hive模块三：更快的数据处理引擎：Spark模块四：重构现代化数据仓库：SparkSQL模块五：OLAP

greedy-hat·2023-04-07 21:45

5点告诉你，如何用亿信ABI转换Cognos报表的Cube

Cube具有以下特点:1、支持大数据量的OLAP分析处理；Cubes生成以后，独立于原关系数据库，且对原数据有10：1的压缩，响应速度以秒级或毫秒级计算；2、用户可在此

辰哥爱学习·2023-04-07 16:38

druid 的基础架构与应用

druid典型的应用就是OLAP场景下的cube组合查询分析。如数据钻取（Drill-down）、上卷（Roll-up）、切片（Slice）、切块（Dice）以及旋转（P

Java大生·2023-04-07 12:38

Kubernetes、OpenShift和IBM的简史

,andIBM原文链接：https://developer.ibm.com/blogs/a-brief-history-of-red-hat-openshift/作者：AntonMcConville,OlaphWagoner

老刀IBM·2023-04-07 10:22

数据仓库与数据库的区别

数据库与数据仓库的区别实际讲的是OLTP与OLAP的区别。

jane9872·2023-04-07 07:10

数仓第五章作业

数仓第五章作业文章目录数仓第五章作业一、在OLAP的5个特征FASMI中，那两个是OLAP的关键特性？二、多维数据分析有哪几个基本分析操作？

-北天-·2023-04-07 01:00

盘点Hadoop生态中 6 个核心的大数据组件

大数据生态圈中有很多优秀的组件，可谓琳琅满目，按组件类别可分为存储引擎、计算引擎，消息引擎，搜索引擎等；按应用场景可分为在线分析处理OLAP型，在线事务处理OLTP型，以及混合事务与分析处理HTAP型等

大数据技术架构·2023-04-07 00:32

数据仓库综述

数据仓库是面向业务分析，决策—OLAP。面向主题，集成，非易失（作为业务数据的冷却数据，所以保存要一致）所以，根据不同的特点，其存储结构有着巨大差异。

breeze的一切·2023-04-06 23:22

百万数据sum太慢_MPP数据库简介

1、先了解下OLTP与OLAP区别OLTP(OnLineTransactionProcessing，联机事务处理)系统例如mysql。

weixin_39746552·2023-04-06 23:45

MMP数据库greenplum,与hadoop的区别

一种MMP无共享架构的数据库，擅长olap联机分析。基于postgre内核，interconnect并行调度，分布式事务两段提交，还有分区表外部表行列存储高可用。2.greenplum的架构及功能？

pasen_newer·2023-04-06 23:00

数据库基础（MySQL+Oracle）

为什么要用数据库数据库类型OLTP&OLAPNewSQL云数据库阿里云RDS国产数据库数据库演进MySQLMariaDBandPercona备份还原Oracle备份MySQL备份远程访问数据库对象Oracle

迪杰斯特夫·2023-04-06 20:24

Kylin前置基础知识了解

1、数据仓库、OLAP与BI数据仓库数据仓库，英文名称DataWarehouse，简称DW。

我还不够强·2023-04-06 19:06

初识clickhouse优势与部署

官网地址这是一款列式的OLAP数据库，适用于数据分析，也可用于IOT中，主要基于大批量写入以及大量查询，不建议对数据做修改和删除。目前已在使用的互联网大厂如今日头条，携程，腾讯

帝休·2023-04-06 18:19

开源OLAP引擎哪个快？ (Presto、HAWQ、ClickHouse、GreenPlum)

这是易观Spark实战营出品的开源Olap引擎测评报告，团队选取了Hive、Sparksql、Presto、Impala、Hawq、Clickhouse、Greenplum大数据查询引擎，在原生推荐配置情况下

探路人·2023-04-06 16:06

从Clickhouse 到 Snowflake：云原生

云原生Clickhouse优势概述以Clickhouse为基础，借鉴Snowflake等系统的设计思路，打造一款高性能的云原生OLAP系统，为用户提供多场景下的一站式的数据分析平台。

简说Linux·2023-04-06 16:34

从 Clickhouse 到 Snowflake：云原生

云原生Clickhouse优势概述以Clickhouse为基础，借鉴Snowflake等系统的设计思路，打造一款高性能的云原生OLAP系统，为用户提供多场景下的一站式的数据分析平台。

小晨说数据·2023-04-06 15:10

从 Clickhouse 到 Snowflake（一）：云原生

概述Clickhouse是一款性能十分强悍的OLAP引擎，凭借优秀的性能在用户行为分析、ABTest、在线报表等多个领域大放异彩，但是目前Clickhouse在易用性、稳定性、可维护性、功能特性等方面都还有较多不足

简说Linux·2023-04-06 15:01

大数据架构师须知—基础知识点

大数据架构师须知—基础知识点结合BI,Reporting,Ad-hoc,ETL数仓分析等场景，从体系化的角度来分析OLAP系统的核心技术点，分为谈存储，谈计算，谈优化器，谈趋势4个章节。

kalvin_y_liu·2023-04-06 03:38

springboot-07-Druid的配置

如何生成可参考右边的帮助文档文章目录前言一、DruidDataSource基本配置参数如下二、配置数据源三、配置Druid数据源监控总结前言Druid简介：ApacheDruid是一个实时分析型数据库，旨在对大型数据集进行快速的查询分析（"OLAP

肥羊22·2023-04-05 18:00

OLAP系统林林总总

大数据需求通常可分为三大类：离线数据统计，实时数据计算，即席查询。离线数据统计，通常是T+1出数，是最典型的数据仓库解决的问题。计算复杂性最高，所以是时间就不能要求太高，否则对资源的要求将是非常高。比如计算DAU、留存等指标。实时数据计算，需要实时进行数据ETL过程，实时流计算，来计算出结果，这类计算复杂性不会太高但是对数据处理的吞吐量要求很高，比如典型的计算一个APP的实时在线人数，当天实时新增

TechingOn·2023-04-05 15:33

工作常用、面试必问：Hive 窗口函数汇总

窗口函数又叫OLAP函数/分析函数，窗口函数兼具分组和排序功能。本文分为两部分：第一部分是Hive窗口函数详解，剖析各种窗口函数（几乎涵盖Hive所有的

Python数据开发·2023-04-05 12:33

doris通关之概念、架构篇

doris基本概念1.OLTP和OLAP概念1.1.OLAP分类1.2.MOLAP和ROLAP对比a.MOLAP模式的劣势（以Kylin为例）b.ROLAP模式的优势1.3.对比其他的OLAP系统2.doris

左林右李02·2023-04-05 07:09

HBase RowKey设计和实现

HBase由于存储特性和读写性能，在OLAP即时分析中发挥重要作用，Rowkey的设计好坏关乎到HBase的使用情况。

Keven He·2023-04-04 18:51

(Mycat入门篇)文档学习笔记

写在前面原文链接首页https://www.yuque.com/books/share/0576de75-ffc4-4c34-8586-952ae4636944link目录信息：入门篇-1-3OLTP和OLAP

请给我的爱人一杯mojito·2023-04-04 12:14

企业级-实时数仓架构图

往期类似文章：实时数仓之Kappa架构与Lambda架构_奔跑者-辉的博客-CSDN博客实时数仓之实际落地如何选型和构建_奔跑者-辉的博客-CSDN博客目录1基于Flink的滴滴实时数仓实践2实时OLAP

奔跑者-辉·2023-04-04 12:16

数仓选型必列入考虑的OLAP列式数据库ClickHouse(中)

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统实战案例使用背景ELK作为老一代日志分析技术栈非常成熟，可以说是最为流行的大数据日志和搜索解决方案；主要设计组件及架构如下

李自提·2023-04-04 10:21

OLAP 技术选型：对什么进行选型?

OLAP技术架构上图展现的impala技术架构，很直观展示了OLAP技术核心模块：数据模型、存储格式与数据处理架构；数据模型数据模型层主要是解决数据传输问题，通过对数据序列化与反序列化，同时提供了远程调用

浪尖聊大数据-浪尖·2023-04-04 10:40

OLTP 和 OLAP 的区别；hive与其它框架的区别

导航hiveoutlineOLTP和OLAP的区别hive和mysql主要区别hive和hbase的区别hivesql和sparksql的区别hiveonspark和sparkonhive的区别hiveoutlinehiveoutlineOLTP

塞上江南o·2023-04-04 10:32

Postgresql 性能优化轻OLAP 如何进行优化

POSTGRESQL作为开源中高级的数据库，对于OLAP的操作是支持的，和SQLSERVER,ORACLE属于同一种类型。所以对于一些轻型的OLAP如何进行优化也是一种的需求。

Austindatabases·2023-04-04 10:43

推荐频道

BI&OLAP