数据湖数据仓库

数据挖掘：概念与技术 第一章

1.3可以挖掘什么==类型的数据==1.3.1数据库和数据仓库的区别1.3.2事务数据1.4可以挖掘什么==类型的模式==1.4.1类/概念描述：特征化与区分1.4.2挖掘频繁模式、关联和相关性1.4.3
Helelllllle·2023-09-20 05:52

数据治理-数据仓库和商务智能-部分内容

数据仓库建设应遵循原则聚焦业务目标，用于最优级的业务并解决它；以终为始，以业务优先级和最终成果驱动仓库创建；全局性的思考和设计，局部性的行动和建设；总结并持续优化，而不是一开始就这样做；提升透明度和自助服务
世润·2023-09-20 03:24

DAMA-DMBOK2重点知识整理CDGA/CDGP——第11章 数据仓库和商务智能

目录一、分值分布二、重点知识梳理1、引言1.1业务驱动因素1.2目标和原则1.3基本概念2、活动2.1理解需求2.2定义和维护数据仓库/商务智能架构2.3开发数据仓库和数据集市2.4加载数据仓库2.5实施商务智能产品组合
醉酒的戈多·2023-09-20 02:19

大数据开发工程师是做什么的？

大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。
我想去吃ya·2023-09-20 01:05

Hive 数据仓库介绍

目录编辑一、Hive概述1.1Hive产生的原因1.2Hive是什么？1.3Hive特点1.4Hive生态链关系二、Hive架构2.1架构图2.2架构组件说明2.2.1Interface2.2.1.1CLI2.2.1.2JDBC/ODBC2.2.1.3WebUI2.2.2MetaData2.2.3MetaStore2.2.4Hiveserver22.2.5Driver2.2.5.1解释器2.2.5
夜夜流光相皎洁_小宁·2023-09-20 00:29

如果人工智能的上半场是分类，那么下半场就是聚类

也学了一堆不扎实的计算机：计算机图形学、计算机视觉、人工智能、数据挖掘、数据仓库、数据库、专家系统等等现在研究人工智能，最后想想，拼的还是基础数学。
david_lv·2023-09-19 20:14

架构问题：技术选型

适用场景：Web网站系统、日志记录系统、数据仓库系统、嵌入式系统2.Oracle：全球最大的商业数据库软件公司之一，提供各种可扩展的解决方案，适用于从小型应用到大
青鱼入云·2023-09-19 19:54

ByConity 0.2.0 版本发布

重要新特性：冷读优化，包括IOScheduler和Preload能力数据湖支持，包括Hive，Hudi，Multi-Catalog等支持ELT长时任务支持，包括异步执行，队列，算子Spill等RBAC欢迎大家使用体验
·2023-09-19 18:07

视频结构化

视频被结构化后，存入相应的结构化数据仓库，存储的容量极大降低。
oldms·2023-09-19 09:57

数据治理-数据仓库和商务智能

数据仓库的作用减少数据冗余，提高信息一致性，让企业能够利用数据做出更优决策的方法，数据仓库是企业数据管理的核心。
世润·2023-09-19 08:15

数据治理-数据仓库环境

数据仓库环境包括一系列组织起来以满足企业需求的架构组件，从源系统流动到数据暂存区，数据可以在这里被清晰，当数据集成并存储在数据仓库或操作数据存储中时，可以对其进行补充丰富。
世润·2023-09-19 07:41

SmartNews 基于 Flink 的 Iceberg 实时数据湖实践

本篇内容主要分为五个部分：SmartNews数据湖介绍基于Icebergv1格式的数据湖实践基于Flink实时更新的数据湖（Icebergv2）解决方案实时更新小文件问题的优化总结与展望点击查看原文视频
Apache Flink·2023-09-19 07:52

关于Amazon Redshift性能调优的十大Tips

AmazonRedshift是一套全托管PB级大规模并行数据仓库，拥有极低的上手难度与出色的性能表现。
亚马逊云开发者·2023-09-19 05:57

Paimon+StarRocks 湖仓一体数据分析方案

本文整理自阿里云高级开发工程师曾庆栋（曦乐）在StreamingLakehouseMeetup分享的内容，深入探讨了传统数据仓库分析、Paimon+StarRocks湖仓一体数据分析、StarRocks
StarRocks_labs·2023-09-19 04:35

【直播预约中】 腾讯大数据 x StarRocks｜构建新一代实时湖仓

随着信息时代的兴起，数据已成为推动业务决策和创新的核心要素；结构化、半结构化等多种类型的数据呈现爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse
StarRocks_labs·2023-09-19 04:34

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

Doris构建实时数仓落地方案详解（一）：实时数据仓库概述1.数据仓库的发展历程2.数据仓库技术的发展3.数仓的相关技术栈4.OLAP查询5.MPP架构6.实时数仓定义7.实时数仓的难点数据仓库的概念可以追溯到
G皮T·2023-09-19 04:45

数据湖调研

数据湖调研1什么是数据湖2数据湖能解决什么问题3数据湖与数仓的区别4数据湖生态5当前常见的数据湖实现方案5.1基于Hudi5.2基于Iceberg5.2.1Iceberg应用场景：5.3数据湖基本实现：
Direction_Wind·2023-09-19 00:30

No.13软件集成技术

EAI所连接的应用包括各种电子商务系统、ERP、CRM、SCM、OA、数据库系统和数据仓库等。表示集成表示集成也称为界面集成，这是比较原始和最浅层次的集成，这种方法将用户界面作为公共的
科技男code·2023-09-19 00:08

关于数据仓库、数据湖、数据平台和数据中台的概念和区别

我们谈论数据中台之前，我们也听到过数据平台、数据仓库、数据湖的相关概念，它们都与数据有关系，但他们和数据中台有什么样的区别，下面我们将分别介绍数据平台数据仓库数据湖和数据中台。
weixin_42073629·2023-09-18 23:36

新一代数据仓库SnowFlake

SnowFlake概念Snowflake弹性数据仓库，简称Snowflake。
凌健文Lieo·2023-09-18 23:36

数据湖与数据仓库

大家好，本期Jesse想跳脱开TSDB领域，来聊一聊数据湖与数据仓库的话题，Jesse作为局外人也想大体介绍一下二者的情况。
CnosDB·2023-09-18 23:06

数据仓库，数据湖

1.数据仓库早期系统采用数据库来管理和存放数据，但随着大数据技术的兴起，大家想要通过大数据技术来找到数据之间可能存在的关系，所以大家设计了一套新的数据存储管理系统，把所有的数据全部存储到数据仓库，然后统一对数据处理
乐十九·2023-09-18 23:06

【数据湖仓架构】数据湖和仓库：Databricks 和 Snowflake

我们比较了Databricks和Snowflake，以评估基于数据湖和基于数据仓库的解决方案之间的差异。在这篇文章中，我们将介绍基于数据仓库和基于数据湖的云大数据解决方案之间的区别。
架构师酒馆·2023-09-18 23:35

【直播预约中】 腾讯大数据 x StarRocks｜构建新一代实时湖仓

随着信息时代的兴起，数据已成为推动业务决策和创新的核心要素；结构化、半结构化等多种类型的数据呈现爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse
·2023-09-18 21:54

SmartNews 基于 Flink 的 Iceberg 实时数据湖实践

本篇内容主要分为五个部分：SmartNews数据湖介绍基于Icebergv1格式的数据湖实践基于Flink实时更新的数据湖（Icebergv2）解决方案实时更新小文件问题的优化总结与展望点击查看原文视频
·2023-09-18 18:37

开箱即⽤！HashData 云数仓上线华为蓝鲸应⽤商城

近⽇，经过华为对企业技术、产品和服务能⼒的综合评估，酷克数据企业级云原⽣数据仓库HashData通过与华为OceanStorPacific分布式存储的适配与优化，形成⼀体化解决⽅案，成功上线华为蓝鲸应⽤
·2023-09-18 16:34

hive数据仓库

hivehive数据仓库1.启动hadoop2.开启mysql服务3.启动hive4.hive的操作（1）创建数据库（2）查找hive数据库（3）设置属性信息(4)修改属性(5)删除数据库5.内部表与外部表
LMY~~·2023-09-18 08:40

【Doris全面解析】存储层设计介绍2——写入流程、删除流程分析

本文转自开源中国ZhangYu0123博客1整体介绍Doris是基于MPP架构的交互式SQL数据仓库，主要用于解决了近实时的报表和多维分析。Doris高效的导入、查询离不开其存储结构精巧的设计。
ApacheDoris·2023-09-18 08:36

使用mobx

mobx树型结构组织项目状态管理遵循mobx定义数据存储一个简单的mobx数据仓库:classPlayer{@observablename="charten"@observableposition=[0,0
CharTen·2023-09-18 05:23

数据仓库之高级事实表

事实表代理键代理键可用作所有维度表的主键。不与任何维度关联的事实表代理键，是在ETL加载过程中顺次分配的，可用于作为事实表的唯一主键列；在ETL中，用作事实表行的直接标识符，不必查询多个维度；允许将事实表更新操作分解为风险更小的插入和删除操作。蜈蚣事实表一些设计者为多对一层次的每层建立不同的规范化维度，例如，日期维度、月份维度、季度维度和年维度，并将所有外键包含在一个事实表中。这将产生蜈蚣事实表，
afansdie·2023-09-18 03:42

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（二）

二、Hive、SparkSQL、Impala比较Hive、SparkSQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了Hive和Impala，本节先介绍一下SparkSQL，然后从功能、架构、使用场景几个角度比较这三款产品的异同，最后附上分别由cloudera公司和SAS公司出示的关于这三款产品的性能对比报告。1.SparkSQL简介S
xuzhichao1231·2023-09-17 19:33

复杂SQL查询和可视化报表构建

更多AnalyticDBMySQL相关至阿里云体验实验室简介目标是让云上数据仓库用户及开发者通过简单的步骤体验基于AnalyticDBMySQL版和DMS构建云原生数据仓库的主要流程，活动将通过实例的开通
阿里云云起实验室·2023-09-17 19:02

数据仓库模型设计(收藏版)

一、数据仓库构建需要考虑的问题与数据库的单表基于ER模型构建思路不同，其面向特定业务分析的特性，决定了它的构建需要整合多套数据输入系统，并输出多业务条线的、集成的数据服务能力，需要考虑更全面的因素，包括
000X000·2023-09-17 15:13

Flink CDC 2.0 详解

CDC技术的应用场景非常广泛：数据同步：用于备份，容灾；数据分发：一个数据源分发给多个下游系统；数据采集：面向数据仓库/数据湖的ETL数据集成，是非常重要的数据源。CDC的技术方案非常
000X000·2023-09-17 15:43

数据仓库之ODS层设计概要

常常被作为数据仓库的过渡，也是数据仓库项目的可选项之一。而Kimball的定义：操作型系统的集成，用于当前、历史以及其它细节查询(业务系统的一部
000X000·2023-09-17 15:12

（三十一）大数据实战——一键式DolphinScheduler高可用工作流任务调度系统部署安装

前言DolphinScheduler（DolphinScheduler）是一个分布式、易扩展的开源DAG（有向无环图）工作流任务调度系统，可用于构建大规模数据处理、数据仓库、ETL等复杂的数据处理和数据分析场景
北溟溟·2023-09-17 10:12

火山引擎 ByteHouse：ClickHouse 如何保证海量数据一致性

基于高性能、分布式特点，ClickHouse可以满足大规模数据的分析和查询需求，因此字节研发团队以开源ClickHouse为基础，推出火山引擎云原生数据仓库ByteHouse。
字节跳动技术团队·2023-09-17 10:02

企业级数据仓库-理论知识

D3AM大数据中间件Hive：将SQL转化成分布式Map/Reduce进行运算，也支持转换成Spark,需要单独安装Hive集群才能访问Spark,支持60%的SQL，延迟比较大。SparkSQL:属于Spark生态圈，HiveonSqark。HBase:NoSQL,高并发读，适合表结构频繁变动。Impala:MPP架构的数据查询引擎，低层兼容Hive、SparkSQL，快速交互查询服务。HAWQ
beyond_champion·2023-09-17 03:39

企业级数据仓库-数仓实战

数仓实战安装包大小安装清单环境搭建一、环境搭建01（机器准备）准备好三台虚拟机，并进行修改hostname、在hosts文件增加ip地址和主机名映射。1、设置每个虚拟机的hostnamevi/etc/sysconfig/network修改HOSTNAME=node02修改hostnamehostnamectlset-hostnamenode022、设置每个虚拟机的ip地址和主机名映射cat>>/e
beyond_champion·2023-09-17 03:06

文本数据清洗（小技巧）

今天80%的数据是非结构化的——或者存在于数据仓库里，或者分散在不同的存储设备中。数据就像我们说话一样，一直在产生——从社交媒体中我们进行的每次对话，到从新数据源生成的每个内容。
马力_Panotech·2023-09-17 02:01

PostgreSQL 物化视图快速入门

主要用于需要快速访问数据的场景，如数据仓库和商务智能应
梦想画家·2023-09-17 00:50

浅谈数据仓库体系(2)

如上文所说，一个基本的数据仓库分为贴源层，历史层，数据模型层本文主要来讲一下贴源层(ODS），重点是如下三个方面1.贴源层的数据清洗2.贴源层的数据存储3.贴源层的数据校验一.数据清洗贴源层，一般来说抽取的是源系统的数据
半个程序员·2023-09-16 23:38

数据仓库模型设计V2.0

一、数仓建模的意义数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。只有将数据有序的组织和存储起来之后，数据才能得到高性能、低成本、高效率、高质量的使用。高性能：良好的数据模型能够帮助我们快速查询所需要的数据。低成本：良好的数据模型能减少重复计算，实现计算结果的复用，降低计算成本。高效率：良好的数据模型能极大的改善用户使用数据的体验，提高使用数据的效率。高质量：良好的数
000X000·2023-09-16 21:46

Hive参数与性能调优-V2.0

Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。
000X000·2023-09-16 21:54

Spark sql 数据迁移

一、迁移一张表查看表结构：desctabletb1;查看建表sql语句：showcreatetabletb1;1.同一个数据仓库中复制表和数据,使用CTAS语句;常用的三种方案：a.完全复制拷贝：createtabletb2assele
LuoZhao·2023-09-16 20:49

Hive

Hive产生背景MapReduce编程的不便性HDFS上的文件缺少SchemaHive是什么1）由Facebook开元，最初用于解决海量结构化的日志数据统计问题2）构建在Hadoop之上的数据仓库3）Hive
捕猎者·2023-09-16 16:51

Data Lakehouse的未来-开放

Cloudera客户运行着地球上一些最大的数据湖。这些数据湖为关键任务大规模数据分析、商业智能(BI)和机器学习用例（包括企业数据仓库）提供动力。
大数据杂货铺·2023-09-16 09:22

大数据之Hive

Hive入门Hive是FaceBook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张表，并提供类SQL查询功能。
十七✧ᐦ̤·2023-09-16 08:18

数据仓库介绍及应用场景

数据仓库（DataWarehouse）是一个用于存储、管理、检索和分析大量结构化数据的集中式数据库系统。
今晚务必早点睡·2023-09-16 08:42

离线数仓和实时数仓割裂的痛点,数据湖方案

离线数仓和实时数仓割裂的痛点：1)离线加工数据产出时效性不足2)实时加工可观测性，可运维性较弱3)批流双链路，双份资源开销4)全天计算资源高峰集中在凌晨数据湖方案：数据入湖增量计算，提升时效流表二像性，
秉寒-CHO·2023-09-16 08:53
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他