--------【数据仓库】

离线数仓的数仓分层

数据仓库分层的作用数据结构化更清晰：对于不同层级的数据，他们作用域不相同，每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。
大大大大肉包·2023-04-19 21:58

数据仓库、数据中台、数据湖都是什么？

相信很多人都在最近的招聘市场上看到过招聘要求里提到了数据仓库、数据中台，甚至还有数据湖，这些层出不穷的概念让人困扰。今天我就来跟大家讲一讲数据仓库、数据中台以及数据湖的概念及区别。
产品要主动·2023-04-19 20:46

数据仓库之血缘关系

对数仓了解的人应该知道，数据仓库是从业务系统（例如，用友软件、融通、红草）、爬虫等等数据源哪里获
bluedraam_pp·2023-04-19 20:42

hive一次加载多个文件_hive小结 - 校招准备

column的数据类型要求是stringhive基础知识的总结回顾内含我收集的几个sql题目,用来回顾练手的包括一些优化相关的总结是什么为Hadoop上的任务提供一个sql的接口hive适用于数据仓库应用程序
weixin_39901077·2023-04-19 18:59

熬夜总结了报表自动化、数据可视化和挖掘的要点，和你想的不一样

商业智能，又称BI，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
大数据的那些事·2023-04-19 18:20

白话数据产品（一）——数据仓库

数据产品的工作比较杂，从数据仓库建模，指标体系建立，到数据产品工具的设计，再到偶尔一些数据分析报告的撰写，甚至一些机器学习的预测模型都要有所了解。
小九74·2023-04-19 17:53

揭穿数据分析的六大谎言

权威组织GartnerGroup的定义：一类由数据仓库(或数据集市)、
·2023-04-19 15:35

刷LeetCode的SQL题库全记录【Medium篇】

目前我是停下来看了两遍，因为上周被数据仓库教授的SQL语句逻辑秀瞎了，所以觉得只有从底层清楚这些东西才有熟练和进步的可能。我暂时没有比较出来哪个好用，但是先贴一个还算全的：SQLQuickGui
Dear Slim.·2023-04-19 15:54

在 KubeSphere 中开启新一代云原生数仓 Databend

前言Databend是一款完全面向云对象存储的新一代云原生数据仓库，专为弹性和高效设计，为您的大规模分析需求保驾护航。
·2023-04-19 12:11

数字化转型中数据底座“湖仓一体化”

二数据底座的新架构1.数据仓库通常是业务发展到一定规模后，业务分析师、CIO、决策者们，希望从大量的应用系统、业务数据中进行关联分析，最终得到“干货”出来。比如为啥利润会下滑？为啥库存周转变慢了？
公众号:肉眼品世界·2023-04-19 11:43

详解数据仓库数据湖及湖仓一体

随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。
weixin_38754337·2023-04-19 11:42

数据湖VS数据仓库？湖仓一体了解一下

导读：随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。
浪尖聊大数据-浪尖·2023-04-19 11:12

什么是湖仓一体化？

越来越多的企业开始融合数据湖和数据仓库的平台，不仅可以实现数据仓库的功能，同时还实现了不同类型数据的处理功能、数据科学、用于发现新模型的高级功能。
jane9872·2023-04-19 11:07

一个数据分析系统的技术架构设计浅析

系统内部对所有的原始数据通过一系列处理转换之后，存储到数据仓库的基础库中；然后，通过业务需要进行一系列的数据转换到相应的数
lxzo123·2023-04-19 06:57

给初心者的数据仓库元数据系统开发指南

加过一些数据开发的社群，经常会有人问元数据系统怎么开发，大概网上很难搜到相关的好文章。什么是元数据首先，元数据的概念，通常解释为数据的数据，这个太难看懂了，需要换个角度解释。举个例子，网上商城描述一本图书，会把书分类到某个学科，还会描述其价格、作者、出版社、语言、用户评价等，这些图书的额外描述就可以认为是元数据。这些图书的元数据可以用于图书馆管理，或者网上购物时的搜索和筛选。再举个例子，一张图片，
爆头精·2023-04-19 04:37

Hive_day01(概述与安装)

hive-概述与安装数据仓库架构(手绘，引出hive在其中的角色)数据仓库层的划分：2.1什么是hive?(面试题)1:hive是基于hadoop的数据仓库建模工具之一(后面还有TEZ，Spark)。
a-tao必须奥利给·2023-04-19 03:12

Hadoop学习内容概述day02

2：大量的订单如何计算（2）天气预报：问题1：大量的天气数据如何存储问题2：大量的天气数据如何计算大数据的核心问题：（1）数据的存储：分布式文件系统（分布式存储）（2）数据的计算：分布式计算2、概念：数据仓库
weixin_30764771·2023-04-19 03:11

支持多模型数据分析探索的存算分离湖仓一体架构解析（下）

当企业需要建设独立的数据仓库系统来支撑BI和分析业务时，有了“数据湖+数据仓库”的混合架构。但混合架构带来了更高的建设成本、管理成本和业务开发成本。
·2023-04-18 22:58

Tapdata Connector实用指南：如何将 CRM 数据从 Salesforce 实时同步到MongoDB等其他数据库

典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用ETL处理等。随着TapdataConnector的不断增长，我们最新推出《
·2023-04-18 22:19

揭穿数据分析的六大谎言

权威组织的定义：一类由数据仓库(或数据集市)、查询报告、数据分析、数据
·2023-04-18 22:59

快速了解数据仓库建模

快速了解数据仓库建模1、什么是OLTP和OLAP？2、为什么不在业务系统做数据分析呢？3、什么是数据库建模？4、关系建模。5、维度建模。5.1事实表5.2维度表6、数据仓库分层。
技术人小柒·2023-04-18 22:24

Hive安装、配置和测试

Hive概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive本质是：将HQL转化成MapReduce程序。
Dcl_Snow·2023-04-18 13:44

元数据系统的产品形态

上一篇给初心者的数据仓库元数据系统开发指南主要是描述了元数据的基本概念和典型需求。实际的开发和使用中，还有个基本问题容易被混淆，关于元数据的产品形态。
爆头精·2023-04-18 13:19

浅谈数据中台安全体系构建思路

关键词：数据中台、业务中台、数据仓库
CSDN云计算·2023-04-18 11:21

数仓原型设计

数据仓库原型设计一.何为数据仓库二.数仓名称说明2.1.DS：数据来源2.2.ODS:原始数据层为什么需要ODS层？
风清俊·2023-04-18 10:41

Jbd6：Hive

Jbd6：Hive教程地址0.数据仓库0.1为什么要有数据仓库0.2数据仓库概念0.3数据仓库的体系结构0.4面临的挑战1.Hive基本概念1.1概述1.2产生背景1.3Hive与Hadoop生态系统1.4Hive
JxWang05·2023-04-18 09:11

3.Hadoop Hive服务

接上文—————>目录：一.安装二.have基本命令操作三.hive数据仓库四.hive表的类型：五.hive中重要的元数据表六.hive的连接方式七.使用jdbc编写外部程序操作hive八.hive的基本数据类型九
_胡杨_·2023-04-18 09:07

hive 优化方案

目前越来越多的公司开始基于Hive搭建数据仓库，所以本文主要针对Hive介绍几种优化方式。尽管Hive已经做了很多原生的优化工作，但是仍然有优化的空间，系统的调优后，有利于Hive的高效运行。
afansdie·2023-04-18 03:47

数据仓库环境准备-Hadoop篇

大数据软件版本说明:hadoop-3.1.4、zookeeper-3.5.8、kafka_2.12-2.6.0、flume-1.9.0、sqoop-1.4.6、hive-3.1.2、mysql-5.7.31-1.el7、spark-3.0.0一、JDK安装1.移除OpenJDK命令:sudorpm-qa|grep-ijava|xargs-n1sudorpm-e--nodeps2.修改/opt目录权
枫叶无言_1997·2023-04-18 01:44

用SQL语句操作oracle数据库--数据查询（上篇）

SQL操作Oracle数据库进行数据查询Oracle数据库是业界领先的关系型数据库管理系统之一，广泛应用于企业级应用和数据仓库等场景中。
由心同学·2023-04-18 00:21

【库学科技资讯】最厉害的大数据工程师是哪个？这4个岗位入职前一定要区分好！

大数据开发工程师、BI工程师、数据仓库工程师、ETL工程师、有什么区别？都要做什么工作？哪个功能最强大？今天我们来看一位大神如何解释！
库学科技·2023-04-17 22:43

大数据项目实战之数据仓库：电商数据仓库系统——第6章 数据仓库环境准备

第6章数据仓库环境准备6.1数据仓库运行环境6.1.1Hive环境搭建1）Hive引擎简介Hive引擎包括：默认MR、Tez、Spark。
yiluohan0307·2023-04-17 21:08

阿里数据仓库架构与模型设计

本文将分如下4个部分，介绍阿里巴巴DataWorks的数仓架构与模型设计方法：技术架构选型数仓分层数据模型层次调用规范01技术架构选型教程本身是以阿里云MaxCompute为例，实际上，流程和方法论是通用的。在数据模型设计之前，需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示：其中，Data
公众号:肉眼品世界·2023-04-17 21:37

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

一、数仓建模的意义，为什么要对数据仓库分层？只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。
公众号:肉眼品世界·2023-04-17 21:07

大数据项目实战之数据仓库：电商数据仓库系统——第7章 数仓开发之ODS层

文章目录第7章数仓开发之ODS层7.1日志表7.2业务表7.2.1活动信息表（全量表）7.2.2活动规则表（全量表）7.2.3一级品类表（全量表）7.2.4二级品类表（全量表）7.2.5三级品类表（全量表）7.2.6编码字典表（全量表）7.2.7省份表（全量表）7.2.8地区表（全量表）7.2.9品牌表（全量表）7.2.10购物车表（全量表）7.2.11优惠券信息表（全量表）7.2.12商品平台属
yiluohan0307·2023-04-17 21:34

第一章：数据仓库和商业智能及维度建模初步

20190805第一章一、DW/BI系统，即数据仓库和商业智能(DataWarehousingandBusinessIntelligence)系统，主要用于数据的使用，也就是分析。
边走边看光·2023-04-17 19:33

实战大数据项目

存储日志数据集（HDFS）数据仓库构建（Hive）数据分区表构建数据预处理（Spark计算引擎）-使用Zeppelin进行写SQL订单指标分析Sqoop数据导出到传统数据库（Mysql）Superset
NeilNiu·2023-04-17 17:11

助力工业物联网，工业大数据之ODS层及DWD层建表语法【七】

ODS：原始数据层：存放从Oracle中同步采集的所有原始数据DW：数据仓库层DWD：明细数据层：存储ODS层进行ETL以后的数据DWB：轻度汇总层：对DWD层的数据进行轻度聚合：关联和聚合基
Maynor996·2023-04-17 15:52

支持多模型数据分析探索的存算分离湖仓一体架构解析（下）

当企业需要建设独立的数据仓库系统来支撑BI和分析业务时，有了“数据湖+数据仓库”的混合架构。但混合架构带来了更高的建设成本、管理成本和业务开发成本。
星环科技·2023-04-17 15:52

支持多模型数据分析探索的存算分离湖仓一体架构解析（上）

当企业需要建设独立的数据仓库系统来支撑BI和业务分析业务时，有了“数据湖+数据仓库”的混合架构。但混合架构带来了更高的建设成本、管理成本和业务开发成本。
星环科技·2023-04-17 15:51

ACDC：开箱即用的多租户数据集成平台

ACDC的由来新东方的一些核心业务存在单元写、中心入仓的场景，因此需要将数据从各单元的关系型数据库同步到中心，并异构存储到数据仓库之中。技术团队最初使用ApacheSqoop以批的方式实现了这个能力。
万猫学社·2023-04-17 06:54

大数据OLAP引擎

数据仓库对外数据能力的一种重要的输出方式。
W.zhaolin·2023-04-17 05:16

大数据开源舆情分析系统-数据处理部分架构浅析

支持多数据源类型的数据同步实现和数据仓库其他的数据源互通。对接收数据进行解压，对外提供压缩后的数据。主要用途分为三大块：1.数据储
思通数科x·2023-04-17 04:22

数仓面试

什么叫数据仓库？如何构建数据仓库？
洲洲洲xxx·2023-04-17 04:00

一文看懂数据仓库

数据仓库数据仓库的概念数据仓库的主要特征数据仓库的分层数据仓库的分层介绍原始数据层：ODS（OperationalDataStore）数据仓库层：DW（DataWarehouse）数据明细层：DWD（DataWarehouseDetails
蔚蓝星辰mic·2023-04-17 03:50

CDH大数据平台入门篇之搭建与部署

CDH介绍1.CDH是一个强大的商业版数据中心管理工具提供了各种能够快速稳定运行的数据计算框架，如Spark；使用ApacheImpala做为对HDFS、HBase的高性能SQL查询引擎；使用Hive数据仓库工具帮助用户分析数据
啊 这·2023-04-17 00:39

数据仓库的概念及与数据库等对比

1、什么是数据仓库？数据仓库是信息（对其进行分析可做出更明智的决策）的中央存储库。通常，数据定期从事务系统、关系数据库和其他来源流入数据仓库。
技术人小柒·2023-04-16 22:44

「日更No.2」你有没有建立自己的认知的数据驱动引擎

因为有海量的数据聚集起来，就在平台里形成了大数据的数据仓库。通过定型的计算能力和AI算法，我们可以在数据中寻找规律。在这里场景驱动服务，服务带来了用户，用户带
科长呀·2023-04-16 21:49

hive学习笔记

1.1什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。
MOOJ·2023-04-16 17:59

ETL基础概念及要求详解

ETL基础概念及要求详解概念ETL与ELT数据湖与数据仓库ETL应用场景ETL具体流程及操作要求抽取清洗转换加载ETL设计模式SQL+脚本语言ETL工具设计ETL工具+SQLETL接口设计要求明确接口属性约定接口形式确定接口抽取方法规范接口格式概念
Lin-CT·2023-04-16 16:40
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他