--------【数据仓库】

PB级企业电商离线数仓项目实战【上】

第一部分数据仓库理论第1节数据仓库1.1什么是数据仓库1988年，为解决全企业集成问题，IBM公司第一次提出了信息仓库（InformationWarehouse）的概念。
猿大山·2022-12-24 12:55

Hive+Spark离线数仓工业项目实战--数仓设计及数据采集（1）

**数据仓库设计**-建模：维度建模：【事实表、维度表】-分层：ODS、DW【DWD、DWM、DWS】、APP-**==掌握本次项目中数仓的分层==**-ODS、DWD、DWB、DWS、ST、DM2.业务系统流程和数据来源
骨灰级收藏家·2022-12-24 12:54

数据蒋堂 | BI系统的前置计算

如何减轻中央数据仓库的负担？某机构上了一套分布式数据仓库，历史数据逐步装进了仓库，然后，基于数据仓库构建了BI系统（主要是多维分析）。
数据派THU·2022-12-23 20:57

带您认识spreadsheet专属的数据仓库，助力报表开发好帮手！

业务主题我们看作是Smartbi产品中的数据仓库，主要应用于可视化数据集等操作。应用场景业务主题的应用场景有如下几种情况：数据源下有很多张表，对于有些客户可能只需要其中几张表进行操作。
·2022-12-23 20:40

用户画像，对企业有什么用途？

在之前的文章分析过数字化转型，数据分析、数据仓库、数据中台、商业智能BI等等，数据得到了重视，企业在激烈的竞争中开始转向精细化，利用数据创造价值，通过数据分析、数据可视化等数据处理手段，获得优势。
派可数据BI可视化·2022-12-23 16:57

搞懂商业智能 BI 、数据仓库、数据中台及其关系，此文足以

商业智能BI商业智能BI（BusinessInteligence），是一种主要由数据仓库、数据分析、查询报表、数据可视化等组成的数据类技术解决方案。
派可数据BI可视化·2022-12-23 16:57

数字时代，企业应该如何看待商业智能BI

简单来说，商业智能BI指的就是主要由数据仓库、数据分析、查询报表、数据可视化组成的数据类技术解决方案
派可数据BI可视化·2022-12-23 16:56

数字时代，你还不了解数据仓库吗？

事实上，很多人在看到数据仓库的第一眼，就把数据仓库当成了数据库。当然这也很正常，毕竟从名字来看这两者确实区别不大，真正区分两者的是定位、作用等更深一层的东西。
派可数据BI可视化·2022-12-23 16:56

大白话给你讲明白数据仓库

数据仓库的本质就是完成从面向业务过程数据的组织管理到面向业务分析数据的组织和管理的转变过程。
派可数据BI可视化·2022-12-23 16:54

数据仓库相关知识以及hive相关知识

1.hive的基本操作1.1建库语法createdatabaseifnotexistsmyhive;usemyhive;创建的数据库默认路径是在：创建数据库并制定hdfs存储位置createdatabasemyhive2location‘/myhive2’;修改数据库信息可以使用alterdatabase命令来修改数据库的一些属性。但是数据库的元数据信息是不可更改的，包括数据库的名称以及数据库所在
喵喵秀拌酱·2022-12-23 13:52

大数据仓库技术实训任务3

大数据仓库实训-任务3淘宝双11数据分析与预测案例简介淘宝双11数据分析与预测课程案例，涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop
陈希瑞·2022-12-23 11:03

Hive/HiveQL常用优化方法全面总结（上篇）

Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。
liu_weiliang10405·2022-12-23 10:06

Hive的优化

Hive调优概述Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。
keepHungery·2022-12-23 10:34

企业如何选择数据分析架构？——谈谈3种架构的利弊

作者：燕飞Kyligence大数据老司机，拥有超过15年的大数据/数据仓库领域从业经验，对大数据/数据仓库的建设规划、架构设计、技术体系、方法论及主流厂商的产品和解决方案，均有深入的研究和实践。
Leo.yuan·2022-12-23 09:20

Hivesql常用优化技巧

1.基于Hadoop的开源的数据仓库工具，用于处理海量海量结构化数据。2.Hive把HDFS中的结构化的数据文件映射成数据表。
久笙&·2022-12-22 21:27

《推荐系统实战》阅读笔记 第二章 利用用户行为数据

会话日志通常存储在分布式数据仓库中，如支持离线分
Waitfou·2022-12-22 14:22

南大通用GBase 8a融合型数据仓库在金融信创生态实验室成功开讲

2021年11月16日，南大通用应邀进行主题为“GBase8a融合型数据仓库介绍及在金融信创中的应用与实践”在线培训。
GBASE数据库·2022-12-22 11:57

4万字长文全面解读数据中台、数据仓库和数据湖

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
公众号:肉眼品世界·2022-12-22 09:29

全面解读数据中台、数据仓库和数据湖

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
浪尖聊大数据-浪尖·2022-12-22 09:59

4W字全面解读数据中台、数据仓库和数据湖

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
浪尖聊大数据-浪尖·2022-12-22 09:28

阿里云-数据仓库-全链路大数据开发治理平台-DataWorks的数字世界

一、前言上文我讲到阿里云-数据仓库-数据分析开发神器-ODPS，今天我带领大家一起走进神器的成长环境及它的数据世界。
风一样的美狼子·2022-12-22 09:24

数据湖与数据仓库与数据集市

数据湖、数据仓库和数据集市这三种架构现在都已在企业中建立起来，并且是可靠数据平台的一部分，但它们之间有何不同？但是，可以说这些概念不仅是竞争者，而且是相互建立和依赖的。
DataView数据科技研究院·2022-12-22 07:57

【Hive知识体系详细教程】

Hive涉及的知识点如下图所示，本文将逐一讲解：正文开始：一.Hive概览1.1hive的简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能
[小六]·2022-12-21 12:58

pandas计算含缺失值中列平均值_数据质量：缺失数据处理

天空澄碧，纤云不染本文转载来源于微信公众号：数据仓库与Python大数据(ID：dw_zzxx)前言在几乎所有的数据仓库与数据分析挖掘项目中都会遇到缺失数据的存在，数据缺失会导致数据治好了变差，从而在数据分析项目中面临严重的数据问题
包林纯·2022-12-21 10:42

Python实现图书数据挖掘系统（数据仓库）

目录摘要IAbstractII第1章绪论11.1选题背景及意义11.2国内外研究现状11.3发展趋势2第2章系统需求分析32.1任务描述32.2需求分析32.3系统目标4第3章系统概要设计53.1系统用户分析53.2系统功能分析63.3系统算法分析9第4章系统详细设计124.1数据管理124.2数据采集的方法124.3数据预处理的方法124.4算法描述124.5个人模块详细设计14第5章系统实现2
biyezuopinvip·2022-12-20 20:44

百度云说 | 从0到1，AIOps领先业内的实践之路

曲显平是百度云资深的智能运维专家，主导过百度监控系统、运维数据仓库、
百度智能云·2022-12-20 13:49

数据治理学习笔记（一）：数据治理是什么，要做什么

不仅是传统提供数据仓库、BI、主数据管理、元数据管理、数据集成等数据服务的软件供应商在说数据治理，“BAT
怡情灬XiaoBai·2022-12-20 12:06

数据仓库Hive学习笔记整理

数仓1.数仓概念数据仓库（DataWarehouse，简称数仓、DW），是一个用于存储、分析、报告的数据系统。
我的一首歌·2022-12-20 08:42

数据仓库Hive的使用

数据仓库Hive的使用一、试验目的要求二、试验环境三、试验内容任务一启动hadoop集群任务二启动Hive，查看当前的数据库列表任务三Hive的数据模型---分区表任务四Hive的数据模型---桶表任务五
大菜彩·2022-12-20 08:10

五、Hive数据仓库（完整版）

1.数据仓库的介绍1.1.数据仓库的基本概念数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。
章鱼哥TuNan&Z·2022-12-20 08:39

大数据技术应用7-1数据仓库Hive的介绍

Hive起源于Facebook，Facebook公司有着大量的日志数据，而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架，可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发，但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日志数据查询分析的工具，而Hive就诞生于此，只要懂SQL语言，就能够胜任大数据分
诺特兰德·2022-12-20 08:37

Hive数据仓库工具基本架构和入门部署详解

文章目录概述定义本质特点Hive与Hadoop关系Hive与关系型数据库区别优缺点其他说明架构组成部分数据模型(Hive数据组织形式）Metastore(元数据）Compiler(编译器）Optimizer(优化器)安装内嵌模式本地MetaStore远程MetaStorehiveserver2metastore概述定义Hive官网https://hive.apache.org/Hive官网Wiki
IT小神·2022-12-20 08:37

Hive学习：数据仓库的建立

【实验名称】：数据仓库的建立【实验目的】：熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用；了解大数据处理的基本流程；熟悉数据预处理方法
让头发掉下来·2022-12-20 08:36

Hive数据仓库数据分析

目录1创建数据仓库2创建Hive分区表3数据分析3.1统计总记录数3.2统计非空记录数3.3关键词分析3.4uid分析4用户行为分析4.1单击次数与rank之间的关系4.2个性化行为分析5实时数据1创建数据仓库我们的目标是在
赵广陆·2022-12-20 08:05

Hive分布式数据仓库

简介Hive是基于静态批处理Hadoop的一个数据仓库工具，通过Hive可以实现将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，同时将sql语句转换为MapReduce任务进行运行，所以其优点是学习成本低
咩咩_10538769·2022-12-20 08:33

基于 Hive 构建数据仓库

前言设想有一批各种类型的离线（或实时）数据（文本、csv、Excel等），我们如何挖掘这些数据背后的价值，分析这些数据之间的关联？很容易想到的就是，写程序把每种数据按照某种规则抽取出来放到关系型数据库中进行分析。这样做可能存在什么样的问题？按照某种规则进行抽取，是否会导致原始数据信息的丢失？因为前期设计不足或者后期需求变化导致数据的重复处理？面对上千亿，甚至上万亿的数据，如何进行分析？面对上面这些
Daphnis_z·2022-12-20 08:02

【大数据处理技术】「#1」本地数据集上传到数据仓库Hive

文章目录实验数据集下载下载实验数据集建立一个用于运行本案例的目录dbtaobao数据集的预处理删除文件第一行记录，即字段名称获取数据集中双11的前100000条数据导入数据仓库实验数据集下载下载实验数据集
小手の冰凉·2022-12-20 08:01

BI数据分析平台

（What）商业智能（BusinessIntelligence,BI），指用数据仓库、数据挖掘、数据可视化等技术进行数据分析,将企业中现有的数据转化为知识，辅助业务进行经营决策的一种技术方式，表现形态可以是一套大数据技术组合的解决方案
beyond94·2022-12-19 17:06

互联网“香饽饽”？数据挖掘或成热门行业

简而言之，数据挖掘就是从存放在数据库或者数据仓库中的大量的数据中获得有效的、新颖的、
程序员二飞·2022-12-19 11:23

数据模型篇之事实表设计

第11章事实表设计1.事实表基础事实表特性事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。事实表中一条记录所表达的业务细节程度被称为粒度。两种方式表达：①维度属性组合所表示的细节程度。
道理你都懂·2022-12-19 09:39

【大数据之路】数据管理篇 《一》元数据 【搬运小结】

数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元
一阵暖风·2022-12-19 09:06

阿里云-数据仓库-数据分析开发神器-ODPS

主要服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。2、odps向用户提供了完善的数据导入方
风一样的美狼子·2022-12-19 09:36

【Flink实时数仓】数据仓库项目实战 《四》日志数据分流 【DWD】

文章目录【Flink实时数仓】数据仓库项目实战《四》日志数据分流-流量域【DWD】1.流量域未经加工的事务事实表1.1主要任务1.1.1数据清洗（ETL）1.1.2新老访客状态标记修复1.1.3新老访客状态标记修复
一阵暖风·2022-12-19 09:34

【大数据技术Hadoop+Spark】Spark SQL、DataFrame、Dataset的讲解及操作演示（图文解释）

Shark是Spark上的数据仓库，最初设计成与Hive兼容，但是该项目于2014
showswoller·2022-12-19 08:51

技术总结

看好和看衰的技术和产品===================看好:1.SQL语言,如果SQL语言加到编程语言排行榜,肯定是第一.NoSQL带来的优点不足抵消SQL缺失带来的缺点.2.HPVertica数据仓库
weixin_33970449·2022-12-19 00:20

大数据工具之Superset

由于Superset能够对接常用的大数据分析工具，如Trino、Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具，应用于数据仓库的ADS！
八五年的湘哥·2022-12-18 22:08

数据仓库理论介绍（随堂笔记）（持续更新）

数据仓库理论介绍为什么学习数据仓库什么是数据仓库面向主题实例集成非易失随时间变化数据仓库分层数据库和数据仓库OLTP和OLAPInmon架构kimball架构混合型架构数据仓库的解决方案数据ELT数据仓库的建模选择业务流程声明粒度确认维度确认事实星型模型特点优点缺点雪花模型特点优点缺点为什么学习数据仓库数据不兼容
Helltaker·2022-12-18 14:53

数据仓库与数据挖掘复习题目

期末考试题型单项选择题（每小题2分，共20分）填空题（每空1分，共20分）简答题(每题6分，共30分)析题与计算题(共30分)单选题1.某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A)A.关联规则发现B.聚类C.分类D.自然语言处理2.以下两种描述分别对应哪两种对分类算法的评价标准？(A)(a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。(b)
渴望飞的鱼·2022-12-18 13:13

计算机基础网络知识

ODS全称为OperationalDataStore，是用来存储多个数据源业务数据的系统，其数据用来支持业务流程或者输入到数据仓库中进行分析。
博客小宏·2022-12-18 10:56

基于 Flink + Hudi 的实时数仓在 Shopee 的实践

本文首发于微信公众号“Shopee技术团队”摘要ApacheHudi是业内基于Lakehouse解决方案中的典型组件，相比于传统基于HDFS和Hive的数据仓库架构，基于ApacheHudi的Lakehouse
·2022-12-18 10:10
上一页 57 58 59 60 61 62 63 64 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他