--------【数据仓库】

湖仓一体电商项目（一）：项目背景和架构介绍

项目背景介绍湖仓一体实时电商项目是基于某宝商城电商项目的电商数据分析平台，本项目在技术方面涉及大数据技术组件搭建，湖仓一体分层数仓设计、实时到离线数据指标分析及数据大屏可视化，项目所用到的技术组件都从基础搭建开始，目的在于湖仓一体架构中数据仓库与数据湖融合打通
Lansonli·2022-07-24 07:30

小海豚“变身”全新智能调度引擎，深入浅出在DDS的实践开发应用

王子健宇动源大数据平台开发工程师原搜狐畅游数据仓库开发工程师本次演讲主要包含四个部分
·2022-07-22 16:29

网易游戏基于 Flink 的流式 ETL 建设

一.业务背景网易游戏ETL服务概况网易游戏的基础数据主要日志方式采集，这些日志通常是非结构化或半结构化数据，需要经过数据集成ETL才可以入库至实时或离线的数据仓库。
公众号:肉眼品世界·2022-07-20 22:56

基于Hive数据仓库的标签画像实战

Hive数据仓库建立用户画像首先需要建立数据仓库，用于存储用户标签数据。Hive是基于Hadoop的数据仓库工具，依赖于HDFS存储数据，提供的SQL语言可以查询存储在HDFS中的数据。
000X000·2022-07-20 20:13

开源数据计算引擎，实现媲美ElasticSearch的高性能并发查询

在SQL数据库或数据仓库中，用索引查找单个帐户数据的速度很
Java烟雨·2022-07-20 18:58

MySQL-JDBC

JDBC，连接前端（控制，控制视图跳转，和给前端传递数据）数据库（存数据，Txt…）1.1为什么学习数据库数据库是所有软件体系中最核心的存在DBA1.2什么是数据库数据库（DB，DataBase）概念：数据仓库
编程小白的逆袭之路·2022-07-20 18:54

硬刚Hive | 4万字基础调优面试小总结

本文基本涵盖以下内容：一、基于Hadoop的数据仓库Hive基础知识二、HiveSQL语法三、Hive性能优化四、Hive性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一)七、
浪尖聊大数据-浪尖·2022-07-20 10:11

【历史上的今天】7 月 20 日：人类登上月球；数据仓库之父诞生；Mac OS X Lion 发布

整理|王启隆透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。今天是2022年7月20日，在2005年的今天，时任微软全球副总裁的李开复加盟谷歌担任谷歌全球副总裁及中国区总裁。谷歌公司在发布聘请李开复消息的同时，宣布将在中国建立产品工程研究院，由李开复负责其发展。尽管后来李开复因此次跳槽而引来一场长达五个月的诉讼，但此案最终以与前东家微软和解而告终。回顾计算机历史，7月20日还发生过哪些关
历史上的今天·2022-07-20 10:37

没错，列式存储非常牛。但是，Ta还可以更高效

很多数据仓库产品都采用了列式存储。如果数据表的总列数很多而计算涉及的列很少，采用列存就只读取需要的列即可，能够减少硬盘访问量，提高性能。
不吃西红柿丶·2022-07-20 09:56

数据仓库中的元数据管理！

元数据管理系统这个名词,从事非数据仓库工作的人，很少会接触到这个系统，即使是正在从事这方面工作的朋友，可能仍然对它不是很了解，那么今天我来聊一聊元数据管理系统。
·2022-07-19 21:52

技术解析｜Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once精准接入

但是这样给后面数据分析带来了麻烦，这个时候我们通常试将业务数据库的分库分表同步到数据仓库时，将这些分库分表的数据，合并成一个库，一个表。
·2022-07-18 21:13

大数据入门（一）—— 数据仓库（数仓）基本概念

数据仓库，由数据仓库之父比尔·恩门（BillInmon）于1990年提出的。
齐舞647·2022-07-18 19:22

美团 R 语言数据运营实战

一、引言近年来，随着分布式数据处理技术的不断革新，Hive、Spark、Kylin、Impala、Presto等工具不断推陈出新，对大数据集合的计算和存储成为现实，数据仓库/商业分析部门日益成为各类企业和机构的标配
美团技术团队·2022-07-18 15:27

开源数据计算引擎，实现媲美ElasticSearch的高性能并发查询

在SQL数据库或数据仓库中，用索引查找单个帐户数据的速度很
兴趣使然的草帽路飞·2022-07-18 15:26

Hadoop生态之Hive（完结篇）

一直连载的Hive篇也即将完结了，Hive作为Hadoop中必不可少的数据仓库工具.相对于传统关系型数据库来说做出了一部分改变，但是跟那些关系型数据库相比也是仍然有一些缺点。
红糖番薯·2022-07-18 13:07

Hadoop生态圈介绍

Lucene：索引检索工具包3、Nutch：开源的搜索引擎4、HBase/Cassandra：基于google的BigTable开源的列式存储的非关系型数据库5、Hive：基于SQL的分布式计算引擎，同时是一个数据仓库
月疯·2022-07-18 13:07

mysql语法使用详细代码版

概念：数据仓库，安装在操作系统上的软件。数据库是所有软件体系中最核心的存在2.数据库分类关系型数据库（SQL）Mysql，oracle，
路漫漫qixiuyuanxi·2022-07-18 11:00

实时BI（四）低成本的数据准实时处理思路

今天分享的是实时BI系列话题的最后一篇文章，所以简单回顾一下前面的几次分享：第一篇文章讲解了BI对数据T+1同步机制的原因和过程；第二篇文章讲解了如果要实现实时或者准实时，对传统数据仓库分层的ETL架构要做出哪些调整
派可数据BI可视化·2022-07-17 22:35

史上最长的介绍BI(商业智能)的干货

商业智能BI-派可数据商业智能BI可视化分析平台将商业智能BI核心内容进行总结，大致有三条：第一，商业智能BI是一套完整的由数据仓库、查询报表、数据
派可数据BI可视化·2022-07-17 22:32

BI的边界：BI不适合做什么？主数据、MarTech？该如何扩展？

还有就是上了BI之后，想利用一些数据对符合条件的用户做一些信息推送、精准营销，用户收到信息之后的反馈也希望能够沉淀到BI数据仓库中，等等诸如此类的
派可数据BI可视化·2022-07-17 22:30

基于Kylin的数据统计分析平台架构设计与实现

目录1前言2关键模块2.1数据仓库的搭建2.2ETL2.3Kylin数据分析系统2.4数据可视化系统2.5报表模块3最终成果4遇到问题1前言此项目是我在TP-LINK公司云平台部门做的一个项目，总体包括云上数据自动化统计流程的设计和组件的开发
Wilbur.Dreamer·2022-07-17 12:43

集群计算——Spark-Spark Core 、Spark Streaming、Spark SQL、MLlib、Spark集群管理器

Spark发源于美国美国加州伯克利分校AMPLab的大数据分析平台，它立足于于内存计算，从多迭代批量处理出发，兼顾数据仓库、流处理和图计算等多种计算范式，是大数据系统邻域的全栈计算平台。
阿洋太爱大数据·2022-07-16 15:01

Spark_sql&Spark_streaming从入门到精通

SparkSQLisApacheSpark’smoduleforworkingwithstructureddata.它是spark中用于处理结构化数据的一个模块SparkSQL历史Hive是目前大数据领域，事实上的数据仓库标准
kuokay·2022-07-16 15:59

hive入门到魔改-阶段一(hive概念&安装&初步使用)

Hive简介官网:ApacheHiveHive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到
顶尖高手养成计划·2022-07-16 15:56

Spark Streaming 简介

1.流计算概述1.1流计算简介数据仓库中存放的大量历史数据就是静态数据，可以利用数据挖掘和OLAP分析工具从静态数据中找到对企业有价值的信息。而流数据表现为数据以大量、快速、时变的流形式持续到达。
MusicDancing·2022-07-16 15:55

如何搭建实时数据仓库(详解)

一、技术选型介绍在设计篇中，我们给出了RTDP(Real-timeDataPlatform)的一个整体架构设计（图1）。在技术篇里，我们则会推荐整体技术组件选型；对每个技术组件做出简单介绍，尤其对我们抽象并实现的四个技术平台（统一数据采集平台、统一流式处理平台、统一计算服务平台、统一数据可视化平台）着重介绍设计思路；对Pipeline端到端切面话题进行探讨，包括功能整合、数据管理、数据安全等。图1
Jmayday·2022-07-16 15:25

实时数据仓库-从0到1实时数据仓库设计&实现(SparkStreaming3.x)

简介从数据库的设计，到前端，后端，实时数据仓库一套打通实时数据仓库设计与实现，这个项目的特点就是，麻雀虽小，五脏俱全，一般的实时数据仓库复制粘贴里面的代码就能够实现功能。
顶尖高手养成计划·2022-07-16 15:54

MySQL集群之Mycat实现读写分离

可以替代MySQL的加强版数据库一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQLServer结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品一个新颖的数据库中间件产品实
M-artin.online·2022-07-15 14:59

高达每秒100多个作业吞吐量，这一款IT运维国产神器，杀疯了！

在众多大大小小的数据仓库、数据集市以及各类数据池中，是批量调
·2022-07-15 11:35

在 CDP中使用Iceberg 为数据湖仓增压

今天的一般可用性公告涵盖了在Cloudera数据平台(CDP)中的关键数据服务中运行的Iceberg，包括Cloudera数据仓库(CDW)、Cloudera数据工程(CDE)和Cloude
·2022-07-15 09:52

Data Lakehouse的未来-开放

这些数据湖为关键任务大规模数据分析、商业智能(BI)和机器学习用例（包括企业数据仓库）提供动力。
·2022-07-14 13:33

数据库八股文链接待看

记一次蚂蚁金服数据仓库岗位面试经历_玉皇大帝不开心-CSDN博客导读：本文将带你一起走进蚂蚁金服大数据数仓面试。文末加群，即有机会与作者『潇傲江湖』群内沟通，高手对决。
儒雅的晴天·2022-07-13 13:52

数据湖存储的现状和趋势

导读：随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。
公众号:肉眼品世界·2022-07-13 08:32

干货笔记，数据仓库工具箱

《数据仓库工具箱—维度建模的完全指南》是数据仓库建模方面的经典著作，1996年第一版出版被认为是数据仓库方面具有里程碑意义的事件。
公众号:肉眼品世界·2022-07-13 08:02

数据仓库简介

数据仓库简介一、什么是数据仓库二、操作型系统和分析型系统1.操作型系统2.分析型系统3.操作型系统与分析型系统对比三、数据仓库架构1.基本架构2.主要的数据仓库架构一、什么是数据仓库数据仓库是一个面向主题的
信徒。·2022-07-13 08:00

数据仓库(13)大数据数仓经典最值得阅读书籍推荐

从事数仓工作，在工作学习过程也看了很多数据仓库方面的数据，此处整理了数仓中经典的，或者值得阅读的书籍，推荐给大家一下，希望能帮助到大家。建议收藏起来，后续有新的书籍清单会更新到这里。
张飞的猪大数据·2022-07-13 08:54

ETL自学之路-02（维度建模）

一、维度建模的基本概念1.1维度建模的定义维度建模（dimensionalmodeling）是专门用于分析型数据库、数据仓库、数据集市建模的方法，数据集市可以理解为是一种小型的数据仓库。
一朵风中摇曳的水仙花·2022-07-13 08:54

哪个多维分析产品的性能最好

目前多维分析产品的后台数据源通常是常规数据库、专业数据仓库及BI产品自带的数据源，系统性能基本都是靠它们自身的计算能力。
rqgxy·2022-07-13 08:22

什么是IceBerg

实时数据仓库的发展、架构和趋势这篇文章从实时数仓开始讲到批流一体，谈了谈对大数据架构体系发展趋势的看法。
阳呀么阳阳阳·2022-07-13 08:15

数据仓库、数据湖、数据平台和数据中台的概念和区别

我们谈论数据中台之前，我们也听到过数据平台、数据仓库、数据湖的相关概念，它们都与数据有关系，但他们和数据中台有什么样的区别，下面我们将围绕数据平台、数据仓库、数据湖和数据中台的区别进行介绍。
数据学堂·2022-07-13 08:43

什么是数据湖？

数据仓库数据湖主要处理历史的、结构化的数据，而且这些数据必须与数据仓库事先定义的模型吻合。能处理所有类型的数据，如结构化数据，非结构化数据，半结
mischen520·2022-07-13 08:43

《数据仓库设计与开发.pdf》限时开放下载！

文末获取完整PDF这份PDF涵盖了数仓设计和建设的一些重要概念和知识点，也有很多是面试经常问的，是学习数仓必备的理论知识。这份PDF可以作为数仓工具书的辅助资料进行学习，毕竟数仓工具书比较厚，对于很多人很难抓住其中的重点。如何获取？因为百度网盘链接经常失效，已经加我微信的同学，我会将该资料发到学习群里，大家记得及时保存。不是我好友的，可以添加下方微信，备注【数仓】私发给你。▲添加上方二维码好友▲▲
无精疯·2022-07-13 08:38

辨析数仓、大数据、数据中台的实质（内附21张架构图）

在数据库开发和优化、数据仓库、系统架构、大中型项目管理、数据治理、数据分析、大数据方面有一定研究。参与移动集团经营分析系统5.0、企业级大数
Jmayday·2022-07-13 08:36

❤️ 爆肝三万字《数据仓库体系》轻松拿下字节offer ❤️【建议收藏】

目录信息技术智库文章很长，前言一定要看拥有本篇文章，意味着你拥有一本完善的书籍，本篇文章整理了数据仓库领域，几乎所有的知识点，文章内容主要来源于以下几个方面：源于「数据仓库交流群」资深数据仓库工程师的交流讨论
不吃西红柿丶·2022-07-13 08:32

数据湖基本概念--什么是数据湖，数据湖又能干什么？为什么是Hudi

一、什么是数据湖对于经常跟数据打交道的同学，初步听到数据湖这个概念的时候，肯定有点懵，但是相信大家对于数据仓库这个概念并不陌生。
一个数据小开发·2022-07-13 08:01

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
测试小扎·2022-07-12 12:47

轻松月入过万，教你0基础如何1个月转型大数据ETL工程师

ETL就是数据仓库项目建设和日常维护中的一种工作，ETL，就是抽取、转换、装载的英文缩写。但是这个现实中都是使用相应工具软件的。至于怎么抽取，怎么转换、怎么装载，都是与具体业务相结合的。
taskctl调度工具·2022-07-12 09:47

hadoop集群部署之hive安装（四）

hive本身是一个数据仓库工具，那既然是仓库，那就要存东西，**存什么东西呢？**存的是元数据（俗称metadata），那再问，**什么是元数据呢？
远方的旅行者·2022-07-11 09:55

hadoop生态之hive

文章目录1.hadoop生态之hive定位2.数据仓库简介2.1数据仓库的概念2.2数据仓库听结构及其建立过程2.3OLTP和OLAP的区别2.4数据模型3.Hive简介4.Hive的体系结构1.hadoop
诸葛老刘·2022-07-11 09:25

Hadoop生态圈hive应用

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
无忧→捕获一只程序员·2022-07-11 09:22
上一页 69 70 71 72 73 74 75 76 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他