数仓学习专栏

数仓架构、模型设计与优化、开发规范

数仓模型设计与开发规范数仓架构数据存储设计开发规范表名定义规范字段命名（字段类型）规范指标一致性规范维度一致性规范离线数仓模型构建的简单见解1、业务数据与架构变化情况说明2、数据分层说明2.1ods层模型说明
cg6·2023-06-20 08:23

Databend 开源周报 第 97 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-06-20 06:39

【每日算法】【203. 移除链表元素】

☀️博客主页：CSDN博客主页本文由我是小狼君原创，首发于CSDN学习专栏推荐：面试汇总❗️游戏框架专栏推荐：游戏实用框架专栏⛅️点赞收藏⭐留言，如有错误请指正未来很长，值得我们全力奔赴更美好的生活✨Unity
我是小狼君·2023-06-20 04:01

【每日算法】【205. 同构字符串】

☀️博客主页：CSDN博客主页本文由我是小狼君原创，首发于CSDN学习专栏推荐：面试汇总❗️游戏框架专栏推荐：游戏实用框架专栏⛅️点赞收藏⭐留言，如有错误请指正未来很长，值得我们全力奔赴更美好的生活✨Unity
我是小狼君·2023-06-20 04:00

Databend 开源周报第 96 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-06-20 03:16

Databend 开源周报第 93 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-06-20 03:46

Databend 开源周报 第 83 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.com。
Databend·2023-06-20 03:45

Databend 开源周报第 91 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-06-20 03:45

Databend 开源周报第 92 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-06-20 03:45

消息推送平台的实时数仓？！flink消费kafka消息入到hive

大家好，3y啊。好些天没更新了，并没有偷懒，只不过一直在安装环境，差点都想放弃了。上一次比较大的更新是做了austin的预览地址，把企业微信的应用和机器人消息各种的消息类型和功能给完善了。上一篇文章也提到了，austin常规的功能已经更新得差不多了，剩下的就是各种细节的完善。不知道大家还记不记得我当时规划austin时，所画出的架构图：现在就剩下austin-datahouse这个模块没有实现了，
·2023-06-19 20:18

新闻速递 | KaiwuDB 亮相 DTCC 2022 线上大会并发表系列主题演讲

本届大会以“数据智能价值创新”为主题，邀请超百位行业专家，重点围绕时序数据库、图数据技术、实时数仓技术与应用实践、云原生数据库、大数据平台与数据安全等内容展开分享和探讨。
·2023-06-19 19:01

实时数仓Hologres 新一代弹性计算组实例技术揭秘

随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。
·2023-06-19 17:56

阿里云实时数仓Hologres年度发布，解读数仓新趋势

简介：阿里云实时数仓Hologres年度发布，解读数仓新趋势。
·2023-06-19 17:22

数据仓库介绍与实时数仓案例

1.数据仓库简介数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变的越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术也在不停的发展。数据
·2023-06-19 17:16

如果你也想做实时数仓…

本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。
·2023-06-19 17:16

数仓架构“瘦身”，Hologres 5000CU时免费试用

Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis
·2023-06-19 17:38

【大数据存储】ORC和Parquet区别

15111861/article/details/103025418ORC官网https://orc.apache.org/Parquet官网https://parquet.apache.org/Hive数仓建表该选用
JH_Zhai·2023-06-19 14:39

【MySQL】一文带你了解过滤数据

博客主页：博主链接本文由Mmalloc原创，首发于CSDN学习专栏推荐：LeetCode刷题集！欢迎点赞收藏⭐留言如有错误敬请指正！
M malloc·2023-06-19 05:06

【零基础学机器学习 4】机器学习中的回归-线性回归

本文收录于专栏:零基础学机器学习专栏介绍:本专栏将帮助您了解机器学习、其工作原理以及如何使用它。本教程包含以下内容:监督和无监督学习、线性回归
程序员半夏·2023-06-19 01:23

揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
Apache Flink·2023-06-18 12:08

美团买菜基于 Flink 的实时数仓建设

摘要：本文整理自美团买菜实时数仓技术负责人严书，在FlinkForwardAsia2022实时湖仓专场的分享。
Apache Flink·2023-06-18 12:07

数仓的分层理论

一、简介2021-4-2511:04:16数据仓库分层是数据仓库设计中非常重要的一个环节，一个好的分层设计可以极大地简化数据仓库的操作，提升使用体验。然需要注意的是，分层理论并不绝对，只是提供一种普适的指导思想和原则，最重要的还是要看业务的具体需要。为什么要做数据分层？作为数据分析人员，我们自然希望自己的数据体系分层清晰、有序，容易调用和维护，对设计者和使用者来说，都赏心悦目，比如说下图这种：层次
经年藏殊·2023-06-18 11:31

Golang面经

参考自：链接(1)rpc微服务框架(2)mq底层数仓(3)runtime包里面的方法(4)redis过期策略和内存淘汰策略过期策略：过期策略解释定时删除设置某个Key的过期时间的同事，创建一个定时器，到时间就删除该
Yuan_xii·2023-06-18 09:50

数据仓库技术与Hive入门

文章目录数据仓库基本概念场景案例主要特征主流开发语言-SQL数仓开发语言概述SQL语言介绍结构化数据SQL语法分类ApacheHive入门ApacheHive安装部署元数据HiveSQL语言数据仓库基本概念数据仓库
北山啦·2023-06-18 08:28

FlinkSQL行级权限解决方案及源码

此方案是实时领域Flink的解决方案，类似离线数仓Hive中RangerRow-levelFilter方案。
数据探险家·2023-06-18 08:26

Hadoop 4：Hive

数据仓库概念数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。
ZhaoXiangmoStu·2023-06-18 01:57

Hbase、Kudu和ClickHouse横向对比V2.0

4基本操作对比4.1数据读写操作4.2数据查询操作5HBASE在滴滴出行的应用场景和最佳实践5.1订单事件5.2司机乘客轨迹5.3ETA5.4监控工具DCM5.5小结6网易考拉基于KUDU构建实时流量数仓实践
陈舟的舟·2023-06-17 23:34

携手共赢 HashData亮相华为合作伙伴大会

在本次大会上，HashData展示了云数仓领域最新前沿技术以及联合华为打造的多云环境下云原生数仓存储解决方案。
·2023-06-17 21:48

大数据/数仓面试灵魂30问（转）

可简单说下理解与思路3.数据仓库、数据中台、数据湖的理解4.传统数仓的程度（建模工具、ETL工具、BI报表工具、调度系统）5.传统数仓和大数据数仓的异同？有哪些大的变化？6.印象最深刻的项目？为什么？
Eva菠萝·2023-06-17 19:21

大数据开发：数仓建模常见数据模型

对于数仓建模，很多人说不就是建表吗，哪有那么复杂，事实上，这是非常错误的思想。今天的大数据开发分享，我们来聊聊数仓建模常见的几种数据模型。
成都加米谷大数据·2023-06-17 19:45

美团买菜基于 Flink 的实时数仓建设

美团买菜基于Flink的实时数仓建设1.背景介绍2.技术愿景和架构设计3.典型场景、挑战与应对3.1动态ETA实时特征3.2实时数据经营分析4.未来规划1.背景介绍美团买菜是美团自营生鲜零售平台，上面所有的商品都由美团亲自采购
明月清风，良宵美酒·2023-06-17 15:54

数据挖掘建模过程全公开

「数仓宝贝库」，带你学数据！导读：本文以餐饮行业的数据挖掘应用为例，详细介绍数据挖掘的建模过程。
Python进阶者·2023-06-17 11:59

知乎用户画像与实时数仓的架构与实践

用户画像与实时数据分析是互联网企业的数据核心。知乎数据赋能团队以ApacheDoris为基础，基于云服务构建高响应、低成本、兼顾稳定性与灵活性的实时数据架构，同时支持实时业务分析、实时算法特征、用户画像三项核心业务流，显著提升对于时效性热点与潜力的感知力度与响应速度，大幅缩减运营、营销等业务场景中的人群定向成本，并对实时算法的准确率及业务核心指标带来明显增益。关键词：数据仓库，ApacheDori
jane9872·2023-06-17 04:16

【MySQL】一文带你了解排序检索数据

博客主页：博主链接本文由Mmalloc原创，首发于CSDN学习专栏推荐：LeetCode刷题集！欢迎点赞收藏⭐留言如有错误敬请指正！
M malloc·2023-06-17 02:34

doris - 数仓 拉链表 按天全量打宽表性能优化

数仓拉链表按天全量打宽性能优化现状描述优化优化参数现状描述1、业务历史数据可以变更2、拉链表按天打宽3、拉链表模型分区字段设计不合理，通用的过滤字段没有作为分区分桶字段4、拉链表表数据量略大、模型数据分区不合理和服务器资源限制
cg6·2023-06-17 01:03

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

我们基于ApachePaimon(Incubating)构建StreamingLakehouse的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设
·2023-06-16 20:24

指北数据中台

文章目录一、项目介绍二、功能模块说明2.1平台基础设置2.2数据汇聚管理2.3数据开发2.4数据治理2.5数据集市管理2.6可视化管理三、系统核心技术栈四、系统数仓架构五、系统运行展示六、总结从事数据平台方向以来
大数据指北·2023-06-16 18:21

Go语言基础：切片slice的声明及使用

前言大家好，我是沐风晓月，本文go语言入门-掌握go语言函数收录于《go语言学习专栏》专栏，此专栏带你从零开始学习go语言，持续更新中，欢迎点赞收藏。
我是沐风晓月·2023-06-16 17:45

掌握SQL Server实战之SQL Server的安装

前言大家好，我是沐风晓月，本文SQLServer的介绍收录于[《数据库学习专栏》]中的SQLServer专栏，此专栏带你从零开始学习SQLserver，持续更新中，欢迎点赞收藏。
我是沐风晓月·2023-06-16 17:22

Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive

1.架构图2.实现实例2.1通过flinkcdc的两张表合并成一张视图，同时写入到数据湖(hudi)中同时写入到kafka中2.2实现思路1.在flinksql中创建flinkcdc表2.创建视图(用两张表关联后需要的列的结果显示为一张速度)3.创建输出表，关联Hudi表，并且自动同步到Hive表4.查询视图数据，插入到输出表--flink后台实时执行2.3pom文件需要的类wudl-hudiwu
wudl5566·2023-06-16 15:35

hive 内置时间函数datediff，这次总算搞清楚了

刚接触数仓时，对hive中sql内置的一些时间函数的用法总是用的模糊两可，每次需要用到的是总是得查api，今天把这3个容易出错的日期内置函数简单总结下，算是一次学习笔记，加深印象，后面需要用到的时候就不用再去翻看
爱开发V·2023-06-16 15:05

数仓建模理论（一）

学习目录一、关系建模与维度建模二、维度表和事实表（重点）三、事实表类型四、维度模型分类一、关系建模与维度建模（1）关系建模关系建模将复杂的数据抽象为两个概念——实体和关系，并使用规范化的方式表示出来。关系模型松散、零碎，物理表数量多说明：关系模型严格遵循第三范式（3NF），数据冗余程度低，数据的一致性容易得到保证。由于数据分布于众多的表中，查询会相对复杂，在大数据的场景下，查询效率相对较低（2）维
王博1999·2023-06-16 06:45

数仓建模理论（二）☆☆☆

学习目录一、ODS层二、DIM层和DWD层三、DWS层与DWT层四、ADS层一、ODS层ODS层的作用：保存原始数据，不作任何处理ODS层主要存储的是用户行为日志数据和关系型数据库中业务数据（1）HDFS用户行为日志数据用户行为数据建表思路:只需要创建一张分区表表中的每行数据就是一条日志字段只需要一个String类型的即可按天分区，每个分区就是当天采集的日志数据（2）HDFS业务数据业务数据建表思
王博1999·2023-06-16 06:45

【MySQL】一文带你了解如何使用MySQL

博客主页：博主链接本文由Mmalloc原创，首发于CSDN学习专栏推荐：LeetCode刷题集！欢迎点赞收藏⭐留言如有错误敬请指正！
M malloc·2023-06-15 23:25

【MySQL】一文带你了解检索数据

博客主页：博主链接本文由Mmalloc原创，首发于CSDN学习专栏推荐：LeetCode刷题集！欢迎点赞收藏⭐留言如有错误敬请指正！
M malloc·2023-06-15 23:24

广告数仓：数仓搭建(二)

系列文章目录广告数仓：采集通道创建广告数仓：数仓搭建广告数仓：数仓搭建(二)文章目录系列文章目录前言DWD层创建1.建表广告事件事实表2.数据装载初步解析日志解析IP和UA标注无效流量编写脚本总结前言这次我们完成数仓剩下的内容
超哥--·2023-06-15 22:31

广告数仓：采集通道创建

系列文章目录广告数仓：采集通道创建文章目录系列文章目录前言一、环境和模拟数据准备1.hadoop集群2.mysql安装3.生成曝光测试数据二、广告管理平台数据采集1.安装DataX2.上传脚本生成器3.
超哥--·2023-06-15 22:30

广告数仓：数仓搭建

系列文章目录广告数仓：采集通道创建广告数仓：数仓搭建文章目录系列文章目录前言一、环境搭建1.hive安装2.编写配置文件3.拷贝jar包4.初始化源数据库5.修改字符集6.更换Spark引擎1.上传并解压
超哥--·2023-06-15 22:56

数仓架构“瘦身”，Hologres 5000CU时免费试用

Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis
阿里云大数据AI技术·2023-06-15 19:41

解锁云原生虚拟数仓 PieCloudDB Database 『第一期』

拓数派旗下旗舰产品PieCloudDB，采用领先的数仓虚拟化技术，为企业构建高安全，高可靠，高在线「坚如磐石」的云原生虚拟数仓。
·2023-06-15 15:43
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他