数仓学习专栏

数据血缘落地实践

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2023-08-10 06:58

大屏实时计算深度剖析(Flink 入门 技术体系剖析 实战 数据处理设计方案 核心技术点)

大屏实时计算深度剖析大屏实时计算深度剖析1.实时计算应用场景1.1智能推荐1.2实时数仓1.3大数据分析应用2.Flink快速入门2.1Flink概述2.2Flink基础案例2.3Flink部署配置2.4Flink
Ybb_studyRecord·2023-08-10 05:25

Flink sql 创建 视图-view

1.场景是通过flinksql对表的操作，通过添加多个算子对结果的操作如图：例子不是很恰当主要是我们在创建数仓表时，通过先将一个函数的结果集放到一个视图中，在通过一个一个函数将结果放入到下一个视图中，然后在通过视图
wudl·2023-08-10 00:41

Databend 开源周报第 105 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-08-09 07:49

搭建企业级BI系统有多快？奥威BI表现惊人

主要有搭建环境、建设数仓和分析模型、设计数据可视化报表。
qq_43696218·2023-08-09 07:11

两个用字符串表示的大数字的和

文章目录题目详情Java实现分析Java怎么获取到字符串中的对应位置的数字值Java完整代码测试验证python实现python怎么获取到字符串中的对应位置的数字值python完整代码总结这是遇到的一道快手数仓岗位的面试题目
富有一文·2023-08-09 07:04

Nebula Exchange 工具 Hive 数据导入的踩坑之旅

www-cdn.nebula-graph.com.cn/nebula-blog/nebula-exchange-hive-import-best-practice.png)]摘要：本文由社区用户xrfinbj贡献，主要介绍Exchange工具从Hive数仓导
图数据库NebulaGraph·2023-08-09 06:01

基于 Flink x TiDB，智慧芽打造实时分析新方案

摘要：本文整理自智慧芽数据仓库架构师曲明星在FlinkForwardAsia2021实时数仓专场的分享。
Flink中文社区·2023-08-09 02:20

顺丰科技数据治理实践

十年前，我们就已经建了数仓，同步做了元数据管理，数据质量管理，以及数据安全的管理。顺丰数据治理的演进路线分3个阶段。第一阶段：2020年前，我们主要在进行数据平台的搭建，关键领域能力的建设。
产品经理自我修养·2023-08-08 19:09

离线数仓之Kerberos基本使用及问题记录

离线数仓之Kerberos基本使用及问题记录文章目录离线数仓之Kerberos基本使用及问题记录0.写在前面1.Kerberos基本使用0.启动Kerberos相关服务1.安全模式下启动Hadoop集群
WHYBIGDATA·2023-08-08 13:54

数仓建模—ID Mapping

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据
大数据技术派·2023-08-08 12:26

怎么快速搭建BI？奥威BI系统做出了表率

搭建BI系统有两大关键，分别是环境搭建和数仓建设。这两点不管是哪一个都相当地费时费力，那要怎么才能快速搭建BI平台，顺利实现全企业数字化运营决策？奥威BI系统+方案，你值得拥有！
qq_43696218·2023-08-08 07:32

【C++奇遇记】函数探幽(上)

博客主页：博主链接本文由Mmalloc原创，首发于CSDN学习专栏推荐：LeetCode刷题集数据库专栏初阶数据结构欢迎点赞收藏⭐留言如有错误敬请指正！
M malloc·2023-08-07 14:45

京东实时数据产品应用实践

.流批一体化产品体系4.产品运营：实时数据链路三道防线01京东实时产品概况1.实时数据产品支撑业务场景京东实时产品的应用涵盖集团范围内的各个体系，包括零售、物流、健康等都有实时数据的应用场景，例如实时数仓
学而知之@·2023-08-07 02:30

唯品会亿级数据服务平台落地实践

作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的DB来访问，提供统一的API接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。
qianshanding0708·2023-08-07 02:59

大数据常见应用场景及架构改进

它和传统的数仓不太一样。因为传统数仓它只能解决中小规模的数据存储与分析问题。大数据这一块要能承接海量的数据。我们来看一下它们的基本架
桥路丶·2023-08-07 02:29

Doris Sequence 列

ApacheDoris在约苗数据平台的实时数仓建设实践dorissequence列sequence列目前只支持Uniq模型。
胖胖胖胖胖虎·2023-08-06 11:05

数据仓库分层设计

美团配送数据治理实践美团配送数据治理实践-美团技术团队数据仓库分层没有绝对的规范，适合的就是最好的，特别是企业已经有一个初版的数仓的时候，需要做好改造成本和可理解性之间的平衡。
javastart·2023-08-05 15:06

【hive经典指标，离线数仓指标，ADS层指标分析】最近7日内连续3日下单用户数

1.建表语句DROPTABLEIFEXISTSads_order_continuously_user_count;CREATEEXTERNALTABLEads_order_continuously_user_count(`dt`STRINGCOMMENT'统计日期',`recent_days`BIGINTCOMMENT'最近天数,7:最近7天',`order_continuously_user_c
青云游子·2023-08-05 05:03

风很大的“云数仓”到底怎么用？三家企业交出答卷

为了解决上述问题，云原生数仓（以下简称云数仓）应运而生。与传统方案不同的是：云数仓借助于云平
字节数据平台·2023-08-04 22:23

关于数据仓库那些事 - 数据质量和数仓主题

数仓主题是什么数据仓库主题是指透过“上帝视角”将企业不同业务流程信息进行汇总、分类然后对其进行分析利用的一个抽象化的概念。也是指企业中某一分析领域具体的分析对象，这样一来，每
派可数据BI可视化·2023-08-04 17:16

大数据开发：数据仓库建模方法与模型

数仓建模方法数据仓库中几种经典的数据模型，包括关系建模、维度建模、DataVault模型。在实际工作中，通常会根据业务场景选择一种或几种模型。1、关系建模关系建模，是数据仓库之父In
成都加米谷大数据·2023-08-04 13:24

基于 Flink & Paimon 实现 Streaming Warehouse 数据一致性管理

本篇内容主要分为四个部分：背景方案设计当前进展未来规划点击查看原文视频&演讲PPT一、背景早期的数仓生产体系主要以离线数仓为主，业务按照自己的业务需求将数仓分为不同的层次，例如DWD、DWS、ADS等。
Apache Flink·2023-08-04 11:03

实时数仓分层介绍

ODS:原始数据，日志和业务数据。可通过Kafka进行收集。DWD:根据数据对象为单位进行分流，比如订单、页面访问等等。可存储在Kafka中。DIM:维度数据。可存储在HBase中。DWM:对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。DWS:根据某个主题将多个事实数据轻度聚合，形成主题宽表。可存储在Doris、ClickHouse、Ela
csdn-延·2023-08-03 20:21

x仔的北漂实习日记-day01-02

负责的主要是某公司的日志采集系统，我负责的就是离线日志的采集和分析（之前学的是数仓，现在这个还用不到数仓，有点小失望，后续慢慢在看），而且
kiritobryant·2023-08-03 14:09

数据资产治理：元数据采集那点事

在早期的采集系统，我们主要面向数仓，通过“API直连方式”采集Hive/Mysql表的元数据。随着业务的快速发展，数据运营、成本治理的需求越来越强烈。
傅一平·2023-08-03 11:11

什么是线程？为什么需要线程？和进程的区别？

线程的概念1.3线程和进程的区别二.线程的生命周期三.认识多线程总结个人主页：tq02的博客_CSDN博客-C语言,Java,Java数据结构领域博主本文由tq02原创，首发于CSDN本章讲解内容：线程的讲解学习专栏
tq02·2023-08-03 02:56

离线数仓中，为什么用两个flume，一个kafka

实时数仓中，为什么没有零点漂移问题？因为flink直接取的事件时间用kafka是为了速度快，并且数据不丢，那为什么既用了kafkachannel，也用了kafka，而不只用kafkachannel呢？
青云游子·2023-08-02 17:04

湖仓一体概念快问快答

“湖仓一体”是一种新的架构模式，湖仓一体是将数据湖的灵活性和数仓的易用性、规范性、高性能结合起来的融合架构，无数据孤岛。
偶数科技·2023-08-02 16:17

拓数派入选中国信通院“铸基计划”「高质量数字化转型产品及服务全景图」...

拓数派凭借在数据计算领域的卓越表现以及突破性技术创新，旗下首款数据计算引擎PieCloudDB虚拟数仓成功入选中国信通院“铸基计划”「高质量数字
OpenPie｜拓数派·2023-08-02 15:53

拓数派入选中国信通院 “铸基计划”「高质量数字化转型产品及服务全景图」

拓数派凭借在数据计算领域的卓越表现以及突破性技术创新，旗下首款数据计算引擎PieCloudDB虚拟数仓成功入选中国信通院“铸基计划”「高质量数字
OpenPie｜拓数派·2023-08-02 15:23

快速开始 PieCloudDB Database：管控平台权限系统

2.账户实体PieCloudDB以账户实体的形式是账户在数仓实例中具象体现，每一个PieCloudDB账户都拥有四类账户实体，如下图所示。其中：用户实体代表该账户下所有附
OpenPie｜拓数派·2023-08-02 15:22

数仓虚拟化技术：PieCloudDB 通过中国信通院 2023 「可信数据库」性能评测的强力支撑...

“可信数据库”是国内首个数据库的评测体系，被业界广泛认可为产品能力重要的衡量标准之一。PieCloudDB在该评测中展现出卓越的数据处理速度、稳定性和可扩展性，为用户提供了强大的数据分析和查询能力。6月15~16日，中国信通院2023上半年“可信数据库”评测专家评审会圆满结束，经过现场测试、产品资料审核、测试报告审核、质询与答疑、集中评议等多个评审环节，共计28家企业的33款产品通过本次评审。拓数
OpenPie｜拓数派·2023-08-02 15:22

拓数派，虚拟数仓通过信通院可信数据库评测第一家

中国信通院正式公布了第16批可信数据库测评的结果，拓数派旗下数据计算系统的首款计算引擎PieCloudDB虚拟数仓，在IO密集型任务、CPU密集型任务、报表任务、分析型任务、交互式查询、混合
OpenPie｜拓数派·2023-08-02 15:52

【PostgreSQL 数据库技术峰会（成都站）】云原生虚拟数仓 PieCloudDB Database 的架构和关键模块实现...

2023年6月17日，中国开源软件推进联盟PostgreSQL分会在成都举办了数据库技术峰会。此次峰会以“新机遇、新态势、新发展”为主题，结合当下信创热潮、人工智能等产业变革背景，探讨PostgreSQL数据库在这些新机遇下的发展前景。峰会邀请众多行业大咖、学术精英、技术专家、技术爱好者等参加本次盛会，分享PostgreSQL数据库未来的发展机遇、新技术和新方向，推动PostgreSQL在中国的发
OpenPie｜拓数派·2023-08-02 15:52

云时代已至，新一代数据分析平台是如何实现的？

PieCloudDB产品总监陈金豹也受邀在大会中发表演讲《云原生虚拟数仓
OpenPie｜拓数派·2023-08-02 15:21

快速开始 PieCloudDB Database：PieProxy 外部接入工具演示

同一账户下的用户可通过处于开启状态的虚拟数仓，使用JDBC、ODBC或Postgre
OpenPie｜拓数派·2023-08-02 15:21

拓数派受邀参加由 Google 举办的 “深度探索 LLM / Generative AI 的生态与应用” 主题活动

冯雷从虚拟数仓、多模数据和数据网络等几方面，分享了其本
OpenPie｜拓数派·2023-08-02 15:51

【PostgreSQL 数据库线下沙龙（武汉站）】PieCloudDB：云原生分布式虚拟数仓的诞生之旅...

2023年6月3日，开源软件联盟PostgreSQL中文社区在武汉举办了技术沙龙活动。本次活动主题围绕未来数据库展开讨论和分享。通过探讨未来数据库的概念和特点，为智能化时代的发展提供更多的支持和服务。同时，通过探讨数据库和AI技术的共生共荣，推动数字经济的发展和创新，开创未来数据库的新篇章。拓数派作为PostgreSQL伙伴社区，也受邀参加本次活动。拓数派（OpenPie）CTO郭罡在活动中发表了
OpenPie｜拓数派·2023-08-02 15:51

PieCloudDB Database：云原生分布式虚拟数仓的诞生之旅

杭州拓数派科技发展有限公司（OpenPie）的旗舰产品PieCloudDBDatabase是一款云原生分布式虚拟数仓。PieCloudDB通过多种创新性技术将物理数仓整合到云原生数据计算平台。
OpenPie｜拓数派·2023-08-02 15:21

云上 Index：看「简墨」如何为云原生打造全新索引

拓数派首款数据计算引擎PieCloudDB是一款全新的云原生虚拟数仓。
OpenPie｜拓数派·2023-08-02 15:20

pyspark_自定义udf_解析json列【附代码】

自定义函数实现大数据并行计算整体流程案例代码运行结果：案例代码：代码地址：代码一、背景：车联网数据有很多车的时序数据，现有一套云端算法需要对每一辆车历史数据进行计算得到结果，每日将全部车算一遍存到hive数仓中二
SeafyLiang·2023-08-02 15:46

即席查询-Kylin

我们在日常的数仓建模中，通常都会生成很多指标供用户决策，这些指标通常都是确定的、指标算法相对稳定、指标需要长期使用。但是通常用户还需要满足他的一些突发奇
小王是个弟弟·2023-08-02 10:09

Databend 开源周报第 104 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-08-02 07:55

【C++奇遇记】初探名称空间

博客主页：博主链接本文由Mmalloc原创，首发于CSDN学习专栏推荐：LeetCode刷题集数据库专栏初阶数据结构欢迎点赞收藏⭐留言如有错误敬请指正！
M malloc·2023-08-02 05:30

多事务事实表实践

一：企业级数仓多事务事实表的重要性整个企业级的数据仓库，从表的性质来分，有维度表和事实表，事务表又分为多事务事实表，累积快照事实表，周期型快照表，这些不同种类的事实表，其实在数仓里面都扮演者不同的角色。
愤怒的谜团·2023-08-01 13:10

【Python数据分析】Python常用内置函数（二）

欢迎来到Python专栏~Python常用内置函数（二）☆*o(≧▽≦)o*☆嗨~我是小夏与酒✨博客主页：小夏与酒的博客该系列文章专栏：Python学习专栏文章作者技术和水平有限，如果文中出现错误，希望大家能指正欢迎大家关注
小夏与酒·2023-07-31 23:10

当 Spark 任务出现数据倾斜的问题时该如何处理呢？

前言最近一位数仓同学问我，当Spark任务出现数据倾斜的问题时该如何处理呢？那么今天就来讲一下遇到了数据倾斜问题时处理的方式方法。
笑看风云路·2023-07-31 15:10

「Hive进阶篇」详解存储格式及压缩方式

一、前言hive优化除了有hql语句逻辑优化，hql参数调优等等，还有一个不起眼的细节容易被忽视掉，那便是hive数仓模型表的存储格式和压缩方式，hive底层数据是依托在hadoop，以HDFS文件存储在集群上的
大数据阶梯之路·2023-07-31 00:38

数仓建模—宽表的设计

宽表的设计其实宽表是数仓里面非常重要的一块，前面我们介绍过了维度表事实表，今天我们介绍一下宽表，前面我们说过了数仓是分层的，这是技术进步和时代变化相结合的产物，数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发
大数据技术派·2023-07-30 10:48
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他