数仓模型设计

linux网络编程--epoll多路IO模型

用实验验证LT和ET模式4.1.2epoll反应堆1学习目标1了解poll函数2熟练使用epoll多路IO模型3了解epollET/LT触发模式并实现4理解epoll边缘非阻塞模式并实现5了解epoll反应堆模型设计思想
cat_fish_rain·2023-08-04 09:15

实时数仓分层介绍

ODS:原始数据，日志和业务数据。可通过Kafka进行收集。DWD:根据数据对象为单位进行分流，比如订单、页面访问等等。可存储在Kafka中。DIM:维度数据。可存储在HBase中。DWM:对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。DWS:根据某个主题将多个事实数据轻度聚合，形成主题宽表。可存储在Doris、ClickHouse、Ela
csdn-延·2023-08-03 20:21

x仔的北漂实习日记-day01-02

负责的主要是某公司的日志采集系统，我负责的就是离线日志的采集和分析（之前学的是数仓，现在这个还用不到数仓，有点小失望，后续慢慢在看），而且
kiritobryant·2023-08-03 14:09

数据资产治理：元数据采集那点事

在早期的采集系统，我们主要面向数仓，通过“API直连方式”采集Hive/Mysql表的元数据。随着业务的快速发展，数据运营、成本治理的需求越来越强烈。
傅一平·2023-08-03 11:11

离线数仓中，为什么用两个flume，一个kafka

实时数仓中，为什么没有零点漂移问题？因为flink直接取的事件时间用kafka是为了速度快，并且数据不丢，那为什么既用了kafkachannel，也用了kafka，而不只用kafkachannel呢？
青云游子·2023-08-02 17:04

湖仓一体概念快问快答

“湖仓一体”是一种新的架构模式，湖仓一体是将数据湖的灵活性和数仓的易用性、规范性、高性能结合起来的融合架构，无数据孤岛。
偶数科技·2023-08-02 16:17

拓数派入选中国信通院“铸基计划”「高质量数字化转型产品及服务全景图」...

拓数派凭借在数据计算领域的卓越表现以及突破性技术创新，旗下首款数据计算引擎PieCloudDB虚拟数仓成功入选中国信通院“铸基计划”「高质量数字
OpenPie｜拓数派·2023-08-02 15:53

拓数派入选中国信通院 “铸基计划”「高质量数字化转型产品及服务全景图」

拓数派凭借在数据计算领域的卓越表现以及突破性技术创新，旗下首款数据计算引擎PieCloudDB虚拟数仓成功入选中国信通院“铸基计划”「高质量数字
OpenPie｜拓数派·2023-08-02 15:23

快速开始 PieCloudDB Database：管控平台权限系统

2.账户实体PieCloudDB以账户实体的形式是账户在数仓实例中具象体现，每一个PieCloudDB账户都拥有四类账户实体，如下图所示。其中：用户实体代表该账户下所有附
OpenPie｜拓数派·2023-08-02 15:22

数仓虚拟化技术：PieCloudDB 通过中国信通院 2023 「可信数据库」性能评测的强力支撑...

“可信数据库”是国内首个数据库的评测体系，被业界广泛认可为产品能力重要的衡量标准之一。PieCloudDB在该评测中展现出卓越的数据处理速度、稳定性和可扩展性，为用户提供了强大的数据分析和查询能力。6月15~16日，中国信通院2023上半年“可信数据库”评测专家评审会圆满结束，经过现场测试、产品资料审核、测试报告审核、质询与答疑、集中评议等多个评审环节，共计28家企业的33款产品通过本次评审。拓数
OpenPie｜拓数派·2023-08-02 15:22

拓数派，虚拟数仓通过信通院可信数据库评测第一家

中国信通院正式公布了第16批可信数据库测评的结果，拓数派旗下数据计算系统的首款计算引擎PieCloudDB虚拟数仓，在IO密集型任务、CPU密集型任务、报表任务、分析型任务、交互式查询、混合
OpenPie｜拓数派·2023-08-02 15:52

【PostgreSQL 数据库技术峰会（成都站）】云原生虚拟数仓 PieCloudDB Database 的架构和关键模块实现...

2023年6月17日，中国开源软件推进联盟PostgreSQL分会在成都举办了数据库技术峰会。此次峰会以“新机遇、新态势、新发展”为主题，结合当下信创热潮、人工智能等产业变革背景，探讨PostgreSQL数据库在这些新机遇下的发展前景。峰会邀请众多行业大咖、学术精英、技术专家、技术爱好者等参加本次盛会，分享PostgreSQL数据库未来的发展机遇、新技术和新方向，推动PostgreSQL在中国的发
OpenPie｜拓数派·2023-08-02 15:52

云时代已至，新一代数据分析平台是如何实现的？

PieCloudDB产品总监陈金豹也受邀在大会中发表演讲《云原生虚拟数仓
OpenPie｜拓数派·2023-08-02 15:21

快速开始 PieCloudDB Database：PieProxy 外部接入工具演示

同一账户下的用户可通过处于开启状态的虚拟数仓，使用JDBC、ODBC或Postgre
OpenPie｜拓数派·2023-08-02 15:21

拓数派受邀参加由 Google 举办的 “深度探索 LLM / Generative AI 的生态与应用” 主题活动

冯雷从虚拟数仓、多模数据和数据网络等几方面，分享了其本
OpenPie｜拓数派·2023-08-02 15:51

【PostgreSQL 数据库线下沙龙（武汉站）】PieCloudDB：云原生分布式虚拟数仓的诞生之旅...

2023年6月3日，开源软件联盟PostgreSQL中文社区在武汉举办了技术沙龙活动。本次活动主题围绕未来数据库展开讨论和分享。通过探讨未来数据库的概念和特点，为智能化时代的发展提供更多的支持和服务。同时，通过探讨数据库和AI技术的共生共荣，推动数字经济的发展和创新，开创未来数据库的新篇章。拓数派作为PostgreSQL伙伴社区，也受邀参加本次活动。拓数派（OpenPie）CTO郭罡在活动中发表了
OpenPie｜拓数派·2023-08-02 15:51

PieCloudDB Database：云原生分布式虚拟数仓的诞生之旅

杭州拓数派科技发展有限公司（OpenPie）的旗舰产品PieCloudDBDatabase是一款云原生分布式虚拟数仓。PieCloudDB通过多种创新性技术将物理数仓整合到云原生数据计算平台。
OpenPie｜拓数派·2023-08-02 15:21

云上 Index：看「简墨」如何为云原生打造全新索引

拓数派首款数据计算引擎PieCloudDB是一款全新的云原生虚拟数仓。
OpenPie｜拓数派·2023-08-02 15:20

pyspark_自定义udf_解析json列【附代码】

自定义函数实现大数据并行计算整体流程案例代码运行结果：案例代码：代码地址：代码一、背景：车联网数据有很多车的时序数据，现有一套云端算法需要对每一辆车历史数据进行计算得到结果，每日将全部车算一遍存到hive数仓中二
SeafyLiang·2023-08-02 15:46

京淘

powerdesigner数据库模型设计springboot:给属性赋值方法：1，属性上加@value（“$｛jdbc.driver｝”）每个属性都加。
小小学生儿·2023-08-02 11:55

即席查询-Kylin

我们在日常的数仓建模中，通常都会生成很多指标供用户决策，这些指标通常都是确定的、指标算法相对稳定、指标需要长期使用。但是通常用户还需要满足他的一些突发奇
小王是个弟弟·2023-08-02 10:09

Databend 开源周报第 104 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-08-02 07:55

017-从零搭建微服务-系统服务（四）

csps/mingyue源码地址（前端）：https://gitee.com/csps/mingyue-ui文档地址：https://gitee.com/csps/mingyue/wikis数据库权限模型设计设计思路
Strive_MY·2023-08-01 18:56

多事务事实表实践

一：企业级数仓多事务事实表的重要性整个企业级的数据仓库，从表的性质来分，有维度表和事实表，事务表又分为多事务事实表，累积快照事实表，周期型快照表，这些不同种类的事实表，其实在数仓里面都扮演者不同的角色。
愤怒的谜团·2023-08-01 13:10

C++的商品管理系统

二、系统分层数据流图三、系统结构图四、数据库设计根据商品管理系统的概念设计，采用关系模型设计。系统共有3个实体对象表，并使用存储过程、函数和触发器等内容对数据库进行操作。
啊哈哈哈_xyz·2023-08-01 12:58

当 Spark 任务出现数据倾斜的问题时该如何处理呢？

前言最近一位数仓同学问我，当Spark任务出现数据倾斜的问题时该如何处理呢？那么今天就来讲一下遇到了数据倾斜问题时处理的方式方法。
笑看风云路·2023-07-31 15:10

flask数据库操作

内容涵盖数据模型设计,ORM使用,关系映射,查询方法,事务处理等方面。通过本文,您可以掌握Flask数据库应用的基本知识。
菜鸟小超·2023-07-31 00:53

「Hive进阶篇」详解存储格式及压缩方式

一、前言hive优化除了有hql语句逻辑优化，hql参数调优等等，还有一个不起眼的细节容易被忽视掉，那便是hive数仓模型表的存储格式和压缩方式，hive底层数据是依托在hadoop，以HDFS文件存储在集群上的
大数据阶梯之路·2023-07-31 00:38

数仓建模—宽表的设计

宽表的设计其实宽表是数仓里面非常重要的一块，前面我们介绍过了维度表事实表，今天我们介绍一下宽表，前面我们说过了数仓是分层的，这是技术进步和时代变化相结合的产物，数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发
大数据技术派·2023-07-30 10:48

SOC FPGA之HPS模型设计(一)

目录一、建立HPS硬件系统模型1.1GHRD1.2从0开始搭建HPS1.2.1FPGAInterfaces1.2.1.1General1.2.1.2AXIBridge1.2.1.3FPGA-to-HPSSDRAMInterface1.2.1.4DMAPeripheralRequest1.2.1.5Interrupts1.2.1.6EMACptpinterface1.2.2PeripheralPin
STATEABC·2023-07-30 07:22

Django电商平台

Django电商平台数据库设计用户数据库模型设计classUserProfile(AbstractUser):#继承Django原先的用户基类'''Usernameandpasswordarerequired.Otherfieldsareoptional
qq_43210924·2023-07-30 00:51

数据仓库理论

一、数仓简介1、历史演进1）数据仓库最早可以追溯到20世纪70年代，希望将业务处理系统和分析处理系统分成不同的层次；2）1991年BillInmon在《BuildingtheDataWarehouse》
莫待花无空折枝·2023-07-29 14:55

SQL server 简介

它提供了一套强大的工具和功能，可以有效地管理和操作数据库，包括数据模型设计、数据导入和导出、事务处理、数据备份和恢复
diaobusi-88·2023-07-29 11:04

大数据-数仓-数据采集-业务数据（二）：全量同步采集【MySQL＜--＞DataX(全量)＜--＞HDFS】【每日全量：每天都将业务数据库中全部数据同步到数据仓库，是保证两侧数据同步的最简单方式】

DataX源码地址：GitHub-alibaba/DataX:DataX是阿里云DataWorks数据集成的开源版本。一、第1章DataX介绍1.1DataX概述1.介绍：DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（Mysql、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。2.特点：①DataX侧
u013250861·2023-07-29 08:12

【读点论文】PP-YOLOE: An evolved version of YOLO，面向友好部署的模型设计，为项目后续产业落地提供了更加有效的参考

PP-YOLOE:AnevolvedversionofYOLOAbstract在本报告中，我们介绍了PP-YOLOE，一种具有高性能和友好部署的工业最先进的目标探测器。我们在之前的PP-YOLOv2的基础上进行优化，采用无锚模式，更强大的骨干和颈部配备CSPRepResStage,ET-head和动态标签分配算法TAL。我们为不同的实践场景提供s/m/l/x模型。结果，pp-yoloe-1在COC
羞儿·2023-07-29 07:18

关于数据中台的思考与总结

关于数据中台的思考与总结目录关于数据中台的思考与总结数据中台数据汇聚数据开发智能运维数据体系数据资产管理数据服务体系离线平台苏宁实时平台美团点评bilibili网易离线数仓与实时数仓从0建设离线数仓区别数据中台解决方案零售行业原文地址
akenseren·2023-07-28 21:50

数据隔离与数仓分层（大数据）

二、数据隔离方法三、数仓分层数仓分层通过数据分层管控数据质量，需要对数据清洗等操作，不必改一次业务就需要重新接入数据，每一层数据都是单独的作用，同时规范数据分层，减少业务开发、直接抽取数据。
你的负卿是我·2023-07-28 20:49

数仓搭建第三步——建立规范

建立相关规范包括但不限于表名字段、sql、安全、测试、报警、依赖、建模等规范1数仓表概览管理2数仓表明细信息管理3数仓表依赖关系管理4指标字典管理5表名：ods:ods_原始表名_更新频率增量/全量_是否分区例
数据咩·2023-07-28 18:17

数仓搭建第四步——主题域划分

那么数仓的主题也是这个意思，用来概括公司某一类业务或者是某一种渠道等。为什么要给数仓划分主题呢，这要从数仓的整体架构和方法论去谈。人们做一件事一段时间后都会针对某一类事情进行总结。
数据咩·2023-07-28 18:46

数仓搭建第二步——根据第一步招揽相关人员

这一步对数据团队来说很关键，数据团队的领导者往往由企业的研发总监或者老板直接招揽，但往往有可能招聘者不懂数据，或者还不清楚自己要什么。所以第一步很重要，在明确自己的目的后，再去招揽人才。数据团队的领导者一般需要具备的条件：1.了解相关业务，知道公司主营业务的营销模式和业务形态2.熟悉现有数据技术和相关开发语言3.具有很好的协调沟通能力4.对数据架构，建模，清洗，治理，落地等步骤都有所了解和实践5.
数据咩·2023-07-28 18:16

大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓

前言本文隶属于专栏《大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据理论体系姊妹篇《分布式数据模型详解：OldSQL=＞NoSQL=＞NewSQL》《分布式计算模型详解：MapReduce、数据流、P2P、RPC、Agent》《大数据存储架构详解：数据仓库、数据集市、数据湖、数据网格、湖仓一体》《大数据处理架构详解：La
Shockang·2023-07-28 15:34

SOC FPGA之HPS模型设计(二)

根据SOCFPGA之HPS模型设计(一)，Quartus工程经过全编译后会产生Handoff文件夹、SOPCINFO文件、SVD文件二、生成Preloader镜像文件通过信息交换文件Handoff文件生成
STATEABC·2023-07-28 15:02

clickhouse分布式查询降级为本地查询

在基于clickhouse做类数仓建模时通常的做法是在本地创建物化视图，然后使用分布式表做代理对外提供服务。
小王是个弟弟·2023-07-28 06:47

2019-10-12

全市场及40支主要指数估值发布（20191011）10月11日，全市场估值水平：正常指数估值表如下：使用说明：1.参考A股全市场估值，控制A股整体仓位，参考指数估值调整指数仓位。
不在此山中白话投资·2023-07-28 00:58

数仓学习---14、大数据技术之DolphinScheduler

                      星光下的赶路人star的个人主页                      生命并没有地图，只有你内心的指南针文章目录1、DolphinScheduler简介1.1DolphinScheduler概述1.2DolphinScheduler核心架构2、DolphinScheduler部署说明2.1软硬件环境要求2.1.1操作系统版本要求2.1.2服务器硬件
星光下的赶路人star·2023-07-27 19:03

数仓学习---16、可视化报表（Superset）

                      星光下的赶路人star的个人主页                      真正的才智是刚毅的志向文章目录1、Superset入门1.1Superset概述1.2环境说明2、Superset安装2.1安装Python环境2.1.1安装Miniconda2.1.2创建Python3.7环境2.2Superset部署2.2.1安装依赖2.2.2安装Super
星光下的赶路人star·2023-07-27 19:30

如何利用tf.keras 实现深度学习？

tf.keras是TensorFlow2.0的高阶API接口，为TensorFlow的代码提供了新的风格和设计模式，大大提升了TF代码的简洁性和复用性，官方也推荐使用tf.keras来进行模型设计和开发
传智教育·2023-07-27 16:56

从数据仓库到大数据平台再到数据中台（内附13张架构图）

5G，人工智能，机器智能，深度学习，知识图谱…技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等，总之是你方唱罢他登场，各种概念满天飞…今天结合“数据中台”，以作者从事数仓行业多年的实战经验来看
Leo.yuan·2023-07-27 14:42

助力工业物联网，工业大数据之数仓事实层DWB层构建【十七】

文章目录数仓事实层DWB层构建01：项目回顾02：项目目标03：分层回顾04：DWB层的设计数仓事实层DWB层构建01：项目回顾项目中有哪些主题域？
Maynor996·2023-07-27 13:43

根据JsonSchema生成阿里云ClickHouse建表语句

mybatis对ClickHouse的支持不是很好，JPA又没有对应的方言，做数仓需要大批量解析JSON数据，希望能自动根据JSONSchema定义来自动建表，节省工作量，并且不用为了复杂JSON建对象
Run_the_ant·2023-07-27 08:35
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他