数仓模型设计

一百八十五、大数据离线数仓完整流程——步骤四、在Hive的DWD层建动态分区表并动态加载数据

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-25 21:07

一百八十七、大数据离线数仓完整流程——步骤六、在ClickHouse的ADS层建表并用Kettle同步Hive中DWS层的结果数据

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-25 21:07

一百八十四、大数据离线数仓完整流程——步骤三、在Hive中建基础库维度表并加载MySQL中的维度表数据

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-25 21:06

离线数仓问题总结

一、采集1.1maxwell中的默认JDBC驱动包其版本不适用于MySQL5.7版本二、数仓2.1关于hive如何支持json类型的字段主要在建表语句上指定上DROPTABLEIFEXISTSods_log_inc
落花雨时·2023-09-25 20:36

离线数仓——（活跃用户ODS层建表及加载数据，活跃用户DWD层建表及加载数据，活跃用户DWS层建表及加载数据，活跃用户ADS层建表及加载数据）

文章目录活跃用户ODS层建表及数据加载活跃用户DWD层建表及加载数据活跃用户活跃用户DWS层建表及加载数据活跃用户ADS层建表及加载数据活跃用户ODS层建表及数据加载离线数仓架构如下图所示：详细概念参考数据仓库
想做CTO的任同学...·2023-09-25 20:36

2——Hive数仓项目完整流程（在线教育）

在线教育（二）在线教育（二）在线教育（二）一、教育项目数仓分层1.1原有基础分层1.2教育项目分层二、数仓工具的使用2.1HUE的使用2.2Sqoop的使用三、全部流程3.1全量数据流程3.1.1需求分析
@—笨小孩—@·2023-09-25 20:06

离线数仓的概述

1、数仓的概述数仓主要是用于数据的存储、管理和分析数仓与关系型数据库最大的区别在于能够存储历史数据,后续可以将数据按照时间曲线分析。
m0_37759590·2023-09-25 20:05

离线数仓 (十四) --------- DWS 层搭建

目录一、系统函数1.nvl函数2.日期处理函数3.复杂数据类型定义二、DWS层1.访客主题2.用户主题3.商品主题4.优惠券主题5.活动主题6.地区主题7.DWS层首日数据装载脚本8.DWS层每日数据装载脚本一、系统函数1.nvl函数A、基本语法NVL(表达式1，表达式2)如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。该函数的目的是把一个空值(null)转换成一个实际的值。
在森林中麋了鹿·2023-09-25 20:05

黑马Hive+Spark离线数仓工业项目--数仓维度层DWS层构建（2）

日期时间维度设计目标：掌握日期时间维度的需求与设计路径-step1：需求-step2：设计实施需求：构建日期时间维度表，得到所有年、季度、月、周、日的维度信息统计不同时间维度下的呼叫次数、工单数、维修数、安装数、报销金额、核销数等设计-数据来源：提前通过程序生成构建，不是从数据中抽取-执行周期：每一年生成下一年的每一天的维度信息，**增量**同步到维度表的分区中日期时间维度构建目标：实现日期时间维
骨灰级收藏家·2023-09-25 20:34

【大数据课程】高途课程实践-Day02：利用Hive SQL编写离线数仓实现可视化展示...

〇、概述1、实现内容使用HiveSQL编程，构造分层离线数仓并可以通过QuickBi进行展示2、过程(1)数据接⼊到ODS层(2)进⾏ODS到DWD层数据开发(3)进⾏ODS到DIM层数据开发a.创建【
哥们要飞·2023-09-25 20:34

一百八十六、大数据离线数仓完整流程——步骤五、在Hive的DWS层建动态分区表并动态加载数据

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-25 20:01

天软特色因子看板 (2023.09 第08期)

针对市场上高频行情数据处理业务的相关痛点，直观的在线演示如何通过天软高频数仓及高性能计算能力，将其逐个击破，期待各位老师的参会。请持续关注天软课堂动态，将为大家带来更精彩的内容。
Tinysoft_SH·2023-09-25 19:45

A股风格因子看板 (2023.09 第08期)

针对市场上高频行情数据处理业务的相关痛点，直观的在线演示如何通过天软高频数仓及高性能计算能力，将其逐个击破，期待各位老师的参会。请持续关注天软课堂动态，将为大家带来更精彩的内容。
Tinysoft_SH·2023-09-25 19:12

2023第十二届中国智能产业高峰论坛之文档大模型的探索与思考

文章目录前言合合信息多模态大模型与文档图像智能理解文档图像分析识别与理解的技术难题文档图像分析与预处理文档解析与识别版面分析与还原文档信息抽取与理解AI安全知识化&存储检索和管理文档图像的分析识别与理解和大模型的关系文档图像大模型的进展LayoutLMUDOPDonutBLIP2文档图像大模型的探索文档图像大模型设计思路
阿Q说代码·2023-09-25 18:28

生产者消费者模型设计

生产者消费者模型设计生产者消费者模型设计必须满足以下几点生产者和消费者共享一个消息队列,且所有线程在对共享队列进行操作的时候都必须加锁生产者在队列满的时候不能再生产，必须阻塞自己消费者在队列空的时候不能再消费
SSPo·2023-09-25 17:18

数仓命名规范

1.词根设计规范词根属于数仓建设中的规范，属于元数据管理的范畴，现在把这个划到数据治理的⼀部分。
后季暖·2023-09-25 16:15

实时数仓 Hologres：推出计算组实例/支持JSON数据/向量计算+大模型等新能力

阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台。本期将重点介绍Hologres推出计算组实例Hologres支持JSON数据Hologres向量计算+大模型能力Hologre
·2023-09-25 15:09

Java基于SSM+JSP的服装定制系统

全网粉丝30W+、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌文章目录1简介2.技术栈3分析4系统设计4.1软件功能模块设计4.2.2物理模型设计
计算机毕设徐师兄·2023-09-25 13:07

ELT in ByteHouse 实践与展望

传统的数据转换过程一般采用Extract-Transform-Load(ETL)来将业务数据转换为适合数仓的数据模型
字节数据平台·2023-09-25 11:15

Flink双流join的3种方式及IntervalJoin源码分析

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料117篇原创内容公众号概述在数据库中的静态表上做OLAP分析时，两表join是非常常见的操作。
hyunbar·2023-09-25 06:22

【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWD和DIM

DWD和DIM1.需求分析及实现思路1.1分层需求分析1.2每层的职能1.3DWD层数据准备实现思路2.环境搭建3.准备用户行为日志DWD层3.1主要任务3.1.1识别新老用户3.1.2利用侧输出流实现数据拆分3.1.3将不同流的数据推送下游的Kafka的不同Topic中3.2代码实现3.2.1接收Kafka数据，并进行转换3.2.2识别新老访客3.2.3利用侧输出流实现数据拆分3.2.4将不同流
在学习的王哈哈·2023-09-25 04:49

尚硅谷大数据项目《在线教育之实时数仓》笔记002

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第06章数据仓库环境准备P006P007P008P009P010P011P012P013P014第06章数据仓库环境准备P006P007P008http
upward337·2023-09-25 04:19

2023华为杯数学建模D题第三问-碳排放路径优化（能源消费结构调整的多目标优化模型构建详细过程+模型假设（可复制））

1.碳排放约束下（人为干预按时碳达峰与碳中和的基准情景）能源消费结构多目标优化模型构建1.1基本假设本文的模型设计主要基于以下几个基本假设：（1）能源消费结构调整的根本驱动要素，是对投资耗费的最小化和对环境污染处理费用的最小化
知新_ROL·2023-09-25 01:30

酷克数据推出AI开发工具箱HashML 加速企业级AI应用落地投产

近日，业界领先的国产企业级云数仓厂商酷克数据发布了下一代In-Database高级分析和数据科学工具箱HashML，在业内率先实现为企业提供随数仓部署一步到位、开箱即用的AI能力。
HashData酷克数据·2023-09-24 21:05

5W字讲解最新大数据面试题

本文目录：一、Hadoop二、Hive三、Spark四、Kafka五、HBase六、Flink七、数仓业务方面八、算法HadoopHadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架
无精疯·2023-09-24 20:59

云数据库的无服务化

当前，云上服务的无服务化是一个大趋势，在应用程序方面有Lambda，在一些数据分析工具和服务上，AWS也都推出了无服务版本，例如ETL服务Glue，数仓服务Redshift，Hadoop服务EMR，本篇文章针对无服务化的云数据库
ladofwind·2023-09-24 16:37

Flink 对线面试官：6 个面试高频实战问题

:star:架构设计的能力：在实时数仓的分层设计中，具体的分层设计方案是怎样的？和离线数仓又有什么区别？你设计的实时
十一技术斩·2023-09-24 16:52

大数据-数仓分层之DWD

一、DWD层描述脚本：1）对用户行为数据解析。2）对核心数据进行判空过滤。3）对业务数据采用维度模型重新建模。1.1日志分析1.1.1用户行为日志解析（1）页面埋点日志（2）启动日志1.1.2get_json_object函数使用1）数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]2）取出第一个js
爱搞技术的吴同学·2023-09-24 14:44

大数据-数仓分层之ADS

ADS层描述ads层主要就是最后需要分析的数据，可以从各种纬度，这就需要根据业务来判断最后选择哪一些纬度来进行分析，比如经典的就是，根据地区来展示地图，看每个地区的人每天的下单数量，或者一段时间内的下单数量到这一层直接启动脚本就可以了：[root@hadoop102bin]$dwt_to_ads.sh2020-06-18
爱搞技术的吴同学·2023-09-24 14:44

Datax从mysql同步数据到HDFS

在实际使用Datax的时候，比较常用的是同步业务数据（mysql中的数据）到HDFS来实现数仓的创建，那么怎么实现呢？
一杯咖啡半杯糖·2023-09-24 13:47

数仓体系效率全面提升！同程数科基于 Apache Doris 的数据仓库建设

应用实践|数仓体系效率全面提升！同程数科基于ApacheDoris的数据仓库建设导读：同程数科成立于2015年，是同程集团旗下的旅游产业金融服务平台。
SelectDB技术团队·2023-09-24 10:10

大数据杂谈

架构师如何在面试中说服面试官根据课程项目做一些改动（变成自己熟悉的东西），形成一个新的项目，去增强面试的能力学习建议勤动手，执行范例多思考结合实际业务，深入思考会排错查看日志学会查阅官方文档定目标做分享所学知识运用到实际项目中番外数据湖是数仓的增强版本格式管理数据管理时间旅行
February13·2023-09-24 08:26

订单正逆向流程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档订单的正逆向流程前言针对零售行业数仓中订单业务相关的一些业务流程节点介绍正文总结前言提示：这里可以添加本文要记录的大概内容：针对零售行业数仓中订单业务相关的一些业务流程节点介绍提示
February13·2023-09-24 08:55

ETLCloud助力富勒TMS实现物流数仓同步

富勒TMS提供了多种运输管理业务的解决方案，极大的方便了企业对物流的管理和人力输出，同时提供了大量的API接口，供用户做数据集成和数仓同步。
ETLCloud数据集成社区·2023-09-24 06:50

数据仓库整理

数仓olapvsoltpOLTP主要用于支持日常的业务操作，如银行交易、电子商务等，强调数据的准确性、实时性和并发性。
haobu枳·2023-09-24 04:17

Pytorch袖珍手册之九

pytorchpocketreference第五章基于Pytorch的深度学习网络结构自主式开发前面章节我们主要通过pytorch提供的类，函数和各种库进行模型设计及训练，在本章节中我们将通过几个代码片断来向大家展示
深思海数_willschang·2023-09-23 23:15

阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时数仓

企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。
Flink中文社区·2023-09-23 21:48

2023-2024年最新大数据学习路线

文章目录2023-2024年最新大数据学习路线大数据开发入门*01*阶段案例实战大数据核心基础*02*阶段案例实战千亿级数仓技术*03*阶段项目实战PB级内存计算04阶段项目实战亚秒级实时计算*05*阶段项目实战大厂面试
Maynor996·2023-09-23 17:08

基于Python Django的公务员考试信息管理系统

文章目录1简介2.技术栈3功能分析4功能具体设计4.1软件功能模块设计4.2数据库设计与实现4.2.1概念模型设计4.2.2数据库逻辑结构设计5系统详细设计5.1系统功能模块5.2管理员功能模块六源码咨询
计算机徐师兄·2023-09-23 16:16

实时数仓新选择——Doris构建实时数仓落地方案详解

一、实时数据仓库概述**首先，**我们从数据仓库说起。数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。数据仓库之父BillInmon在1991年出版的《BuildingtheDatlaWarehouse》一书中首次提出了数据仓库的概念。Inmon将数据仓库描述为一个面向
胖胖胖胖胖虎·2023-09-23 13:32

大数据项目实战之数据仓库：电商数据仓库系统——第10章 数仓开发之DWS层

文章目录第10章数仓开发之DWS层10.1最近1日汇总表10.1.1交易域用户商品粒度订单最近1日汇总表10.1.2交易域用户商品粒度退单最近1日汇总表10.1.3交易域用户粒度订单最近1日汇总表10.1.4
yiluohan0307·2023-09-23 13:29

华为云 FusionInsight 大数据技术普惠创新，释放千行百业数据价值

专题日上，还重磅发布实时数仓新品。大会的精彩内容，让我们一起来看下吧！大数据技术普惠创新，释放千
数据湖洞见·2023-09-23 10:37

同一份数据全域共享，HashData UnionStore实时性背后的故事

时至今日，数据已经被越来越多的企业视为发展的战略资源，而云数仓则是数据发挥重要价值的关键媒介。
HashData酷克数据·2023-09-23 09:59

【ODPS 新品发布第 2 期】实时数仓 Hologres：推出计算组实例/支持 JSON 数据/向量计算+大模型等新能力

云布道师阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台。本期将重点介绍ꔷHologres推出计算组实例ꔷHologres支持JSON数据ꔷHologres向量计算+大模型能力
云布道师·2023-09-23 06:25

一百八十二、大数据离线数仓——离线数仓从Kafka采集、最终把结果数据同步到ClickHouse的完整数仓流程（待续）

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-23 05:38

使用YOLOv5-C3模块识别图像天气 - P8

天深度学习训练营中的学习记录博客原作者：K同学啊|接辅导、项目定制文章来源：K同学的学习圈子目录环境步骤环境设置引用包全局设备对象数据准备数据集信息收集图像预处理读取数据集读取数据集分类划分出训练集和测试集将数据划分为批次模型设计用于计算
好名让狗申请了·2023-09-23 03:07

使用 Databend 加速 Hive 查询

许多企业的数仓/数据湖中都有PB级的数据，其中绝大多数都属于旧有系统中的
Databend·2023-09-23 03:27

【活动回顾】Serverless 数仓技术与挑战（内含 PPT 下载）

下午，DatabendLabs联合创始人张雁飞作为「Serverless数仓技术与挑战」专题的演讲嘉宾进行了分享。
Databend·2023-09-23 03:56

Docker安装与镜像的使用

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料102篇原创内容公众号1、docker简介=============1.1什么是dockerdocker官网地址
hyunbar·2023-09-22 22:08

SOLIDWORKS工程图模板怎样批量替换 利用SolidKits软件轻松解决

三维模型设计完成之后，还有一项比较繁琐的工作，就是出工程图。
solidworks自动化参数设计sk·2023-09-22 16:07
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他