数仓项目学习

大数据Flink（九十）：Lookup Join（维表 Join）

文章目录LookupJoin（维表Join）LookupJoin（维表Join）LookupJoin定义（支持Batch\Streaming）：LookupJoin其实就是维表Join，比如拿离线数仓来说
Lansonli·2023-09-27 09:42

Databend 开源周报第112期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-09-27 09:20

基于 DTS 同步 MySQL 全增量数据至 CKafka，构建实时数仓的最佳实践

背景介绍随着IT技术与大数据的不断发展，越来越多的企业开始意识到数据的价值，通过大数据分析，可以帮助企业更深入地了解用户需求、更好地洞察市场趋势。目前大数据分析在每个业务运营中都发挥着重要作用，成为企业提升市场竞争力的关键举措之一。通常企业会构建数据湖仓，将多个数据源通过数据集成技术，汇集一起进行数据分析。由此，数据集成成为了构建数据湖仓的必经之路，然而企业在数据集成过程中却面临很多棘手问题。全量
·2023-09-26 21:29

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

在内容数仓搭建的过程中，我们的工作始终围绕降本增效为主要目的进行优化与迭代，希望在数据服务方面不断提升产品工具的开发与分析效率，同时在数仓架构方面能够有效减少架构成本与资源开销。
·2023-09-26 19:55

Linux使用一个脚本启用、停用springboot项目（本文带脚本）

前言如果仅需要脚本的小伙伴可以下拉至后面，我这里一步一步交大家发布项目学习之前我们要先会搭建一个项目可以去看这篇文章：搭建一个SpringBoot项目一、首先我们配置多环境0、resources文件如下
我认不到你·2023-09-26 15:25

大学生要学会劳逸结合的学习方式

最近，和学生谈话中，因大创项目学习，实践;好几个学生开始挑灯夜读，甚至到半夜。给予的建议是:学会合理安排，劳逸结合，才能事半功倍。
f257b78747e6·2023-09-26 15:43

django项目学习

socket编程scocket协议位于服务端和客户端之间，b/s架构之间的通信步骤如下图所示。我们web开发做的就是socket服务端的时，通过客户端发来的数据，返回给客户端想要的数据。简单使用importsocketsk=socket.socket()#创建socket对象sk.bind(('127.0.0.1',8000))#绑定ip端口sk.listen()#监听whileTrue:conn
young_dump_broke·2023-09-26 11:11

Spark或Hive数仓生命周期管理

在做数仓开发过程中，遇到一个问题就是随着数据量增大，存储空间增加惊人：hdfs的文件要存3份（可以修改副本份数），ods、dwd、dws、ads等各层都需要存储空间，指标计算过程如果内存不够又会缓冲在硬盘
大模型大数据攻城狮·2023-09-26 06:50

CC00055.pbpositions——|Hadoop&PB级数仓.V13|——|PB数仓.v13|核心交易分析|DWS层建表|加载数据|

一、DWS层建表及数据加载说明###---DIM、DWD=>数据仓库分层、数据仓库理论~~~#需求：计算当天~~~全国所有订单信息~~~全国、一级商品分类订单信息~~~全国、二级商品分类订单信息~~~大区所有订单信息~~~大区、一级商品分类订单信息~~~大区、二级商品分类订单信息~~~城市所有订单信息~~~城市、一级商品分类订单信息~~~城市、二级商品分类订单信息###---需要的信息：订单表、订
yanqi_vip·2023-09-25 21:38

大数据-案例-离线数仓-在线教育：MySQL(业务数据)-ETL(Sqoop)-＞Hive数仓【ODS层-数据清洗-＞DW层(DWD-统计分析-＞DWS)】-导出(Sqoop)-＞MySQL-＞可视化

一、商业BI系统概述商业智能系统，通常简称为商业智能系统，是商业智能软件的简称，是为提高企业经营绩效而采用的一系列方法、技术和软件的总和。通常被理解为将企业中的现有数据转换为知识并帮助企业做出明智的业务决策的工具。BI系统中的数据来自企业的其他业务系统。例如，一个面向业务的企业，其业务智能系统数据包括业务系统订单、库存、交易账户、客户和供应商信息，以及企业所属行业和竞争对手的数据，以及其他外部环境
u013250861·2023-09-25 21:37

【离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计】

离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计一、DWS层设计要点二、DWS层设计分析-1d/nd1.DWS层设计一
Apache Minor Trend·2023-09-25 21:37

一百八十五、大数据离线数仓完整流程——步骤四、在Hive的DWD层建动态分区表并动态加载数据

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-25 21:07

一百八十七、大数据离线数仓完整流程——步骤六、在ClickHouse的ADS层建表并用Kettle同步Hive中DWS层的结果数据

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-25 21:07

一百八十四、大数据离线数仓完整流程——步骤三、在Hive中建基础库维度表并加载MySQL中的维度表数据

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-25 21:06

离线数仓问题总结

一、采集1.1maxwell中的默认JDBC驱动包其版本不适用于MySQL5.7版本二、数仓2.1关于hive如何支持json类型的字段主要在建表语句上指定上DROPTABLEIFEXISTSods_log_inc
落花雨时·2023-09-25 20:36

离线数仓——（活跃用户ODS层建表及加载数据，活跃用户DWD层建表及加载数据，活跃用户DWS层建表及加载数据，活跃用户ADS层建表及加载数据）

文章目录活跃用户ODS层建表及数据加载活跃用户DWD层建表及加载数据活跃用户活跃用户DWS层建表及加载数据活跃用户ADS层建表及加载数据活跃用户ODS层建表及数据加载离线数仓架构如下图所示：详细概念参考数据仓库
想做CTO的任同学...·2023-09-25 20:36

2——Hive数仓项目完整流程（在线教育）

在线教育（二）在线教育（二）在线教育（二）一、教育项目数仓分层1.1原有基础分层1.2教育项目分层二、数仓工具的使用2.1HUE的使用2.2Sqoop的使用三、全部流程3.1全量数据流程3.1.1需求分析
@—笨小孩—@·2023-09-25 20:06

离线数仓的概述

1、数仓的概述数仓主要是用于数据的存储、管理和分析数仓与关系型数据库最大的区别在于能够存储历史数据,后续可以将数据按照时间曲线分析。
m0_37759590·2023-09-25 20:05

离线数仓 (十四) --------- DWS 层搭建

目录一、系统函数1.nvl函数2.日期处理函数3.复杂数据类型定义二、DWS层1.访客主题2.用户主题3.商品主题4.优惠券主题5.活动主题6.地区主题7.DWS层首日数据装载脚本8.DWS层每日数据装载脚本一、系统函数1.nvl函数A、基本语法NVL(表达式1，表达式2)如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。该函数的目的是把一个空值(null)转换成一个实际的值。
在森林中麋了鹿·2023-09-25 20:05

黑马Hive+Spark离线数仓工业项目--数仓维度层DWS层构建（2）

日期时间维度设计目标：掌握日期时间维度的需求与设计路径-step1：需求-step2：设计实施需求：构建日期时间维度表，得到所有年、季度、月、周、日的维度信息统计不同时间维度下的呼叫次数、工单数、维修数、安装数、报销金额、核销数等设计-数据来源：提前通过程序生成构建，不是从数据中抽取-执行周期：每一年生成下一年的每一天的维度信息，**增量**同步到维度表的分区中日期时间维度构建目标：实现日期时间维
骨灰级收藏家·2023-09-25 20:34

【大数据课程】高途课程实践-Day02：利用Hive SQL编写离线数仓实现可视化展示...

〇、概述1、实现内容使用HiveSQL编程，构造分层离线数仓并可以通过QuickBi进行展示2、过程(1)数据接⼊到ODS层(2)进⾏ODS到DWD层数据开发(3)进⾏ODS到DIM层数据开发a.创建【
哥们要飞·2023-09-25 20:34

一百八十六、大数据离线数仓完整流程——步骤五、在Hive的DWS层建动态分区表并动态加载数据

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-25 20:01

天软特色因子看板 (2023.09 第08期)

针对市场上高频行情数据处理业务的相关痛点，直观的在线演示如何通过天软高频数仓及高性能计算能力，将其逐个击破，期待各位老师的参会。请持续关注天软课堂动态，将为大家带来更精彩的内容。
Tinysoft_SH·2023-09-25 19:45

A股风格因子看板 (2023.09 第08期)

针对市场上高频行情数据处理业务的相关痛点，直观的在线演示如何通过天软高频数仓及高性能计算能力，将其逐个击破，期待各位老师的参会。请持续关注天软课堂动态，将为大家带来更精彩的内容。
Tinysoft_SH·2023-09-25 19:12

数仓命名规范

1.词根设计规范词根属于数仓建设中的规范，属于元数据管理的范畴，现在把这个划到数据治理的⼀部分。
后季暖·2023-09-25 16:15

实时数仓 Hologres：推出计算组实例/支持JSON数据/向量计算+大模型等新能力

阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台。本期将重点介绍Hologres推出计算组实例Hologres支持JSON数据Hologres向量计算+大模型能力Hologre
·2023-09-25 15:09

GitHub开源项目学习 电商系统Mall (二) Mac搭建Mall前后台环境

Mac搭建Mall前后台环境Docker环境安装此处不赘述，本机安装dockerceversion19.03https://www.runoob.com/docker/macos-docker-install.html基础组件安装1.Mysql安装原先准备使用本机原有的MySQL，但为了减少原项目配置改动使用教程的docker方式#下载mysql5.7的docker镜像dockerpullmysq
Peter Pan 1231·2023-09-25 13:41

阿麦南京创业日记第1天:时间成本的倒推

项目学习花了十一万多，正抓紧时间学习，明后日回家搬办公设备与电脑。天气渐热，办公室外来来往往的滚滚红尘里奋斗的人们，谁能想到我也被裹挟其中呢……图片发自App这几年或许是太顺，并没有感受到
阿麦日记·2023-09-25 12:03

ELT in ByteHouse 实践与展望

传统的数据转换过程一般采用Extract-Transform-Load(ETL)来将业务数据转换为适合数仓的数据模型
字节数据平台·2023-09-25 11:15

【牛客网C++服务器项目学习】-Day11-socket编程的相关API函数

项目学习地址：【牛客网C++服务器项目学习】day11socket通信过程：1.socket函数intsocket(intdomain,inttype,intprotocol);功能：-创建一个文件描述符用于主机之间端对端的通信参数
garbage_man·2023-09-25 10:10

Flink双流join的3种方式及IntervalJoin源码分析

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料117篇原创内容公众号概述在数据库中的静态表上做OLAP分析时，两表join是非常常见的操作。
hyunbar·2023-09-25 06:22

【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWD和DIM

DWD和DIM1.需求分析及实现思路1.1分层需求分析1.2每层的职能1.3DWD层数据准备实现思路2.环境搭建3.准备用户行为日志DWD层3.1主要任务3.1.1识别新老用户3.1.2利用侧输出流实现数据拆分3.1.3将不同流的数据推送下游的Kafka的不同Topic中3.2代码实现3.2.1接收Kafka数据，并进行转换3.2.2识别新老访客3.2.3利用侧输出流实现数据拆分3.2.4将不同流
在学习的王哈哈·2023-09-25 04:49

尚硅谷大数据项目《在线教育之实时数仓》笔记002

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第06章数据仓库环境准备P006P007P008P009P010P011P012P013P014第06章数据仓库环境准备P006P007P008http
upward337·2023-09-25 04:19

酷克数据推出AI开发工具箱HashML 加速企业级AI应用落地投产

近日，业界领先的国产企业级云数仓厂商酷克数据发布了下一代In-Database高级分析和数据科学工具箱HashML，在业内率先实现为企业提供随数仓部署一步到位、开箱即用的AI能力。
HashData酷克数据·2023-09-24 21:05

5W字讲解最新大数据面试题

本文目录：一、Hadoop二、Hive三、Spark四、Kafka五、HBase六、Flink七、数仓业务方面八、算法HadoopHadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架
无精疯·2023-09-24 20:59

云数据库的无服务化

当前，云上服务的无服务化是一个大趋势，在应用程序方面有Lambda，在一些数据分析工具和服务上，AWS也都推出了无服务版本，例如ETL服务Glue，数仓服务Redshift，Hadoop服务EMR，本篇文章针对无服务化的云数据库
ladofwind·2023-09-24 16:37

Flink 对线面试官：6 个面试高频实战问题

:star:架构设计的能力：在实时数仓的分层设计中，具体的分层设计方案是怎样的？和离线数仓又有什么区别？你设计的实时
十一技术斩·2023-09-24 16:52

大数据-数仓分层之DWD

一、DWD层描述脚本：1）对用户行为数据解析。2）对核心数据进行判空过滤。3）对业务数据采用维度模型重新建模。1.1日志分析1.1.1用户行为日志解析（1）页面埋点日志（2）启动日志1.1.2get_json_object函数使用1）数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]2）取出第一个js
爱搞技术的吴同学·2023-09-24 14:44

大数据-数仓分层之ADS

ADS层描述ads层主要就是最后需要分析的数据，可以从各种纬度，这就需要根据业务来判断最后选择哪一些纬度来进行分析，比如经典的就是，根据地区来展示地图，看每个地区的人每天的下单数量，或者一段时间内的下单数量到这一层直接启动脚本就可以了：[root@hadoop102bin]$dwt_to_ads.sh2020-06-18
爱搞技术的吴同学·2023-09-24 14:44

Datax从mysql同步数据到HDFS

在实际使用Datax的时候，比较常用的是同步业务数据（mysql中的数据）到HDFS来实现数仓的创建，那么怎么实现呢？
一杯咖啡半杯糖·2023-09-24 13:47

数仓体系效率全面提升！同程数科基于 Apache Doris 的数据仓库建设

应用实践|数仓体系效率全面提升！同程数科基于ApacheDoris的数据仓库建设导读：同程数科成立于2015年，是同程集团旗下的旅游产业金融服务平台。
SelectDB技术团队·2023-09-24 10:10

大数据杂谈

架构师如何在面试中说服面试官根据课程项目做一些改动（变成自己熟悉的东西），形成一个新的项目，去增强面试的能力学习建议勤动手，执行范例多思考结合实际业务，深入思考会排错查看日志学会查阅官方文档定目标做分享所学知识运用到实际项目中番外数据湖是数仓的增强版本格式管理数据管理时间旅行
February13·2023-09-24 08:26

订单正逆向流程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档订单的正逆向流程前言针对零售行业数仓中订单业务相关的一些业务流程节点介绍正文总结前言提示：这里可以添加本文要记录的大概内容：针对零售行业数仓中订单业务相关的一些业务流程节点介绍提示
February13·2023-09-24 08:55

ETLCloud助力富勒TMS实现物流数仓同步

富勒TMS提供了多种运输管理业务的解决方案，极大的方便了企业对物流的管理和人力输出，同时提供了大量的API接口，供用户做数据集成和数仓同步。
ETLCloud数据集成社区·2023-09-24 06:50

谷粒商城项目学习笔记一

一、项目简介1.1、项目背景1.1.1、电商模式市面上有5种常见的电商模式B2B、B2C、C2B、C2C、O2O1、B2B模式B2B(BusinesstoBusiness)，是指商家与商家建立的商业关系。如：阿里巴巴2、B2C模式B2C(BusinesstoConsumer)，就是我们经常看到的供应商直接把商品卖给用户，即“商家对客户”模式，也就是通常说的商业零售，直接面向消费者销售产品和服务。如
m0_65746888·2023-09-24 05:13

数据仓库整理

数仓olapvsoltpOLTP主要用于支持日常的业务操作，如银行交易、电子商务等，强调数据的准确性、实时性和并发性。
haobu枳·2023-09-24 04:17

阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时数仓

企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。
Flink中文社区·2023-09-23 21:48

2023-2024年最新大数据学习路线

文章目录2023-2024年最新大数据学习路线大数据开发入门*01*阶段案例实战大数据核心基础*02*阶段案例实战千亿级数仓技术*03*阶段项目实战PB级内存计算04阶段项目实战亚秒级实时计算*05*阶段项目实战大厂面试
Maynor996·2023-09-23 17:08

实时数仓新选择——Doris构建实时数仓落地方案详解

一、实时数据仓库概述**首先，**我们从数据仓库说起。数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。数据仓库之父BillInmon在1991年出版的《BuildingtheDatlaWarehouse》一书中首次提出了数据仓库的概念。Inmon将数据仓库描述为一个面向
胖胖胖胖胖虎·2023-09-23 13:32

大数据项目实战之数据仓库：电商数据仓库系统——第10章 数仓开发之DWS层

文章目录第10章数仓开发之DWS层10.1最近1日汇总表10.1.1交易域用户商品粒度订单最近1日汇总表10.1.2交易域用户商品粒度退单最近1日汇总表10.1.3交易域用户粒度订单最近1日汇总表10.1.4
yiluohan0307·2023-09-23 13:29
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他