数仓电商项目

大数据开发：数仓建模常见数据模型

对于数仓建模，很多人说不就是建表吗，哪有那么复杂，事实上，这是非常错误的思想。今天的大数据开发分享，我们来聊聊数仓建模常见的几种数据模型。
成都加米谷大数据·2023-06-17 19:45

Vue全家桶实战 从零独立开发企业级电商系统(免费升级Vue3.0)

Vue全家桶高仿小米商城–项目简介文章目录Vue全家桶高仿小米商城--项目简介电商项目选型--小米商城的页面流程：业务开发流程：项目内容：商城组件部分：课程所包含的知识图谱：章节介绍：商城的界面展示：首页
凌云Struggle·2023-06-17 15:14

美团买菜基于 Flink 的实时数仓建设

美团买菜基于Flink的实时数仓建设1.背景介绍2.技术愿景和架构设计3.典型场景、挑战与应对3.1动态ETA实时特征3.2实时数据经营分析4.未来规划1.背景介绍美团买菜是美团自营生鲜零售平台，上面所有的商品都由美团亲自采购
明月清风，良宵美酒·2023-06-17 15:54

数据挖掘建模过程全公开

「数仓宝贝库」，带你学数据！导读：本文以餐饮行业的数据挖掘应用为例，详细介绍数据挖掘的建模过程。
Python进阶者·2023-06-17 11:59

解决 element-ui下Cascader 数据太多显示不完全的问题

vue电商项目中，商品分类功能代码：```//父级分类列表parentCateList:[],//指定级联选择器的配置对象cascaderProps:{expandTrigger:'hover',//指定选项的值
草莓味的狮子座leo·2023-06-17 05:06

知乎用户画像与实时数仓的架构与实践

用户画像与实时数据分析是互联网企业的数据核心。知乎数据赋能团队以ApacheDoris为基础，基于云服务构建高响应、低成本、兼顾稳定性与灵活性的实时数据架构，同时支持实时业务分析、实时算法特征、用户画像三项核心业务流，显著提升对于时效性热点与潜力的感知力度与响应速度，大幅缩减运营、营销等业务场景中的人群定向成本，并对实时算法的准确率及业务核心指标带来明显增益。关键词：数据仓库，ApacheDori
jane9872·2023-06-17 04:16

django电商项目源码_Python 3——项目开发 实战案例

通过一个电商项目：每日生鲜，来讲解Python项目开发的流程及方法。首先介绍一下Web项目的一些相关知识，然后介绍项目开发的四大模块，即商品模块，用户模块，购物车模块，订单模块。
weixin_39621975·2023-06-17 03:05

doris - 数仓 拉链表 按天全量打宽表性能优化

数仓拉链表按天全量打宽性能优化现状描述优化优化参数现状描述1、业务历史数据可以变更2、拉链表按天打宽3、拉链表模型分区字段设计不合理，通用的过滤字段没有作为分区分桶字段4、拉链表表数据量略大、模型数据分区不合理和服务器资源限制
cg6·2023-06-17 01:03

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

我们基于ApachePaimon(Incubating)构建StreamingLakehouse的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设
·2023-06-16 20:24

指北数据中台

文章目录一、项目介绍二、功能模块说明2.1平台基础设置2.2数据汇聚管理2.3数据开发2.4数据治理2.5数据集市管理2.6可视化管理三、系统核心技术栈四、系统数仓架构五、系统运行展示六、总结从事数据平台方向以来
大数据指北·2023-06-16 18:21

Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive

1.架构图2.实现实例2.1通过flinkcdc的两张表合并成一张视图，同时写入到数据湖(hudi)中同时写入到kafka中2.2实现思路1.在flinksql中创建flinkcdc表2.创建视图(用两张表关联后需要的列的结果显示为一张速度)3.创建输出表，关联Hudi表，并且自动同步到Hive表4.查询视图数据，插入到输出表--flink后台实时执行2.3pom文件需要的类wudl-hudiwu
wudl5566·2023-06-16 15:35

hive 内置时间函数datediff，这次总算搞清楚了

刚接触数仓时，对hive中sql内置的一些时间函数的用法总是用的模糊两可，每次需要用到的是总是得查api，今天把这3个容易出错的日期内置函数简单总结下，算是一次学习笔记，加深印象，后面需要用到的时候就不用再去翻看
爱开发V·2023-06-16 15:05

SpringBoot实现Excel导入导出，性能爆表，用起来够优雅！

SpringBoot实战电商项目mall（50k+star）地址：github.com/macrozheng/…EasyExcel简介EasyExcel
·2023-06-16 11:07

SpringBoot实现Excel导入导出，好用到爆，POI可以扔掉了！

SpringBoot实战电商项目mall（50k+star）地址：https://github.c
·2023-06-16 11:01

数仓建模理论（一）

学习目录一、关系建模与维度建模二、维度表和事实表（重点）三、事实表类型四、维度模型分类一、关系建模与维度建模（1）关系建模关系建模将复杂的数据抽象为两个概念——实体和关系，并使用规范化的方式表示出来。关系模型松散、零碎，物理表数量多说明：关系模型严格遵循第三范式（3NF），数据冗余程度低，数据的一致性容易得到保证。由于数据分布于众多的表中，查询会相对复杂，在大数据的场景下，查询效率相对较低（2）维
王博1999·2023-06-16 06:45

数仓建模理论（二）☆☆☆

学习目录一、ODS层二、DIM层和DWD层三、DWS层与DWT层四、ADS层一、ODS层ODS层的作用：保存原始数据，不作任何处理ODS层主要存储的是用户行为日志数据和关系型数据库中业务数据（1）HDFS用户行为日志数据用户行为数据建表思路:只需要创建一张分区表表中的每行数据就是一条日志字段只需要一个String类型的即可按天分区，每个分区就是当天采集的日志数据（2）HDFS业务数据业务数据建表思
王博1999·2023-06-16 06:45

广告数仓：数仓搭建(二)

系列文章目录广告数仓：采集通道创建广告数仓：数仓搭建广告数仓：数仓搭建(二)文章目录系列文章目录前言DWD层创建1.建表广告事件事实表2.数据装载初步解析日志解析IP和UA标注无效流量编写脚本总结前言这次我们完成数仓剩下的内容
超哥--·2023-06-15 22:31

广告数仓：采集通道创建

系列文章目录广告数仓：采集通道创建文章目录系列文章目录前言一、环境和模拟数据准备1.hadoop集群2.mysql安装3.生成曝光测试数据二、广告管理平台数据采集1.安装DataX2.上传脚本生成器3.
超哥--·2023-06-15 22:30

广告数仓：数仓搭建

系列文章目录广告数仓：采集通道创建广告数仓：数仓搭建文章目录系列文章目录前言一、环境搭建1.hive安装2.编写配置文件3.拷贝jar包4.初始化源数据库5.修改字符集6.更换Spark引擎1.上传并解压
超哥--·2023-06-15 22:56

数仓架构“瘦身”，Hologres 5000CU时免费试用

Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis
阿里云大数据AI技术·2023-06-15 19:41

解锁云原生虚拟数仓 PieCloudDB Database 『第一期』

拓数派旗下旗舰产品PieCloudDB，采用领先的数仓虚拟化技术，为企业构建高安全，高可靠，高在线「坚如磐石」的云原生虚拟数仓。
·2023-06-15 15:43

拓数派发布新一代云原生虚拟数仓PieCloudDB

3月14日，2023拓数派「InfinitePossibilities」战略暨新产品发布会在上海圆满落幕，拓数派创始人兼CEO冯雷（RayVon）重磅发布基于新一代云原生数仓虚拟化打造的全新PieCloudDB
·2023-06-15 15:40

数据仓库(07)数仓规范设计

规范设计在这里取《大数据之路：阿里巴巴大数据实践》中的定义，这里记录一下本人对这一块自己的理解。规范定义指以维度建模作为理论基础构建总线矩阵，划分和定义数据域、业务过程、维度、度量原子指标、修饰类型、修饰词、时间周期、派生指标。所谓的规范的定义，简单理解，如果把数据当作货物，那就是货物的分类，以及对应相关的属性，比如生产日期，某个原料的含量等，我们可以把相近或者相同货物，按照一定的规律，放在一起，
·2023-06-15 15:36

数据仓库(06)数仓分层设计

  目前主流的数据仓库分层大多为四层,也有五层的架构，这里介绍基本的四层架构。分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。  下面是架构图：  数据分层的目的是：减少重复计算，避免烟囱式开发，节省计算资源，靠上层次，越对应用友好，也对用户友好，希望大部分（80%以上）的需求，都用DWS，DW的表来支持就行，所以ODS层数据不能被DM层任务引用，需要
·2023-06-15 15:35

数据仓库(05)数仓Kimball与Inmon架构的对比

数据仓库主要有四种架构，Kimball的DW/BI架构、独立数据集市架构、辐射状企业信息工厂Inmon架构、混合Inmon与Kimball架构。不过不管是那种架构，基本上都会使用到维度建模。Kimball的DW/BI架构，可以参考这篇文章数据仓库(4)基于维度建模的KimBall架构。独立数据集市架构，采用这种架构的数据仓库，数据以部门为基础来部署，不考虑企业级别的信息共享和集成。也就是各个部门各
·2023-06-15 15:04

PieCloudDB Database：云原生分布式虚拟数仓的诞生之旅

杭州拓数派科技发展有限公司（OpenPie）的旗舰产品PieCloudDBDatabase是一款云原生分布式虚拟数仓。PieCloudDB通过多种创新性技术将物理数仓整合到云原生数据计算平台。
·2023-06-15 15:23

数仓架构“瘦身”，Hologres 5000CU时免费试用

Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis
·2023-06-15 15:50

docker-compose部署hive数仓服务 —— 筑梦之路

1.docker创建网络#创建，注意不能使用hadoop-networkdockernetworkcreatehadoop_network#查看dockernetworkls2.mysql部署#拉取镜像dockerpullmysql:5.7#生成配置mkdir-pconf/data/db/cat>conf/my.cnfhive.metastore.warehouse.dir/user/hive_r
筑梦之路·2023-06-15 13:02

商业智能之“道、法、器”——企业级BI能力构建指南

01商业智能不等于报表商业智能BI一般指在构建好数仓后，为业务人员提供数据查询、分析报表的功能，对数据进行可视化并从数据中获取有效的信息，从而支持业务分析，管理风险、支撑高层面的
辰哥爱学习·2023-06-15 12:27

微信ClickHouse实时数仓的最佳实践

下文将由浅入深，为大家揭晓微信在ClickHouse实时数仓实践中积累的经验及方法。本文作者：微信WeOLAP团队&腾讯
·2023-06-15 11:47

构建实时数仓 - 当 TiDB 偶遇 Pravega

早期数仓多为离线模式，主要处理的是T+1的
·2023-06-15 11:14

实时数仓在滴滴的实践和落地

1.实时数仓建设目的随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖
·2023-06-15 11:13

信也科技发布Plink实时计算平台，助力构建企业级实时数仓新篇章

近日，信也科技推出新一代实时数据开发一站式平台Plink（下称“Plink平台”）。该平台基于ApacheFlink项目自主研发，经过近年来的技术演进，现已具备高可用、高吞吐、灵活扩展等特点。Plink平台整合了Kafka、Hadoop和传统MPP数据库，以行业内多个业务的技术痛点为出发点，深度赋能业务系统，在实时风控、实时营销、实时分析等场景上广泛应用，场景覆盖率超过80%，处理效率提高近100
·2023-06-15 11:08

携手共赢 HashData亮相华为合作伙伴大会

在本次大会上，HashData展示了云数仓领域最新前沿技术以及联合华为打造的多云环境下云原生数仓存储解决方案。
HashData酷克数据·2023-06-15 04:19

Python如何import不同文件夹下的文件(module)

编程所在文件夹要导入的module所在文件夹结果如下，报错啦添加下面代码importsyssys.path.append('D:\程序函数仓')结果如下，不报错啦
故障诊断与python学习·2023-06-15 02:57

2023 届 Java 岗高频面试题盘点，老司机也未必全会

从某电商项目负责人的算起，再到后来的首席架构师，我前前后后面试了至少300多位求职者。不敢说成功入职的每个同事都发展得特别好，但大部分人来说还是很不错的。过硬的技术功底是最起码的考核要求。
进阶的架构师·2023-06-14 21:30

大数据学习归纳

修改记录时间内容2020年4月10日第一次发布2020年4月16日添加MaxComputeSQL部分2020年9月14日新增数仓部分笔记大数据架构基础知识题大数据组件概念集群：多个人做同样的事分布式：多个人协作
猫腻余腥·2023-06-14 18:52

数据仓库(分层和建模方法梳理)

摘要：数仓的作用、整体架构、建模方法、分层原理。从整体上梳理数仓、理解数仓架构。目的数据仓库的核心是展现层和提供优质的服务。ETL及其规范、分层等所做的一切都是为了一个更清晰易用的展现层。
五块兰州拉面·2023-06-14 17:51

详解事实表

01事实表基础事实表特征事实表作为数仓维度建模的核心，紧紧围绕着业务过程来
产品经理自我修养·2023-06-14 17:20

火山引擎 DataLeap：如何构建一套完整、易用的数据标准体系

一方面，统一的数据标准可以在复杂的业务场景下，帮助团队对齐数据口径，提升数据在分析、诊断等场景的质量与效率；另一方面，数仓团队与分析师团队也需要沉淀一套敏捷、可控的数据标准指标管理流程，以便后续在指标口径的增加
·2023-06-14 12:10

火山引擎 DataLeap 数据调度实例的 DAG 优化方案

在数仓研发中，不同的表之间会存在依赖关系，而产生表数据的任务实例，也会因此存在依赖关系。只有在上游实例运行成功、下游实例到达设定的运行时间且资源充
·2023-06-14 12:08

Doris数仓的4大特点

01-极简架构Doris从设计上来说，融合了GoogleMesa的数据存储模型、Apache的ORCFile存储格式、ApacheImpala查询引擎和MySQL交互协议，是一个拥有先进技术和先进架构的领先设计产品，如图1所示。▲图1Doris技术分解图在架构方面，Doris只有两类进程：一类是FE，可以理解为Doris的管理节点，主要负责用户请求的接入、查询计划的解析、元数据的存储和集群管理相关
000X000·2023-06-14 11:35

华为云之数据仓库集群GaussDB(DWS)的基本使用【玩转PB级数仓GaussDB(DWS)】

华为云之数据仓库集群GaussDB（DWS）的基本使用【玩转PB级数仓GaussDB（DWS）】一、云数据仓库GaussDB(DWS)介绍1.GaussDB(DWS)简介2.GaussDB(DWS)使用场景
江湖有缘·2023-06-14 11:53

华为云之数据仓库GaussDB(DWS)的使用体验【玩转PB级数仓GaussDB(DWS)】

华为云之数据仓库GaussDB（DWS）的使用体验【玩转PB级数仓GaussDB（DWS）】一、云数据仓库GaussDB(DWS)介绍1.GaussDB(DWS)简介2.GaussDB(DWS)使用场景
江湖有缘·2023-06-14 11:52

大数据开发之Hive案例篇12：HDFS rebalance 一例

文章目录一.问题描述二.解决方案2.1增加节点2.2rebalance2.3rebalance引发的问题一.问题描述公司的离线数仓是CDH集群，19个节点，HDFS存储空间大约400TB左右，使用量在200TB
只是甲·2023-06-14 10:17

基于Hadoop + Hive框架进行电子商务数据分析的设计与实现

大数据存储，处理和处理的研究已是企业未来发展的趋势，因此，将开展基于Hadoop+Hive框架进行电子商务数据分析，搭建一个大数据集群平台，用于通过电商案例的存储，处理，分析和可视化展示的实验迎向困难该挑战数仓的总体设计数据仓库概念
悟空打码·2023-06-14 10:44

数仓架构--之数据拉链表实操

数仓架构--之数据拉链表不登高山不知天之高也，不临深溪不知地之厚也序拉链表定义拉链表特征拉链表加工重跑机制逻辑加工全量拉链和增量拉链全增量问题全量拉链的全增量问题增量拉链的全增量问题结尾不登高山不知天之高也
3文丰·2023-06-14 10:42

详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS

何为数仓DWDatawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。
jane9872·2023-06-14 10:07

详解大厂实时数仓建设

一、实时数仓建设背景1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。
jane9872·2023-06-14 10:07

Hive 和 Oracle 中 Decode 函数的用法差异

前言在数仓构建过程中，需要从业务那边进行数据的迁移！数仓大多数公司都是使用Hive，而业务那边使用的是Oracle数据库居多。
笑看风云路·2023-06-14 08:42
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他