数仓电商项目第29页

数仓开发的10个陷阱

❝数仓归根结底是要解决业务问题的，狂拽酷炫的数据架构和层出不穷的新技术通常会比去了解用户需求更具有吸引力。其实，也没有完美的技术架构，只要是能够满足当下及未来可见的业务需求即可，合适就好。

产品经理自我修养·2023-07-24 21:42

数仓建模本质到底是什么？为什么维度建能模脱颖而出？

1.什么是数仓建模本质？所谓的数据仓库建模，听着很高大，我们要透过现象看本质。

产品经理自我修养·2023-07-24 21:11

实时数仓实战项目（数仓分层）

实时数仓如何做数据分层我不喜欢搞什么花里胡哨的词汇，让粉丝听着挠头，我就想用大白话分享我自己的建设思路和方案。在开始分享之前，我想给兄弟们说一下数仓建设的方法论：“因地制宜，以业务为中心”。

产品经理自我修养·2023-07-24 21:04

电商优惠券测试用例分析（管理后台）

作为一个电商项目，势必会包含优惠券这一模块，今天就来分析一下它，这篇的测试分析主要是针对后台，移动端的稍后我会再单独整理一篇分析优惠券的测试点我主要从三方面入手：发布前、发布中、发布后；发布前：首先我们先分析一下这个页面

@大壮·2023-07-24 13:24

Hive学习笔记

1、Hive概念Hive是一个构建在Hadoop上数仓框架，可以将HDFS上格式化文件映射成一张张表，本质就是将SQL转换成MapReduce任务进行运算。

NQ31·2023-07-24 12:24

肖sir__电商项目讲解

电商项目电商项目参考链接：前端：a、https://www.axureshop.com/ys/2132110电商的前端后端：a、https://www.axureshop.com/ys/2146223后端管理前后端

多测师软件测试培训师肖sir·2023-07-23 14:07

数据仓库建设-数仓分层

数据仓库能够帮助企业做出更好的决策，提高业务效率和效益；在数据仓库建设时，绕不开的话题就是数仓分层。

小中.·2023-07-23 04:47

基于Apache doris怎么构建数据中台(八)-数仓管理

数仓分层模型数仓分层模型的好处：1、数据结构化更清晰：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解。

张家锋·2023-07-23 00:19

功能升级，数据同步更便捷！场景化数据同步助您提效60%！

在企业数仓建设初期，为了保障数字化转型的落地效果，需要提供充足的数据资源，除了基础的数据抽取、转换和加载等过程，数据的同步也是重要环节之一。

美林数据Tempodata·2023-07-22 18:13

数仓模型建设基本流程

一、数仓建设的基本原则高内聚低耦合公共逻辑下沉数据可回滚可扩展性规范一致性成本与性能平衡二、数据立方体的设计图三、数仓模型的设计过程四、数仓模型建设5要素(重点)1、主题域对当前业务场景或业务sop进行拆分完成对应主题建设

万里长江横渡·2023-07-22 14:23

离线数仓分层

一、数仓为什么要分层1、清晰数据结构：数仓每一层都有对应的作用，方便在使用时更好定位与了解2、数据血缘追踪：清晰知道表/任务上下游，方便排查问题，知道下游哪个模块在使用，提升开发效率及后期管理维护3、减少重复开发

万里长江横渡·2023-07-22 14:52

大数据_面试_数据仓库基础概念

问答列表答案数仓的主题与主题域？kimball，维度，范式建模？实时数仓与离线数仓的主要区别，应用场景？雪花模型，星型模型，星座模型？缓慢变化维与拉链表？数据质量？数据治理？

高达一号·2023-07-22 08:07

2023/2/10 大数据实习日志

二、数仓数据分类数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。业务数据：在处理事务过程中产生的数据。

王祺灏·2023-07-22 07:47

大数据之就业岗位

数据仓库组从事基于HADOOP生态的大数据环境下的数据处理工作；负责大数据相关开发工作，包括数据处理/数仓等的设计及实现；

（YSY_YSY）·2023-07-22 06:20

一道SQL题

有个搞数仓的朋友不知道从哪儿弄了个题。。。做了做体验了一下。。。记录记录。

青青的无痕·2023-07-22 01:56

如何做好数仓 BI 项目的规划与建设？

BI项目规划和实施方案是保障BI项目顺利落地的首要环节。好的项目规划能有效提升开发人效，缩短项目周期，实现项目预期目标。构建运营数据的可视化是为企业运营管控提供有效的支撑，成为企业在大数据时代智慧运营的必然路径。在实际BI项目的建设中，做好规划再进行建设是十分重要的，小亿今天就想与大家聊聊这个话题。一、BI的概念1996年,分析师HowardDresner提出了商务智能（即BI）并描述了一系列的概

辰哥爱学习·2023-07-21 23:40

大数据-你投的简历真的是你认为的工作么？

我的个人主页个人主页我的B站视频B站视频数仓岗位jd钱途⭐⭐⭐⭐⭐看内容是否包含模型建设、etl、调度、监控、数据质量、数据治理、阿里云组件、spark/flink、熟悉一门语言等这些关键词例负责数据体系的研发设计和建设

辉常努腻·2023-07-21 17:28

数仓-零基础小白到入土-学习路线

数仓-零基础小白到入土-学习路线铺垫一下下讲在前面涉及基础技术栈：中级：全部掌握之后：去刷面试题：初级中级高级博主独家面试题：数仓名词：催更我戳戳个人主页：[up自己的网站](https://liyahuigithub.github.io

辉常努腻·2023-07-21 17:56

Hudi-数据湖

数据湖数据仓库数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。

迷雾总会解·2023-07-21 17:21

大数据实验报告总结体会_建设大数据中台架构思考与总结

数据中台定义：集成离线数仓与实时数仓，并以多数据源统一整合采集到kafka,再通过kafka进行离线数据仓库及实时数据仓库，并集用户标签，统一数据资产管理(对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示

weixin_39800387·2023-07-21 14:43

建设数据中台的主要目的

通过开发一系列数据工具（元数据中心、数据指标中心、数仓模型中心、数据资产中心、数据服务中心），规范数据供应链的各个环节，以一种标准的、安全的、统一的、共享的、服务化的方式支撑前端的数据应用。

能得·2023-07-21 13:01

数据仓库之【商品订单数据数仓】08：拉链表：什么是拉链表、创建拉链表

一、什么是拉链表针对订单表、订单商品表，流水表，这些表中的数据是比较多的，如果使用全量的方式，会造成大量的数据冗余，浪费磁盘空间。所以这种表，一般使用增量的方式，每日采集新增的数据。在这注意一点：针对订单表，如果单纯的按照订单产生时间增量采集数据，是有问题的，因为用户可能今天下单，明天才支付，但是Hive是不支持数据更新的，这样虽然MySQL中订单的状态改变了，但是Hive中订单的状态还是之前的状

做一个有趣的人Zz·2023-07-21 00:28

Nifi + Kafka + mysql构建实时数仓

标题Nifi+Kafka+mysql构建实时数仓Nifi安装Nifi安装Kafka安装kafka安装一Nifi简介Nifi最重要的就是Processor（数据处理单元）和FlowFlie（数据流）FlowFile

weixin_41734687·2023-07-20 18:27

CloudCanal x StarRocks 在医疗大健康实时数仓领域的落地与实践

希望文章内容对各位读者使用CloudCanal构建实时数仓带来一些帮助。业务背景大健康背景下，用户对报表和数据大屏的实时性能要求越来越高。

ClouGence·2023-07-20 18:57

Mysql+ETLCloud CDC+Doris实时数仓同步实战

业务需求及其痛点很多大型企业需要对各种销售及营销数据进行实时同步分析，例如销售订单信息，库存信息，会员信息，设备状态信息等等，这些统计分析信息可以实时同步到Doris中进行分析和统计，Doris作为分析型数据库特别适合于对海量数据的存储和分析，我们只需要把MySQL的表单数据实时同步到Doris即可以实现实时数据分析能力。ApacheDoris介绍ApacheDoris是一个现代化的MPP分析型数

苛子·2023-07-20 17:24

Mysql+ETLCloud CDC+StarRocks实时数仓同步实战

一、业务需求及其痛点大型企业需要对各种业务系统中的销售及营销数据进行实时同步分析，例如库存信息、对帐信号、会员信息、广告投放信息，生产进度信息等等，这些统计分析信息可以实时同步到StarRocks中进行分析和统计，StarRocks作为分析型数据库特别适合于对海量数据的存储和分析，我们只需要把MySQL的表单数据实时同步到StarRocks即可以实现实时数据分析能力。二、StarRocks介绍St

苛子·2023-07-20 17:23

轮播图控件

前言：最近写了电商项目，公司以前没有iOS开发，一切从零开始，一些常用的组件都没有，只好自己弄一个了。

BearClawr·2023-07-20 15:29

「Hive进阶篇」HQL 高级巧用

函数的高级用法，作为Hive进阶系列文章第四篇，其中有些SQL题目还是面试的重点考察用法，话不多说，分享下，若觉得有帮助，可以公众号搜索关注《大数据阶梯之路》，获取大数据相关学习资料一同成长，持续加成大数据数仓开发相关技能点

大数据阶梯之路·2023-07-20 14:39

GBASE又双叒叕获奖啦！数交会“创新竞争力产品奖”Get

在大会组织的中国数字和软件服务业评选中，GBASE南大通用旗下分布式逻辑数仓GBase8aMPPCluster荣获「创新竞争力产品奖」。

GBASE数据库·2023-07-20 11:14

河北幸福消费金融基于 Apache Doris 构建实时数仓，查询提速 400 倍！

基于此，公司决定搭建数据中台，从基于TDH的离线数仓再到基于ApacheDoris的实时数仓，最终统一了数据出口，提升了数据质量，并实现查询速度近400倍的提升。

SelectDB技术团队·2023-07-20 09:27

ELT太慢怎么行，试试PolyBase？

传统的数仓项目，我们会用ETL把数据ExtractTransform然后再Load到目标数据平台。

Kele_73b1·2023-07-20 02:58

尚硅谷2020微服务分布式电商项目《谷粒商城》-rabbitmq

艾特老司机吧·2023-07-20 00:27

描述性统计理论学习

在看了大部分他的公众号（、微信公众号同名：木东居士）之后深有感触，越来越觉得自己在数据这块懂的是真的浅薄，人与人之间的差距还是很大的，就像数据仓库在平时工作中以为就那回事，其实如果公司规模小，是并不具备做数仓的土壤的

KeKe_W·2023-07-19 21:48

实时数仓|架构设计与技术选型

下面我就来讲解下我做的项目(实时数仓）是如何进行选型的。一、技术选型当我们在选择技术时需要根据客户的需求来进行选择。

大数据老哥·2023-07-19 19:25

可以写进简历的软件测试电商项目（超详细版），不进来get一下？

前言说实话，在找项目的过程中，我下载过（甚至付费下载过）N多个项目、联系过很多项目的作者，但是绝大部分项目，在我看来，并不适合你拿来练习，它们或多或少都存在着“问题”，比如：1.大部分项目是web项目，很难找到app项目，特别是有app安装包的项目大部分2.app项目只有前端代码，没有后端服务代码，你只能以“使用者”的角色练习3.大部分有app安装包的项目，项目作者提供的是试用app，很难保障个人

喜欢软测的小北葵·2023-07-19 16:34

Databend 开源周报第 102 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。

Databend·2023-07-19 08:19

物联网大数据存储利器IoTDB介绍

非物联网场景下的大数据应用通常是从业务库比如关系数据库同步数据到数仓，然后进行离线分析处理和展示。

咬定青松·2023-07-18 10:55

基于 ByteHouse 构建实时数仓实践

实时计算起源于对数据加工时效性的严苛需求：数据的业务价值随着时间的流逝会迅速降低，因此在数据产生后必须尽快对其进行计算和处理，从而最大效率实现数据价值转化，对实时数仓的建设需求自然而

qw_6918966011·2023-07-18 10:18

离线数仓16—— DolphinSchedule工作流调度

文章目录第13章数据仓库工作流调度13.1调度工具部署13.2新数据生成13.2.1用户行为日志13.2.2业务数据13.3工作流调度实操13.3.1DolphinScheduler集群模式13.3.2DolphinScheduler单机模式第13章数据仓库工作流调度13.1调度工具部署13.2新数据生成13.2.1用户行为日志1）启动日志采集通道，包括Kafka、Flume等（1）启动Zooke

就是这个范~·2023-07-18 07:14

一百三十、海豚调度器——用DolphinScheduler定时调度HiveSQL任务

一、目标用海豚调度器对Hive数仓各层数据库的SQL任务进行定时调度。

天地风雷水火山泽·2023-07-18 07:31

数据湖：存储全量数据，快速实现洞察

“数仓出局，中台已凉，数据湖将称王！”目前，市场上出现了这样一种说法，估计大多数人很难评断真伪。既便是专业人士，也不会武断地做出这样的研判，毕竟数据湖并不是为了取代数仓而生的。

Z1Y492Vn3ZYD9et3B06·2023-07-17 23:05

数据平台之数仓模型设计

维度建模三种模式2.1星型模型2.2雪花模式2.3星座模式三、ChatGPT代替SqlBoy3.1简单案例3.2复杂案例四、总结前言看到几篇不错的文章，自己总结合并了分享给小伙伴金博尔和恩门共同开创的数仓建模的设计方法

大数据指北·2023-07-17 22:48

数仓常见问题以及解决方案yyds

文章目录01数据仓库现状业务系统侧【上游】数仓内部数据应用测【下游】02如何解决问题业务系统侧【上游】数仓内部03体系化架构设计一致性维度一致性事实数据应用侧【下游】建设可视化的取数平台大家好，我是脚丫先生

大数据指北·2023-07-17 22:48

腾讯云对象存储联合DataBend云数仓打通数据湖和数据仓库

随着数字化进程不断深入，数据呈大规模、多样性的爆发式增长。为满足更多样、更复杂的业务数据处理分析的诉求，湖仓一体应运而生。在Gartner发布的《HypeCycleforDataManagement2021》中，湖仓一体（Lakehouse）首次被纳入到技术成熟度曲线中。伴随多场景的成功落地，腾讯云对象存储打造基于云技术的湖仓一体解决方案。将数据仓库构建在数据湖上，打通数据仓库和数据湖两套体系，构

云存储小天使·2023-07-17 15:54

oracle connect by很强，但是要慎用，不然有你哭的时候

前言:第四次工业革命，带来了科技的巨大变更，同时带来了很多半结构化数据，很多数据会做成集合、JSON的形式存储到数据库中，通过ETL工具我们将这些数据抽取到数仓里面，我们怎么进行分析呢？

他们叫我技术总监·2023-07-17 14:30

数仓报表数据导出——Hive数据导出至Clickhouse

1.Clickhouse建表创建databasecreatedatabasead_report;usead_report;创建tabledroptableifexistsdwd_ad_event_inc;createtableifnotexistsdwd_ad_event_inc(event_timeInt64comment'事件时间',event_typeStringcomment'事件类型',

YuannaY·2023-07-17 06:41

Vue电商项目--登录与注册

登录注册静态组件刚刚报了一个错误，找不到图片的资源assets文件夹--放置全部组件共用静态资源在样式当中也可以使用@符号【src别名】。切记在前面加上注册业务上先修改原先的接口成这个按钮然后把input框里面的数据保存到data中注册业务下就是点击获取验证码，就要发起请求下面是接口：/api/user/passport/sendCode/{phone}获取验证码get/api/user/user

愿君记取此一枝·2023-07-16 19:40

聊聊 HTAP 的前世今生

技术上，由于传统的数仓ETL链路长，延迟大，很难满足业务快速多变的诉求，业务场景的变化也掀起了一股HT

MoMoSQL666·2023-07-16 18:13

实时数仓详解

前言本文隶属于专栏《大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据理论体系背景伴随着社会的发展，用户对数据仓库的要求越来越高。关于数据仓库请参考我的博客——数据仓库是什么？越来越多的用户希望数据仓库能够做到：分析实时数据和最新数据和历史数据跨数据域的相关性，即使它们传统上不存储在一起（例如，实时客户事件数据与CRM数据

Shockang·2023-07-16 17:18

数据中台Citus集群压测报告

作者简介：迪颉科技是专注于企业数字化转型数据价值及数据治理，并在大数据、数据中台（零售、制造行业）、dataops/数仓以及数据驱动的应用等，提供专业解决方案的团队。

PGCCC·2023-07-16 15:31

推荐频道

数仓电商项目