数仓电商项目

详解数据仓库数据湖及湖仓一体

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？
产品经理自我修养·2023-06-14 07:43

【电商经验】之商品下单减库存方案

一、下单减库存方案在电商项目中设计商品下单减库存时有两种典型的方案：下单后减库存付款后减库存这两种减库存方案都有各自的优缺点，没有说哪种是最好的，主要看业务场景适合哪种。
王廷云的博客·2023-06-14 06:18

利用ETLCloud自动化流程实现钉钉OA系统数据自动同步至数仓

钉钉数据同步需求钉钉是一款企业级通讯和协同办公应用软件，钉钉为企业提供包括聊天、通讯录、日程安排、考勤打卡、审批、通知公告、文件共享、会议等功能，很多企业都在使用钉钉。很多情况下我们需要把钉钉的数据拉取到数据库中，然后再通过报表工具进行统计分析，实现这种自动化流程通常的做法是写一段python或是java代码才可以实现，这样做对技术要求高，普通用户掌握不了，那么下面介绍一款无需要写代码的ETL工具
苛子·2023-06-13 21:48

新项目之初性能测试工作如何前移？

最近刚接手一个新项目，在最开始的时候要求对这个项目做性能测试，产品经理也给不出性能需求，只因为这个项目是电商项目，可能会有高并发，秒杀的场景，所以产品经理要求我们对这个项目必须做性能测试，又因为这个项目是一个新项目
测试小鬼·2023-06-13 21:24

基于 ByteHouse 构建实时数仓实践

实时计算起源于对数据加工时效性的严苛需求：数据的业务价值随着时间的流逝会迅速降低，因此在数据产生后必须尽快对其进行计算和处理，从而最大效率实现数据价值转化，对实时数仓的建设需求自然而
·2023-06-13 19:53

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

作者：刘松森，伊的家CTO，高级工程师，副教授职称，国内多所高校客座教授广州伊的家网络科技有限公司是一家专注于服务女性的B2B2C电商平台，业务范围包括护肤、彩妆、营养美容食品、私人定制服装、跨境电商等领域。自2008年孵化项目，2011年5月上线天猫商城，全国8大配送中心，妍诗美、妍膳等品牌陆续成立，并于2013年上线了伊的家自主电商平台，2020年全面启动品牌升级。伊的家以互联网主动式服务营销
·2023-06-13 19:48

Apache Doris 在约苗数据平台的实时数仓建设实践

本文导读：约苗平台是国内目前最大的成人预防接种管理服务平台。近年来，随着各功能的不断完善，用户数量不断增多，越来越多注册数据、疫苗类别点击数据、页面浏览时长等数据被生成和积累，如何有效利用这些数据进行处理分析，对于约苗提高工作效率、优化运营决策有着不容小觑的作用。基于此约苗平台历经三代架构演进，最终通过ApacheDoris重构了数据平台架构，统一了数据源出口，实现了近300倍的查询提速，目前已在
·2023-06-13 19:11

数仓GaussDB(DWS)全量备份总结

摘要：本文将梳理Roach全量恢复的整体流程，描述Roach集群全量备份场景的运转机制。数据备份恢复是保护数据安全的重要手段之一。Roach工具支持多种备份恢复类型，例如集群级的物理备份，表级备份的逻辑备份；分别支持DISK/NBU/OBS/EISOO几种备份介质；支持双集群间的容灾方案等，从而提供数据的可靠性保障机制。Roach支持如下功能：一、简介本文将梳理Roach全量恢复的整体流程，描述R
·2023-06-13 18:38

「Hive进阶篇」万字长文超详述hive企业级优化

更多精彩好文，首发在微信公众号《大数据阶梯之路》，欢迎关注文章字数：13271字预计阅读需：20分钟一、问题背景hive离线数仓开发，一个良好的
大数据阶梯之路·2023-06-13 17:00

详述Hive企业级优化

一、问题背景hive离线数仓开发，一个良好的数据任务，它的运行时长一般是在合理范围内的，当发现报表应用层的指标数据总是产出延迟，排查定位发现是有些任务执行了超10小时这样肯定是不合理的，此时就该想想如何优化数据任务链路
产品经理自我修养·2023-06-13 17:58

快手流批一体数据湖构建实践

主要内容包括以下四大部分：1.数据湖架构2.基于Hudi构建快手数据湖3.快手的实践案例4.快手的发展规划01数据湖架构：从离线数仓到湖仓一体的转变数据建设的核心目标一般为：①标准统一；②可共享；③简单易用
Openlab.cosmoplat·2023-06-13 17:56

大数据项目实战之数据仓库：电商数据仓库系统——第9章 数仓开发之DWD层

文章目录第9章数仓开发之DWD层9.1交易域加购事务事实表9.2交易域下单事务事实表9.3交易域取消订单事务事实表9.4交易域支付成功事务事实表9.5交易域退单事务事实表9.6交易域退款成功事务事实表9.7
yiluohan0307·2023-06-13 16:10

尚硅谷大数据项目【电商数仓5.0】学习笔记

尚硅谷大数据项目【电商数仓5.0】学习笔记大数据学习基础基础shell编程：大数据之基础shell集群快速安装教程：大数据集群快速安装教程注：如果您已经有大数据学习基础，可以通过上面教程快速搭建学习环境
yiluohan0307·2023-06-13 16:40

小米基于 Flink 的实时数仓建设实践

本篇内容主要分为四个部分：小米数仓架构演变Flink+Iceberg架构升级实践流批一体实时数仓探索未来展望点击查看原文视频&演讲PPT一、小米数仓架构演变1.1数仓架构现状在介绍演变前，我们先来了解下小米当前的技术现状
·2023-06-13 16:44

快手基于 Apache Flink 的实时数仓建设实践

本篇内容主要分为四个部分：快手实时数仓的发展实时数仓建设方法论实时数仓场景化实战未来规划点击查看直播回放和演讲PPT一、快手实时数仓的发展作为短视频领域的领头羊，快手APP一直致力于视频、直播技术的迭代
·2023-06-13 16:10

Flink SQL 在美团实时数仓中的增强与实践

摘要：本文整理自美团数据系统研发工程师董剑辉&美团数据系统研发工程师张彬，在FlinkForwardAsia2022平台建设专场的分享。本篇内容主要分为五个部分：FlinkSQL在美团SQL作业细粒度配置SQL作业变更支持从状态恢复SQL正确性问题排查能力建设未来展望点击查看直播回放和演讲PPT一、FlinkSQL在美团目前FlinkSQL在美团已有100+业务方接入使用，SQL作业数也已达到了5
·2023-06-13 16:09

BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化

本文整理自BIGOStaffEngineer邹云鹤在FlinkForwardAsia2021的分享。主要内容包括：业务背景落地实践&特色改进应用场景未来规划FFA2021直播回放&演讲PDF下载一、业务背景BIGO是一家面向海外的以短视频直播业务为主的公司,目前公司的主要业务包括BigoLive(全球直播服务)，Likee(短视频创作分享平台)，IMO(免费通信工具)三部分，在全球范围内拥有4亿用
·2023-06-13 16:29

美团买菜基于 Flink 的实时数仓建设

摘要：本文整理自美团买菜实时数仓技术负责人严书，在FlinkForwardAsia2022实时湖仓专场的分享。
·2023-06-13 16:48

深入解读：获得 2021 Forrester 全球云数仓卓越表现者的阿里云数据仓库

本文针对Forrester的报告，结合阿里云的以MaxCompute为核心的云数仓产品，做一个详细的技术解读。
·2023-06-13 15:31

实时数仓建设第3问：Lookup维表缓存数据TTL不需要设置几个小时，数据一被访问就更新生命周期生命周期？

同事说维表缓存，当缓存项在指定的时间段内没有被读就会被回收，如果被读就会延长ttl时间。如果关联的维表数据变动就会导致无法获取最新维度数据，这种场景必须关闭缓存。在flink1.16之前缓存的创建方式如下：CacheBuilder.newBuilder().expireAfterWrite(cacheExpireMs,TimeUnit.MILLISECONDS).maximumSize(cache
暴躁IT老绵羊·2023-06-13 12:51

数据孤岛下的新破局 Real Time DaaS：面向 AP+TP 业务的数据平台架构

从传统数仓，到大数据平台，再到数据中台和湖仓一体新数据平台，在日益加重的数据孤岛困扰下，面向AP场景的解决方案可谓浩如烟海。
·2023-06-13 12:49

测试提效1-电商一键创单的实现

因电商项目不同场景下单特别多，而走前端流程特别慢。所以在某些测试场景需要特定配送方式和特定配送状态数据，本次实现快速创建。
七分红酒·2023-06-13 11:22

转行大数据该怎么学

为什么大数据行业，大部分岗位都是做离线数仓的工作，写HiveSQL的？我在大数据实习的第一份工作就是大数据分析，目前很多实习生来了也都是安排数据分析工作。因为这一块
qq^^614136809·2023-06-13 11:43

猿辅导基于 EMR StarRocks 的 OLAP 演进之路

随着业务的发展，多个服务在一个DB去做数据的汇总，以及一些微服务架构的产生，使得数据逐渐走向分裂，很难在MySQL里完成统一的数仓。
·2023-06-13 11:49

猿辅导基于 EMR StarRocks 的 OLAP 演进之路

随着业务的发展，多个服务在一个DB去做数据的汇总，以及一些微服务架构的产生，使得数据逐渐走向分裂，很难在MySQL里完成统一的数仓。
·2023-06-13 10:09

数仓设计规范

数据模型设计数据模型基本原则高内聚低耦合核心模型与扩展模型分离公共初处理逻辑下沉成本与性能平衡数据可回滚数据一致性命名清晰易于理解分层规范分层设计是架构设计的产出之一，在模型设计阶段作为强制规范遵守ODS：OperationalDataStore，数据贴源层
只会写demo的程序猿·2023-06-13 01:02

基于DataHub元数据血缘管理实施方案

目录1.元数据管理实施方案总览2.元数据分类2.1技术元数据2.2业务元数据3.元数据标签体系基础标签数仓标签业务标签潜在标签4.表元数据4.1基于pull机制抽取元数据web端ui方式cli端yml方式
只会写demo的程序猿·2023-06-13 01:02

探究核心技术&最佳实践，云原生OLAP论坛火热开启！

2023/06/11，09:00-12:30，在DataFunSummit2023：OLAP引擎架构峰会上，由阿里云资深技术专家，实时数仓Hologres研发负责人姜伟华老师出品的云原生OLAP论坛讲邀请来自阿里云
阿里云大数据AI技术·2023-06-12 23:22

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
阿里云大数据AI技术·2023-06-12 23:22

JAVA开发（保姆级微服务搭建过程）

在电商项目领域，由支付、商品、订单等微服务组成。
茅河野人·2023-06-12 23:18

电商项目_ods层建设

ODS贴源层1ODS层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。2本项目中使用的ODS层数据主要包括：用户基本信息、商品分类信息、商品信息、店铺信息、订单数据、订单支付信息、活动信息、行为日志信息业务数据库表介绍中文含义MYSQL表名HIVE表名用户基本信息表nshop.customerods_nshop.ods_nshop_02_customer收货地址管理表nshop.cus
a-tao必须奥利给·2023-06-12 20:12

数仓项目之数据采集实战及ODS层数据初步导入和flume日志采集过程中问题监控及解决方案

在实际生产开发当中，适当的设计agent的数量和模式，并很好的将数据采集过来，是我们分析数据的第一步，即先要有数据业务系统那边进行埋点，记录日志，到服务器本地磁盘当中考虑使用高可用模式，并使用级联模式，上游一个agent，下游两个agent，因为要对数据进行简单的清洗、处理，所以需要一个自定义拦截器上游agent高可用模式1个sourcetaildir类型1个channelfile类型高可用：2个
菜鸟周星星·2023-06-12 20:40

数据仓库ods层是啥意思_一文读懂大数据仓库建设

文章标签：数据仓库ods层是啥意思版权从传统数仓到大数据平台，MPP数据集市，Hadoop集群，还有混合架构数仓，一直在不断演进，但是万变不离其宗，大框架和方法论终归是那一套。
zxfBdd·2023-06-12 20:10

ods层如何保证和Mysql镜像一致

1.分层机制及分区字段如何分层：数仓在ods层之前有一层ods_binlog层，存放所有Mysql同步过来的binlog按天为分区放入表中，其中的数据和Ods层合并后以ctime的日期作为分区字段，动态分区发往指定分区的
不会Hive的啊扬·2023-06-12 20:09

推荐一款优秀电商开源项目

简介本文给大家推荐博主自己开源的电商项目newbee-mall-pro。
·2023-06-12 18:56

推荐算法在商城系统实践

一、简介本文博主给大家讲解如何在自己开源的电商项目newbee-mall-pro中应用协同过滤算法来达到给用户更好的购物体验效果。
·2023-06-12 18:56

揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
·2023-06-12 17:45

亚马逊云科技Serverless构建的实时数仓解决方案，助力猎豹降低30%成本

借助亚马逊云科技Serverless数据分析服务构建的端到端实时数仓解决方案，猎豹移动旗下的App用户埋点分析负载上的成本节省相较于之前减少30%，成功构建实时数仓。
Discovering_·2023-06-12 14:10

亿级大表毫秒关联，荔枝微课基于Apache Doris 统一实时数仓建设实践

本文导读：ApacheDoris助力荔枝微课构建了规范的、计算统一的实时数仓平台，目前ApacheDoris已经支撑了荔枝微课内部90%以上的业务场景，整体可达到毫秒级的查询响应，数据时效性完成T+1到分钟级的提升
·2023-06-12 14:30

实时数仓建设第1问： 一直使用top N,为何duplicate状态和rank状态的TTL执行策略不一样？

在1.16之前rank为了提高效率，会使用缓存降低对状态的访问。缓存就是一个普通的MAP集合，如果不适应定时器在状态过期后删除缓存数据就会导致缓存数据一直增大导致OOM。kvSortedMap=newLRUMapextendsLinkedHashMappublicvoidonTimer(longtimestamp,OnTimerContextctx,Collectorout)throwsExcep
暴躁IT老绵羊·2023-06-12 12:16

实时数仓建设第2问：怎样使用flink sql快速无脑统计当天下单各流程（已发货，确认收货等等）状态的订单数量

实时统计当天下单各流程状态(已支付待卖家发货，卖家通知物流揽收，待买家收货等等)中的订单数量。订单表的binlog数据发送到kafka,flink从kafka接受消息进行指标统计。因为每笔订单的状态会发生变化，比如上午为【已支付待卖家发货】，这个时候【已支付待卖家发货】指标数要+1，下午订单的状态变更为【卖家通知物流揽收】，这个时候【卖家通知物流揽收】指标数要+1，而【已支付待卖家发货】指标数要-
暴躁IT老绵羊·2023-06-12 12:45

各大厂应用实践 — 大数据

大厂应用实践美团美团外卖流量数据的采集加工和应用：点击这里美团外卖实时数仓建设实践：点击这里美团外卖离线数仓建设实践：点击这里美团Flink实时数仓应用经验分享：点击这里DruidSQL和Security
菜鸟也学大数据·2023-06-12 06:17

顺丰科技数据治理实践

十年前，我们就已经建了数仓，同步做了元数据管理，数据质量管理，以及数据安全的管理。顺丰数据治理的演进路线分3个阶段。第一阶段：2020年前，我们主要在进行数据平台的搭建，关键领域能力的建设。
产品经理自我修养·2023-06-12 06:09

从数仓到数据中台，谈技术选型最优解

文章摘自https://mp.weixin.qq.com/s?__biz=MzI4NTA1MDEwNg==&mid=2650787725&idx=1&sn=673a0ac485e776dcd51667549f08628a&chksm=f3f97a18c48ef30e7adc3fe6c34c7fc644edde95443997188514742417eb4b7d0d1bad3f4baa&scene=
时光漫步de大数据之路·2023-06-12 05:26

数据仓库为什么要分层 ? 怎么分层?

1序说到数据仓库,大家应该都有一定的了解,越来越多的企业在做数字化转型,业务数据化,数据业务化,数据仓库是其中必不可少的一环.在数仓中有一个很基础、重要,但又很容易被忽略的内容,那就是数据仓库中的数据分层
塔城就是个弟弟·2023-06-12 01:24

电商--红包活动总结

文章目录背景表结构设计实现流程流程图流程解析流程优化背景这是一个来自于NFT电商项目，这是个营销策略的需求，为了快狠准，短期内刺激消费，拉动销售增加购买量。
菜菜的小庄·2023-06-11 21:23

快速开始 PieCloudDB Database：数据实例演示

新一代云原生虚拟数仓PieCloudDB「云上云」版（CloudonCloud）已于2023年3月14日重磅发布。
OpenPie｜拓数派·2023-06-11 10:14

解锁云原生虚拟数仓 PieCloudDB Database 『第一期』

拓数派旗下旗舰产品PieCloudDB，采用领先的数仓虚拟化技术，为企业构建高安全，高可靠，高在线「坚如磐石」的云原生虚拟数仓。
OpenPie｜拓数派·2023-06-11 10:14

拓数派发布新一代云原生虚拟数仓PieCloudDB

3月14日，2023拓数派「InfinitePossibilities」战略暨新产品发布会在上海圆满落幕，拓数派创始人兼CEO冯雷（RayVon）重磅发布基于新一代云原生数仓虚拟化打造的全新PieCloudDB
OpenPie｜拓数派·2023-06-11 10:12

数据中台及数据仓库设计

数据中台建设深度好文文章目录1：数据中台介绍1.1：概述1.2：架构2：数据中台建设2.1：业务和数据资产调研2.2：数据架构设计2.2.1：技术选型2.2.2：数据仓库建设1：主题设计2：数仓建模3：
猿来如此dj·2023-06-11 07:23
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他