数仓电商项目

电商项目part10 高并发缓存实战

缓存的数据一致性只要使用到缓存，无论是本地内存做缓存还是使用redis做缓存，那么就会存在数据同步的问题。先读缓存数据，缓存数据有，则立即返回结果；如果没有数据，则从数据库读数据，并且把读到的数据同步到缓存里，提供下次读请求返回数据。这样能有效减轻数据库压力，但是如果修改删除数据，因为缓存无法感知到数据在数据库的修改。这样就会造成数据库中的数据与缓存中数据不一致的问题更新缓存类1、先更新缓存，再更
渔阳节度使·2023-09-03 00:31

电商项目part07 订单系统的设计与海量数据处理

订单重复下单问题（幂等）用户在点击“提交订单”的按钮时，不小心点了两下，那么浏览器就会向服务端连续发送两条创建订单的请求。这样肯定是不行的解决办法是,让订单服务具备幂等性。什么是幂等性？幂等操作的特点是，操作任意多次执行所产生的影响，均与一次执行所产生的影响相同。也就是说,对于幂等方法，使用同样的参数，对它进行多次调用和一次调用，其对系统产生的影响是一样的。读写分离与分库分表使用Redis作为My
渔阳节度使·2023-09-03 00:01

电商项目part09 分布式事务Seata&MQ可靠消息

电商项目中会结合下单的业务重点讲解两种分布式事务解决方案：2PC的方案：基于SeataAT实现mq可靠消息的方案：基于Ro
渔阳节度使·2023-09-03 00:30

使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift

现状ApacheHue是一个基于Web的交互式SQL助手，通过它可以帮助大数据从业人员（数仓工程师，数据分析师等）与数据仓库进行SQL交互。在AmazonEMR集群启动时，通过勾选Hue进行安装。
·2023-09-02 23:50

使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift

现状ApacheHue是一个基于Web的交互式SQL助手，通过它可以帮助大数据从业人员（数仓工程师，数据分析师等）与数据仓库进行SQL交互。在AmazonEMR集群启动时，通过勾选Hue进行安装。
亚马逊云开发者·2023-09-02 23:52

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

酷克数据作为国内云原生数据仓库的代表企业，也是华为重要的生态合作伙伴，受邀参与本次论坛，并展示了云数仓领域最新前沿技术以及联合华为打造的云数仓联合解决方案。
·2023-09-02 18:43

漫谈大数据 - 数据湖认知篇

目录数据湖定义WikipediaAWS微软定义概括数据湖基本特征数据方面保真灵活可管理可追溯计算方面计算引擎存储引擎数据湖基本架构数据湖架构图数据湖建设的基本过程数仓建设过程数据摸底模型抽象数据
昊昊该干饭了·2023-09-01 22:20

尚硅谷线上问诊离线数仓项目

项目共分四大部分：数仓建模原理介绍、数仓模型搭建、DolphinScheduler全流程调度、SuperSet可视化大屏展示，以线上问诊采集项目为前置基础，使用线上问诊采集项目的基础架构，将数据导入数仓中
尚硅谷铁粉·2023-09-01 18:46

大数据线上问诊实时数仓项目

尚硅谷线上问诊实时数仓项目延续了离线数仓的业务逻辑，以线上问诊开处方为基础业务逻辑，真实表现了线上问诊数据的实时分析统计。
尚硅谷铁粉·2023-09-01 18:46

线上问诊：数仓开发(一)

系列文章目录线上问诊：业务数据采集线上问诊：数仓数据同步线上问诊：数仓开发(一)文章目录系列文章目录前言一、Hiveonyarn二、数仓开发1.ODS开发2.DIM开发3.DWD开发总结前言上次我们已经将
超哥--·2023-09-01 18:12

说说Omega架构

分析&回答Omega架构我们暂且称之为混合数仓。什么是ECS设计模式在谈我们的解法的时候，必须要先提ECS的设计模式。简单的说，Entity、Component、System分别代表了三类模型。
学一次·2023-09-01 17:43

新一代云原生实时数仓 SelectDB 登顶 ClickBench 榜单！

近期，在ClickHouse发起的分析型数据库性能测试排行榜ClickBench中，新一代云原生数仓SelectDB强势登顶，性能表现超越一众国内外产品，多项指标排行前列，并在业界最为通用的c6a.4xlarge
张家锋·2023-09-01 17:35

【大数据】数据湖：下一代大数据的发展趋势

下一代大数据的发展趋势1.数据湖技术产生的背景1.1离线大数据平台（第一代）1.2Lambda架构1.3Lambda架构的痛点1.4Kappa架构1.5Kappa架构的痛点1.6大数据架构痛点总结1.7实时数仓建设需求
G皮T·2023-09-01 16:24

SpringBoot实现Excel导入导出，性能爆表，用起来够优雅！

SpringBoot实战电商项目mall（50k+star）地址：github.com/macrozheng/…EasyExcel简介EasyExcel
JAVA序码·2023-09-01 09:08

二、Mycat2 相关概念及读写分离

解读：分库：一个电商项目，分为用户库、订单库等等。分表：一张订单表数据数百万，达到MySQL单表瓶颈，分到多个数据库中的多张表2、逻辑库数据库代理中的数据库,它可以包含多个逻辑表。
myprincess003·2023-09-01 09:29

说说Kappa架构

分析&回答对于实时数仓而言，Lmabda架构有很明显的不足，首先同时维护两套系统，资源占用率高，其次这两套系统的数据处理逻辑相同，代码重复开发。
学一次·2023-09-01 06:56

新项目之初性能测试工作如何前移？

最近刚接手一个新项目，在最开始的时候要求对这个项目做性能测试，产品经理也给不出性能需求，只因为这个项目是电商项目，可能会有高并发，秒杀的场景，所以产品经理要求我们对这个项目必须做性能测试，又因为这个项目是一个新项目
爱学习的潇潇·2023-09-01 01:47

实时数仓构建新思路，NineData数据复制技术详解

8月30日，由NineData和SelectDB共同举办的主题为“实时数据驱动，引领企业智能化数据管理”的线上联合发布会，圆满成功举办！双方聚焦于实时数据仓库技术和数据开发能力，展示如何通过强大的生态开发兼容性，对接丰富的大数据生态产品，助力企业快速开展数据分析业务，共同探索实时数据驱动的未来企业智能化数据管理解决方案。本文根据玖章算术技术副总裁陈长城（天羽）在NineDataXSelectDB联
·2023-08-31 16:55

『Newsletter 丨第二期』PieCloudDB Database 新增控制台、LDAP 支持、虚拟数仓日志等多项功能

PieCloudDBDatabase最新动态云上云版「控制台」功能上线PieCloudDB云上云版「控制台」功能全新上线，控制台集成了组织、数仓、用户、费用、权限等多方位管理功能，支持在一个组织下创建和管理多个数仓
·2023-08-31 14:51

Apache Doris (一) ：Doris 介绍及使用场景

目录1.ApacheDoris介绍2.ApacheDoris使用场景2.1报表分析2.2即席查询（Ad-hocQuery）2.3统一数仓构建2.4数据湖联邦查询进入正文之前，欢迎订阅专题、对博文点赞、评论
IT贫道·2023-08-31 13:24

数据仓库(13)大数据数仓经典最值得阅读书籍推荐

从事数仓工作，在工作学习过程也看了很多数据仓库方面的数据，此处整理了数仓中经典的，或者值得阅读的书籍，推荐给大家一下，希望能帮助到大家。建议收藏起来，后续有新的书籍清单会更新到这里。
·2023-08-31 10:23

数据仓库(12)数据治理之数仓数据管理实践心得

这边文章聊聊自己对数据治理开发实践的一些思路，就是聊聊怎么开始去做数据治理这件事情。说起数据治理，有时候虽然看了很多文章，看了很多的介绍，了解数据治理的理论，但是实际上需要我们去搞的时候，就会踩很多的坑。这里记一下自己做数据治理的一些思路，做做笔记，也分享给需要的同学。当然，想要做数据治理，想要学习了解，一下数据治理的范围，理论等，最好可以看看别人怎么做的，了解数据治理可以参考：数据仓库(11)什
·2023-08-31 10:23

说说构建流批一体准实时数仓

分析&回答基于Hive的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。
学一次·2023-08-31 07:50

电商项目实战之分布式事务解决方案

电商项目实战之分布式事务解决方案本地事务事务隔离级别事务传播机制分布式事务CAP理论选举与同步理论BASE理论解决方案2PC模式(XA事务)柔性事务-TCC事务补偿型方案柔性事务-最大努力通知型方案柔性事务
Charles Yan·2023-08-31 06:39

电商数仓项目需求及架构设计

一、项目需求1.用户行为数据采集平台搭建2.业务数据采集平台搭建3.数仓维度建模4.统计指标5.即席查询工具，随时进行指标分析6.对集群性能进行监控，发生异常时报警（第三方信息）7.元数据管理8.质量监控
BigData_001_Lz·2023-08-31 05:28

融入数据浪潮，KaiwuDB 期待与您共赴 DTCC 2023

大会以“数智赋能共筑未来”为主题，设置2大主会场，20＋技术专场，邀请超百位行业专家，重点围绕HTAP与多模数据库应用、图数据技术、云原生数据库、实时数仓等内容展开分享和探讨。
KaiwuDB·2023-08-30 23:10

Stripe支付介绍在asp.net mvc中开发对接，图文加代码说明

最近一个国外的电商项目，需要对接支付功能，国内的支付一般使用微信支付、支付宝、银联等等，但国际上一般使用Paypal、Skrill、BrainTree、Stripe等，经过内部综合考量所以最后选择使用Stripe
阳一阳·2023-08-30 17:33

Databend 开源周报第 108 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-08-30 09:33

数据仓库_数仓常见的数据模型

转载自：大数据开发：数仓建模常见数据模型-腾讯云开发者社区-腾讯云在数据仓库搭建的过程当中，根据需求合理地选择数据模型，是非常关键的一个环节。
高达一号·2023-08-30 08:59

数仓设计_数仓中的三种事实表

一篇文章搞懂数据仓库：三种事实表（设计原则，设计方法、对比）-腾讯云开发者社区-腾讯云事实表的三种类型，事务事实表，周期快照事实表，累计快照事实表事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。1、三种事实表概述事实表有三种类型:事务事实表、周期快照事实表和累积快照事实表。1.1事务事实表也称原子事实表，
高达一号·2023-08-30 08:59

数据仓库_数据仓库_缓慢渐变维度实现的几种思路

数仓缓慢渐变维度表设计，另一篇比较好的文章结合实际案例数仓建设-缓慢变化维的10种处理方式_雾岛与鲸的博客-CSDN博客缓慢渐变维度：维度数据会随着时间发生变化，变化速度比较缓慢，这种维度数据通常称作缓慢渐变维
高达一号·2023-08-30 08:29

Hive/数据仓库_Hive 中如何生成代理键

前提：数仓中的维度，事实表技术提倡用代理键代替实体键，下面我们讲解下代理键的概念，以及Hive中如何生成代理键(自增列)代理键：维度表中必须有一个能够唯一标识一行记录的列，通过该列维护维度表与事实表之间的关系
高达一号·2023-08-30 08:28

数据仓库总结

1.为什么要做数仓建模数据仓库建模的目标是通过建模的方法更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点。
袁奎·2023-08-30 08:27

什么样的人适合开抖店？最后一个条件必须满足！抖店开通门槛如下

作为现在热门的电商项目，抖店显然已经取代直播带货，成为了普通人在抖音卖货的新渠道，毕竟做账号和开直播对普通人来说，门槛太高了。那么，在抖音开店，是谁都可以开吗？开店有什么要求呢？
RL1055·2023-08-30 05:14

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（中）

表设计列式存储StarRocks的表和关系型数据相同,由行和列构成.每行数据对应用户一条记录,每列数据有相同数据类型.所有数据行的列数相同,可以动态增删列.StarRocks中,一张表的列可以分为维度列(也成为key列)和指标列(value列),维度列用于分组和排序,指标列可通过聚合函数SUM,COUNT,MIN,MAX,REPLACE,HLL_UNION,BITMAP_UNION等累加起来.因此
IT小神·2023-08-29 23:52

136.如何进行离线计算-2

的设计模式存在着两种类型的表：事实表维度表事实表：主题的客观度量能够以记录主题为准信息多不精准维度表：看问题分析问题的角度信息精但是不全可跟事实表关系维度建模三种常见模型星型模型一个事实表带多个维度表维度之间没关系数仓发展建立初期
大勇任卷舒·2023-08-29 15:07

什么是数据仓库？

数据仓库：DATAWAREHOUSE，简称数仓、DW。是一个用于存储、分析、报告的数据系统。目的是构建面向分析的集成化数据环境，为企业提供决策支持。
BigData_001_Lz·2023-08-29 09:17

大厂数仓模型规范与度量指标有哪些？

在数仓建设中，模型质量评价体系是一种重要的方法，用于评估数据模型的规范程度、数据质量和可信度。随着数据驱动的决策在企业中的重要性日益增加，数据仓库作为数据沟通和业务系统之间的中介，扮演着关键的角色。
南极找南·2023-08-29 07:25

维度建模：事实表

维度建模数仓领域中的事实表大致分以下三种：a.事务事实表b.周期快照事实表c.累计快照事实表一、事务事实表（稀疏表，相当于流水表）事务事实表记录的事务层面的事实，保存的是最原子的数据，也称“原子事实表”
惊不意外·2023-08-28 14:39

数仓--------简单了解

作者介绍：作者id：老秦包你会，简单介绍：喜欢学习C语言和python等编程语言，是一位爱分享的博主，有兴趣的小可爱可以来互讨个人主页::小小页面gitee页面:秦大大一个爱分享的小博主欢迎小可爱们前来借鉴数仓
老秦包你会·2023-08-28 08:38

推荐3个开源电商系统，应该比花2万培训的电商有技术含量多了 有源码提供

来自公众号：我是程序汪作者：我是程序汪推荐3个开源的电商项目建议大家好好研究下培训机构为啥偏爱电商程序汪分析主要是由于下列原因电商涉及的中间件多,具体可以见下面项目介绍电商有高并发场景，秒杀抢购电商涉及资金
夜空_2cd3·2023-08-28 08:25

线上问诊：业务数据采集

系列文章目录线上问诊：业务数据采集线上问诊：数仓数据同步文章目录系列文章目录前言一、环境安装1.DataX二、全量同步1.DataX配置文件生成2.启动hadoop测试一下。
超哥--·2023-08-28 07:33

flinksql实时数仓

监听binlog上传到nsqnsq转kafka，flinksql获取kafkaTable聚合将结果写到hbaseimage.png--kafkacreatetabledw_dws_pay_stored_card_recharge(recharge_novarchar,kdt_idvarchar,hq_kdt_idvarchar,operator_namevarchar,recharge_timev
qwer__·2023-08-28 02:17

《阿里云实时数仓Hologres最佳实践合集》

简介：《阿里云原生实时数仓Hologres最佳实践合集》电子书将会首次拆解HSAP核心原理，并介绍其在阿里巴巴双11核心场景落地的最佳实践。
阿里云Hologres·2023-08-27 22:38

使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris

apache/incubator-doris欢迎大家关注加星本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中
hf200012·2023-08-27 15:08

EasyExcel不愧是最好用的的Excel导入导出工具，性能爆表，用起来真优雅

SpringBoot实战电商项目mall（50k+star）地址：github.com/macrozheng/…EasyExcel简介EasyExcel
Java架构设计·2023-08-27 15:52

QA：数仓中表的分层，怎样才合理？

由于没有正儿八紧地做过数仓开发，仅凭个人浅薄的理解来回答该问题。）在数仓中，对表进行分层，我理解有三层含义，其一是在物理资源上划分（存储资源&运算资源），其二是表名称上区隔，其三是使用权限上做切分。
老树之见·2023-08-27 13:53

伴鱼数据质量平台实践+DolphinScheduler调度

日常工作中，数据开发、数仓开发工程师开发上线完一个任务后并不是就可以高枕无忧了，时常会因为上游链路数据异常或者自身处理逻辑的BUG导致产出的数据结果不可信。
secretWHD·2023-08-27 13:34

数据治理中的有趣发现（一）

数据治理，一般来说，涉及数据获取的治理、数据流程治理、数仓模型治理、数据权限治理、指标体系治理、数据应用能力提升、分析框架治理、数据可视化方案治理等范畴。
老树之见·2023-08-27 06:45

2018年4月开启程序猿生涯

进入这家公司是以测试岗位进入,到目前为止还是测试,这个觉得很悲催,可能技术很菜的原因吧他们要的开发过大型电商项目的程序员,而我却不是他们符合的目标....公司从.net转Java坑坑洼洼的转了一年终于
小飞侠CC·2023-08-27 03:13
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他