数仓电商项目

Flink CEP 在抖音电商的业务实践｜电商行业实践专栏上线

精彩抢先看随着抖音电商业务逐渐趋于稳定和成熟，抖音电商实时数仓团队接到的实时数据规则类业务需求也逐步增多，
·2023-06-07 04:08

得物数据研发优化策略

随着业务的快速发展以及业务复杂度的不断提高，数据量的不断增长，尤其得物这种业务的高速增长，必然带来数据逻辑复杂度的提升，数据量越大，复杂度越高，对任务的性能的要求就越高，因此，任务性能的优化就成了大家必然的话题，在离线数仓招聘中
·2023-06-07 03:05

数仓项目框架

离线数据源分为用户行为数据和业务数据，行为数据主要通过前端埋点如神策等产品进行数据收集，业务数据主要从业务系统数据库导入。业务数据主要从各个源系统数据库通过数据总线INFA做个数据集成，再通过sqoop、flume、或文本入仓，放在HDFS上存储，在存储层之上，使用hive数据仓库工具去映射并关联文件与表等元数据信息，在hive基础上可以灵活使用各种计算引擎，如MR，TEZ，SPARK,还可以在数
February13·2023-06-07 01:35

数仓建模—ID Mapping

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据
大数据技术派·2023-06-07 00:14

袋鼠云数据中台专栏（一） ：浅析数据中台策略与建设实践

数据中台和传统数仓还有数据中心有什么区别？这几乎是笔者最近被别人问到的最多的问题。之所以有这些疑问，其一是不懂的同学真心想了解，其二是懂的同学对我们的
秉寒-CHO·2023-06-06 23:26

数栈数据中台专栏（一） ：浅析数据中台策略与建设实践

数据中台和传统数仓还有数据中心有什么区别？这几乎是笔者最近被别人问到的最多的问题。之所以有这些疑问，其一是不懂的同学真
袋鼠云数栈·2023-06-06 23:55

数据仓库理论

数据仓库理论基础理论数据仓库主要特征面相主题集成性非易失性、非易变性时变性OLTP、OLAPOLTPOLAP对比数据库与数据仓库的区别数据仓库、数据集市数据仓库分层架构分层思想和标准阿里巴巴数仓三层架构
不知落叶何时落·2023-06-06 22:16

Flink SQL 的数据脱敏解决方案

此方案是实时领域Flink的解决思路，类似于离线数仓Hive中RangerColumnMasking方案。
·2023-06-06 21:55

亿级数据毫秒级响应？

由于我们组主要做数仓管理这块的业务，这次的性能测试上有一些数据服务并发相关的指标需要后端配合测试，让一天搞定，我寻思半天搞完还能
·2023-06-06 21:03

数据仓库与数据建模理论

数据仓库的特性：面向主题按主题分类集成将分散在各个数据库的数据集中到一起稳定非实时，一般只做查询变化记录历史，反映最近一段时间的变化数仓分层的意义之一是1.问题定位简化，每层只处理一个简单的问题；2.中间结果数据
February13·2023-04-21 21:45

Nacos2.2.2开启鉴权配置

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、更改application.properties中的配置二、修改配置前言最近公司开启了一个新的电商项目，项目中用到了Naocs
AnAnCode·2023-04-21 19:50

我们为什么需要数据血缘

3、什么表该删，什么表不能删，下架无依据业务库，数仓库，中间库，开发库，测试库等众多库表，是否存在数据冗
jane9872·2023-04-21 16:52

云上数据变革：Databend Cloud 正式发布

DatabendCloud借助于云原生数仓Databend实现了云简单易用的大数据分析场景。
Databend·2023-04-21 16:21

数据治理实践 | 网易某业务线的计算资源治理

笔者作为数仓开发经常会收到大量集群资源满载、任务产出延时等消息/邮件，甚至下游数分及其他同学也会询问任务运行慢的情况，在这里很多数仓同学遇
wangyishufan·2023-04-21 14:05

解锁云原生虚拟数仓 PieCloudDB Database 『第一期』

拓数派旗下旗舰产品PieCloudDB，采用领先的数仓虚拟化技术，为企业构建高安全，高可靠，高在线「坚如磐石」的云原生虚拟数仓。
·2023-04-21 14:47

2.微服务项目实战---环境搭建，实现电商中商品、订单、用户

使用的电商项目中的商品、订单、用户为案例进行讲解。
~卑微的搬砖人~·2023-04-21 13:30

文盘Rust -- rust 连接云上数仓 starwift

作者：京东云贾世闻最近想看看rust如何集成clickhouse，又犯了好吃懒做的心理（不想自己建环境），刚好京东云发布了兼容ck的云原生数仓Starwfit，于是搞了个实例折腾一番。
·2023-04-21 10:50

大数据项目实战之数据仓库：电商数据仓库系统——第8章 数仓开发之DIM层

文章目录第8章数仓开发之DIM层8.1商品维度表8.2优惠券维度表8.3活动维度表8.4地区维度表8.5日期维度表8.6用户维度表8.7数据装载脚本8.7.1首日装载脚本8.7.2每日装载脚本第8章数仓开发之
yiluohan0307·2023-04-21 07:42

赋能直播行业精细化运营，斗鱼基于 Apache Doris 的应用实践

为更好满足业务需求，斗鱼在2022年引入了ApacheDoris构建了一套比较相对完整的实时数仓架构，并在该基础上成功构建了标签平台以及多维分析平台，在此期间积累了一些建设及实践经验通
SelectDB技术团队·2023-04-20 20:05

Apache Doris 在美联物业的数据仓库应用实践，助力传统行业数字化革新

本文主要介绍美联物业基于ApacheDoris在数据体系方面的建设，以及对数据仓库搭建经验进行的分享和介绍，旨在为数据量不大的传统企业提供一些数仓思路，实现数据驱动业务，低成本、高效的进行数仓改造。
SelectDB技术团队·2023-04-20 20:34

浅谈 数仓建设之 数据同步（离线）及 sqoop、flume、dataX 原理简介

简介在数仓建设中，数据同步是最基础的一步，也是ods层数据的来源。数据同步简而言之，就是把业务库中的需要分析的数据表（或文件）同步到数仓中（hdfs）。
大壮001·2023-04-20 20:50

数据湖学习笔记No.02（湖仓一体）

数仓一体什么是数据仓库框架如图所示：为了统计结果，比如最终在数据集市层获得一个销量的指标Lambda架构到Kappa架构Lambda（两套代码两套数据）->Kappa在Lambda的基础上进行了优化，删除了
SEUsmith·2023-04-20 20:36

Canal+Camus快速采集MySQL Binlog到数据仓库

这种方法门槛低，容易操作，在数仓建设阶段能够快速启动。但是随着时间的推移，它暴露出了一些缺点：从MySQL获取数据只能靠select
LittleMagic·2023-04-20 16:08

202303最新各大厂大数据核心面试题

必须结合实际项目来谈，结合我实际离线数仓里做的优化？本人回答：1.小文件的优化（解决方法是combineHiveinput、merge、jvm重用等）2.数据倾斜的优化：
大数据私房菜·2023-04-20 16:30

数据仓库基础介绍

数据仓库基础介绍定义一、数仓分层二、为什么分层三、数仓建模方式四、数仓表设计五、关于时间定义Datawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了
幸福右手牵·2023-04-20 15:21

提高程序性能的秘诀：解密死锁必要条件和破解方案！

最后，我会通过一个实际的电商项目案例，为大家演示这些方案的有效性。死锁的必要条件在多线程编程中，死锁是指两个或多个线程在等待彼此释放资源时，导致程序无法继续执行的状态。
孤芳不自賞·2023-04-20 11:00

企业级实践：分布式系统中的可靠消息最终一致性方案

需求基于上述的背景，我负责的电商项目要与这些中台系统进行对接。在对接的过程中其中有一个需求是：商城推送所有的商品到统一分销系统，分销系统设
孤芳不自賞·2023-04-20 11:27

数据治理实践 | 网易某业务线的计算资源治理

笔者作为数仓开发经常会收到大量集群资源满载、任务产出延时等消息/邮件，甚至下游数分及其他同学也会询问任务运行慢的情况，在这里很多数仓同学遇
·2023-04-20 10:30

对话抖音电商：量级庞大、参差不齐，“数据质量治理”有妙招！

基于数据驱动思路，在数仓建设、数据管理等层面的工作，推动抖音电商能准确分析和测量数据，做出以数据为依据的决策，从而推动业务快速发展。
·2023-04-20 10:59

数据系统架构-10.数仓开发平台

数仓开发平台1.背景数据仓库是存储各种数据的仓库，形同于现实当中存储货物的仓库，不可避免的存在“乱放”、“不方便存取”、“浪费空间”等情况。
叶之城·2023-04-20 10:21

数据系统架构-6.BI数据展示平台

6.BI数据展示平台一、序在有了数仓、实时、离线的数据之后，我们需要一个数据展示分析的平台。
叶之城·2023-04-20 10:51

电商项目

1创建项目1.1项目名称TeduStore1.2TomcatRuntime1.3添加依赖spring-webmvcspring-jdbccommons-dbcpmysql-connectormybatismybatis-springjstljackson-corejackson-annotationsjackson-databindjunit1.4Spring的基本配置将原来的项目中的applic
遇见小幸运·2023-04-20 09:25

永续合约中涉及到的名词解释

挂单冻结保证金-未实现盈利已用：用户当前持有的合约和所有开仓委托所需要的保证金，与保证金率的计算有关开仓均价：当前仓位，开仓平均成本价格仓位保证金：开出仓位要求的最低保证金金额仓位保证金=仓位价值/杠杆倍数仓位保证金率
币圈大师姐·2023-04-20 08:01

Java基于Redis实现的分布式锁---电商下单案例

一、案例案例是一个简易版的电商项目中的下单功能，先简单分析下下单功能的一些基本步骤：1.校验库存2.保存订单3.生成快照4.扣减库存5.删除购物车二、问题在这个案例中不难发现，在没有枷锁的情况下，如果两个线程同时执行下单操作
能饮一杯无n·2023-04-20 07:51

离线数仓和实时数仓的区别

下面我们从7个方面来对比离线数仓和实时数仓的区别：1.架构选择方面，离线数仓采用传统大数据框架模式搭建，而实时数仓采用Kappa架构方式搭建。2.建设方法上两者都是采用传统数仓建模方式论。
冷艳无情的小妈·2023-04-20 03:27

数据数仓的三种建模方式

所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是IBM和NCR，这两家公司的除了能够提供较为强大的数据仓库平台之外，也有各自的针对某个行业的数据模型。例如，在银行业，IBM有自己的BDWM(Bankingdatawarehousemodel)，而NCR有自己的FS-LDM模型。在电信业，IBM有TDWM（
大数据狂人·2023-04-20 02:25

ByteHouse 技术白皮书正式发布，云数仓核心技术能力首次全面解读（内附下载链接）

相比起传统数仓，云原生数据仓库凭借更灵活、更具弹性化的特性，以及有效降低资源、人力成本的能力，在云市场上受到越来越多的关注，逐渐成为企业数字化基础
字节数据平台·2023-04-19 22:21

离线数仓的数仓分层

数据仓库分层的作用数据结构化更清晰：对于不同层级的数据，他们作用域不相同，每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据血缘追踪：提供给外界使用的是一张业务表，但是这张业务表可能来源很多张表。如果有一张来源表出问题了，我们可以快速准确的定位到问题，并清楚每张表的作用范围。减少重复开发：数据分层规范化，开发一些通用的中间层数据，能够减少重复计算，提高单张业务表的使用率
大大大大肉包·2023-04-19 21:58

数据仓库之血缘关系

对数仓了解的人应该知道，数据仓库是从业务系统（例如，用友软件、融通、红草）、爬虫等等数据源哪里获
bluedraam_pp·2023-04-19 20:42

python matplotlib绘图过程中设置线条颜色

‍博主介绍：大家好，我是大锤爱编程的博客_CSDN博客-大数据,Go,数据分析领域博主，有五年的数据开开发，有着丰富的数仓搭建、数据分析经验。
大锤爱编程·2023-04-19 17:29

在 KubeSphere 中开启新一代云原生数仓 Databend

作者：尚卓燃（https://github.com/PsiACE），Databend研发工程师，ApacheOpenDAL(Incubating)PPMC。前言Databend是一款完全面向云对象存储的新一代云原生数据仓库，专为弹性和高效设计，为您的大规模分析需求保驾护航。Databend同时是一款符合Apache-2.0协议的开源软件，除了访问云服务（https://app.databend.c
·2023-04-19 12:11

数据治理实践 | 网易某业务线的计算资源治理

笔者作为数仓开发经常会收到大量集群资源满载、任务产出延时等消息/邮件，甚至下游数分及其他同学也会询问任务运行慢的情况，在这里很多数仓同学遇
·2023-04-19 12:29

Flink CDC 在易车的应用实践

本篇内容主要分为四个部分：Flink应用场景DTS平台建设FlinkCDC+Hudi应用实践未来规划点击查看直播回放和演讲PPT一、Flink应用场景Flink在易车有丰富的应用场景，主要包含实时数仓建设和数据集成
·2023-04-19 11:54

中原银行对金融行业实时数仓的现状与发展趋势思考

众所周知，实时数仓落地是一个难点，尤其是金融行业，还没有出现真正所谓的实时报表。金融行业个别案例的实时数仓是在较窄场景、较多限制下的尝试，还不能够称之为实时数仓，如银行普遍的实时报表业务都无法满足。
·2023-04-19 11:10

详解数据仓库数据湖及湖仓一体

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？
weixin_38754337·2023-04-19 11:42

数据湖VS数据仓库？湖仓一体了解一下

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？
浪尖聊大数据-浪尖·2023-04-19 11:12

Flink CDC 在易车的应用实践

本篇内容主要分为四个部分：Flink应用场景DTS平台建设FlinkCDC+Hudi应用实践未来规划点击查看直播回放和演讲PPT一、Flink应用场景Flink在易车有丰富的应用场景，主要包含实时数仓建设和数据集成
·2023-04-19 11:38

什么是湖仓一体化？

随着当前大数据技术应用趋势，企业对单一的数据湖和数仓架构并不满意。
jane9872·2023-04-19 11:07

vue大型电商项目尚品汇（后台篇）day03

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统今天把平台属性的管理基本完成了，后台管理做到现在基本也开始熟悉，确实就是对ElementUI的一个熟练程度。一.平台属性管
李自提·2023-04-19 10:36

电商项目实战总结

兄弟组件间通信-vuex（1）安装vue3直接npmivuexvue2npmivuex@3（2）新建src/store/index.js//引入vueimportVuefrom'vue'//引入vueximportVuexfrom'vuex'importtabfrom'./tab'importuserfrom'./user'//使用vuexVue.use(Vuex)//创建并暴露storeexpo
杨乐多dreamer·2023-04-19 09:04
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他