数仓电商项目

2021.5.16数仓之用户画像表模型设计

第三个业务：用户画像-统计当天7日活跃用户业务分析：要统计7日活跃用户情况需要找到用户基本信息&用户每日登陆情况用户基本信息来源：1.支付宝注册用户2.微信注册用户3.qq注册用户4.App注册用户-使用app注册点歌充值消费这4类注册信息在ycak业务库，对应的4类注册用户分别在以下表中，以及表中的字段：user_alipay_baseinfoDROPTABLEIFEXISTS`user_ali
超可爱慕之·2022-12-27 12:13

oushudb丨偶数科技为辽宁农信数字化进程添加新动能

但是，随着辽宁农信业务的拓展以及各类业务系统的不断建设，各源系统的数据量激增，对数据的需求也呈现出多样化、复杂化的特点，对数据的查询效率、供给时间也提出了更高的要求，导致现有关系型数仓和大数据平台已无法同时满足辽
·2022-12-26 16:21

偶数科技为辽宁农信数字化进程添加新动能

但是，随着辽宁农信业务的拓展以及各类业务系统的不断建设，各源系统的数据量激增，对数据的需求也呈现出多样化、复杂化的特点，对数据的查询效率、供给时间也提出了更高的要求，导致现有关系型数仓和大数据平台已无法同时满足辽
·2022-12-26 16:19

oushudb丨偶数科技为辽宁农信数字化进程添加新动能

但是，随着辽宁农信业务的拓展以及各类业务系统的不断建设，各源系统的数据量激增，对数据的需求也呈现出多样化、复杂化的特点，对数据的查询效率、供给时间也提出了更高的要求，导致现有关系型数仓和大数据平台已无法同时满足辽
·2022-12-26 16:46

还在用HttpUtil？SpringBoot 3.0全新HTTP客户端工具来了，用起来够优雅！

SpringBoot实战电商项目mall（50k+star）地址：github.com/macrozhe
程序一逸·2022-12-26 13:22

【愚公系列】2022年10月 微信小程序-电商项目-商品详情页面说明和商品导航

文章目录前言一、商品详情页面说明和商品导航二、效果前言vant-weapp的van-goods-action商品导航apiGoodsActionProps参数说明类型默认值safe-area-inset-bottom是否为iPhoneX留出底部安全距离booleantrueGoodsActionIconProps参数说明类型默认值text按钮文字string-icon图标类型，可选值见icon组件
愚公搬代码·2022-12-26 08:50

包含Hadoop、zookeeper、Hive、flume、kafka、Hbase、flink、spark、数仓等

大数据开发面试题包含Hadoop、zookeeper、Hive、flume、kafka、Hbase、flink、spark、数仓等高频面试题。数据来自原博主爬虫获取！
郎er·2022-12-26 08:47

FFA 2022 主会场 Keynote：Flink Towards Streaming Data Warehouse

本篇内容主要分为四个部分：实时流计算全球范围事实标准2022数据实时化技术创新不止StreamingDataWarehouse流式数仓Demo点击查看直播回放&演讲PPT一、实时流计算全球范围事实标准ApacheFlink
·2022-12-24 22:31

FFA 2022 主会场 Keynote：Flink Towards Streaming Data Warehouse

本篇内容主要分为四个部分：实时流计算全球范围事实标准2022数据实时化技术创新不止StreamingDataWarehouse流式数仓Demo点击查看直播回放&演讲PPT一、实时流计算全球范围事实标准ApacheFlink
·2022-12-24 22:01

大数据旅游项目(离线数仓实战)

文章目录大数据旅游项目1项目分析1.1项目分析流程图2项目前期准备2.1hdfs权限验证3数仓前期准备3.1本地创建对应账号（root权限）3.2hdfs创建分层对应目录（root权限）3.3修改hdfs
友培·2022-12-24 12:04

大数据实战项目 -- 离线数仓

一、数仓规划1.1集群规划技术选型位置框架数据采集传输Flume，Kafka，Sqoop，Logstash，DataX，数据存储MySql，HDFS，HBase，Redis，MongoDB数据计算Hive
L小Ray想有腮·2022-12-24 12:02

电商离线数仓项目实战（下）

电商离线数仓项目实战（下）电商分析——核心交易文章目录电商离线数仓项目实战（下）电商分析——核心交易一、业务需求二、业务数据库表结构1.数据库表之间的联系img2.业务数据库——数据源3.数据库表结构设计
taoshengyijiu_·2022-12-24 12:31

大数据电商数仓分析项目

大数据电商数仓分析项目项目描述：第一部分：模拟常规电商数仓分析流程，利用hadoop相关生态mapreduce、spark等进行数据清洗，再通过hive、spark统计对用户行为日志及区域热门商
GoAI·2022-12-24 12:30

数仓建设（离线和实时）

文档大纲：一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。
ashansmile·2022-12-24 12:28

Hive+Spark离线数仓工业项目实战--环境构建（3）

项目环境配置根据需求实现项目环境配置实施-注意：所有软件Docker、Hadoop、Hive、Spark、Sqoop都已经装好，不需要额外安装配置，启动即可配置网络：如果你的VMNat网络不是88网段，请按照以下修改-修改Linux虚拟机的ens33网卡，网卡和网关，修改为自己的网段配置映射项目环境测试：Oracle实现项目Oracle环境的测试实施-远程连接：DG-step1：安装DG-step
骨灰级收藏家·2022-12-24 12:56

PB级企业电商离线数仓项目实战【上】

第一部分数据仓库理论第1节数据仓库1.1什么是数据仓库1988年，为解决全企业集成问题，IBM公司第一次提出了信息仓库（InformationWarehouse）的概念。数据仓库的基本原理、技术架构以及分析系统的主要原则都已确定，数据仓库初具雏形。1991年BillInmon（比尔·恩门）出版了他的第一本关于数据仓库的书《BuildingtheDataWarehouse》，标志着数据仓库概念的确立
猿大山·2022-12-24 12:55

Hive+Spark离线数仓工业项目实战--项目介绍及环境构建（1）

一站制造项目主要基于Hive数仓分层来存储各个业务指标数据，基于sparkSQL做数据分析。核心业务涉及运营商、呼叫中心、工单、油站、仓储物料。
骨灰级收藏家·2022-12-24 12:55

Hive+Spark离线数仓工业项目实战--项目介绍及环境构建（2）

Docker的介绍了解Docker的基本功能和设计-为什么要用Docker？-什么是Docker？路径-step1：生产环境的问题-step2：容器的概念-step3：Docker的设计实施生产环境的问题-运维层面：一台机器上的应用太多，不同的环境，安装过程也不一样，管理麻烦，怎么办？-开发层面：不同程序的运行受到环境、资源等因素的干扰，不同的环境，开发的方式也不一样，怎么办？容器的概念-硬件容器
骨灰级收藏家·2022-12-24 12:55

Hive+Spark离线数仓工业项目实战--数仓设计及数据采集（1）

数仓设计及数据采集1.
骨灰级收藏家·2022-12-24 12:54

SpringBoot实现Excel导入导出，性能爆表，用起来够优雅！

SpringBoot实战电商项目mall（50k+star）地址：github.com/macrozheng/…EasyExcel简介EasyExcel
·2022-12-24 10:30

MySQL主从复制--单库复制搭建

背景说明负责公司MySQL数仓的搭建和维护，因为前端业务涉及到一次业务表的分库，导致整个平台新增加一台MySQL服务器，需要将该库数据通过主从复制同步至原有的数仓实例。
灰言sky·2022-12-24 00:28

深度！用“极速统一”，开启金融行业数据分析新范式

IDC预测，2024年全球数仓的市场规模将达到297亿美元，2019
·2022-12-23 13:02

深度！用“极速统一”，开启金融行业数据分析新范式

IDC预测，2024年全球数仓的市场规模将达到297亿美元，2019
·2022-12-23 13:01

CloudCanal实战-五分钟搞定Oracle到StarRocks数据迁移与同步

简述CloudCanal当前最新版本已经支持源端Oracle、SqlServer等主流传统数据库作为源端迁移同步数据到StarRocks来构建实时数仓。
·2022-12-23 10:48

Databend 开源周报 #71

Databend是一款强大的云数仓。专为弹性和高效设计，自由且开源。即刻体验云服务：https://app.databend.com。
Databend·2022-12-23 10:02

星河璀璨 | GBASE南大通用两项成果获评2022大数据“星河”标杆、优秀案例

GBASE南大通用作为支持单位与客户联合申报的两项成果从595份申报项目中脱颖而出，「湖仓一体大数据平台研究和实践」、「混搭架构中构建逻辑数仓的应用与实践」分别获评2022大数据“星河（Galaxy）”
GBASE数据库·2022-12-22 11:59

Spring Cloud Alibaba学习笔记(一)---基于微服务的电商项目

文章目录1微服务介绍1.1系统架构演变1.1.1单体应用架构1.1.2垂直应用架构1.1.3分布式架构1.1.4SOA架构1.1.5微服务架构1.2微服务架构介绍1.2.1微服务架构的常见问题1.2.2微服务架构的常见概念1.2.2.1服务治理1.2.2.2服务调用1.2.2.3服务网关1.2.2.4服务容错1.2.2.5链路追踪1.2.3微服务架构的常见解决方案1.2.3.1ServiceCom
梦会实现·2022-12-22 06:36

肝了一周总结的SpringBoot常用注解大全，一目了然！

SpringBoot实战电商项目mall（50k+star）地址：https://github.com/macrozheng/mall常用注解概览这里整理了一张SpringBoot常用注解的思维导图，本文主要讲
·2022-12-20 09:59

数据仓库Hive学习笔记整理

数仓1.数仓概念数据仓库（DataWarehouse，简称数仓、DW），是一个用于存储、分析、报告的数据系统。
我的一首歌·2022-12-20 08:42

互联网摸鱼日报（2022-12-16）

双方称将共同开启下一站创新《反诈法》实施后，蚂蚁“亮剑”反诈平台：首批开放18件关键专利、5套核心反诈技术方案并发提升10倍，运算延时降低70%，领健从ClickHouse和Kudu到ApacheDoris数仓升级实践谷歌员工担心自家
每日摸鱼大王·2022-12-20 08:42

离线数仓搭建_16_Azkaban全流程调度

MySQL数据库和表17.3Sqoop导出脚本17.4全调度流程17.4.1数据准备17.4.2编写Azkaban工作流程配置文件17.4.3Azkaban多Executor模式下注意事项上文访问：离线数仓搭建
Fang GL·2022-12-19 18:00

20000字，详解大厂实时数仓建设（好文收藏）

来源：五分钟学大数据一、实时数仓建设背景1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。
公众号:肉眼品世界·2022-12-19 09:12

实时数仓在滴滴的实践和落地

1.实时数仓建设目的随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖
浪尖聊大数据-浪尖·2022-12-19 09:09

【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集

尚硅谷大数据项目之Flink实时数仓一思考：1.为什么会有DWM（中间层）层3.实时数仓为什么要分层？2.实时数仓的数据是存在哪里的呢？
在学习的王哈哈·2022-12-19 09:07

滴滴打车 -- 实时数仓实践

1.实时数仓建设目的随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖
无精疯·2022-12-19 09:35

大数据Flink电商实时数仓实战项目流程全解(四）动态分流详解

DWD层业务数据分流回顾一下之前业务数据的处理；首先把脚本生成的业务数据发送到MySql数据库中，在表gmall0709中可以看到数据：这里就是生成的对应数据表，然后通过Maxwell把数据输入到Kafka中，保存在ods_base_db_m主题中；此时我们需要把这个kafka主题中的数据进行过滤和分流处理，过滤处理很容易，这里我们过滤掉data为空，或者是长度filteredDS=jsonObj
大数据YYDS·2022-12-19 09:05

【Flink实时数仓】数据仓库项目实战 《四》日志数据分流 【DWD】

文章目录【Flink实时数仓】数据仓库项目实战《四》日志数据分流-流量域【DWD】1.流量域未经加工的事务事实表1.1主要任务1.1.1数据清洗（ETL）1.1.2新老访客状态标记修复1.1.3新老访客状态标记修复
一阵暖风·2022-12-19 09:34

一文读懂 kafka 的事务机制

用一句话概括，KAFKA是实时数仓的基石，是事件驱动架构的灵魂。
明哥的IT随笔·2022-12-19 07:49

大数据工具之Superset

由于Superset能够对接常用的大数据分析工具，如Trino、Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具，应用于数据仓库的ADS！
八五年的湘哥·2022-12-18 22:08

大学生自学Java怎样才不会从入门到放弃？

目录前言java8springboot，springbootidea和git是必须掌握的中间件技术数据库技术rpc技术缓存技术高性能队列微服务技术大数据技术数仓servicemesh技术分布式事务机器学习和
麒麟来编程·2022-12-18 19:37

基于 Flink + Hudi 的实时数仓在 Shopee 的实践

本文首发于微信公众号“Shopee技术团队”摘要ApacheHudi是业内基于Lakehouse解决方案中的典型组件，相比于传统基于HDFS和Hive的数据仓库架构，基于ApacheHudi的Lakehouse解决方案有众多优势，例如：低延迟的数据刷新，高度的数据新鲜度；小文件自动化管理；支持数据文件的多版本读写；与大数据生态内Hive/Spark/Presto等引擎的无缝衔接。基于这些特性，我们
·2022-12-18 10:10

SpringBoot电商项目前后端界面搭建

目录一、SpringBoot项目简介1、技术点介绍2、数据表介绍二、构建SpringBoot项目1.创建SpringBoot项目并配置POM2.配置application.yml3.启动类配置4.首页访问,导入前端页面及页面对应的js/css/images文件三、实现首页功能0）导入帮助类config：exception:Generator：Utils：在generater类运行自动生成代码：1）
酒醉猫(^･ｪ･^)·2022-12-17 17:55

技术原理｜Hologres Binlog技术原理揭秘

同时在大数据场景上，支持Flink直接消费HologresBinlog，相较于传统数仓分层，Flink+HologresBinlog可以实现完整的事件驱动，完成OD
aliyunhologres·2022-12-17 14:27

37手游云平台基于Flink+Hologres大数据建设实践

本文整理自37手游大数据平台资深开发工程师史飞翔在实时数仓Workshop·广州站的演讲。
aliyunhologres·2022-12-17 14:57

看场景、重实操，实时数仓不是“纸上谈兵”

本文转载自阿里云Hologres产品负责人合一在ITPUB的访谈，谈谈他眼中的实时数仓，原文链接：https://mp.weixin.qq.com/s/RZMWf9r4fKV9mNoGGUtaVw这两年
aliyunhologres·2022-12-17 14:57

好程序员分享Java转行大数据该怎么规划学习？

数仓工程师：这个需要SQL基础好一些，其他环境配置基本上公司已经完成，主要是针对Hive方向的开发和数据
好程序员IT·2022-12-17 10:47

直播 | 新一代极速云原生湖仓的技术内核，StarRocks PMC 今天下午为你揭秘！

本届大会重点围绕云原生数据库、分布式数据库、时序数据库、图数据技术、实时数仓技术与应用实践、金融业数据库应用实践等内容展开分享和探讨。
StarRocks_labs·2022-12-17 05:48

「数仓建设篇」数仓主题域划分

大家好，本篇聊一下数仓建设，讲一下面试常遇到的主题域与主题划分，更多精彩文章优先从微信公众号《大数据阶梯之路》首发，欢迎关注，公众号回复：大数据数仓资料，可以获取大数据数仓相关学习资料。
大数据阶梯之路·2022-12-16 21:01

「Hive进阶篇」详解存储格式及压缩方式

一、前言hive优化除了有hql语句逻辑优化，hql参数调优等等，还有一个不起眼的细节容易被忽视掉，那便是hive数仓模型表的存储格式和压缩方式，hive底层数据是依托在hadoop，以HDFS文件存储在集群上的
大数据阶梯之路·2022-12-16 21:01

数据化建设知识图谱（文末附PDF下载）

即使技术变化最快的互联网行业，阿里也是经历了数据库、数仓和数据平台的沉淀
大数据阶梯之路·2022-12-16 21:30
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他