数仓电商项目

数据仓库--DWM层

一般而言，针对dwm层的设计开发是建立在，积累一定数量DM和APP相关需求后，将设计到重复的指标和维度下沉到DWM的表中，因此在数仓建立初期，可能会有直接跳过DWM来开发的情况，但是随着相似的需求不断的增加
江淮杰·2023-09-11 06:07

离线数仓同步数据2

业务数据_全量表数据同步1gen_import_config.py脚本2gen_import_config.sh脚本3全量表数据同步脚本2.2.5.4DataX配置文件生成脚本方便起见，此处提供了DataX配置文件批量生成脚本，脚本内容及使用方式如下。1gen_import_config.py脚本1）在~/bin目录下创建gen_import_config.py脚本cd/home/gpb/bin[
program chef·2023-09-11 00:42

离线数仓同步数据3

业务数据_增量表数据同步1）Flume配置概述2）Flume配置实操3）通道测试4）编写Flume启停脚本1）Flume配置概述Flume需要将Kafka中topic_db主题的数据传输到HDFS，故其需选用KafkaSource以及HDFSSink，Channel选用FileChannel。需要注意的是，HDFSSink需要将不同mysql业务表的数据写到不同的路径，并且路径中应当包含一层日期，
program chef·2023-09-11 00:39

Java项目《谷粒商城》Java架构师 | 微服务 | 大型电商项目

哔哩哔哩地址：Java项目《谷粒商城》Java架构师|微服务|大型电商项目文档地址：https://www.yuque.com/zhangshuaiyin/guli-mall项目地址：https://gitee.com
码农碎碎念·2023-09-10 22:29

基于flink实时数据仓库-第一讲基本情况介绍

实时数据仓库1、电商实时数仓分层介绍1.1普通实时计算和实时数据仓库比较1.2实时数据仓库，项目分层2.实时需求概述2.1离线计算和实时计算比较2.2实时需求种类3.统计架构分析3.1离线架构3.2实时架构
大数据学习爱好者·2023-09-10 15:34

AWS Glue Pyspark+Athena基础学习汇总

Pyspark基础学习汇总篇一、AWS架构①AWSGlue:工作平台，包括脚本的编写以及管理脚本的运行状态以及调度等（主要：数据库配置、ETL和数据转换脚本编写、调度）②AmazonS3数据湖（数仓):
每日小新·2023-09-10 15:50

开源电商项目 Mall：构建高效电商系统的终极选择

文章目录Mall项目概览前台商城系统后台管理系统系统架构图业务架构图模块介绍后台管理系统mall-admin商品管理：功能结构图-商品订单管理：功能结构图-订单促销管理：功能结构图-促销内容管理：功能结构图-内容用户管理：功能结构图-用户前台商城系统mall-portal功能结构图-前台技术栈后端技术前端技术移动端技术环境搭建开发工具开发环境体验Mall项目结语欢迎来到Java项目精品实战案例专栏
IT·陈寒·2023-09-10 09:13

数仓学习之DWD学习

登录不是原子行为，而登录成功是，而支付也不是原子，也分成功失败。什么是原子型?一条线注意一下密码,mysql的密码是MD5加密,而MD5的长度为固定的321.怎么构建事务表?1.确定表名2.确定一行数据所表示的含义3.确定列定义4.确定度量值,就是可以统计的值,2.加购DWD表设置1.什么是加购?放入购物车或者增加数量2.表的思考1.对应物品购物车用户商品购物车ID用户ID商品ID商品数量2.度量
叫我莫言鸭·2023-09-09 11:28

『Newsletter 丨第二期』PieCloudDB Database 新增控制台、LDAP 支持、虚拟数仓日志等多项功能

PieCloudDBDatabase最新动态云上云版「控制台」功能上线PieCloudDB云上云版「控制台」功能全新上线，控制台集成了组织、数仓、用户、费用、权限等多方位管理功能，支持在一个组织下创建和管理多个数仓
OpenPie｜拓数派·2023-09-09 05:08

DTCC 2023丨云原生环境下，需要什么样的 ETL 方案？

2023年8月16日~18日，第14届中国数据库技术大会（DTCC2023）于北京隆重召开，拓数派受邀参与本次大会，PieCloudDB技术专家邱培峰在大会做了《云原生虚拟数仓PieCloudDBETL
OpenPie｜拓数派·2023-09-09 05:06

数仓总结

数仓总结数据开发的本质是理解业务，设计合适的数仓结构，数据模型问题往往是一环扣一环的，需要有足够的技术深度，将知识由点连接成面，而不是停留在相互孤立的知识点上。
Miracle_Data·2023-09-09 00:12

python+pytest接口自动化-接口测试基础，http协议基础（一）

HTTP与TCP/IP区别HTTP请求过程总结重点：学习资料学习当然离不开资料，这里当然也给你们准备了600G的学习资料项目实战大型电商项目全套软件测试自
测试架构师北凡·2023-09-08 20:21

DTCC 2023 丨云原生环境下，需要什么样的 ETL 方案？

2023年8月16日～18日，第14届中国数据库技术大会（DTCC2023）于北京隆重召开，拓数派受邀参与本次大会，PieCloudDB技术专家邱培峰在大会做了《云原生虚拟数仓PieCloudDBETL
·2023-09-08 16:00

尚硅谷大数据项目《在线教育之离线数仓》笔记007

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录第12章报表数据导出P11201、创建数据表02、修改datax的jar包03、ads_traffic_stats_by_source.json
upward337·2023-09-08 15:27

MyBatis_02_Page&PageInfo

：●在【SpringBoot电商项目29：商品分类模块八：后台的【分类列表（平铺）】接口；】中，实现分页功能时，使用到了PageHelper分页插件；●但是，在【SpringBoot电商项目29：商品分类模块八
码农小白123·2023-09-08 13:42

祝贺！Databend Cloud 入驻 AWS 云市场

关于DatabendCloudDatabendCloud是基于开源云原生数仓项目Databend打造的一款易用、低成本、高性能的新一代大数据分析平台，提供一站式SaaS服务，免运维、开箱即用。
Databend·2023-09-08 13:38

从“13天”到“0天”延时，揭秘幸福里离线SLA保障最佳实践

随着幸福里业务发展，为了满足业务对于数据使用、指标观测等需求，团队快速落地了数仓建设。但由于早期“先建后治”，导致现阶段数据治理难题频发。其中，异常突出的是离线数仓SLA延迟大，高达13天。
·2023-09-08 11:08

数仓|Hive性能调优指北

在企业中使用Hive构建离线数仓是一种十分普遍的方案。尽管Hive的使用场景是通过批处理的方式处理大数据，通常对处理时间不敏感。
大数据技术与数仓·2023-09-08 06:40

线上问诊：可视化展示

系列文章目录线上问诊：业务数据采集线上问诊：数仓数据同步线上问诊：数仓开发(一)线上问诊：数仓开发(二)线上问诊：数仓开发(三)线上问诊：可视化展示文章目录系列文章目录前言一、全流程调度1.生产新数据2
超哥--·2023-09-08 05:39

简单明了，介绍数据仓库

顾名思义，存放数据的仓库，它集合了各个业务系统的数据，以金融业为例，数仓包含了贷款业务、CRM、存款业务等数据。用于企业做数据分析、出报告、做决策；在有些公司也作为各业务系统的数据来源。
派可数据BI可视化·2023-09-08 02:44

时序数据库插入性能评测：MatrixDB是InfluxDB的78倍，TDEngine的38倍

TDengine不能确保数据不错不重不丢MatrixDB在各种规模数据写入时，内存消耗小而且平稳；InfluxDB占用内存较多；TDengine占用内存最多MatrixDB支持冷热分级存背景在物联网和实时数仓场景中
YMatrix 官方技术社区·2023-09-07 20:25

CCKS2023：基于企业数仓和大语言模型构建面向场景的智能应用

8月24日-27日，第十七届全国知识图谱与语义计算大会（CCKS2023）在沈阳召开。大会以“知识图谱赋能通用AI”为主题，探讨知识图谱对通用AI技术的支撑能力，探索知识图谱在跨平台、跨领域等AI任务中的作用和应用途径。作为国内知识图谱、语义技术、自然语言理解与知识获取等领域的核心学术会议，每年的CCKS都会邀请相关技术领域顶尖专家学者参会，探讨AI前沿技术。今年以来，大语言模型掀起的新一轮AI浪
·2023-09-07 18:56

酷克数据推出AI开发工具箱HashML 加速企业级AI应用落地投产

近日，业界领先的国产企业级云数仓厂商酷克数据发布了下一代In-Database高级分析和数据科学工具箱HashML，在业内率先实现为企业提供随数仓部署一步到位、开箱即用的AI能力。
·2023-09-07 15:41

BI分析工具 Apache Superset 安装部署

superset能够对接常用的大数据分析工具，如Hive、Kylin、Durid等，支持自定义仪表盘，可作为数仓的可视化工具。2Supers
BoomLee·2023-09-07 07:52

DataX(MySQL同步数据到Doris)

1.场景这里演示介绍的使用Doris的Datax扩展DorisWriter实现从Mysql数据定时抽取数据导入到Doris数仓表里2.编译DorisWriter这个的扩展的编译可以不在doris的docker
jerry-89·2023-09-07 06:03

使用 OAT 工具替换 OceanBase 云平台节点

作者：张瑞远上海某公司DBA，曾经从事银行、证券数仓设计、开发、优化类工作，现主要从事电信级IT系统及数据库工作。有三年以上OceanBase工作经验。
·2023-09-06 14:34

使用 ANTMAN 工具替换 OceanBase 云平台节点

作者：张瑞远上海某公司DBA，曾经从事银行、证券数仓设计、开发、优化类工作，现主要从事电信级IT系统及数据库工作。有三年以上OceanBase工作经验。
·2023-09-06 14:34

数仓数据建模中的概念总结（数据域、主题域、总线矩阵、指标...）

概念归纳业务分类：业务板块是某一大类业务的指标和维度的集合，如电商，文娱。数据域：面向业务分析，将业务过程或者维度进行抽象的集合，如交易域，日志域。将零散的需求分类，后续一一展开，这个过程叫数据域划分。数据域需要抽象提炼、并且长期维护和更新的，但不轻易变动。在划分数据域时，既能涵盖当前所有的业务需求，又能在新业务进入时无影响地被包含进已有的数据域或者扩展新的数据域。事实表为了更好地进行分析，往往会
锵锵锵锵~蒋·2023-09-06 01:57

数仓中的维度、度量、指标、事实、属性几个概念如何区分？有何异同？

文章目录维度VS属性维度横比纵比定性维度、定量维度维度VS度量度量VS指标维度VS指标维度VS属性维度是说明数据，是业务中对象的描述性属性或特征，用于对业务过程进行分析归类。属性是刻画某个实体对象维度的数据形态。通过事物发展的数量、质量两大方面，从横比、纵比角度进行全方位的比较，我们才能够全面的了解事物发展的好坏。维度横比纵比如用户数环比上月增长10%、同比去年同期增长20%，这就是时间上的对比，
锵锵锵锵~蒋·2023-09-06 01:57

视频号怎么开店铺？开店准备和视频号卖货思路如下，醒醒团队教程

作为2023年最新兴的一个电商项目，很多人可能都还没听说过，但有的人已经开始领跑别人一大截了。
RL1055·2023-09-05 21:37

线上问诊：数仓开发(二)

系列文章目录线上问诊：业务数据采集线上问诊：数仓数据同步线上问诊：数仓开发(一)线上问诊：数仓开发(二)文章目录系列文章目录前言一、DWS1.最近1日汇总表1.交易域医院患者性别年龄段粒度问诊最近1日汇总表
超哥--·2023-09-05 21:06

线上问诊：数仓开发(三)

系列文章目录线上问诊：业务数据采集线上问诊：数仓数据同步线上问诊：数仓开发(一)线上问诊：数仓开发(二)线上问诊：数仓开发(三)文章目录系列文章目录前言一、ADS1.交易主题1.交易综合统计2.各医院交易统计
超哥--·2023-09-05 21:04

离线数仓同步数据_用户行为表数据同步

离线数仓同步数据_用户行为表数据同步2.1.4日志消费Flume测试[gpb@hadoop104~]$cd/opt/module/flume/[gpb@hadoop104flume]$cdjob/[gpb
program chef·2023-09-05 21:16

我想当专家啊

今天和雪儿姐聊到社交电商项目，我提出了一个观点：我喜欢种大树，不喜欢养花花草草。我终于明白自己是哪一种类型的人：我喜欢那种简单的，不喜欢那种要一直提供各种服务，永远要付出时间和精力的项目。
胡杨老师杨俊宝爱猫的兔子狗·2023-09-05 18:06

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

在内容数仓搭建的过程中，我们的工作始终围绕降本增效为主要目的进行优化与迭代，希望在数据服务方面不断提升产品工具的开发与分析效率，同时在数仓架构方面能够有效减少架构成本与资源开销。
·2023-09-05 17:37

The Tomcat connector configured to listen on port 10000 failed to start. The port may already be in

一、原因今天在学谷粒商城，启动一个电商项目，发现一个端口被占用了，记录下来二、解决方法1、以管理员身份打开cmd2、输入：netstat-ano|findstr“PID”3、输入：tasklist|findstr
杭州下小雨~·2023-09-05 17:52

数据仓库的流程

需求量非常大,如果每个需求都采用独立c代码开发方式,重复计算会很多.提高性能的方法:1.减少数据量2.减少重复计算例如RDDcache可以减少重复计算,但是不安全,都在缓存中,persist都放内存中,但是慢而数仓是通过表来保存数据
叫我莫言鸭·2023-09-05 14:48

CCKS2023：基于企业数仓和大语言模型构建面向场景的智能应用

8月24日-27日，第十七届全国知识图谱与语义计算大会（CCKS2023）在沈阳召开。大会以“知识图谱赋能通用AI”为主题，探讨知识图谱对通用AI技术的支撑能力，探索知识图谱在跨平台、跨领域等AI任务中的作用和应用途径。作为国内知识图谱、语义技术、自然语言理解与知识获取等领域的核心学术会议，每年的CCKS都会邀请相关技术领域顶尖专家学者参会，探讨AI前沿技术。今年以来，大语言模型掀起的新一轮AI浪
·2023-09-05 11:30

CCKS2023：基于企业数仓和大语言模型构建面向场景的智能应用

8月24日-27日，第十七届全国知识图谱与语义计算大会（CCKS2023）在沈阳召开。大会以“知识图谱赋能通用AI”为主题，探讨知识图谱对通用AI技术的支撑能力，探索知识图谱在跨平台、跨领域等AI任务中的作用和应用途径。作为国内知识图谱、语义技术、自然语言理解与知识获取等领域的核心学术会议，每年的CCKS都会邀请相关技术领域顶尖专家学者参会，探讨AI前沿技术。今年以来，大语言模型掀起的新一轮AI浪
HashData酷克数据·2023-09-05 10:14

阿里云大数据实战记录7：如何处理生产环境表单的重复数据

目录一、前言二、删除重复数据2.1调度任务中新增去重逻辑2.2查询窗口中一次性去重2.3手动处理局部重复数据2.4数据备份问题三、总结一、前言今天发现数仓有一个表单，表里的数据出现了重复，每一列的数据都一模一样
Xin学数据·2023-09-05 09:33

购物商场项目实践

1.项目开始1）此项目为在线电商项目2）包含首页，搜索列表，商品详情，购物车，订单，支付，用户登录/注册等多个子模块3）使用Vue全家桶+ES6+webpack+Axios等前端技术4）采用模块化，组件化
前端VC·2023-09-05 08:47

数仓开发:更新变动数据

数仓一、数据更新检查二、更新目标表三、更新中间表在数仓建设过程中,经常会遇到上游数据变动,进而更新下游目标表的情况,这个时候只需要根据主键update/insert即可,但也会遇到某些特殊情况,比如说下游
我爱夜来香A·2023-09-04 23:00

基于 Kafka、Flink 构建实时数据湖的最佳实践

数仓技术应对关系型结构化数据游刃有余，但对于多元异构数据，却爱莫能助。最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块或者文件。
浪尖聊大数据-浪尖·2023-09-04 22:15

hcj小兔鲜电商项目详解（二）

index.html小兔鲜儿-新鲜、惠民、快捷！请先登录免费注册我的订单会员中心帮助中心在线客服手机版小兔鲜首页首页首页首页首页首页首页首页首页2生鲜水果蔬菜生鲜水果蔬菜生鲜水果蔬菜生鲜水果蔬菜生鲜水果蔬菜生鲜水果蔬菜生鲜水果蔬菜生鲜水果蔬菜生鲜水果蔬菜生鲜水果蔬菜新鲜好物新鲜出炉，品质保证查看全部好物小米无线吸尘器￥899.00新品小米无线吸尘器￥899.00新品小米无线吸尘器￥899.00新品
南方以南_·2023-09-04 09:32

数仓分层理论和应用

2.数仓：ODS经过按照主题建立各种数据模型，细分如下：1）数据明细层：DWD（DataWarehouseDetail），按照业务处理方式将各个专业数据进行集中，保证数据完整性和质量。
意林飞笑·2023-09-04 02:22

什么是二清，第三方支付解决方案

二、项目背景新东家2019年启动最新社交新零售电商项目，作为电商平台目标解决资金二清的风险问题。三、关于二清二清分为“资金二清”和“信息二清”。
百里支付·2023-09-04 02:20

【数仓基础（一）】基础概念：数据仓库【用于决策的数据集合】的概念、建立数据仓库的原因与好处

文章目录一.数据仓库的概念1.面向主题2.集成3.随时间变化4.非易失粒度二.建立数据仓库的原因三.使用数据仓库的好处一.数据仓库的概念数据仓库的主要作用：数据仓库概念主要是解决多重数据复制带来的高成本问题。在没有数据仓库的时代，需要大量的冗余数据来支撑多个决策支持环境。尽管每个环境服务于不同的用户，但这些环境经常需要大量相同的数据。数据仓库的概念:数据仓库描述为一个面向主题的、集成的、随时间变化
roman_日积跬步-终至千里·2023-09-04 00:11

行业测试数据

例如在数仓开发中，会遇到需要在已构建的数仓模型（各种表）中，导入一些测试数据，方便逻辑开发完之前进行开发和测试。亦或是自己有一些SQL逻辑需要测试，需要批量造一
袋鼠云金融交付团队·2023-09-03 19:33

superset部署安装及使用介绍

Superset应用场景由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具。Superset安装及使
王亭_666·2023-09-03 11:13

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

酷克数据作为国内云原生数据仓库的代表企业，也是华为重要的生态合作伙伴，受邀参与本次论坛，并展示了云数仓领域最新前沿技术以及联合华为打造的云数仓联合解决方案。
HashData酷克数据·2023-09-03 08:45
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他