数仓电商项目

OceanMind海睿思签约常州市建筑科学研究院，打造检验检测行业数字化转型标杆

双方将依托OceanMind海睿思提供的业内领先的业务驱动数据工程建设理念，为建科股份提供数据中台、主数据平台、智能数仓等产品与服务，从检验检测行业重点关注的多个维度入手，解
海睿思·2023-08-27 00:01

数仓建模综述

数据建模是数据开发工作中的核心与基石，好的模型体系好处很多：•降低成本：优秀的模型设计能够提升数据复用性，减少计算/存储资源浪费•提升开发效率：优秀的模型设计能够降低数据使用门槛，减少工作量•提升质量：优秀的模型设计能够保证数据口径一致，降低bug率数据建模的实现方式有很多，常用的比如ER模型，DataVault模型等。目前业界使用最多的模型是RalphKimball在《数据仓库工具》中提出的维度
精品资料学习库·2023-08-26 23:31

一键实现 Oracle 数据整库同步至 Apache Doris

在实时数据仓库建设或迁移的过程中，用户必须考虑如何高效便捷将关系数据库数据同步到实时数仓中来，ApacheDoris用户也面临这样的挑战。
SelectDB技术团队·2023-08-26 19:37

电商项目part06 微服务网关整合OAuth2.0授权中心

微服务网关整合OAuth2.0思路分析网关整合OAuth2.0有两种思路，一种是授权服务器生成令牌,所有请求统一在网关层验证，判断权限等操作；另一种是由各资源服务处理，网关只做请求转发。比较常用的是第一种，把API网关作为OAuth2.0的资源服务器角色，实现接入客户端权限拦截、令牌解析并转发当前登录用户信息给微服务，这样下游微服务就不需要关心令牌格式解析以及OAuth2.0相关机制了。网关在认证
渔阳节度使·2023-08-26 16:34

JavaScript——对象判空五种方法

例如：当我们在电商项目中，做购物车时，购物车内有商品时是一个页面，但是当我们清空购物车时，页面显示的是另外一个页面，例如：购物是空的页面。此时我们就需要判断商品这个对象是否为空。
牛奶面包吖·2023-08-26 10:19

离线数仓搭建流程以及遇到的问题Hadoop3.3.1-hive3.1.2-spark 3.3.1

目录简言数仓选型前期准备更改三个节点主机名:新增用户组以及用户：配置互信JDK安装mysql安装Zookeeper3.8安装Hadoop3.3.1搭建Hive3.1.3搭建Spark3.3.1安装想在idea
有风入弦·2023-08-26 09:16

采集项目和数仓项目的关系

1.介绍采集项目和数仓项目采集和数仓是企业数据管理平台的2个核心功能模块,相对独立,所以可以独立开发区别功能采集:数据的采集和传输数仓:数据的存储流程数据库->数据采集->数据仓库->可视化界面2.数据仓库什么是数仓
叫我莫言鸭·2023-08-26 04:00

StreamingWarehouse的一些思考和未来趋势

具备一些传统的实时和离线数仓不具备的特性，主要有几个方面：这些存储引擎是天然统一的批流一体存储。
王知无(import_bigdata)·2023-08-25 23:11

Vue3+Pinia+Koa+Three.js 全栈电商项目总结复盘

前言前几天一个朋友去义乌旅游，带回来很多小商品，就是一整个物美价廉，但是为什么线下购物和网购有的时候差别这么大（网购经常要退换货啊），为此我萌生了一个想法，3D是不是就可以实现在线看商品的细节了，退换货这么麻烦是不是可以省省了一、项目概述这个项目是对义务购app的一个模仿，相对于其官方app，我新增的亮点如下：商品排列布局使用瀑布流布局实现3D看商品功能实现3D看义乌商贸城同时，基础功能如下：使用
嘴巴嘟嘟·2023-08-25 23:11

性能全面飙升！StarRocks 在贝壳找房的极速统一实践

随着数据和业务规模的增长，传统数仓的分析能力面临很大的挑战，贝壳需要引入新兴的数据湖技术来支撑业务的发展。
StarRocks_labs·2023-08-25 19:45

跨境电商发奖金的心得

今天发放最近合作的跨境电商项目奖金，总结的三个心理原则感受，不断成长。1重奖重罚，比如做得好奖的要很重，奖的超出预期；做得差，一定要罚的肉疼。
跨境小超哥·2023-08-25 17:40

尚硅谷大数据项目《在线教育之离线数仓》笔记004

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录第9章数仓开发之DWD层P049P050P051P052P053P054P055P056P057P058P059P060P061P062P063P064P065P066P067P068P069P070
upward337·2023-08-25 17:16

电商项目底部导航栏

html页面首页购物车我的exportdefault{name:"home",data(){return{homeActive:true,cartActive:false,myActive:false,}},created(){this.changeStyle(this.router.replace(url)this.changeStyle(url)},changeStyle(url){conso
Sunshine_488c·2023-08-25 14:02

电商项目part05 分布式ID服务实战

背景日常开发中，需要对系统中的各种数据使用ID唯一表示，比如用户ID对应且仅对应一个人，商品ID对应且仅对应一件商品，订单ID对应且仅对应一个订单。现实生活中也有各种ID，比如身份证ID对应且仅对应一个人，简单来说，ID就是数据的唯一标识。一般情况下，会使用数据库的自增主键作为数据ID，但是在大数量的情况下，往往会引入分布式、分库分表等手段来应对，很明显对数据分库分表后依然需要有一个唯一ID来标识
渔阳节度使·2023-08-25 07:28

深入解析数据仓库的支架表

支架表的诞生支架表的诞生离不开经典的数仓模型之争——星型模型与雪花模型星型模型简单地说，所有的维度表都连在1个事实表上，就是星型模型星型模型星型架构是一种非规范化的结构，多维数据集的每一个维度都直接
秋夜雨凉·2023-08-24 23:52

Hive修改Parquet类型表字段几种问题处理

hive中的表数据存储类型可以使用parquet，优势在于列式存储方便压缩，加快查询速度，在实际生产环境中，往往不会有字段命名或类型修改的数仓宽表才会使用。
大地你王哥·2023-08-24 21:43

离线数仓和实时数仓的区别

01数仓
一个数据人的自留地·2023-08-24 20:25

【TiDB理论知识08】HATP概述

1HTAP技术OLTP在线事务支付转账高并发每次操作的数据量少，行存OLAP报表分析每次操作大量数据列存储2传统解决方案数据抽取到数仓或者数据湖ETL有延迟，一般会有T+1T+2数据多副本3HTAP的要求
DBA之路·2023-08-24 18:05

数仓4.0笔记——用户行为数据采集四

1日志采集Flume安装[zhang@hadoop102software]$tar-zxvfapache-flume-1.9.0-bin.tar.gz-C/opt/module/[zhang@hadoop102module]$mvapache-flume-1.9.0-bin/flume将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop3.1.3[zhang@hadoop102
丝丝呀·2023-08-24 17:24

【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWM层

DWM层第1章DWS层与DWM层的设计1.1设计思路1.2需求梳理第2章DWM层-访客UV计算2.1需求分析与思路2.2代码实现2.2.1从Kafka的dwd_page_log主题接收数据2.2.2核心的过滤代码2.2.3将过滤处理后的UV写入到Kafka的dwm_unique_visit2.2.4测试第3章DWM层-跳出明细计算3.1需求分析与思路3.1.1什么是跳出3.1.2计算跳出行为的思路
在学习的王哈哈·2023-08-24 17:52

报错-hive on spark执行数据导入脚本报错

背景CentOS7.5中三台机器(hadoop102、hadoop103、hadoop104)的hadoop集群问题描述数仓建设：dwd层向dws层导入数据时，脚本执行报错报错代码FAILED:SemanticExceptionFailedtogetasparksession
dyson不只是吹风机·2023-08-24 17:52

数据仓库笔记

数据仓库笔记目录概念与数据库的对比数据仓库建模方法论ER模型维度模型维度建模理论之事实表概述特点维度建模理论之维度表维度设计要点数据仓库分层最近在学习离线数据仓库建设，学习资源：尚硅谷之数仓5.0（不得不说
·落魄书生··2023-08-24 17:52

尚硅谷-离线数仓-笔记

尚硅谷-离线数仓-笔记一、数仓建模理论第一章数仓概述1.1数仓概念数据仓库是一个为数据分析而设计的企业级数据管理系统。
林子茗·2023-08-24 17:21

尚硅谷大数据项目《在线教育之离线数仓》笔记003

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录第8章数仓开发之DIM层P039P040P041P042P043P044P045P046P047P048第8章数仓开发之DIM
upward337·2023-08-24 17:51

美团增量数仓建设新进展

本篇内容主要分为四个部分：建设背景核心能力设计与优化业务实践未来展望点击查看原文视频&演讲PPT一、美团增量数仓的建设背景美团数仓架构的诞生是基于这样的技术假设：“随着业务数据越积越多，增量数据/存量数据的比值呈下降趋势
·2023-08-24 16:36

基于大数据+django+mysql的银行信用卡用户的数仓系统

系统阐述的是银行信用卡用户的数仓系统的设计与实现，对于Python、B/S结构、MySql进行了较为深入的学习与应用。主要针对系统的设计，描述，实现和分析与测试方面来表明开发的过程。
zhulin1028·2023-08-24 14:25

线上问诊：业务数据采集

Zookeeper3.Kafka4.Flume5.Mysql6.Maxwell二、业务数据采集1.数据模拟2.采集通道总结前言暑假躺了两个月，也没咋写博客，准备在开学前再做个项目找找感觉，由于之前做过广告数仓的案例
超哥--·2023-08-24 11:53

大数据数据仓库

一.在线教育1.数据采集1.数仓概念数据仓库是为企业制定决策，提供数据支持的。数据采集和存储、对数据进行计算和分析2.项目架构2.数据分类业务数据用户行为数据爬虫数据2.离线数仓3.实时数仓
highly2009·2023-08-24 04:52

JavaのJUC并发编程

多线程相关概念2.CompletableFuture2.1.FutureTask2.2.CompletableFuturea.四大静态方法b.通用演示以及优点分析c.CompletableFuture在电商项目中的使用
从现在开始壹并超·2023-08-24 02:21

一个电商项目用到的基础框架

一：基础框架1)：整个项目以springboot为基础框架，外加aop等其他组件。2)：持久层使用mybatis-plus3)：支付SDK使用IPay，weixin-java-pay，1:微信：对接了统一下单，统一取消，查证2:支付宝：对接了统一下单，统一取消，查证4)：对象储存：aliyun-sdk-oss5)：公众号以及小程序：weixin-java-miniapp6)：邮件推送：spring
科学熊·2023-08-23 18:00

这个时代，你为什么赚不到钱？

引子：这几天一直在忙着创业的事，我的社交电商项目，在联系一些在做直播带货的主播和红酒的经销商朋友，他们对我在做的事挺感兴趣，所以，一直没来得及更新文章。
老潘成长笔记·2023-08-23 16:21

一键实现 Oracle 数据整库同步至 Apache Doris

在实时数据仓库建设或迁移的过程中，用户必须考虑如何高效便捷将关系数据库数据同步到实时数仓中来，ApacheDoris用户也面临这样的挑战。
·2023-08-23 12:48

“数仓”-MPP与 MR的区别

5G场景网络数据延时的URLLCMPP:多数据快速，单点并行查询秒级。MR:分布式任务查询，海量数据小时级。mpp计算引擎--simd(单指令多源数)--ssvm(动态编译)--smp(算子并行)--llmp()一、大数据处理框架主流的大数据处理框架包括以下三类五种：1、仅批处理框架：ApacheHadoop2、仅流处理框架：ApacheStorm、ApacheSamza3、混合框架：Apache
西山创罪梦不觉·2023-08-23 11:05

无法形容的一天

#今日纪实1.上午梳理了一下数仓的流程，只是了解了个大概，剩下的时间不是在走神就是在漫无目的地浏览网页2.下午，宿舍打扫卫生，也算是今天比较大的收获了，毕竟看着干净整洁的宿舍，谁会不开心呢？
易younger·2023-08-23 09:05

【实践案例分享】Apache Doris在美团外卖数仓中的应用实践

本文将介绍Doris在美团外卖数仓的实践。序言本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。
木东居士·2023-08-23 09:34

Databend 开源周报第 107 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-08-23 08:01

美团增量数仓建设新进展

本篇内容主要分为四个部分：1.建设背景2.核心能力设计与优化3.业务实践4.未来展望Tips：点击「阅读原文」免费领取5000CU*小时Flink云资源01美团增量数仓的建设背景美团数仓架构的诞生是基于这样的技术假设
Apache Flink·2023-08-23 07:34

基于阿里云 Flink+Hologres 搭建实时数仓

摘要：本文作者阿里云Hologres高级研发工程师张高迪&阿里云Flink技术内容工程师张英男，本篇内容将为您介绍如何通过实时计算Flink版和实时数仓Hologres搭建实时数仓。
Apache Flink·2023-08-23 07:33

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

内容主要分为四个部分：流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的实时数仓中的一个实时预处理的功能
Apache Flink·2023-08-23 07:58

CDH集群离线配置python3环境，并安装pyhive、impyla、pyspark

背景：项目需要对数仓千万级数据进行分析、算法建模。
yunpeng.zhou·2023-08-23 06:55

数仓第5篇:『数据魔法』ETL

目录导读：一、数据同步之道01.sqoop02.DataX03.kettle04.canal05.StreamSets二、ETL之技术栈2.1工具2.2语言三、ETL加载策略01.增量02.全量03.拉链四、结束语导读：ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ET
浊酒南街·2023-08-22 23:16

Flink + Iceberg 的数仓增量生产 ETL 以及在美团的落地实践

一、美团数仓架构图如上图，是美团最新的数仓架构图。
KK架构·2023-08-22 23:46

MySQL—数仓ETL开发中常用到的日期函数

在数据仓库ETL开发中，当以增量的方式进行数据同步时，会将数据表中的时间字段作为增量字段获取增量数据。对于MySQL数据库来说，总结了以下日期表示以及需要注意的问题。一、需要注意的问题：查看MySQL数据库的时区，以下MySQL的时间是utc时间，与北京时间相差8个小时，所以在进行ETL开发时，要将表字段转换成北京时间（在utc时间基础上加8个小时即为北京时间）二、utc时间转为北京时间的函数：c
一克拉的小蚂蚁·2023-08-22 23:16

零代码ETL+聚水潭，实现销售出库单同步到数仓

一、聚水潭单据同步需求聚水潭作为领先的电商ERP有很多快销、零售企业使用，同时作为以订单为核心的电商ERP系统企业还需要在本地配合其他业务系统一起使用完全整个业务的协同和财务结算，作为中大型企业随着业务发展企业会在聚水潭中沉淀大量的业务数据，这些数据需要接取到本地业务系统如金碟云星空、用友NC中进行发货、生成凭证、统计分析等需求，如果这些数据没有同步将会影响企业的业务运行，阻碍企业的业务创新能力。
苛子·2023-08-22 23:15

零代码ETL+聚水潭，实现销售出库单同步到数仓

一、聚水潭单据同步需求聚水潭作为领先的电商ERP有很多快销、零售企业使用，同时作为以订单为核心的电商ERP系统企业还需要在本地配合其他业务系统一起使用完全整个业务的协同和财务结算，作为中大型企业随着业务发展企业会在聚水潭中沉淀大量的业务数据，这些数据需要接取到本地业务系统如金碟云星空、用友NC中进行发货、生成凭证、统计分析等需求，如果这些数据没有同步将会影响企业的业务运行，阻碍企业的业务创新能力。
苛子·2023-08-22 23:13

人群圈选效率提升 30 倍，云积天赫基于 Apache Doris 构建统一数仓的实践

ApacheDoris在部分业务中使用，并在使用过程中逐渐发掘出ApacheDoris更多强大之处以及优势，最终决定全面应用ApacheDoris，基于ApacheDoris来构建云积互动企业级实时离线统一数仓
·2023-08-22 15:47

云上 Index：看「简墨」如何为云原生打造全新索引

拓数派首款数据计算引擎PieCloudDBDatabase是一款全新的云原生虚拟数仓。
·2023-08-22 11:01

性能全面飙升！StarRocks 在贝壳找房的极速统一实践

随着数据和业务规模的增长，传统数仓的分析能力面临很大的挑战，贝壳需要引入新兴的数据湖技术来支撑业务的发展。
·2023-08-22 10:45

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

内容主要分为四个部分：流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的实时数仓中的一个实时预处理的功能
·2023-08-22 10:14

做社交电商为什么要选小米有品有鱼？

先看下面这张导图如何选择社交电商项目应该从以下几个维度来寻找好的社交电商项目。第一看品牌。这里用一个品牌势能的概念。
阿Sir的圈子·2023-08-22 03:08
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他