数仓电商项目

第一章 数据中台架构总体设计

层：基础设施层数据采集：flume、sqoop、datax、flinkcdc、canel数据计算：MR、Spark、flink数据存储：HDFS、Hbase、TIDB、Mysql…1.2、DaaS层：数仓层主要包括
随缘清风殇·2023-06-11 07:17

大数据任务调度和数据同步组件初探

数据的同步过程是必不可少的图片来源传统的数据同步方式主要是基于定时任务的模式，通过任务调度服务，每天定时将原始数据提取（extract），进行清洗处理，比如过滤掉重复数据（transform），最后存入数仓
xiaoliizi·2023-06-11 02:48

数仓总结题

面试可能会遇到的问题数仓怎么设计？数仓分为ODS层，DW层和DM层，ODS层从数据源抽取数据，对数据进行清洗，并将数据加载到中间表。
添柴少年yyds·2023-06-10 22:37

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（上）

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统概述背景ApacheDoris官方地址https://doris.apache.org/ApacheDorisGitHub
李自提·2023-06-10 18:30

全球分布式云大会：AntDB超融合流式实时数仓，打造分布式数据库新纪元

日前，全球分布式云大会北京站在北京金茂万丽酒店举办，亚信科技AntDB数据库受邀参会，会上技术负责人北陌发表以“AntDB超融合流式实时数仓，打造分布式数据库新纪元”为主题的演讲，通过分享AntDB在数据库前沿技术的研发实践
亚信安慧AntDB数据库·2023-06-10 18:11

亚信科技AntDB数据库荣膺第十二届数据技术嘉年华（DTC 2023）“最具潜力数据库”大奖

亚信安慧副总裁张桦先生受邀参会，并发表了《AntDB数据库通信行业核心系统应用与创新》的主题演讲，分享了AntDB数据库在大规模数据管理项目上的实战经验，讲述了AntDB在“超融合”与“流式实时数仓”方向上的最新研发与技术能力
亚信安慧AntDB数据库·2023-06-10 18:10

助力工业物联网，工业大数据之数仓维度层DWS层构建【十二】

文章目录数仓维度层DWS层构建01：项目回顾02：项目目标03：维度建模回顾：建模流程04：维度建模回顾：维度设计05：维度建模回顾：维度模型数仓维度层DWS层构建01：项目回顾ODS层与DWD层的功能与区别是什么
Maynor996·2023-06-10 17:58

数据常用名词解释，数仓表设计

数据平台相关任务（Task）任务是对数据执行的操作的定义，示例如下：通过数据同步节点任务，将数据从RDS同步至数仓。通过SQL节点任务，运行SQL来进行数据的转换。
榛西·2023-06-10 15:16

电商 - 高并发下订单商品库存扣减方案

动态数据只有库存电商项目对并发数据处理要求较高预期结果：1、不超卖；2、不少卖；3、下单响应快；4、用户体验好设计思路
MinggeQingchun·2023-06-10 13:41

【Apache-Flink零基础入门】「入门到精通系列」手把手+零基础带你玩转大数据流式处理引擎Flink（基础概念解析）

架构及原理Flink应用服务Streams有限数据流和无限数据流的区别StateTimeAPIFlink架构体系Flink操作处理Flink的应用场景Flink的应用场景：DataPipeline实时数仓搜索引擎推荐
浩宇天尚·2023-06-10 11:37

Hadoop数据仓库的主要特征有哪些？

数据仓库(英语：DataWarehouse，简称数仓、DW),是一个用于存储、分析、报告的数据系统。
传智教育·2023-06-10 08:51

Kylin

一、数仓回顾1.1核心概念数据仓库，OLAP和OLTP，维度和度量，事实表和维度表。星形模型和雪花模型。
爱过java·2023-06-10 05:22

大数据面试题总结

1.说一下最近做的项目(1)我把实时简单说了一下，说的一般2.说一说为什么要数仓分层(1)把维度建模随便说了下，又扯了一下分层3.说一下数据倾斜(1)没回答好，hive只说了groupbyflink说了一下
添柴少年yyds·2023-06-10 04:03

大数据面试题

1.说一下最近做的项目(1)我把实时简单说了一下，说的一般2.说一说为什么要数仓分层(1)把维度建模随便说了下，又扯了一下分层3.说一下数据倾斜(1)没回答好，hive只说了groupbyflink说了一下
添柴少年yyds·2023-06-10 04:02

常见电商项目的数据库表设计（MySQL版）

电商常用功能模块的数据库设计常见问题的数据库解决方案环境：MySQL5.7图形客户端，SQLyogLinux模块：用户：注册、登陆商品：浏览、管理订单：生成、管理仓配：库存、管理电商实例数据库结构设计电商项目用户模块用户表涉及的实体改进
jiuhuayuese·2023-06-10 00:16

一篇文章搞懂数据仓库：数据仓库架构-Lambda和Kappa对比

我们先回顾一下数据仓库的发展历程：传送门-数据仓库发展历程写在前面咳，随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，数据仓库架构方面也在不断演进，分别经历了以下过程：早期经典数仓架构
张家的鱼摆摆·2023-06-09 21:32

揭秘新一代云数仓技术架构与最佳实践

从传统数仓到湖仓一体，历经三十多年发展，技术的浪潮快速迭代，以云原生数仓为中心的现代数据栈时代已然到来。
字节数据平台·2023-06-09 21:28

FlinkSql中的join查询

InnerJoin的用法SELECT*FROMOrdersINNERJOINProductONOrders.productId=Product.id优点：使用简单和离线数仓一样缺点：因为历史数据默认不会被清理
大大大大肉包·2023-06-09 20:22

vue js 获取不同时区的当前时间，在特定时区格式化时间戳

前言在做跨境电商项目的时候，遇到一个设置广告营销的跨时区的时间不匹配导致广告不能同步的问题，所以就想着如何解决。
郝艳峰Vip·2023-06-09 20:17

大数据之数仓基石Hive3.1.2实战

大数据数仓基石-HiveHive3.1全解析===楼兰===文章目录一、关于Hive1、Hive是什么2、Hive的适用场景3、Hive的整体架构4、为什么要用Hive而不用关系型数据库？
roykingw·2023-06-09 19:30

Clickhouse系列之整合Hive数仓

前言什么是Hive？ApacheHive数据仓库软件便于使用SQL读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投射到已存储的数据上。提供了一个命令行工具和JDBC驱动程序，用于将用户连接到Hive。Hive引擎允许您对HDFS配置单元表执行SELECT查询。目前支持如下输入格式：文本：仅支持简单标量列类型，二进制除外；ORC：支持除char以外的简单标量列类型；仅支持数组等复杂类型；p
小二上酒8·2023-06-09 19:22

clickhouse 21.x生产实践优化

1时间字段类型建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive(hbase)为中心的数仓建设中常见，但ClickHouse环境不应受此影响。
架构师老狼·2023-06-09 15:15

新手必看｜StarRocks 入门教程来啦

StarRocks高可用、高可靠、易运维等特性使其广泛应用于实时数仓、OLAP报表、数据湖分析等场景并获得了各行业领军企业的青睐。
StarRocks_labs·2023-06-09 13:41

【大数据之路5-3】离线数据仓库（Hive 搭建）

离线数据仓库（Hive搭建）1.数据仓库概述1.数据仓库概念2.两种数仓构建理念1.BillInmon数仓2.RalphKimball数仓3.CIF架构、Inmon与Kimball建模总结1.CIF架构
程序员胖五·2023-06-09 11:32

万字长文|一文了解基于Flink构建流批一体数仓的技术点

基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代，其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。
zhisheng_blog·2023-06-09 10:46

基于CDH环境下的Hive数仓配置及优化

文章目录YARN的基础配置NodeManagerCPU配置NodeManager内存配置NodeManager本地目录MapReduce内存配置HDFS副本数配置Hive配置及优化HiveServer2的Java堆栈Hive动态生成分区的线程数Hive监听输入文件线程数压缩配置Map输出压缩Reduce结果压缩Hive多个Map-Reduce中间数据压缩Hive最终结果压缩YARN的基础配置Nod
蜜桃上的小叮当·2023-06-09 10:15

百度用户产品流批一体的实时数仓实践

作者|郑德来导读：本文主要介绍如何基于流批一体的技术架构构建实时数仓，在严格的资源成本限制下，满足业务对于数据时效性、准确性的需求。
百度Geek说·2023-06-09 10:09

应用实践 | 数仓体系效率全面提升！同程数科基于 Apache Doris 的数据仓库建设

2020年，同程数科基于ApacheDoris丰富的数据接入方式、优异的并行运算能力、极简运维等特性，引入ApacheDoris进行数仓架构2.0的搭建。
hf200012·2023-06-09 10:38

数智学习 | 流批一体实时数仓建设路径探索

本期专栏由数澜科技研发专家六木带来，探索流批一体实时数仓建设路径。
数澜科技Dtwave·2023-06-09 10:06

打破数据孤岛，Apache Doris 助力纵腾集团快速构建流批一体数仓架构｜最佳实践

福建纵腾网络有限公司（简称“纵腾集团”）成立于2009年，以“全球跨境电商基础设施服务商”为企业定位，聚焦跨境仓储与物流，为全球跨境电商商户、出口贸易企业、出海品牌商提供海外仓储、商业专线物流、定制化物流等一体化物流解决方案，旗下拥有谷仓海外仓、云途物流、WORLDTECH等知名品牌。作者｜纵腾集团数据技术架构师张彬华随着纵腾集团业务的快速发展，各产品线提出的数据需求越发严格，而早期基于多套CDH
hf200012·2023-06-09 10:04

覃小龙:2020-9-16成功日记，淘宝虚拟产品项目，跨境电商项目，视频号运营与培训项目，多点开花，未来才会兴旺！

今天是9月16日了，一下就到了星期三，必须要说一下今天的成功的事情了。1、第一件成功的事情，就是坚持了成功日记日更，今天总算是有动静了。2、第二件成功的事情，视频号的新产品，视频号变现VIP群，一下发布有了小微老师的助力，就爆掉了。就有很多人积极响应加入视频号的新产品群。3、第三件成功的事情，我的影视视频号也发文了，福布斯精英也用了一键搬运的功能，确实实在太好用了，福布斯精英、冷清秋影视、影视热搜
覃小龙课堂·2023-06-09 07:58

字节跳动流式数仓和实时服务分析的思考与实践

本文整理自火山引擎云原生实时数仓技术专家汪建锋在DataFun现代数据栈在线峰会上的演讲，主要介绍字节跳动流式数仓和实时服务分析的思考与实践。
字节跳动云原生计算·2023-06-09 07:22

数仓用户行为数据分析

分层优点：复杂的东西可以简单化、解耦（屏蔽层作用）、提高复用、方便管理SA贴源数据组织结构与源系统保持一致shm历史层针对不同特征的数据做不同算法，目的都是为了得到一份完整的数据PDM明细层做最细粒度的数据明细，最高扩展性和灵活性，企业级的数据标准，源系统之间的打通BDM业务层针对集市经常放在一起用到的数据做提前预处理，做维度的横向拆合，来源的纵向拆合，形成业务大宽表基础层针对集市主题做定制化整合
February13·2023-06-09 02:49

盘点数据仓库建设需要知道的那些事

文章目录建设规范为何要有规范规范如何落地有哪些规范数仓分层分层原则常见分层主题域划分原则数据模型设计原则数据类型规范**数据冗余规范**表规范处理规范命名规范生命周期管理指标管理指标定义指标构成指标分类命名规范建设规范为何要有规范无规矩不成方圆
IT小神·2023-06-09 00:48

数仓和数据湖的区别

1、数据仓库是存储结构化的数据，而数据湖是什么数据都能存（非结构化的数据也能存）。结构化数据可以理解为我们的二维表、JSON数据，非结构化的数据可以理解为图像文件之类的。数据仓库在写入的时候，就要定义好schema了，而数据湖在写入的时候不需要定schema，可以等用到的时候再查出来。强调这点，说明数据湖对数据的schema约束更加灵活。2、数据仓库和数据湖并不是替代关系。数据是先进数据湖，将数据
Six_Hundred_Miles·2023-06-08 22:32

小米基于 Flink 的实时数仓建设实践

本篇内容主要分为四个部分：小米数仓架构演变Flink+Iceberg架构升级实践流批一体实时数仓探索未来展望点击查看原文视频&演讲PPT一、小米数仓架构演变1.1数仓架构现状在介绍演变前，我们先来了解下小米当前的技术现状
·2023-06-08 20:58

Vue电商项目--分页器制作

分页器静态组件分页这个组件，不单单是一个页面用到了。多个页面同时用它,因此我们可以封装成一个全局组件需要将这个分页结构拆分到components通用的分页组件Pagination1上一页···34567···9上一页共60条exportdefault{name:"Pagination",}.pagination{button{margin:05px;background-color:#f4f4f5
Moon.js·2023-06-08 20:38

【Redis】电商项目秒杀问题之下单接口优化：Redis缓存、MQ以及lua脚本优化高并发背景下的秒杀下单问题

目录一、优化思路二、缓存库存与订单1、库存缓存的redis数据结构2、订单信息缓存的redis数据结构三、整体流程四、lua脚本确保权限校验操作的原子性一、优化思路【Redis】电商项目秒杀问题之超卖问题与一人一单问题
1373i·2023-06-08 19:20

揭秘新一代云数仓技术架构与最佳实践

从传统数仓到湖仓一体，历经三十多年发展，技术的浪潮快速迭代，以云原生数仓为中心的现代数据栈时代已然到来。
·2023-06-08 19:19

数据仓库、数据湖、湖仓一体，有什么区别？

一、基本概念1.1数仓发展历史数据湖是以集中方式存储各种类型数据，提供弹性的容量和吞吐能力，能够覆盖广泛的数据源，支持多种计算与处理分析引擎直接对数据进行访问的统一存储平台。
jane9872·2023-06-08 15:22

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
·2023-06-08 15:43

探究核心技术&最佳实践，云原生OLAP论坛火热开启！

2023/06/11，09:00-12:30，在DataFunSummit2023：OLAP引擎架构峰会上，由阿里云资深技术专家，实时数仓Hologres研发负责人姜伟华老师出品的云原生OLAP论坛讲邀请来自阿里云
·2023-06-08 11:25

开源云原生数仓引擎ByConity 存储计算分离架构和优势

供稿|ByConity技术团队出品|CSDN云计算ByConity是一款字节跳动开源的云原生数仓引擎。它的一个重要优势是采用存储计算分离的架构，实现了读写分离和弹性扩缩容。
CSDN云计算·2023-06-08 01:51

Vue电商项目--详情页面完成

放大镜操作上varmySwiper=newSwiper('.swiper',{direction:'vertical',//垂直切换选项loop:true,//循环模式选项//如果需要分页器pagination:{el:'.swiper-pagination',},//如果需要前进后退按钮navigation:{nextEl:'.swiper-button-next',prevEl:'.swipe
Moon.js·2023-06-07 20:16

7月23日随笔

增加小市值消费股，增加宽基指数持仓比例，降低行业指数仓位。这是大的原则。你的预期是进入恢复期，股市会上涨，所以增加进攻型持仓，减少防守性持仓。
岳海峰·2023-06-07 17:53

数仓建模方法论

1.数仓建模的理由数据建模的主要目的是降低成本，提高数据的利用效率。尤其是大数据时代的到来，数据的多样化，巨量，更需要有效的有针对性数据建模方法。
产品经理自我修养·2023-06-07 15:37

数仓指标体系实践

指标体系1.痛点分析主要从业务、技术、产品三个视角来看：业务视角业务分析场景指标、维度不明确；频繁的需求变更和反复迭代，数据报表臃肿，数据参差不齐；用户分析具体业务问题找数据、核对确认数据成本较高。技术视角指标定义，指标命名混乱，指标不唯一，指标维护口径不一致；指标生产，重复建设；数据汇算成本较高；指标消费，数据出口不统一，重复输出，输出口径不一致；产品视角缺乏系统产品化支持从生产到消费数据流没有
产品经理自我修养·2023-06-07 15:37

Flink SQL 的数据脱敏解决方案

此方案是实时领域Flink的解决思路，类似于离线数仓Hive中RangerColumnMasking方案。
·2023-06-07 14:55

基于Canal与Flink实现数据实时增量同步(二)

本文主要从Binlog实时采集和离线处理Binlog还原业务数据两个方面，来介绍如何实现DB数据准确、高效地进入Hive数仓。
大数据技术与数仓·2023-06-07 13:34

HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.S

showdatabases时候报错：Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient在跟着尚硅谷数仓
宁然也·2023-06-07 10:08
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他