数仓电商项目

【HuDi】B站增量数据湖探索与实践

1.1时效性痛点传统数仓以小时/天级分区，数据完整才可查。然而，一些用户并不需要数据完整，只需要最近的数据做一些趋势分析。因此，现状无
九层之台起于累土·2023-01-31 22:18

编写scala版hive的自定义函数

背景最近，在数仓使用过程中，遇到一些数据处理过程中需要特殊处理，然而hive内置的函数确无法满足需求，因此需要通过自定义函数来扩充其内置函数，达到便捷处理数据的最终目的。
md_2014·2023-01-31 07:15

数据仓库

数据仓库数仓分层目的通过分层，可以让复杂混乱的数据体系内部的依赖结构变得层次分明，具体好处如下：(1)清晰的数据结构，每个数据层都有自己的作用域和职责(2)减少重复开发，开发一些通用的中间层数据，能够减少重复计算
md_2014·2023-01-31 07:05

交易平台项目的回忆

我学的这个电商项目是慕课网站的教程，基于ssm框架搭建，后面又引入了集群和redis，这个平台是一个综合性的B2C平台，涉及到商品的维护，买家中心，卖家中心，购买流程，订单，购物车，支付宝支付，物流服务等
莫冰先生·2023-01-31 01:53

Hologres揭秘：高性能原生加速MaxCompute核心原理

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
阿里云Hologres·2023-01-30 15:05

数仓中常规组件安装

包含Hadoop，Zookeeper，Kafka组件安装文章目录HadoopHadoop部署配置集群配置历史服务器分发Hadoop群起集群Hadoop群起脚本项目经验之HDFS存储多目录集群数据均衡项目经验之支持LZO压缩配置项目经验之LZO创建索引项目经验之基准测试项目经验之Hadoop参数调优Zookeeper安装与启停脚本Kafka安装启停脚本Kafka常用命令项目经验之Kafka机器数量计
Alienware^·2023-01-30 15:53

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

一、数仓建模的意义，为什么要对数据仓库分层？只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。
架构文摘·2023-01-30 15:21

数据中台如何搭建

天启，奇点云数据模型架构专家、原海尔集团数据架构师、原阿里巴巴政务团队数据架构师，精通数据仓库建模理论及数据开发技术，具备零售、政务、医药、制造等多个领域数仓和数据中台建设经验，及PB级数据仓库与数据中台建设经验
山野市民·2023-01-30 15:49

Flink电商实时数仓项目05-数据可视化

1数据可视化接口1.1设计思路之前把轻度聚合的结果都保存到了ClickHouse中，主要目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展示，一种是为专业的数据分析人员的BI工具，另一种是为非专业人员提供更加直观的数据大屏。下面主要是面向百度的sugar的数据大屏服务的接口开发。1.2需求梳理1.2.1最终效果1.2.2分析可视化大屏组件名称组件查询指标对应的数据表总成交金
最佳第六六六人·2023-01-30 15:17

湖仓一体电商项目（一）：项目背景和架构介绍

项目架构1、实时数仓现状2、项目架构及数据分层3、???
普通网友·2023-01-30 15:16

【新年新姿势第一弹】腾讯云EMR数仓建设教程发布——与尚硅谷强强联手带你全方位了解大数据组件

腾讯云开发者社区带着干货来了，腾讯云×尚硅谷大数据研究院强强联手，重磅推出新年第一弹：腾讯云EMR数仓教程发布腾讯云开发者社区“公开课”直达：腾讯云开发者公开课-腾讯云开发者社区-腾讯云这套教程由腾讯云官方与尚硅谷大数据研究院联合推出
腾讯云开发者·2023-01-30 14:41

湖仓一体电商项目（三）：3万字带你从头开始搭建12个大数据项目基础组件

文章目录一、搭建Zookeeper1、上传zookeeper并解压,配置环境变量2、在node3节点配置zookeeper
Lansonli·2023-01-30 14:11

数据仓库之建设

恨不得你啥都会每个人最好了解业务,会提升做事效率(知道别人的需求)理念篇会写代码会提高效率(python解析Excel、批量执行存储过程、日志解析)初期业务分析占比很大,需要需求方和解决方共同出力,打好数仓根基数据质
OverLight·2023-01-30 14:53

Data Lakehouse (湖仓一体) 到底是什么

在数仓中，
Impl_Sunny·2023-01-30 07:06

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

作者：赵伟，思必驰大数据高级研发，10年大数据开发和设计经验，负责大数据平台基础技术和OLAP分析技术开发。社区贡献：Doris-spark-connector的实时读写和优化。业务背景思必驰是国内专业的对话式人工智能平台公司，拥有全链路的智能语音语言技术，致力于成为全链路智能语音及语言交互的平台型企业，自主研发了新一代人机交互平台DUI和人工智能芯片TH1520，为车联网、IoT及政务、金融等众
张家锋·2023-01-30 06:45

SpringCloud微服务实战——搭建企业级开发框架（四十八）：【移动开发】整合uni-app搭建移动端快速开发框架-使用第三方UI框架

如果作为初创公司，自身又不想费太多精力去自己设计一套UI框架，那么DCloud插件市场提供了很多优秀的UI框架，最重要的是有些UI框架能够提供一整套行业的页面模板，比如，前几年电商项目比较火，Vant、
全栈程序猿·2023-01-29 22:19

Hive内置函数之时间函数

零、生产常用组合方式（0.1）离线数仓获取昨天的日期作为分区，格式yyyyMMddregexp_replace(date_sub(from_unixtime(unix_timestamp(),'yyyy-MM-dd
guaren2009·2023-01-29 12:32

Amazon Aurora 的读写能力扩展之 ShardingSphere-Proxy 篇

文章来源于亚马逊AWS官方博客马丽丽亚马逊云科技数据库解决方案架构师，十余年数据库行业经验，先后涉猎NoSQL数据库Hadoop/Hive、企业级数据库DB2、分布式数仓Greenplum/ApacheHAWQ
ShardingSphere·2023-01-29 08:21

电商项目（五）

1ActiveMQ简介1.1ActiveMQ是什么ActiveMQ是一个消息队列应用服务器。支持JMS****规范。1.1.1JMS概述全称：JavaMessageService，即为Java消息服务，是一套java消息服务的API标准。（标准即接口）实现了JMS标准的系统，称之为JMSProvider。1.1.2消息队列1.1.2.1概念消息队列是在消息的传输过程中保存消息的容器，提供一种不同进
kelaody·2023-01-28 21:06

2019年规划

-----------------------------------------1：成为一个合格的产品经理（对产品经理的套方法论能熟练掌握）；2：对大数据底层知识有全面的了解，包括底层的架构，中间的数仓
Edan栋·2023-01-28 18:21

数仓利器-Hive高频函数合集

前言Hive是数仓建设使用频率最高的一项技术，基于各种业务需求，使用功能函数会为我们的开发提高了很多效率。
Bloo_m·2023-01-28 13:09

星环科技TDH多模型统一架构VS CDH架构

比如为了做数仓需要Hive，为了做精确查询需要Hbase，为了做搜索业务需要Elasticsearch等等。那客户为了实现图计算和分析，需
·2023-01-28 12:49

中原银行对金融行业实时数仓的现状与发展趋势思考

众所周知，实时数仓落地是一个难点，尤其是金融行业，还没有出现真正所谓的实时报表。金融行业个别案例的实时数仓是在较窄场景、较多限制下的尝试，还不能够称之为实时数仓，如银行普遍的实时报表业务都无法满足。
Apache Flink·2023-01-28 10:58

项目从180天缩短至7天的秘诀

众所周知，建设数仓向来都是耗时
Yolanda518·2023-01-28 03:03

Clickhouse笔记（2022）

Clickhouse是俄罗斯yandex公司开源的用于OLAP的列式数据库管理系统，它是用C++写的，支持SQL实时查询和大型数据库管理系统一般用于后端数仓。
这货不是王马勺·2023-01-27 17:13

【愚公系列】2022年10月 微信小程序-电商项目-微信支付小程序确认支付结果和退款功能实现（node）

文章目录前言一、微信支付小程序确认支付结果和退款功能实现1.确认支付结果2.退款功能实现前言微信小程序在支付成功后会给注册的接口发消息来通知订单支付成功的状态，下面是微信和接口通信的数据格式：微信通知频率为:15s/15s/30s/3m/10m/20m/30m/30m/30m/60m/3h/3h/3h/6h/6h-总计24h4m。一、微信支付小程序确认支付结果和退款功能实现1.确认支付结果cons
愚公搬代码·2023-01-27 10:00

美团OneData建设探索之路：SaaS收银运营数仓建设

但由于缺乏前期规划，导致后期数仓出现了严重的数据质量问题，这给数据治理工作带来了很大的挑战。
数据智能谷·2023-01-27 05:24

使用kylin来分析我们Hbase当中的数据

前面我们已经通过flink将数据介入到了hbase当中去了，那么我们接下来就可以通过hive整合hbase，将hbase当中的数据映射到hive表当中来，然后通过kylin来对hive当中的数据进行预分析，实现实时数仓的统计功能第一步
我还不够强·2023-01-27 00:20

数据仓库日期维表怎么做

最近终于有点时间了，东拼西凑的设计了一个日期维表，也是数仓设计时比较常用的。
乌拉乌拉儿·2023-01-26 18:08

数仓调研app

mp.weixin.qq.com/s/Mhc_vTyR9a9F1BE9uoI9Ww抛弃Hadoop，数据湖才能重获新生(qq.com)详解数据中台的底层架构逻辑（纯干货建议收藏）(qq.com)大数据平台中的企业级数仓建设
空凯空凯空空凯·2023-01-26 11:32

DataX 自学使用

2.1官方地址2.3安装第3章使用案例3.1从stream流读取数据并打印到控制台3.2读取Mysql中的数据存放到Hdfs3.2.1参数解析3.2.2准备数据3.2.3编写配置文件总结前言数据采集在数仓中是指将数据从源数据端采集到目标端的过程
右耳朵耗子·2023-01-26 05:59

Firebolt白皮书

Firebolt号称在速度上碾压其他云原生数仓，但是网上关于其资料不是很多，而且由于它不是走开源路线，没有办法直接了解它的实现。于是翻译了其官方文档的技术白皮书，方便大家学习。
生命的奋进·2023-01-26 04:29

SQL：LATERAL VIEW函数解析多嵌套的json

数据处理中，一遇到json就头大，很长一段时间里，明知lateralview函数是个好东西，但就是很抗拒去学，都是找数仓的同事先理好字段直接用，顺便以菜鸡的身份，同情和膜拜一下埋头洗脏数的数仓同学，大佬辛苦
小素数·2023-01-25 22:46

电商数仓笔记5_数据仓库系统（数仓分层，数仓理论，数仓环境搭建）

电商数仓一、数仓分层1、为什么要分层2、数据集市与数据仓库概念3、数仓命名规范（1）表命名（2）脚本命名（3）表字段类型二、数仓理论1、范式理论（1）范式概念（2）函数依赖（3）三范式区分2、关系建模与维度建模
明灭18·2023-01-23 14:28

电商大数据实时数仓项目实战(Photo)

1.电商大数据实时数仓项目实战(Photo)1.1框架版本选型1.2服务器选型1.3集群规模1.4人员配置参考1.5项目架构1.6实时数仓分层-ODS1.7实时数仓分层-DWD1.8实时数仓分层-DWS1.9
a-tao必须奥利给·2023-01-23 14:58

【电商数仓】关系建模与维度建模、维度表和事实表、几种维度模型、数仓建模原则

星型模型（2）雪花模型（3）星座模型（4）模型的选择4数据仓库建模（1）ODS层（2）DIM层和DWD层选择业务过程声明粒度确定维度确认事实（3）DWS层与DWT层（4）ADS层1关系建模与维度建模如何规范数仓的表格
OneTenTwo76·2023-01-23 14:57

PB级企业电商离线数仓项目实战【上】- notes

PB级企业电商离线数仓项目实战【上】-笔记第一部分数据仓库理论数据仓库四大特征面向主题的:抽象的，逻辑的集成的：为分析服务稳定的：很少更新，只需定期加载反映历史变化的:按照时间顺序追加与数据库区别OLTP
蔷.sir·2023-01-23 14:27

PB级企业电商离线数仓项目实战

项目背景：人类从IT走向DT时代。人们往往可以收集到更多的数据。到2020，全球数据总量将超过40ZB，是2011年的22倍。正在呈爆炸式增长。数据仓库的四大特征：面向主题、集成的、稳定的、反映历史变化的。数据仓库作用：整合企业业务数据，建立统一的数据中心；产生业务报表，了解企业的经营状况；为企业运营、决策提供数据支持；可以作为各个业务的数据源，形成业务数据互相反馈的良性循环；分析用户行为数据，通
大数据人之路·2023-01-23 14:27

[电商实时数仓] 数据仓库建模过程分析

文章目录1.数据仓库概述1.1数据仓库概念1.2数据仓库核心架构2.数据仓库建模概述2.1数据仓库建模的意义2.2数据仓库建模方法论2.2.1ER模型2.2.2维度模型3.维度建模理论之事实表3.1事实表概述3.2事实表分类3.3事务事实表4.维度建模理论之维度表5.数据仓库设计5.1数据仓库分层设计5.2数据仓库构建流程5.2.1数据调研5.2.2明确数据域5.2.3构建业务总线矩阵5.2.4明
OoZzzy·2023-01-23 14:27

在亚马逊云科技上部署无服务器 Apache DolphinScheduler 任务调度系统

背景介绍在数仓ETL、离线及实时计算的场景下，数据任务的依赖调度关系越来越复杂。
亚马逊云开发者·2023-01-21 20:17

中原银行对金融行业实时数仓的现状与发展趋势思考

众所周知，实时数仓落地是一个难点，尤其是金融行业，还没有出现真正所谓的实时报表。金融行业个别案例的实时数仓是在较窄场景、较多限制下的尝试，还不能够称之为实时数仓，如银行普遍的实时报表业务都无法满足。
·2023-01-20 19:45

传统数仓的3大缺陷

本文将对传统数仓的缺陷进行总结。一、效率低传统的数仓大多构建在Hadoop之上。这位传统的数仓带来了近乎无限的横向扩展能力，同时也造成了传统的数仓技术效率低的缺陷。效率低主要体现在以下几个方面。
Impl_Sunny·2023-01-20 02:16

可路由计算引擎实现前置数据库

一方面，数仓是前端应用的数据后台
小虚竹·2023-01-19 05:01

技术分享 | ClickHouse & StarRocks 使用经验分享

一.大纲本篇分享下个人在实时数仓方向的一些使用经验，主要包含了ClickHouse和StarRocks这两款目前比较流行的实时数仓，文章仅代表个人拙见，有问题欢迎指出，Thanks♪(･ω･)ﾉ关于实时数仓
·2023-01-18 17:27

干货 | 携程酒店实时数仓架构和案例

一、实时数仓当前，企业对于数据实时性的需求越来越迫切，因此需要实时数仓来满足这些需求。传统的离线数仓的数据时效性通常为T+1，并且调度频率以天为单位，无法支持实时场景的数据需求。
携程技术·2023-01-18 09:29

深入理解大数据架构之——Lambda架构

数据量的变化数据管理系统（DBMS）和数仓系统（DW）也在悄然的变化着。传统应用的数据系统架构设计时，应用直接访问数据库
LBJ_小松鼠·2023-01-17 15:02

岁末年初捷报频传 HashData斩获多项行业殊荣

在近期各大机构和媒体举办的年终盘点和评选活动中，HashData凭借在产品、服务、技术研发等方面的创新实践，获得众多机构和媒体的高度认可，领跑云原生数仓市场。
·2023-01-17 15:55

Nacos微服务注册中心(SpringCloud)持续完善....

SpringCloudAlibaba提供的一个软件这个软件主要具有注册中心和配置中心的功能,此处先聊注册中心的功能微服务中所有项目都必须注册到注册中心才能成为微服务的一部分注册中心和企业中的人力资源管理部门有相似一般电商项目的微服务结构
拉布拉多拉多不多斯基·2023-01-15 15:42

揭秘阿里云EB级大数据计算引擎MaxCompute

这是ForresterWave首次发布关于云数仓解决方案（CloudDataWarehouse，简称CDW）的测评。
阿里云云栖号·2023-01-14 16:44

数仓知识11：Hadoop生态及Hive、HBase、Impala、HDFS之间的关系

Hive、HBase、Impala、HDFS是Hadoop生态体系中常用的开源产品，各个产品间是一个什么样的关系，许多人都搞不清楚，本文将进行研究分析。Hadoop生态在了解Hive、HBase、Impala、和HDFS之前，先熟悉一下Hadoop的生态。ApacheHadoop软件库是一个框架，允许使用简单的编程模型在计算机集群之间对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台计算机
维克先生·2023-01-14 16:12
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他