E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据仓库(数仓)
数仓
中数据清洗的方法
在数据采集的过程中,需要从不同渠道获取数据并汇集在
数仓
中,采集的原始数据首先需要进行解析,然后对不准确、不完整、不合理、格式、字符等不规范数据进行过滤清洗,清洗过的数据才能更加符合需求,从而使后续的数据分析应用更为准确
小小哭包
·
2023-11-26 18:10
大数据
数据仓库
数据清洗
火山引擎 ByteHouse 的增强型数据导入技术实践
作为一款OLAP引擎,火山引擎云原生
数据仓库
ByteHouse源于开源ClickHouse,在字节跳动多年打磨下,提供更丰富的能力和更强性能,能为用户带来极速分析体验,支撑实时数据
字节跳动技术团队
·
2023-11-26 13:04
火山引擎
数据仓库
:简要理解
数据仓库
是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。
宅家学算法
·
2023-11-26 08:45
漫谈实时
数仓
架构
|0x00从实时
数仓
的历史谈起实时
数仓
的历史,有三个显著的分水岭。
晓阳的数据小站
·
2023-11-26 08:39
千亿
数仓
项目--离线部分杂记
一、电商行业的相关介绍电商行业介绍电商行业技术特点技术新技术范围广分布式高并发、集群、负载均衡、高可用海量数据业务复杂系统安全电商业务系统简介网站采用商家入驻的模式,商家入驻平台提交申请,由平台进行资质审核;审核通过后,商家拥有独立的管理后台录入商品信息,商品经过平台审核后即可发布。大多电商平台由三部分组成:网站前台运营商后台商家管理后台网站前台网站前台通常由这几部分构成:网站首页商家首页商品详细
sanerbaby
·
2023-11-26 07:51
大数据
数据仓库
离线--千亿级
数仓
项目-黑马
大数据
数仓
项目简介业务流程本次
数仓
业务流程主要分为两类,一类是用户下单、提交订单、支付、退款这一条线,另一类是我们收集用户的页面行为数据:用户搜索商品、添加购物车、提交订单、支付订单的日志数据,分析电商网站常见的
紫金小飞侠
·
2023-11-26 05:13
#
大数据项目
【黑马甄选离线
数仓
day05_核销主题域开发】
1.指标分类通过沟通调研,把需求进行分析、抽象和总结,整理成指标列表。指标有原子指标、派生指标、衍生指标三种类型。原子指标基于某一业务过程的度量值,是业务定义中不可再拆解的指标,原子指标的核心功能就是对指标的聚合逻辑进行了定义。可以得出结论,原子指标包含三要素,分别是业务过程、度量值和聚合逻辑。例如订单总额就是一个典型的原子指标,其中的业务过程为用户下单、度量值为订单金额,聚合逻辑为sum()求和
LKL1026
·
2023-11-26 05:11
黑马甄选离线数仓项目
大数据
大数据---离线
数仓
实战项目(一)
离线
数仓
实战---网站流量日志分析系统一、网站流量日志分析背景1.1、网站分析的意义1.2、如何进行网站分析1.2.1、网站流量质量分析(流量分析)1.2.2、网站流量多维度细分(流量分析)1.2.3、
静_步
·
2023-11-26 05:41
#
1.2
大数据_项目
大数据
数据仓库
【黑马甄选离线
数仓
day04_维度域开发】
1.维度主题表数据导出1.1PostgreSQL介绍PostgreSQL是一个功能强大的开源对象关系数据库系统,它使用和扩展了SQL语言,并结合了许多安全存储和扩展最复杂数据工作负载的功能。官方网址:PostgreSQL:Theworld'smostadvancedopensourcedatabase中文文档:http://www.postgres.cn/docs/14/index.htmlPos
LKL1026
·
2023-11-26 05:08
黑马甄选离线数仓项目
数据仓库
大数据
笔记
Day68 Kafka 快速实战 核心原理
Storm/Spark流式处理引擎web/nginx,访问日志消息服务开放统一接口给consumerhadoop,hbase等.装载到hadoop,
数仓
etl做离线分析和数据挖掘.ScreenShot2022
小周爱吃瓜
·
2023-11-25 21:31
基于 Flink SQL 和 Paimon 构建流式湖仓新方案
传统
数仓
包括Hive、Hadoop正在往湖、Lakehouse架构上演进,L
阿里云大数据AI技术
·
2023-11-25 15:52
flink
sql
大数据
Flink CEP 在抖音电商的实践
本文整理自抖音电商实时
数仓
研发工程师张健,在FlinkForwardAsia实时风控专场的分享。本篇内容主要从FlinkCEP简介、业务场景与挑战、解决方案实践和未来展望四个方面展开介绍。
字节跳动云原生计算
·
2023-11-25 15:00
flink
同程数科基于 Apache Doris 构建统一实时
数仓
,查询提速数十倍!
为帮助业务人员提升数据开发的效率与质量,同程数科历经三代架构演进,最终引入ApacheDoris搭建统一实时
数仓
,在后续的实际应用中,将实时
数仓
平台化,进一步构建了一站式数据平台Ark,为业务人
SelectDB技术团队
·
2023-11-25 13:29
最佳实践
大数据
数据仓库
数据分析
doris
mysql
hive
数据库架构
Hive
数据仓库
数据仓库
的介绍
数据仓库
的基本概念
数据仓库
,英文名称为DataWarehouse,可简写为DW或DWH。
程序猿小1z
·
2023-11-25 09:49
hive
数据仓库
Hive
Hive3.1.2目录Hive3.1.21、
数据仓库
概念1.2、传统仓库面临的挑战2、Hive简介2.1、Hive的特点2.2、Hive的优缺点2.3、Hive与Hadoop生态系统中的关系2.4、Hive
忄凝^
·
2023-11-25 09:48
大数据
hadoop
大数据
hive
Hive
数据仓库
工具基本架构和入门部署详解
优质资源分享学习路线指引(点击解锁)知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合,从项目搭建到腾讯云部署上线,打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统@目录*概述+定义+本质+特点+Hive与Hadoop关系+Hive与关系型数据库区别+优缺点+其他说明架构组成部分数据模
虚幻私塾
·
2023-11-25 09:15
python
数据仓库
hive
架构
计算机
分布式数据恢复-hbase+hive分布式存储误删除如何恢复数据?
hbase+hive分布式存储数据恢复环境:16台某品牌R730XD服务器节点,每台物理服务器节点上有数台虚拟机,虚拟机上配置的分布式,上层部署hbase数据库+hive
数据仓库
。
北亚数据恢复
·
2023-11-25 09:37
服务器数据恢复
数据恢复
存储数据恢复
北亚数据恢复
数据恢复
服务器数据恢复
hbase
hive
物流实时
数仓
:
数仓
搭建(ODS)
系列文章目录物流实时
数仓
:采集通道搭建物流实时
数仓
:
数仓
搭建文章目录系列文章目录前言一、IDEA环境准备1.pom.xml2.目录创建二、代码编写1.log4j.properties2.CreateEnvUtil.java3
超哥--
·
2023-11-25 09:53
物流实时数仓
flink
大数据
DTCC专访:南大通用GBase云上逻辑
数据仓库
助力行业数字化转型升级
日前,在第十二届中国数据库技术大会(DTCC2021)期间,南大通用数据智能产品经营部总经理张绍勇受邀围绕《GBase云上逻辑
数据仓库
助力行业迎接数字化转型新挑战》的演讲主题进行专题访谈。
GBASE数据库
·
2023-11-25 09:23
GBASE新闻
sql
数据库
人工智能
(二)大数据---Hadoop组件介绍,区别
分布式资源管理MapReduce、Spark、Flink:分布式计算框架Yarn/Mesos:分布式资源管理器zookeeper:分布式协作服务sqoop:数据同步工具hive/Impala基于Hadoop的
数据仓库
(─__─)
·
2023-11-25 07:37
Hadoop
hadoop
big
data
大数据
常用数据存储格式介绍:Excel、CSV、JSON、XML
然而,在提取数据之后,并将其加载到数据库或
数据仓库
之前,需要将数据转化为可用的数据存储格式。
PDF Reader Pro
·
2023-11-24 19:06
excel
json
xml
csv
数据库
大数据之Hadoop流存储
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程,以及
数据仓库
工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心。
陌名_9b41
·
2023-11-24 18:01
熵简技术谈 | 熵简科技在资管数据中台的探索与实践
本文将从
数据仓库
建设、数据管理和开发和数据服务体系三个维度介绍数据中台在资管场景下的落地规范和方案。作者信息:熵简科技Airworks团队,团队致力于打
熵简科技Value Simplex
·
2023-11-24 17:46
数据中台
科技
数据仓库
big
data
数据挖掘
数据分析
【黑马甄选离线
数仓
day03_
数仓
设计和维度域开发】
1.
数仓
基本概念1-什么是
数据仓库
呢?存储数据的仓库,主要用于存储过去历史发生过的数据,面向主题,对数据进行统计分析的操作,从而能够对未来提供决策支持2-
数据仓库
最大的特点是什么呢?
LKL1026
·
2023-11-24 16:37
数据仓库
大数据
笔记
AnalyticDB for PostgreSQL 实时
数据仓库
上手指南
AnalyticDBforPostgreSQL实时
数据仓库
上手指南2019-04-016601版权本文涉及的产品云原生
数据仓库
ADBPostgreSQL,4核16G50GB1个月推荐场景:构建的企业专属
行走在云端z
·
2023-11-24 16:05
postgresql
数据仓库
etl
【黑马甄选离线
数仓
day02_数据采集】
1.
数仓
工具使用-DataX1.1DataX介绍DataX是阿里推出的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP
LKL1026
·
2023-11-24 16:02
数据仓库
大数据
笔记
猿创征文|Apache Doris物化视图介绍
众所周知ApacheDoris是一款MPP分析型
数据仓库
,仅需压秒级就可以快速响应用户的查询需求。
码猿小站
·
2023-11-24 16:59
Doris
数据库
数据仓库
big
data
【文档笔记】doris
数据仓库
-数据表设计:Rollup 与查询
Rollup与查询基本概念Aggregate和Unique模型中的ROLLUPDuplicate模型中的ROLLUPROLLUP使用说明基本概念ROLLUP在多维分析中是“上卷”的意思,即将数据按某种指定的粒度进行进一步聚合。Rollup可以理解为Table的一个物化索引结构。物化是因为其数据在物理上独立存储,而索引的意思是,Rollup可以调整列顺序以增加前缀索引的命中率,也可以减少key列以增
KevinBrain
·
2023-11-24 16:44
大数据
数据仓库
doris
大数据
数据库架构
etl工程师
数仓
成本下降近一半,StarRocks 存算分离助力云览科技业务出海
成都云览科技有限公司倾力打造了凤凰浏览器,专注于为海外用户提供服务,公司致力于构建一个全球性的数字内容连接入口,为用户带来更为优质、高效、个性化的浏览体验。作为数据驱动的高科技公司,从数据中挖掘价值一直是公司核心任务,公司以前选用了众多组件来提升内部大数据分析效率,如Trino作为即席查询的工具、用ClickHouse和StarRocks来加速报表业务查询,但经过长期实践,最终决定将所有内部数据分
StarRocks_labs
·
2023-11-24 12:31
后端
数据仓库
建设体系
数据仓库
概念:英文名称为DataWarehouse,可简写为DW或DWH。
数据仓库
的目的是构建面向分析的集成化数据环境,为企业提供决策支持(DecisionSupport)。
000X000
·
2023-11-24 12:00
数据仓库
实战
数据分析
数据仓库建设体系
数据仓库
数据仓库建设
大数据
数据仓库
建设流程概述
数据仓库
的逻辑分层架构:想看懂
数据仓库
的逻辑分层架构,必须先弄懂以下4大概念。
000X000
·
2023-11-24 12:00
数据中台
数据仓库
实战
数据仓库
big
data
hadoop
1、
数仓
模型概述
数仓
领域中的模型指的是数据模型,要和商业分析中的模型不同数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用的角度合理的存储数据2、问:模型和表的区别?
广阔天地大有可为
·
2023-11-24 12:57
数据仓库建设与企业案例
spark
大数据
分布式
大数据基础中台-
数据仓库
建设
一、数据模型架构原则
数仓
分层原则优秀可靠的
数仓
体系,往往需要清晰的数据分层结构,即要保证数据层的稳定又要屏蔽对下游的影响,并且要避免链路过长。那么问题来了,一直在讲
数仓
要分层,那
数仓
分几层最好?
SmartBrain
·
2023-11-24 12:22
大数据平台架构设计
数据仓库
big
data
hadoop
数据仓库
建模理论及实践-从0到1
目录1.
数据仓库
的概念1.1
数据仓库
的核心架构1.2
数据仓库
建模的意义1.2
数据仓库
建模方法论1.2.1ER模型1.2.2维度模型1.3维度建模之事实表1.3.1事务事实表1.3.2快照事实表1.3.3
OhTango
·
2023-11-24 12:21
数据仓库建模
数据仓库
大数据
数据分析
数据挖掘
3、如何从0到1去建设
数据仓库
1、
数仓
实施过程1.1数据调研数据调研包括:业务调研、需求调研业务调研需要调研企业内有哪些业务线、业务线的业务是否还有相同点和差异点各个业务线有哪些业务模块,每个模型下有哪些业务流程,每个流程下产生的数据是怎样存储的业务调研完后的产出
广阔天地大有可为
·
2023-11-24 12:50
数据仓库建设与企业案例
数据仓库
spark中write算子和format算子详解
在spark中,想要往数据库或者某sink路径里面写数据,存到外部存储系统,如文件系统、数据库或
数据仓库
,经常会用到write算子。
后季暖
·
2023-11-24 11:02
spark
大数据
分布式
MySQL 日期表制作
日期维度表是
数据仓库
设计中的重要部分,它在数据分析和商业智能领域有着很广泛的应用:数据完整性和一致性:日期维度表提供了一系列连续的日期值,确保
数据仓库
中时间维度的完整性和一致性。
有请小发菜
·
2023-11-24 09:06
Mysql
mysql
数据库
Flink SQL 1.11新功能详解:Hive
数仓
实时化 & Flink SQL + CDC 实践
问题导读1.Flink1.11有哪些新功能?2.如何使用flink-cdc-connectors捕获MySQL和Postgres的数据变更?3.怎样利用FlinkSQL做多流join后实时同步到Elasticsearch中?1Flink1.8~1.11社区发展趋势回顾自2019年初阿里巴巴宣布向Flink社区贡献Blink源码并在同年4月发布Flink1.8版本后,Flink在社区的活跃程度犹如坐
000X000
·
2023-11-24 06:18
Flink1.11
实时数仓
实时计算
Flink
SQL
1.11
数据中台建设方法论
1、
数仓
的概念和了解--业务的痛点产生的痛点:数据资产比较模糊、数据的质量比较低、重复建设、代码的耦合性比较强。2、
数据仓库
中的常见的模型:1、心型模型:中间是一张事实表,周围都是维度表。
新手小农
·
2023-11-24 02:08
数据仓库
大数据
HiveSQL解析原理:包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
Hive是基于Hadoop的一个
数据仓库
系统,在各大公司都有广泛的应用。美团
数据仓库
也是基于Hive搭建,每天执行近万次的HiveETL计算流程,负责每天数百GB的数据存储和分析。
数仓大山哥
·
2023-11-24 02:00
hive
hive
mapreduce
sql执行原理
代码思路分享 计算机毕业设计Python+Hadoop+Spark+Hive旅游可视化 旅游数据分析
数据仓库
旅游推荐系统 旅游大数据 大数据毕业设计 大数据毕设
涉及技术hadoophiveazkabanpython爬虫huesqoopmysql运行截图
haochengxu2022
·
2023-11-24 00:09
推荐系统
机器学习
数据分析
大数据
hive
hadoop
详解Redis的使用及缓存特性
这是springBoot框架的第二篇,REDIS的使用关联文章SpringBoot工程搭建详解缓存Redis详解
数仓
ElasticSearch详解消息中间件Kafka本文目录回答三个问题SpringBoot
知春路SpideMan
·
2023-11-23 18:00
中间件Middleware
redis
java
分布式
缓存
jedis
离线
数仓
03——业务数据采集平台
文章目录第1章电商业务简介1.1电商业务流程1.2电商常识1.2.1SKU和SPU1.2.2平台属性和销售属性第2章业务数据介绍2.1电商系统表结构2.1MySQL安装2.1.1安装包准备2.1.2安装MySQL2.1.3配置MySQL2.2业务数据模拟2.2.1连接MySQL2.2.2建表语句2.2.3生成业务数据2.2.4业务数据建模第3章业务数据采集模块3.1采集通道3.2采集工具3.3采集
就是这个范~
·
2023-11-23 18:11
离线数仓
数据库
大数据
数据仓库
大数据-
数仓
-数据采集-业务数据(三):增量同步采集【MySQL-(Maxwell)->Kafka-(Flume)->HDFS】【每日增量:每天只将业务数据中新增及变化的数据同步到
数据仓库
】
增量同步策略解释:每日增量,就是每天只将业务数据中的新增及变化的数据同步到
数据仓库
中,适用:表数据量大,且每天只会有新的数据插入的场景,特点:采用每日增量的表,通常会在首日先进行一个全量同步。
u013250861
·
2023-11-23 18:41
#
大数据
【大数据】
数仓
5.0_业务采集➕数据同步策略(
数仓
环境搭建完成)
file_to_kafka.conf)二、业务数据采集平台1.电商业务简介1.1.电商业务流程1.2.电商常识2.业务数据介绍2.1.电商系统表结构2.2.MySQL安装2.3.业务数据模拟3.业务数据采集模块三、离线
数仓
数据同步策略
欧叶冲冲冲
·
2023-11-23 18:04
数仓
大数据
zookeeper
hive
flume
kafka
hdfs
数据仓库
2023.11.22 -
数据仓库
的概念和发展
spm=1001.2014.3001.55011经典传统
数仓
架构2离线大数据
数仓
架构3
数据仓库
三层数据运营层,源数据层(ODS)(OperationalDataStore)
数据仓库
层(DW)(DataWarehouse
白白的wj
·
2023-11-23 16:16
数据仓库
hdfs
hadoop
大数据
sql
database
2023.11.22
数据仓库
2-维度建模
目录1.
数仓
建设方案2.
数仓
结构图,项目架构图2.1项目架构图2.2
数仓
结构图3.建模设计4.维度建模什么是事实表:什么是维度表:数据发展模式y以及对应的模型5.
数仓
建设规范数据库划分规范表命名规范表字段类型规范
白白的wj
·
2023-11-23 16:14
数据仓库
大数据
数据库
hadoop
hive
sql
big
data
AppLink定时调度操作
RestCloudAppLink2.点击授权管理3.点击应用认证菜单4.新建拼多多授权认证基础定时调度配置1.拉取一个定时器作为触发动作,通过配置定时器调度时间将定时策略配置为每天执行一次2.触发动作完成后读取mysql
数仓
RestCloud
·
2023-11-23 13:39
AppLink
零代码
定时调度
2、
数仓
理论概述与相关概念
1、问:
数据仓库
建设过程中经常会遇到那些问题?
广阔天地大有可为
·
2023-11-23 12:39
数据仓库建设与企业案例
大数据
20.大数据---Hive基础介绍
Hive是基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
学无止境的大象
·
2023-11-23 12:07
#
大数据
hive
big
data
hadoop
上一页
16
17
18
19
20
21
22
23
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他