E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓(
Flink双流join的3种方式及IntervalJoin源码分析
大数据技术AIFlink/Spark/Hadoop/
数仓
,数据分析、面试,源码解读等干货学习资料117篇原创内容公众号概述在数据库中的静态表上做OLAP分析时,两表join是非常常见的操作。
hyunbar
·
2023-09-25 06:22
Flink
大数据
flink
big
data
spark
【学习笔记】尚硅谷大数据项目之Flink实时
数仓
---DWD和DIM
DWD和DIM1.需求分析及实现思路1.1分层需求分析1.2每层的职能1.3DWD层数据准备实现思路2.环境搭建3.准备用户行为日志DWD层3.1主要任务3.1.1识别新老用户3.1.2利用侧输出流实现数据拆分3.1.3将不同流的数据推送下游的Kafka的不同Topic中3.2代码实现3.2.1接收Kafka数据,并进行转换3.2.2识别新老访客3.2.3利用侧输出流实现数据拆分3.2.4将不同流
在学习的王哈哈
·
2023-09-25 04:49
大数据项目
大数据
学习
flink
尚硅谷大数据项目《在线教育之实时
数仓
》笔记002
视频地址:尚硅谷大数据项目《在线教育之实时
数仓
》_哔哩哔哩_bilibili目录第06章数据仓库环境准备P006P007P008P009P010P011P012P013P014第06章数据仓库环境准备P006P007P008http
upward337
·
2023-09-25 04:19
#
大数据数仓
大数据
数据仓库
实时数仓
酷克数据推出AI开发工具箱HashML 加速企业级AI应用落地投产
近日,业界领先的国产企业级云
数仓
厂商酷克数据发布了下一代In-Database高级分析和数据科学工具箱HashML,在业内率先实现为企业提供随
数仓
部署一步到位、开箱即用的AI能力。
HashData酷克数据
·
2023-09-24 21:05
人工智能
5W字讲解最新大数据面试题
本文目录:一、Hadoop二、Hive三、Spark四、Kafka五、HBase六、Flink七、
数仓
业务方面八、算法HadoopHadoop中常问的就三块,第一:分布式存储(HDFS);第二:分布式计算框架
无精疯
·
2023-09-24 20:59
lamp
scipy
zk
makefile
crm
云数据库的无服务化
当前,云上服务的无服务化是一个大趋势,在应用程序方面有Lambda,在一些数据分析工具和服务上,AWS也都推出了无服务版本,例如ETL服务Glue,
数仓
服务Redshift,Hadoop服务EMR,本篇文章针对无服务化的云数据库
ladofwind
·
2023-09-24 16:37
云数据库
数据库
Flink 对线面试官:6 个面试高频实战问题
:star:架构设计的能力:在实时
数仓
的分层设计中,具体的分层设计方案是怎样的?和离线
数仓
又有什么区别?你设计的实时
十一技术斩
·
2023-09-24 16:52
flink
面试
java
spring
boot
后端
大数据-
数仓
分层之DWD
一、DWD层描述脚本:1)对用户行为数据解析。2)对核心数据进行判空过滤。3)对业务数据采用维度模型重新建模。1.1日志分析1.1.1用户行为日志解析(1)页面埋点日志(2)启动日志1.1.2get_json_object函数使用1)数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]2)取出第一个js
爱搞技术的吴同学
·
2023-09-24 14:44
大数据
经验分享
linux
大数据-
数仓
分层之ADS
ADS层描述ads层主要就是最后需要分析的数据,可以从各种纬度,这就需要根据业务来判断最后选择哪一些纬度来进行分析,比如经典的就是,根据地区来展示地图,看每个地区的人每天的下单数量,或者一段时间内的下单数量到这一层直接启动脚本就可以了:[root@hadoop102bin]$dwt_to_ads.sh2020-06-18
爱搞技术的吴同学
·
2023-09-24 14:44
大数据
经验分享
linux
Datax从mysql同步数据到HDFS
在实际使用Datax的时候,比较常用的是同步业务数据(mysql中的数据)到HDFS来实现
数仓
的创建,那么怎么实现呢?
一杯咖啡半杯糖
·
2023-09-24 13:47
Datax
mysql
datax
数仓
体系效率全面提升!同程数科基于 Apache Doris 的数据仓库建设
应用实践|
数仓
体系效率全面提升!同程数科基于ApacheDoris的数据仓库建设导读:同程数科成立于2015年,是同程集团旗下的旅游产业金融服务平台。
SelectDB技术团队
·
2023-09-24 10:10
大数据
apache
数据库
数据仓库
后端
大数据杂谈
架构师如何在面试中说服面试官根据课程项目做一些改动(变成自己熟悉的东西),形成一个新的项目,去增强面试的能力学习建议勤动手,执行范例多思考结合实际业务,深入思考会排错查看日志学会查阅官方文档定目标做分享所学知识运用到实际项目中番外数据湖是
数仓
的增强版本格式管理数据管理时间旅行
February13
·
2023-09-24 08:26
大数据
订单正逆向流程
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档订单的正逆向流程前言针对零售行业
数仓
中订单业务相关的一些业务流程节点介绍正文总结前言提示:这里可以添加本文要记录的大概内容:针对零售行业
数仓
中订单业务相关的一些业务流程节点介绍提示
February13
·
2023-09-24 08:55
数据仓库
ETLCloud助力富勒TMS实现物流
数仓
同步
富勒TMS提供了多种运输管理业务的解决方案,极大的方便了企业对物流的管理和人力输出,同时提供了大量的API接口,供用户做数据集成和
数仓
同步。
ETLCloud数据集成社区
·
2023-09-24 06:50
etl
数据仓库整理
数仓
olapvsoltpOLTP主要用于支持日常的业务操作,如银行交易、电子商务等,强调数据的准确性、实时性和并发性。
haobu枳
·
2023-09-24 04:17
数据仓库
阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时
数仓
企业最常见的做法就是通过构建实时
数仓
来满足对数据的快速探索。
Flink中文社区
·
2023-09-23 21:48
2023-2024年最新大数据学习路线
文章目录2023-2024年最新大数据学习路线大数据开发入门*01*阶段案例实战大数据核心基础*02*阶段案例实战千亿级
数仓
技术*03*阶段项目实战PB级内存计算04阶段项目实战亚秒级实时计算*05*阶段项目实战大厂面试
Maynor996
·
2023-09-23 17:08
大数据
学习
开发语言
数据库
实时
数仓
新选择——Doris构建实时
数仓
落地方案详解
一、实时数据仓库概述**首先,**我们从数据仓库说起。数据仓库的概念可以追溯到20世纪80年代,当时IBM的研究人员提出了商业数据仓库的概念。数据仓库概念的提出,是为了解决和数据流相关的各种问题,特别是多重数据复制带来的高成本问题。数据仓库之父BillInmon在1991年出版的《BuildingtheDatlaWarehouse》一书中首次提出了数据仓库的概念。Inmon将数据仓库描述为一个面向
胖胖胖胖胖虎
·
2023-09-23 13:32
Flink
doris
数据仓库
doris
flink
数据仓库
大数据项目实战之数据仓库:电商数据仓库系统——第10章
数仓
开发之DWS层
文章目录第10章
数仓
开发之DWS层10.1最近1日汇总表10.1.1交易域用户商品粒度订单最近1日汇总表10.1.2交易域用户商品粒度退单最近1日汇总表10.1.3交易域用户粒度订单最近1日汇总表10.1.4
yiluohan0307
·
2023-09-23 13:29
大数据项目实战之数据仓库
大数据
数据仓库
华为云 FusionInsight 大数据技术普惠创新,释放千行百业数据价值
专题日上,还重磅发布实时
数仓
新品。大会的精彩内容,让我们一起来看下吧!大数据技术普惠创新,释放千
数据湖洞见
·
2023-09-23 10:37
大数据
spark
hadoop
同一份数据全域共享,HashData UnionStore实时性背后的故事
时至今日,数据已经被越来越多的企业视为发展的战略资源,而云
数仓
则是数据发挥重要价值的关键媒介。
HashData酷克数据
·
2023-09-23 09:59
数据库
大数据
数据仓库
【ODPS 新品发布第 2 期】实时
数仓
Hologres:推出计算组实例/支持 JSON 数据/向量计算+大模型等新能力
云布道师阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心,致力于解决用户多元化数据的计算需求问题,实现存储、调度、元数据管理上的一体化架构融合,支撑交通、金融、科研、等多场景数据的高效处理,是目前国内最早自研、应用最为广泛的一体化大数据平台。本期将重点介绍ꔷHologres推出计算组实例ꔷHologres支持JSON数据ꔷHologres向量计算+大模型能力
云布道师
·
2023-09-23 06:25
阿里云
一百八十二、大数据离线
数仓
——离线
数仓
从Kafka采集、最终把结果数据同步到ClickHouse的完整
数仓
流程(待续)
一、目的经过6个月的奋斗,项目的离线
数仓
部分终于可以上线了,因此整理一下离线
数仓
的整个流程,既是大家提供一个案例经验,也是对自己近半年的工作进行一个总结。
天地风雷水火山泽
·
2023-09-23 05:38
Hadoop
大数据
kafka
hive
使用 Databend 加速 Hive 查询
许多企业的
数仓
/数据湖中都有PB级的数据,其中绝大多数都属于旧有系统中的
Databend
·
2023-09-23 03:27
hive
hadoop
数据仓库
【活动回顾】Serverless
数仓
技术与挑战(内含 PPT 下载)
下午,DatabendLabs联合创始人张雁飞作为「Serverless
数仓
技术与挑战」专题的演讲嘉宾进行了分享。
Databend
·
2023-09-23 03:56
serverless
云原生
Docker安装与镜像的使用
大数据技术AIFlink/Spark/Hadoop/
数仓
,数据分析、面试,源码解读等干货学习资料102篇原创内容公众号1、docker简介=============1.1什么是dockerdocker官网地址
hyunbar
·
2023-09-22 22:08
大数据
docker
容器
运维
同一份数据全域共享,HashData UnionStore实时性背后的故事
时至今日,数据已经被越来越多的企业视为发展的战略资源,而云
数仓
则是数据发挥重要价值的关键媒介。
·
2023-09-22 16:27
数据库postgresql
ByConity 技术详解之 ELT
传统的数据转换过程一般采用Extract-Transform-Load(ETL)来将业务数据转换为适合
数仓
的数据模型,然而,这依赖于独立于
数仓
外的ETL系统,因而维护成本较高。ByConity作为云原
·
2023-09-22 16:27
实时
数仓
混沌演练实践
一、背景介绍目前实时
数仓
提供的投放实时指标优先级别越来越重要,不再是单独的报表展示等功能,特别是提供给下游规则引擎的相关数据,直接对投放运营的广告投放产生直接影响,数据延迟或者异常均可能产生直接或者间接的资产损失
·
2023-09-22 16:55
运维后端
Flink Batch SQL Improvements on Lakehouse
内容主要分为三个部分:FlinkBatchonPaimon挑战FlinkBatch核心优化后续规划点击查看原文视频&演讲PPT一、FlinkBatchonPaimon挑战众所周知,Paimon在创立之初就是为了解决流式
数仓
场景的问题
·
2023-09-22 12:29
后端flink大数据
Apache Druid 数据结构及架构原理介绍
由于Druid能够同时提供离线和实时数据的查询,因此Druid最常用作为GUI分析、业务监控、实时
数仓
的数据存储系统。
zxf126126
·
2023-09-21 18:04
druid
apache
Tapdata Connector 实用指南:云原生
数仓
场景之数据实时同步到 Databend
【前言】作为中国的“Fivetran/Airbyte”,Tapdata是一个以低延迟数据移动为核心优势构建的现代数据平台,内置60+数据连接器,拥有稳定的实时采集和传输能力、秒级响应的数据实时计算能力、稳定易用的数据实时服务能力,以及低代码可视化操作等。典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖,以及通用ETL处理等。引用随着TapdataConnector的不断增长,我们最新推
·
2023-09-21 14:28
数据库mysql
ELT in ByteHouse 实践与展望
传统的数据转换过程一般采用Extract-Transform-Load(ETL)来将业务数据转换为适合
数仓
的数据模型
·
2023-09-21 12:18
大数据数据库云原生
ELT in ByteHouse 实践与展望
传统的数据转换过程一般采用Extract-Transform-Load(ETL)来将业务数据转换为适合
数仓
的数据模型
·
2023-09-21 12:46
大数据数据库云原生
电商
数仓
学习笔记(一)
第一章数据仓库概念第二章项目需求及架构设计项目需求项目框架第三章数据生成模块目标数据数据埋点服务器和jdk准备编写集群分发脚本xsync模拟数据集群日志生成脚本第四章数据采集模块集群所有进程查看脚本Hadoop安装LZO压缩配置LZO创建索引Hadoop参数调优Zookeeper安装ZK集群启停脚本Kafka安装Kafka集群安装安装部署Kafka集群启动停止脚本Kafka常用命令Kafka机器数
芝士雪豹.
·
2023-09-21 06:01
大数据
hadoop
数仓
主题域和数据域、雪花模型,星型模型和星座模型
数仓
模型和领域划分一、主题域和数据域的差别二、雪花模型,星座模型和星型模型一、主题域和数据域的差别明确数据域作为
数仓
搭建的重要一环,能够让
数仓
的数据便于管理和应用。
Aimyon_36
·
2023-09-20 23:23
数据仓库
spark
大数据
分布式
Hologres揭秘:优化COPY,批量导入性能提升5倍+
Hologres(中文名交互式分析)是阿里云自研的一站式实时
数仓
,这个云原生系统融合了实时服务和分析大数据的场景,全面兼容PostgreSQL协议并与大数据生态无缝打通,能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
阿里云Hologres
·
2023-09-20 20:38
第三章 数据同步
但是当数据量较大时,此方法抽取数据较慢,不适合用于从数据库同步到
数仓
。2.数据文件同步源数据库以约定的格式,编码,大小等信息生成对应的文件,再通过
发呆的熊猫
·
2023-09-20 18:46
如何快速从 ETL 到 ELT?火山引擎 ByteHouse 做了这三件事
在
数仓
及分析领域,海量数据则主要采按列的方式储存。因此,将数据从行级转换成列级存储是建立企业
数仓
的基础能力。传统方式是采用Extract-Transform-Load
字节数据平台
·
2023-09-20 18:41
etl
火山引擎
数据仓库
【大数据】Doris 构建实时
数仓
落地方案详解(三):Doris 实时
数仓
设计
本系列包含:Doris构建实时
数仓
落地方案详解(一):实时数据仓库概述Doris构建实时
数仓
落地方案详解(二):Doris核心功能解读Doris构建实时
数仓
落地方案详解(三):Doris实时
数仓
设计Doris
G皮T
·
2023-09-20 08:10
大数据
大数据
数据仓库
Doris
流批一体
Lambda
Kappa
实时数仓
【大数据】Doris 构建实时
数仓
落地方案详解(一):实时数据仓库概述
本系列包含:Doris构建实时
数仓
落地方案详解(一):实时数据仓库概述Doris构建实时
数仓
落地方案详解(二):Doris核心功能解读Doris构建实时
数仓
落地方案详解(三):Doris实时
数仓
设计Doris
G皮T
·
2023-09-20 08:40
大数据
大数据
数据仓库
Doris
实时数仓
MPP架构
Hadoop
HDFS
【大数据】Doris 构建实时
数仓
落地方案详解(二):Doris 核心功能解读
本系列包含:Doris构建实时
数仓
落地方案详解(一):实时数据仓库概述Doris构建实时
数仓
落地方案详解(二):Doris核心功能解读Doris构建实时
数仓
落地方案详解(三):Doris实时
数仓
设计Doris
G皮T
·
2023-09-20 08:40
大数据
大数据
数据仓库
Doris
实时数仓
MPP架构
Hadoop
HDFS
【大数据】Doris 构建实时
数仓
落地方案详解(三):Doris 实时
数仓
设计
本系列包含:Doris构建实时
数仓
落地方案详解(一):实时数据仓库概述Doris构建实时
数仓
落地方案详解(二):Doris核心功能解读Doris构建实时
数仓
落地方案详解(三):Doris实时
数仓
设计Doris
G皮T
·
2023-09-20 08:38
大数据
大数据
数据仓库
Doris
流批一体
Lambda
Kappa
实时数仓
MatrixDB数据库学习——筑梦之路
为万物互联的智能时代提供坚实、简洁的智能数据核心基础设施,为物联网应用、工业互联网、智能运维、智慧城市、实时
数仓
、智能家居、车
筑梦之路
·
2023-09-20 05:55
数据库技术
数据库
big
data
数据仓库
数仓
规范随记
数仓
分层以《大数据之路:阿里巴巴大数据实践》中五层(ods/dwd/dws/dim/ads)分类为基础划分,有序列表记录是分层大类,分层大类下的无需列表是分层小类或者说真正落地的:ods:近源层/贴源层
mizuhokaga
·
2023-09-20 00:56
总结
大数据
深度解读 Flink 1.11:流批一体 Hive
数仓
2020-06-02
Flink1.11中流计算结合Hive批处理
数仓
,给离线
数仓
带来Flink流处理实时且Exactly-once的能力。
会飞的鱼go
·
2023-09-19 14:06
Flink 离线批处理 Mysql to Hive 离线
数仓
flinkmysqltohive我本地用的版本是flink1.13.2scala2.11,hive3.1.2环境配置1,source端读取mysql导入FLINK_HOME/lib,flink-connector-jdbc.jar2.sink端写入Hive,导入FLINK_HOME/lib,flink-sql-connector-hive注意如果没有找到自己对应版本的flinkhive包的话就导入
aaaak_
·
2023-09-19 11:56
大数据
hive
flink
mysql
Databend 开源周报第 111 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2023-09-19 09:51
开源
数据库
支持多数据源联合查询的本地运行SQL执行引擎syncnany-SQL安装和配置
在微服务和云原生愈发流行的今天,数据的分布也愈发脱离单库单机而更加复杂,使用的数据库类型也会更多,但业务的复杂依然会带来了大量的数据查询和导出需求,而很多时候我们很难为数据量的大部分系统创建完整的BI
数仓
系统
·
2023-09-19 09:22
支持多数据源联合查询的SQL运行引擎sycnany-SQL添加使用自定义函数
在微服务和云原生愈发流行的今天,数据的分布也愈发脱离单库单机而更加复杂,使用的数据库类型也会更多,但业务的复杂依然会带来了大量的数据查询和导出需求,而很多时候我们很难为数据量的大部分系统创建完整的BI
数仓
系统
·
2023-09-19 09:22
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他