E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Doris数仓
数据仓库面试题集锦(附答案和
数仓
知识体系),面试必过
数据仓库模型的选择是灵活的,不局限与某种模型方法;数据仓库数据是灵活的,以实际需求场景为导向;
数仓
设计要兼顾灵活性、可扩展性、要考虑技术可靠性和实现成本1)调研:业务调研、需求调研、数据调研2)划分主题域
m0_60635001
·
2025-02-26 13:20
2024年程序员学习
数据仓库
面试
spark
preview_220624,Day08_DM层建设实战,
一些公司早期的数据集市后期可能会演变成为
数仓
系统。本项目中在数据集市层面主要进行粗粒度汇总,也可以将这些功能下放至DWS层完成。
啊六六六
·
2025-02-26 04:51
Python
大数据
数据挖掘
数据仓库
Spark提交任务
Spark提交任务到Yarn1.1、DwKuduAppspark-submit--classcom.io.etl.dwkudu.DwKuduApp\--files/etl/etl-dwkudu/conf/
doris
.property
docsz
·
2025-02-26 04:50
spark
spark
大数据
数仓
建模—数据管理能力成熟度评估模型(DCMM)
文章目录
数仓
建模—数据管理能力成熟度评估模型(DCMM)数据管理能力成熟度研究现状国外研究现状国内研究现状DCMM与其他数据管理体系有什么区别什么是DCMMDCMM包含哪些内容DCMM等级评估等级划分什么样的企业可以申请
不二人生
·
2025-02-26 02:07
数仓建模
数据仓库
数仓建模
简单搞定
数仓
搭建:
数仓
规范
1.数据模型架构规范1.1数据层次的划分ODS:OperationalDataStore,操作数据层,在结构上其与源系统的增量或者全量数据基本保持一致。它相当于DW数据的一个数据准备区,同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到DMP。CDM:CommonDataModel,公共维度模型层,又细分为DWD和DWS。它的主要作用是完成数据加工与整合,建立一致性的维度,构建可
白枭
·
2025-02-26 01:59
大数据开发
数仓
hive
数仓
搭建实操(传统
数仓
orale):DM数据集市层
需求:根据映射表建表个贷客户违约信息表建表CREATETABLEDM.PERSON_LOAN_WY_INFO(DATE_DTDATE,CUST_CUNTNUMBER,CUST_FINNUMBER,CUST_BADNUMBER,CUST_FIN_PERVARCHAR2(30),CUST_BAD_PERVARCHAR2(30),CUST_EXC_RATVARCHAR2(30));COMMENTONCO
想做富婆
·
2025-02-25 20:54
数仓
大数据
数仓
doris
:使用 Hint 调整 Join Shuffle 方式
概述
Doris
支持使用Hint来调整Join操作中数据Shuffle的类型,从而优化查询性能。本节将详细介绍如何在
Doris
中利用Hint来指定JoinShuffle的类型。
向阳1218
·
2025-02-23 16:47
大数据
doris
大数据MaxCompute教程(阿里云离线
数仓
项目)学习笔记20231127
1数据仓库概念数据仓库定义(DataWarehouse),是为企业所有决策制定过程,提供所有系统数据支持的战略集合。AI:数据仓库是一个大型、集中、主题导向的数据库系统,用于支持企业决策制定、分析和报告的需要。它统一了来自不同数据源的数据,并将其在一个可查询的数据模型中进行了整合和转换,以便于分析和报告。数据仓库还包括数据清洗、抽取、转换和加载(ETL)的过程,以保证数据的准确性、一致性和完整性。
多刷亿点题⑧
·
2025-02-22 22:54
云原生
数据仓库
大数据-257 离线
数仓
- 数据质量监控 监控方法 Griffin架构
点一下关注吧!!!非常感谢!!持续更新!!!Java篇开始了!目前开始更新MyBatis,一起深入浅出!目前已经更新到了:Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis(已更完)Kafka(已更完)Spark(已更完)Flink(已更完)ClickHouse(已
m0_74823705
·
2025-02-22 21:50
面试
学习路线
阿里巴巴
大数据
架构
数仓
实战05:
数仓
搭建-DWS层
1.业务术语1)用户用户以设备为判断标准,在移动统计中,每个独立设备认为是一个独立用户。Android系统根据IMEI号,IOS系统根据OpenUDID来标识一个独立用户,每部手机一个用户。2)新增用户首次联网使用应用的用户。如果一个用户首次打开某APP,那这个用户定义为新增用户;卸载再安装的设备,不会被算作一次新增。新增用户包括日新增用户、周新增用户、月新增用户。3)活跃用户打开应用的用户即为活
曾牛
·
2025-02-21 23:41
数仓
doris
集群
开发
doris
的团队厉害,这个百度工程师确实也干了一些实事,不像领导层只会跑火车。
warrah
·
2025-02-20 09:30
岁月云——大数据杂烩
doris
ClickHouse
数仓
ClickHouse是OLAP并且面向列的数据管理系统.具有高性能分析任何应用,从是嵌入式服务到成百台服务器.开源并且面向列的SQL存储ClickHouse首先是一个开源的SQL
数仓
,并且带有高性能,成熟
大怀特
·
2025-02-20 04:56
bigdata
database
software
architecture
java
数据库
阿里云 MaxCompute MaxQA 开启公测,解锁近实时高效查询体验
MCQA2.0)查询加速功能,在独享的查询加速资源池的基础上,对管控链路、查询优化器、执行引擎、存储引擎以及缓存机制等多个环节进行全面优化,显著减少了查询响应时间,适用于BI场景、交互式分析以及近实时
数仓
等对
阿里云大数据AI技术
·
2025-02-20 00:23
阿里云
云原生
MaxCompute
大数据
实时数仓
易点天下与火山引擎ByteHouse共建高性能
数仓
,助力智能营销效率跃升
近日,全球领先的企业国际化智能营销服务商易点天下与火山引擎ByteHouse达成合作,双方将聚焦智能营销场景,建设高性能
数仓
,为海量数据提供更精准、实时性更强的分析服务。
·
2025-02-19 15:35
数据库
酷克数据启动鲲鹏原生应用开发合作
酷克数据将基于鲲鹏硬件底座、OpenEuler、开发套件KunpengDevKit、应用使能套件KunpengBoostKit开展面向金融、政务、电信、能源、交通等重点行业的原生应用开发,打造基于鲲鹏架构的云
数仓
产品解决方案
·
2025-02-19 15:03
数据库
携手鲲鹏昇腾 HashData展现云原生
数仓
创新力量
酷克数据作为华为鲲鹏生态重要合作伙伴,受邀出席本次大会,展示其与鲲鹏昇腾生态联合开发的云
数仓
解决方案及应用案例,与全球开发者共同探讨云原生
数仓
前沿技术。
·
2025-02-19 15:03
数据库
数仓
_数据口径
数仓
_数据口径数据口径含义数据口径包含口径收敛数据口径含义在数据仓库(
数仓
)中,数据口径是指在数据统计和分析过程中,对数据的定义、计算方法、范围和标准等方面的详细规定。
TTXS123456789ABC
·
2025-02-19 06:56
#
XM1离线数仓_金融零售
大数据
Flink SQL 优化实战 - 维表 JOIN 优化
作者:龙逸尘,腾讯CSIG高级工程师背景介绍维表(DimensionTable)是来自
数仓
建模的概念。
腾讯云大数据
·
2025-02-17 04:01
大数据
数据库
flink
sql
doris
:查询缓存
概念介绍SQLCache是
Doris
提供的一种查询优化机制,可以显著提升查询性能。它通过缓存查询结果来减少重复计算,适用于数据更新频率较低的场景。
向阳1218
·
2025-02-16 22:17
大数据
doris
Apache
Doris
2.1.6 版本正式发布
官网下载:https://
doris
.apache.org/GitHub下载:ReleaseApacheDoris2.1.6R
SelectDB技术团队
·
2025-02-14 14:07
doris
数据仓库
开源
数据库
大数据
Apache
Doris
2.0.15 版本发布
立即下载:ApacheDoris-Download|EasilydeployDorisanywhere-ApacheDorisGitHub下载:https://github.com/apache/
doris
SelectDB技术团队
·
2025-02-14 14:07
大数据
数据库
数据仓库
doris
数据同步
Doris
实战——工商信息查询平台的湖仓一体建设
目录前言一、架构1.0:传统Lambda架构二、OLAP引擎调研三、架构2.0:数据服务层AllinApacheDoris四、架构3.0:基于DorisMulti-Catalog的湖仓一体架构五、实践经验5.1引入Merge-on-Write,百亿级单表查询提速近三倍5.2部分列数据更新,数据开发效率提升100%5.3丰富Join的优化手段,整体查询速度最高提升近四倍5.4LightSchemaC
吵吵叭火
·
2025-02-14 14:06
大数据
大数据
数据仓库
数据湖和数据仓库的区别?
不同点:架构上,
数仓
基本要求符合DDL定义的结构,数据湖则湖纳百川。数据上,
数仓
为结构化数据设计,数据湖,湖纳百川。模块上,
数仓
一般
春风不会绿大地
·
2025-02-14 08:25
大数据
数据仓库
Hive数据库及表操作
数仓
原理以及Hive入门:
数仓
原理:
数仓
(DataWarehouse)是用于支持企业决策的数据存储和分析系统。
亦576
·
2025-02-13 07:09
hive
数据库
hadoop
新型大数据架构之湖仓一体(Lakehouse)架构特性说明——Lakehouse 架构(一)
湖仓一体(Lakehouse)——新的大数据架构模式同时具备
数仓
与数据湖的优点湖仓一体架构存储层计算层湖仓一体特性单一存储拥有数据仓库的查询性能存算分离开放式架构支持各种数据源类型支持各种使用方式架构简单数据共享
m0_74825238
·
2025-02-13 05:24
面试
学习路线
阿里巴巴
大数据
架构
hive
数仓
的分层与建模
Hive数据仓库分层和数据建模是一种常见的数据仓库设计方法,旨在通过分层的方式组织数据,提高数据的可维护性、可复用性和查询性能。以下是关于Hive数据仓库分层和数据建模的详细知识:一、Hive数据仓库分层数据仓库通常采用分层架构,目的是将数据按照不同的处理阶段和用途进行划分,便于管理和优化。常见的分层架构包括以下四层:1.ODS(OperationalDataStore,操作数据存储层)作用:OD
korry24
·
2025-02-11 13:04
hive
hadoop
数据仓库
Doris
实战—构建日志存储与分析平台
构建日志存储与分析平台日志是系统运行的详细记录,包含各种事件发生的主体、时间、位置、内容等关键信息。出于运维可观测、网络安全监控及业务分析等多重需求,企业通常需要将分散的日志采集起来,进行集中存储、查询和分析,以进一步从日志数据里挖掘出有价值的内容。针对此场景,ApacheDoris提供了相应解决方案,针对日志场景的特点,增加了倒排索引和极速全文检索能力,极致优化写入性能和存储空间,使得用户可以基
不二人生
·
2025-02-09 18:47
Doris
实战
doris
日志分析
数仓
建模—企业数字化转型的本质
数仓
建模—企业数字化转型的本质数字化转型与数字化、数字化建设、数字化管理到底有什么差别?企业的数字化建设重点关注哪两个层面的实现?数字化转型中的“转型”到底指的是什么?
不二人生
·
2025-02-09 15:00
数仓建模
数仓建模
数据仓库
企业数字化
doris
:MySQL Load
Doris
兼容MySQL协议,可以使用MySQL标准的LOADDATA语法导入本地文件。MySQLLoad是一种同步导入方式,执行导入后即返回导入结果。
向阳1218
·
2025-02-09 02:51
大数据
doris
StarRocks实战——贝壳找房
数仓
实践
1.2.3StarRocks的引入二、StarRocks在贝壳的分析实践2.1指标分析2.2实时业务2.3可视化分析三、未来规划3.1StarRocks集群的稳定性3.2StarRocks新特性采用原文大佬的这篇贝壳找房
数仓
实践的文章整体写的很深入
吵吵叭火
·
2025-02-08 19:00
大数据
#
StarRocks
数据仓库
大数据
Doris
故障恢复
故障日志data/fe/
doris
-meta/bdbrecoveryTrackershouldoverlaporfollowondisklastVLSNof81,809,450recoveryFirst
登高·
·
2025-02-08 17:48
Linux架构
数据仓库
大数据-267 实时
数仓
- ODS Lambda架构 Kappa架构 核心思想
点一下关注吧!!!非常感谢!!持续更新!!!Java篇开始了!MyBatis更新完毕目前开始更新Spring,一起深入浅出!目前已经更新到了:Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis(已更完)Kafka(已更完)Spark(已更完)Flink(已更完)Cl
m0_74823336
·
2025-02-07 16:57
面试
学习路线
阿里巴巴
大数据
架构
中国城商行信贷业务
数仓
建设白皮书(第二期:信贷主题域建模)
一、信贷业务主题域设计方法论1.1四维建模体系采用"AARRR+T"模型构建信贷数据关系网: ┌───────────┐ │客户获取 │ │(Acquisition)←───┐ └─────┬─────┘ │ ↓ │┌─────────────────┐││贷前评估 │││(Activation) ││└─────┬─────┐ ││ │ └──────┘│ ↓
abxzq19870214
·
2025-02-07 14:41
金融系统架构
金融
大数据
数据仓库
数据库
hive
Hudi VS
Doris
使用分析
数据湖是一个集中式的存储库,允许你以任意规模存储多个来源、所有结构化和非结构化数据,可以按照原样存储数据,无需对数据进行结构化处理,并运行不同类型的分析对数据进行加工。Hudi(HadoopUpsertsDeletesandIncrementals)定位-面向数据湖的增量写入、更新与删除技术。Hudi通过表格式管理的能力,为数据湖提供ACID事务、时间旅行查询等特性。场景-近实时抽数(大规模数据更
sunxunyong
·
2025-02-07 01:13
数据库
Hive日分区表如何快速导入到StarRocks
数仓
规模60TB,FineBI数据集约8000个,BI挂出报表数约1600个,报表月增幅在40左右。
DawsonSally
·
2025-02-06 13:59
大数据
StarRocks
Java
大数据
hive
hadoop
2天的Flink Forward Asia 有什么值得关注的点
流式湖仓和实时
数仓
是两回事啊。新鲜度上有很大的差别,前者
·
2025-02-06 13:05
doris
:事务
目前
Doris
不支持嵌套事务。显式事务显式事务需要用户主动开启、提交或回滚事务,目前不支持DDL和查询语句。BEGIN
向阳1218
·
2025-02-05 14:08
大数据
doris
Doris
通过ODBC连接MYSQL
1.概述ODBCExternalTableOfDoris提供了
Doris
通过数据库访问的标准接口(ODBC)来访问外部表,外部表省去了繁琐的数据导入工作,让
Doris
可以具有了访问各式数据库的能力,并借助
Leo⁵
·
2025-02-04 08:56
Doris
mysql
数据库
2024年最全
Doris
:读取
Doris
数据的N种方法_访问
doris
,阿里大牛教你自己写大数据开发第三方库
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!arrow-memory-netty${arrow.v
2401_84181108
·
2025-02-04 08:49
程序员
大数据
使用
doris
过程中总结的与mysql中语法差异
1.mysql中的varchar()长度与
doris
中长度不一致,导致导入失败2.
doris
中where后面时间与字符串比较需转化类型#当create_time为datetime类型,mysql中使用concat
数据游戏
·
2025-02-04 00:52
数仓
mysql
数据库
database
Doris
使用手册以及与Mysql差异整理
目录数据类型
Doris
数据类型数值类型日期类型字符串类型半结构类型聚合类型IP类型MySQL到
Doris
类型映射数据模型
Doris
的数据模型Aggregate模型示例一:导入数据聚合建表插入数据查看表示例二
Jet-W
·
2025-02-04 00:51
mysql
数据库
doris
大数据
后端
DorisSQL与MySQL函数与语法对照差异篇
1.日期函数时区.mysql -> convert_tz(dt,from_tz,to_tz)
doris
-> CONVERT_TZ(DATETIME dt, VARCHAR from_tz, VARCHAR
小晨说数据
·
2025-02-04 00:19
字符串
mysql
java
数据库
sql
Doris
中架构和mysql语法的差异
Doris
的架构只设FE,BE两种角色,两个进程,不依赖于外部组件,方便部署和运维,FE和BE都可线性扩展。
苦苦挣扎的小码农
·
2025-02-03 23:13
架构
Hive分区和分桶
Hive分区和分桶两种用于优化查询性能的数据组织策略,
数仓
设计的关键概念,可提升Hive在读取大量数据时的性能。1分区(Partitioning)根据表的某列的值来组织数据。
码农小旋风
·
2025-02-03 14:51
后端
活动火热报名中 | Data+AI 融合趋势下的智能
数仓
平台建设
MaxCompute作为阿里云最核心的核心战略级云
数仓
产品之一,在Data+AI融合趋势下,通过经典数据仓库能力定义与云数据架构的深刻理解,构建出面向下一代智能云
数仓
,并为用户提供了Data+AI一体化开发体验
·
2025-02-02 11:34
人工智能大数据阿里云数据库数据
Java 大视界 -- Java 大数据实时
数仓
的构建与运维实践(55)
亲爱的朋友们,热烈欢迎你们来到青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。一、欢迎加入【福利社群
青云交
·
2025-02-02 05:40
大数据新视界
Java
大视界
大数据
实时数仓
Flume
Flink
HBase
ClickHouse
Lambda架构
Doris
实战——特步集团零售数据仓库项目实践
批量数据的导入3.2实时数据接入3.3数据加工3.4BI查询四、实时需求响应五、其他经验5.1DorisBE内存溢出5.2SQL任务超时5.3删除语句不支持表达式5.4Drop表闪回六、未来展望原文大佬的这篇
Doris
吵吵叭火
·
2025-02-01 03:54
#
Doris
大数据
大数据
数据仓库
使用supervisor实现
Doris
进程自动拉起
ApacheDoris代码仓库地址:apache/incubator-
doris
欢迎大家关注加星supervisor安装1.使用yum命令安装(推荐)yuminstallepel-releaseyuminstall-ysupervisorsystemctlenablesupervisord
hf200012
·
2025-02-01 02:50
Doris
Apache
Doris
3.0核心特性和生产实践解读
上周
Doris
社区发布了
Doris
3.0版本,3.0版本被定位成湖仓一体演化路线上的重要里程碑版本。同时
Doris
官方社区已经更新了3.0版本的文档。
王知无(import_bigdata)
·
2025-01-31 10:36
apache
OLAP引擎比较
doris
是一个OLAP数据库,支持对大数据的复杂查询,延迟为秒级。
doris
比sparksql快,主要原因在于针对场景不同导致的架构不同。
小手追梦
·
2025-01-31 10:30
hadoop
rpc
java
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他