数仓（

大数据工程师应掌握的技能

大数据工程师是以大数据平台构建以及海量数据采集、存储、计算等工作的技术人员，工作中的典型应用包含离线计算、实时计算、即时查询、数仓构建、用户画像、个性化推荐、反欺诈等。
梯度科技·2022-10-13 15:01

数据仓库建设——主题和主题域的划分

数仓主题是什么数据仓库主题是指透过“上帝视角”将企业不同业务流程信息进行汇总、分类然后对其进行分析利用的一个抽象化的概念。
派可数据BI可视化·2022-10-13 12:00

大数据FLINK实时数仓项目实战

一、FLINK实时数仓项目简介1、普通实时计算与实时数仓比较普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。
wespten·2022-10-13 12:55

实时数仓-Doris ON ES

原理介绍：原文点击Doris通过创建外部表方式将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案，支持：ES中的多index分布式Join查询Doris和ES中的表联合查询，更复杂的全文检索过滤创建ES外表后，FE会请求建表指定的主机，获取所有节点的HTTP端口信息以及index的shard分布信息等，如果请求失败会顺序遍
不看白不看，看了不白看·2022-10-12 20:24

大数据面试题（校招）

项目1.介绍电商数仓项目2.在项目中用的什么数据栈？3.数据仓库建模几种方式一般有关系建模和维度建模，关系建模遵循范式，一般有一范式、二范式、三范式、bc范式等。
梧桐林.·2022-10-12 10:38

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

作者：赵伟，思必驰大数据高级研发，10年大数据开发和设计经验，负责大数据平台基础技术和OLAP分析技术开发。社区贡献：Doris-spark-connector的实时读写和优化。业务背景思必驰是国内专业的对话式人工智能平台公司，拥有全链路的智能语音语言技术，致力于成为全链路智能语音及语言交互的平台型企业，自主研发了新一代人机交互平台DUI和人工智能芯片TH1520，为车联网、IoT及政务、金融等众
·2022-10-10 16:40

云原生实时数仓首次在2020双11核心数据场景落地

简介：这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。背后作为数据核心支撑的大数据平台更是创下新的世界纪录。刚刚结束的2020天猫双11又创下两项新记录：交易额4982亿，订单创建峰值每秒58.3万笔。这是史上数据量、计算量最大的一年，是实时处理要求最高、与机器智能结合性最强的一次双11，也是全球最大规模的一次云原生实践。背
阿里云云栖号·2022-10-10 13:49

云原生一体化数仓发布

云原生一体化数仓是集阿里云大数据产品MaxCompute、DataWorks、Hologres三种产品能力于一体的一站式大数据处理平台。
阿里云开发者·2022-10-10 13:18

阿里巴巴云原生实时数仓核心技术揭秘

阿里云新一代云原生数仓Hologres作为双十一背后重要的技术支撑，消费者的每一次搜索、浏览、收藏、加购，都会变成实时数据流入Hologres进行存储，并与天猫上沉淀的历史离线数据进行交叉比对。
阿里云开发者·2022-10-10 13:18

全球第一，新一代云原生实时数仓 SelectDB 登顶 ClickBench 榜单

近期，在ClickHouse发起的分析型数据库性能测试排行榜ClickBench中，新一代云原生数仓SelectDB强势登顶，性能表现超越一众国内外产品，多项指标排行前列，并在业界最为通用的c6a.4xlarge
SelectDB技术团队·2022-10-10 13:47

2022-10-09-数仓职业从业困惑和焦虑

首先回答一个问题,数仓工程师的职责是什么?
冰菓_lam·2022-10-10 12:18

新一代云原生实时数仓 SelectDB 登顶 ClickBench 榜单！

近期，在ClickHouse发起的分析型数据库性能测试排行榜ClickBench中，新一代云原生数仓SelectDB强势登顶，性能表现超越一众国内外产品，多项指标排行前列，并在业界最为通用的c6a.4xlarge
·2022-10-10 11:32

大数据数仓项目实战

一、数仓项目需求及架构设计数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
wespten·2022-10-09 10:04

大数据技术栈

目录大数据相关岗位基础技术语言基础计算机基础技术框架自学流程基础知识大数据框架大数据相关岗位数据仓库工程师大数据平台开发工程师ETL开发工程师(传统数仓)数据分析师数据产品经理数据运营基础技术语言基础精通一门语言
2024进厂·2022-10-04 14:36

DophineSheduler上下游任务之间动态传参案例及易错点总结

作者简介淡丹数仓开发工程师5年数仓开发经验，目前主要负责百得利MOBY新车业务二手车业务及售后服务业务系统数仓建设业务需求在ETL任务之间调度时，我们有的时候会需要将上游的计算结果作为参数传入到下游，针对这种业务需求
·2022-09-28 12:34

猿创征文｜大数据之离线数仓各工具常用命令

离线数仓各工具常用命令前言：近期学习大数据离线数仓，接触到了许多处理数据的应用及工具：Hadoop、hive、sqoop、azkaban、flume、datax、superset、zookeeper、Kafka
Chlin.Rei·2022-09-28 10:30

Doris入门到精通-阶段一（简介&安装&使用）

基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、
顶尖高手养成计划·2022-09-26 20:34

实时数据仓库-(实时数仓设计)

数据仓库设计数据仓库分层规划优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。数据仓库构建流程以下是构建数据仓库的完整流程。
顶尖高手养成计划·2022-09-26 20:33

数据仓库(09)数仓缓慢变化维度数据的处理

  数据仓库的重要特点之一是反映历史变化，所以如何处理维度的变化是维度设计的重要工作之一。缓慢变化维的提出是因为在现实世界中，维度的属性并不是静态的，它会随着时间的流逝发生缓慢的变化，与数据增长较为快速的事实表相比，维度变化相对缓慢。阴齿这个就叫做缓慢变化维。  这里介绍的就是这些维度变化的处理，这边整理了一下目前主流的缓慢变化维的处理方式。原样保留或者重写，这种方式理论上都是取最新的值作为维度的
·2022-09-26 20:00

PostgreSQL逻辑复制解密

为了最大化数据的价值，我们不停的建立着数据迁移的管道，从同构到异构，从关系型到非关系型，从云下到云上，从数仓到数据湖，试图在各种场景挖掘数据的价值。
京东云开发者·2022-09-25 07:56

来电科技：基于Flink+Hologres的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合
阿里云云栖号·2022-09-24 13:43

来电科技：基于 Flink + Hologres 的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合
阿里云云栖号·2022-09-24 13:43

阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时数仓

企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。
Apache Flink·2022-09-24 13:41

【Flink】基于Flink构建全场景实时数仓

目录：一.实时计算初期二.实时数仓建设三.Lambda架构的实时数仓四.Kappa架构的实时数仓五.流批结合的实时数仓实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，
菜鸟蜀黍·2022-09-24 13:40

kafka和flink的入门到精通 2 系统架构，实时数仓架构，Kafka

参考007-大数据-系统架构-实时数仓架构_哔哩哔哩_bilibili链接：https://pan.baidu.com/s/1QMOJVkRy4nKkjzoDryvQXw提取码：fcoe本文接着上一篇kafka
水w·2022-09-24 13:39

实时数仓：基于Flink Sql connector：kafka构建实时数仓

时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。
四月天03·2022-09-24 13:39

阿里云 Flink+Hologres：构建企业级一站式实时数仓

企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。
aliyunhologres·2022-09-24 13:08

大数据新时代：基于Flink的实时数仓架构-学习笔记（上）

目录大数据应用大数据的业务流程大数据的技术学习路线大数据的本质数据仓库处理过程参考视频：【黑马程序员】大数据新时代：基于Flink的实时数仓架构大数据应用数据运营、用户画像、推荐系统、金融风控、机器学习
^果然好^·2022-09-24 13:08

替换Kudu，Hologres助力好未来网校实时数仓降本增效

客户介绍好未来（NYSE：TAL）是一家以智慧教育和开放平台为主体，在全球范围内服务公办教育，助力民办教育，探索未来教育新模式的科技教育公司。好未来的前身学而思成立于2003年，2010年在美国纽交所正式挂牌交易。好未来以“爱和科技让教育更美好”为使命，致力成为受尊敬的教育机构。当前，好未来已构建起从工具、平台到内容的多元化教育生态，满足从-1岁到24岁各年龄段人群个性化学习需求。目前，好未来旗下
aliyunhologres·2022-09-24 13:07

年度报告｜Hologres重点功能年终大盘点

1月7日，由阿里云实时数仓Hologres和开发者社区共同举行了实时数仓年度发布会。
aliyunhologres·2022-09-24 13:37

阿里云云原生实时数仓升级发布，助力企业快速构建一站式实时数仓

9月14日，阿里云云原生实时数仓升级发布。阿里云计算平台的产品专家分享了实时计算Flink版和Hologres构建企业级一站式实时数仓的核心能力升级及新功能解读。
aliyunhologres·2022-09-24 13:37

从阿里核心场景看实时数仓的发展趋势

作者：果贝，阿里云资深技术专家，实时数仓Hologres负责人2022年1月7日，阿里云实时数仓Hologres举行了年度发布会，在发布会上，来自阿里的资深技术专家从阿里的核心场景出发，为大家解读了实时数仓的新发展趋势
aliyunhologres·2022-09-24 13:36

新东方基于Hologres实时离线一体化数仓建设实践

业务介绍新东方教育科技集团定位于以学生全面成长为核心，以科技为驱动力的综合性教育集团。集团由1993年成立的北京新东方学校发展壮大而来，拥有短期培训系统、基础教育系统、文化传播系统等业务。在互联网大潮中，新东方在IT技术上也不断重构，持续投入大数据建设，研发大数据的相关技术和应用，从而快速而精准地响应业务需求，并用数据为集团各级领导提供决策依据。新东方的大数据应用主要包括两部分：企业应用端的业务场
aliyunhologres·2022-09-24 13:06

阿里云实时数仓Hologres通过中国信通院分布式分析型数据库性能评测，8192个节点刷新现有参评记录

阿里云实时数仓Hologres（原阿里云交互式分析）在报表任务、交互式查询、压力测试、稳定性等方面通过了中国信通院分布式分析型数据库性能评测（大规模），并以8192个节点刷新了通过该评测现有参评的规模记录
aliyunhologres·2022-09-24 13:36

来电科技基于Flink+Hologres的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合
阿里云开发者·2022-09-24 13:35

淘菜菜 （一）：基于Flink和Hologres的实时数仓架构升级之路

2020年淘菜菜开始与Hologres合作，历经2次大的架构升级，从传统多组件的架构升级为现在稳定的高可用实时数仓2.0，承载上千万RPS写入、几百T数据存储和秒级查询响应。
aliyunhologres·2022-09-24 13:04

淘菜菜 （一）：基于Flink和Hologres的实时数仓架构升级之路

2020年淘菜菜开始与Hologres合作，历经2次大的架构升级，从传统多组件的架构升级为现在稳定的高可用实时数仓2.0，承载上千万RPS写入、几百T数据存储和秒级查询响应。
·2022-09-23 16:23

5.2.1 电商离线数仓项目实战 【下】（电商分析-核心交易 ：Mysql转入ODS层--全量导入、增量导入，维表、拉链表、周期性事实表，DIM、DWD、DWS、ADS层数据加载）

电商离线数仓项目实战【下】文章目录电商离线数仓项目实战【下】第一部分电商分析之--核心交易第1节业务需求第2节业务数据库表结构第3节数据导入3.1、全量数据导入**1、产品分类表****2、商家店铺表*
weixin_47134119·2022-09-23 15:40

大数据项目之Flink实时数仓(数据采集/ODS层)

项目概览实时大屏效果项目主要通过实时数仓的搭建来完成对Flink的进一步掌握和学习，Flink代码的编写使用的是Java，其中会涉及到Flink的很多知识点，FlinkCDC，FlinkSQL，开船，富函数等
Keven He·2022-09-23 15:09

实时数仓项目(二)DIM层地域维表建立

DIM层地域维表建立一、思路分析二、编码实现一、思路分析mysql中lagou_area导入到hbase的lagou_area中构建数据源，从Hbase中读取lagou_area内容使用flink进行算子转化，得到flinktable编写sql将table转回流数据自定义下沉器，将数据写入到hbase二、编码实现建立样例类packagedimcaseclassDimArea(areaId:Int,
颜渊月和F·2022-09-23 15:05

Flink电商实时数仓项目02-DWD层

1需求分析及实现思路1.1分层需求分析1.1.1实时数仓为什么要分层？建设实时数仓的目的，主要是为了增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。
最佳第六六六人·2022-09-23 15:31

Flink电商实时数仓项目01-ODS层

Flink电商实时数仓项目-数据采集1电商实时数仓项目概述1.1数据分层分析离线数仓项目的分层为：ODS、DWD、DWS、DWT、ADSflink实时数仓项目的分层为：ODS、DWD、DIM、DWM、DWS
最佳第六六六人·2022-09-23 15:00

复盘离线电商数仓3.0项目–数据开发梳理

复盘离线电商数仓项目–数据开发梳理业务数据数仓分层ods层到ads层的开发开源BI工具SupersetODS层业务数据&日志数据ods层业务数据使用Sqoop脚本从Mysql数据库拉取数据落盘到hdfs
岁月的眸·2022-09-23 15:56

Flink电商数仓项目复盘笔记-01

Flink电商数仓项目笔记电商实时数仓分层介绍普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。
岁月的眸·2022-09-23 15:26

数据仓库之电商数仓-- 3.1、电商数据仓库系统(ODS层、DIM层、DWD层)

目录一、数仓分层1.1为什么要分层1.2数据集市与数据仓库概念1.3数仓命名规范1.3.1表命名1.3.2脚本命名1.3.3表字段类型二、数仓理论2.1范式理论2.1.1范式概念2.1.2函数依赖2.1.3
FunnyPrince_·2022-09-23 15:19

Flink实战之实时风控规则引擎

除了数仓的分析场景以外，钱大妈面临着业务系统中的风控需求，例如每季度的营销费用中被不少的羊毛党薅走正
000X000·2022-09-22 18:40

Flink 在众安保险金融业务的应用

整体概况智能营销应用实时特征应用反欺诈应用后期规划一、整体概况上图是我们的实时计算整体架构图，最下层是数据源层，包括了来自于应用系统的业务数据、应用系统的消息数据、用户行为埋点数据以及应用日志数据，这些数据都会经过Flink进入实时数仓
Apache Flink·2022-09-22 18:12

PostgreSQL逻辑复制解密原理解析

为了最大化数据的价值，我们不停的建立着数据迁移的管道，从同构到异构，从关系型到非关系型，从云下到云上，从数仓到数据湖，试图在各种场景挖掘数据的价值。而
·2022-09-21 14:57

PostgreSQL逻辑复制解密

为了最大化数据的价值，我们不停的建立着数据迁移的管道，从同构到异构，从关系型到非关系型，从云下到云上，从数仓到数据湖，试图在各种场景挖掘数据的价值。
·2022-09-21 13:38

数仓采集项目【05使用flume将日志文件收集到HDFS】

文章目录一使用flume将日志文件收集到HDFS1第一层flume实现过程（采集日志flume）（1）java实现过程（2）编写配置信息（3）第一层flume起停脚本2第二层flume实现过程（消费kafka数据flume）（1）拦截器实现过程（2）配置文件实现过程（3）第二层起停脚本一使用flume将日志文件收集到HDFSloggerserver–flume读数据–kafka–flume–hdf
hike76·2022-09-21 11:46
上一页 42 43 44 45 46 47 48 49 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他