实时计算（数仓）第2页

基于Apache Flink的实时计算引擎Blink在阿里搜索中的应用

阿里巴巴是世界上最大的电子商务零售商。我们在2015年的年销售额总计3940亿美元，超过eBay和亚马逊之和。阿里巴巴搜索(个性化搜索和推荐平台)是客户的关键入口，并承载了大部分在线收入，因此搜索基础架构团队需要不断探索新技术来改进产品。在电子商务网站应用场景中，什么能造就一个强大的搜索引擎?答案就是尽可能的为每个用户提供实时相关和准确的结果。同样一个不容忽视的问题就是阿里巴巴的规模，当前很难找到

weixin_34186950·2024-02-15 01:50

基于 Apache Flink 的实时计算数据流业务引擎在京东零售的实践和落地

内容主要包括五个方面：京东零售实时计算的现状实时计算框架场景优化：TopN场景优化：动线分析场景优化：FLINK一站式机器学习点击查看更多技术内容一、京东零售实时计算的现状1.1现状技术门槛高、学习成本大

Apache Flink·2024-02-15 01:50

Flink在实时搜索引擎领域的应用

ApacheFlink是一个流处理框架，它可以处理大规模的流数据，并提供了实时计算能力。在实时搜索引擎领域，Flink可以用于实时处理搜索关键词、计算搜索结

禅与计算机程序设计艺术·2024-02-15 01:46

数仓面试

0.自我介绍答：1）.简单的自我介绍，突出自己优势2）.项目介绍3）.项目中承担的工作和模块。4）.长的帅或漂亮，前四条都可以忽略1.什么是数据仓库？如何构建数据仓库？可参考：漫谈|大牛带你从0到1构建数据仓库实战（如果这个问题回答的好，后面很多问题都不需要再问）答：数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反

China_mr001·2024-02-14 21:46

基于Kafka的实时计算引擎如何选择？

1.前言目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以Flink和Spark为首的实时计算引擎，成为实时计算场景的重点考虑对象。

java菜·2024-02-14 19:37

Flink SQL实战演练之CDC Connector

简介：公司实时项目组处理的业务数据以前是由业务团队把数据push到rabbitmq，然后我们通过flink转运到kafka，然后再做实时计算的，由于新业务逻辑变化会较大，导致推送过来的数据偶尔会出现偏差

Coder小咚·2024-02-13 10:43

ClickHouse常用表引擎

有点像数仓中的缓慢变化维度。创建TinyLog引擎表只需要在

寒暄·2024-02-11 22:23

clickhouse 21.x生产实践优化

clickhouse1时间字段类型建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive(hbase)为中心的数仓建设中常见，但ClickHouse环境不应受此影响。

架构师老狼·2024-02-11 18:28

Databend 开源周报第 131 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。

·2024-02-11 18:59

离线数仓（一）【数仓概念、需求架构】

前言今天开始学习数仓的内容，之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。

让线程再跑一会·2024-02-11 11:58

Shiny-R语言轻松开发交互式web应用

Shiny应用程序会自动刷新计算结果，这与电子表格实时计算的效果类似。当用户修改输入时，输出值自动更新，而不需要在浏览器中手动刷新。

生信交流平台·2024-02-11 09:01

计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏民宿推荐系统民宿爬虫民宿大数据知识图谱机器学习大数据毕业设计

selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集；2.使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；3.使用hive数仓技术建表建库

计算机毕业设计大神·2024-02-10 10:56

实时计算框架 Flink 在教育行业的应用实践

若想实现大规模数据的“即席查询”，就须用实时计算框架构建实时数仓来实现。本文通过一个教育行业的应用案例，剖析业务系统对实时计

Java架构师CAT·2024-02-10 09:20

6月24日实盘日记，如何实时查看基金收益。

基金小技巧：很多网友问我，小师哥，你为啥都能实时预估出购买基金的收益情况，其实，现在有很多相关实时计算收益的工具，大家都可以自己去找下。我是用了一个叫小武计算助手的小程序查询的。

小C说财·2024-02-10 03:45

HiveSQL——用户中两人一定认识的组合数

注：参考文章：SQL之用户中两人一定认识的组合数--HQL面试题36【快手数仓面试题】_sql面试题-快手-CSDN博客文章浏览阅读1.2k次，点赞3次，收藏12次。

爱吃辣条byte·2024-02-10 01:52

使用Quartz实现定时任务

Quartz自动化配置定时任务在业务中，我们经常需要编写定时任务，通过每个周期来定时统计一些聚合类信息，比如银行类业务实现每天日终实现对账、生成统计报表等等，这些非实时计算的任务都可以放在系统非繁忙时段来执行

yongbuyanqi9467·2024-02-09 16:18

Apache Flink

前言最近在学习室内融合定位服务架构，业务架构上，涵盖了数据采集、处理、状态管理、实时计算和告警等多个方面，但有些问题：这套系统中包含了大量的有状态计算，目前是通过自设计内存对象进行管理，并利用Redis

DevDiary·2024-02-09 07:24

数据湖的整体思路

当数据湖成为中心，那么就可以围湖而建“数据服务环”，环上的服务包括了数仓、机器学习、大数据处理、日志分析，甚至RDS和NOSQL服务等等。

zhang菜鸟·2024-02-08 22:19

深入理解Spark的前世今生

Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。

闲云野鹤~~~·2024-02-08 14:01

推荐系统的向量检索工具: Annoy & Faiss

例如：离线训练模型后，将item向量存储至某种数据库，然后线上推理时，模型实时计算输出user向量，然后通过Annoy或Faiss进行内积的最邻近检索。这篇文章将介绍两个常用的向量最邻近检索工具：A

我就算饿死也不做程序员·2024-02-08 10:37

【项目实战】Flink+InfluxDB+Grafana实现对YARN集群队列资源进行画像

一、Flink实时计算第一章：Flink快速入门1.Flink架构2.Flink应用场景3.FlinkVSSpark4.实时计算技术选型第二章：Flink项目构建与测试1.快速构建Flink项目2.第一个

大数据研习社·2024-02-08 08:56

涤生大数据实战：基于Flink+ODPS历史累计计算项目分析与优化（上）

离线计算任务节点叫做Odps节点，存储的离线表叫做Odps表；Flink:实时计算引擎，本文代码开发和测试均基于集团内部实时计算平台，代码细节可能会和Flin

涤生大数据·2024-02-08 08:55

大数据用户画像系统架构设计

文章目录一、用户画像数据仓库搭建、数据抽取部分二、大数据平台、用户画像集市分层设计、处理三、离线计算部分四、实时计算部分五、Solr/ES搜索引擎部分六、JavaWeb毫秒级实时用户画像接口服务七、用户画像实时展示异步触发获取

充电了么·2024-02-07 19:37

数仓：用户行为类指标一网打尽

前言用户行为分析是对用户在产品或触点上产生的行为及行为背后的数据进行分析，通过构建用户行为数据分析体系或者用户画像，来改变产品、营销、运营决策，实现精细化运营，指导业务增长。总之，很重要。关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】先来看下用户类行为指标说明，然后下面详解常写的指标。指标名称解释说明新增用户首次联网使用应用的用户，如果一个用户首次打

大数据左右手·2024-02-07 09:35

数仓：事实表设计方法，原则和三种类型选择

关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】事实表设计方法事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。其包含与该业务过程有关的维度引用（外键）以及该业务过程的度量。一般设计会遵循以下四个步骤：1.选择业务过程及确定事实表类型通常情况下，一个业务过程对应一张事实表。2.声明粒度精确定义每张事实表的每行数据表示什么,按照业务尽可能选择最

大数据左右手·2024-02-07 09:35

数仓-数据质量体系建设

注：文章参考：数据仓库数据质量体系建设涤生推荐：未来的行业中，数据是企业的重要资产，而数据仓库则是对企业数据进行有效管理和利用的重要手段。在数据仓https://mp.weixin.qq.com/s/elPkpgTm6cfAR-AFuJA16w目录一、数据质量体系建设的原因二、数据质量的重要性决策基础客户满意度业务流程效率成本控制法律合规三、常见的数据质量问题数据缺失数据错误数据不一致数据重复数据

爱吃辣条byte·2024-02-07 08:26

Flink-CDC实时读Postgresql数据

用户可以在如下的场景使用cdc：实时数据同步：比如将Postgresql库中的数据同步到我们的数仓中。数据库的实时物化视图。Postgresql数据库配置Postgresql参数修改#更改wa

pigcoffee·2024-02-07 07:13

4.东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）

东软跨境电商数仓项目–数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）文章目录东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4

Mmj666·2024-02-07 00:01

性能实测：分布式存储 ZBS 与集中式存储 HDS 在 Oracle 数据库场景表现如何

在《分布式存储支持数据仓库业务系统性能验证》文章中，我们对比了SmartX分布式存储ZBS与全闪集中式存储（EMCPowerStore）执行数仓跑批任务的效率。为了帮助用

志凌海纳SmartX·2024-02-06 18:40

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

引言阿里云实时计算Flink作为一款专业级别的高性能实时大数据处理系统，它在各种业务场景中都发挥了关键的作用。丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。

阿里云大数据AI技术·2024-02-06 16:49

Hive分区表增加字段新增字段为NULL解决方案

背景：数仓开发过程中，经常会有需求变更，添加字段的情况很难免，添加完了字段需要重新写数据，重新将这个字段的数据overwrite进去，但是会出现一个问题，就是加载的数据为NULL。

Lens5935·2024-02-06 10:11

k8s的Deployment部署策略线上踩坑

线上问题我们有个服务,专门做t-1日的增量数据入仓的.入仓流程:每日0点系统新建个csv文件,通过kafka监听增量数据,实时数据写入该csv文件,供下游数仓次日取数.每日产生数据50G(1.8亿条)左右

吴free·2024-02-06 07:41

从卡牌类游戏初探游戏服务器

这类型的游戏不需要进行实时连接和实时计算，例如：部分卡牌游戏、横版卷轴如跑酷、部分回合制游戏、天梯积分奖励等，它们注重客户端的玩家体验。而对于实时网络对战的

Snippers·2024-02-06 01:42

0113 spring定时任务和异步线程池

场景常规做法改进做法计算每天的统计数据，比如日新增，日活跃，日留存等实时计算，计算和获取结果在同一个线程里完成分两个部分：1.触发计算；2.异步完成计算；sp

李福春carter·2024-02-05 21:38

DolphinScheduler数仓任务管理规范

目录一、DolphinScheduler调度数仓任务现状分析2.1一个任务流构建数仓所有的逻辑节点2.2每个逻辑节点构建一个任务流二、数仓任务管理调度需求分析三、DolphinScheduler数仓开发任务管理规范四

i7杨·2024-02-05 16:09

数仓建设规范

数仓建设规范一、数据模型架构原则1.数仓分层原则2.主题域划分原则3.数据模型设计原则二、数仓公共开发规范1.层次调用规范2.数据类型规范3.数据冗余规范4.NULL字段处理规范5.指标口径规范6.数据表处理规范四

长不大的大灰狼·2024-02-05 04:03

海量数据处理商用短链接生成器平台 - 2

1集短链平台实战-Maven聚合工程创建微服务项目**简介：Maven聚合工程创建微服务项目实战**Maven聚合工程拆分dcloud-common公共依赖包dcloud-appFlink+Kafka实时计算

从零开始学习人工智能·2024-02-04 15:52

基于Flink的实时数仓建设

目录：一.实时计算初期二.实时数仓建设三.Lambda架构的实时数仓四.Kappa架构的实时数仓五.流批结合的实时数仓一、实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求

园陌·2024-02-04 12:48

大数据技术未来发展前景及趋势分析

流大数据分析Storm:ApacheStorm是一种开源的分布式实时计算系统。Storm加速了流数据处理的过程，为Hadoop批处理提供实时数据处理。

丨程序之道丨·2024-02-04 12:54

第七章主管信息系统和数据仓库

[TOC]第七章主管信息系统和数据仓库7.0前言EIS是数仓之前的概念EIS没有注重基础结构（数据源、数据质量、数据流通等）DSS是现代的EIS，与数仓紧密相连7.1EIS概述EIS典型用途趋势分析关键指标度量和跟踪向下钻取问题监控竞争分析关键性能指标监控

晨磊的微博·2024-02-04 04:53

数仓建模&维度建模理论知识

0.思维导图第1章数据仓库概述1.1数据仓库概述数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。1.2数据仓库核心架构第2章数据仓库建模概述2.1数据仓库建模的意义数据模型就是数据组织和存

韩顺平的小迷弟·2024-02-03 16:02

hadoop使用公平调度器

Stage1（默认调度器）大概在几年前，搭建的数仓集群中。数据量不大，做离线一个晚上就能轻松调度完，那时候使用的hadoop自带的调度器，容量调度器。但默认配置没有改，就会发生什么！

向他一样rap·2024-02-03 13:22

离线数仓-数据治理

目录一、前言1.1数据治理概念1.2数据治理目标1.3数据治理要解决的问题1.3.1合规性元数据合规性数据质量合规性数据安全合规性1.3.2成本存储资源成本计算资源成本二、数据仓库发展阶段2.1初始期2.2扩张期2.3缓慢发展期2.4变革期三、数据治理内容3.1元数据治理3.2数据质量治理3.3数据安全治理3.4计算资源治理3.5存储资源治理四、数据治理总结4.1模型合规治理4.2数据质量合规治理

爱吃辣条byte·2024-02-03 13:51

数仓治理-存储资源治理

存储资源治理的流程及思路三、治理前如何评估3.1无用数据表/临时数据表下线评估3.2表及分区的生命周期评估3.3存储及压缩格式评估3.4根据业务场景实现节省存储评估四、治理后的成效如何评估一、存储资源治理的背景由于早期数仓的存储资源比较充裕