尚硅谷实时数仓第42页

海量数据下查询慢、数据不一致难题如何解？看某游戏公司的技术实践

该公司大数据平台负责人从实时数仓面临的问题与挑战谈起，讲述了他们从确定选型方向到最终实现选型落地的历程，以及使用Oc

OceanBase数据库官方博客·2023-01-11 22:27

阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践

作者：徐闻春（花名陌奈）阿里妈妈事业部技术专家本文整理至Flink+Hologres实时数仓Workshop北京站，点击查看视频回放>>>阿里妈妈数据引擎团队负责广告营销计算引擎Dophin的开发，目前支撑百万级广告主的营销产品

·2023-01-11 11:19

万亿数据秒级响应，Apache Doris 在360 数科实时数仓中的应用

作者｜360数科中间件团队编辑整理｜SelectDB作为以人工智能驱动的金融科技平台，360数科携手金融合作伙伴，为尚未享受到普惠金融服务的优质用户提供个性化的互联网消费金融产品，致力于成为连接用户与金融合作伙伴的科技平台。360数科旗下产品主要有360借条、360小微贷、360分期等，截止目前，已累计帮助141家金融机构为4300万用户提供授信服务、为2630万用户提供借款服务、单季促成交易金额

SelectDB技术团队·2023-01-10 12:23

Kubernetes k8s学习笔记尚硅谷王泽老师由浅入深

Kubernetesk8s学习笔记尚硅谷不是汪洋的是王泽老师这里写目录标题Kubernetesk8s学习笔记尚硅谷不是汪洋的是王泽老师Kubernetes的介绍和特性介绍kubernetes功能和架构概述

Java全栈百度工程师·2023-01-09 20:30

尚硅谷Kubernetes（k8s）视频学习笔记

这里写目录标题kubernetes(k8s)主要内容一、kubernetes概述1、kubernetes基本介绍2、kubernetes功能和架构2.1概述2.2K8s功能:2.3应用部署架构分类2.4k8s集群架构2.5k8s集群架构节点角色功能2.6k8s核心概念二、kubernetes集群搭建(kubeadm方式)1、前置知识点2、kubeadm部署方式介绍3、安装要求4、最终目标5、准备环

溯光旅者·2023-01-09 20:58

mysql索引调优

尚硅谷MySQL数据库高级1.mysql基本架构介绍以及安装2.索引优化分析3.查询截取分析4.MySQL锁机制5.主从复制视频连接地址：https://www.bilibili.com1.mysql基本架构介绍以及安装

野生java研究僧·2023-01-09 11:07

TypeScript学习笔记-尚硅谷TypeScript教程（李立超老师TS新课）

尚硅谷TypeScript教程（李立超老师TS新课）课程链接文章目录尚硅谷TypeScript教程（李立超老师TS新课）00TypeScript简介01TS开发环境搭建02TS的类型声明03TS中的类型

m0_46549017·2023-01-08 21:02

Clickhouse+Spark+Flink一体化实时数仓（开源）

Clickhouse+Spark+Flink一体化实时数仓（开源）模拟环境配置2核心4g腾讯云（spark默认只有300mb内存占用最大处理200w行数据）因cdh6已经收费并且不开源。

qq_37401291·2023-01-08 13:19

基于Flink+Hive+Kafka的流批一体数仓实践--01架构及思想

为什么需要实时数仓？基于Hive的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。

问道2020·2023-01-08 12:01

实时数仓构建系统的设计与实践

1-导读本文介绍58信安基于Flink实现低代码实时数仓构建系统，我们将数仓构建这一过程进行抽象，通过工程化的思想去解决，将固有领域问题交给系统，让开发人员关注数据本身，解放人力缩短数仓构建周期。

000X000·2023-01-08 10:50

美团点评基于 Flink 的实时数仓建设实践

引言近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过Flink引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架Flink与Storm的性能对比》，对Flink和Storm俩个引擎的计算性能进行了比较。本文主要阐述使用Flink在实际数据生产上的经验。实时平台初期架构在实时数据系统

zxfBdd·2023-01-08 10:16

【统一数据开发平台】-OLAP分析平台和实时数仓实践和优化

一、业务背景BIGO是一家面向海外的以短视频直播业务为主的公司,目前公司的主要业务包括BigoLive(全球直播服务)，Likee(短视频创作分享平台)，IMO(免费通信工具)三部分，在全球范围内拥有4亿用户。伴随着业务的发展，对数据平台处理能力的要求也是越来越高，平台所面临的问题也是日益凸显，接下来将介绍BIGO大数据平台及其所面临的问题。BIGO大数据平台的数据流转图如下所示：用户在APP，W

Impl_Sunny·2023-01-08 10:16

基于 Flink 的实时数仓建设实践

实时平台初期架构在实时数据系统建设初期，由于对实时数据的需求较少，形成不了完整的数据体系。我们采用的是“一路到底”的开发模式：通过在实时计算平台上部署Storm作业处理实时数据队列来提取数据指标，直接推送到实时应用服务中。图1初期实时数据架构但是，随着产品和业务人员对实时数据需求的不断增多，新的挑战也随之发生。数据指标越来越多，“烟囱式”的开发导致代码耦合问题严重。需求越来越多，有的需要明细数据，

高个子男孩·2023-01-08 10:15

知乎案例分享: 万字详解用户画像与实时数仓的架构与实践

文章目录1.前言1.1名词解释1.2实时数据与用户画像与各业务的结合2.面临的挑战和痛点2.1有价值2.2数据实效性2.3接口实时性2.4复杂性3.实践及经验分享3.1整体业务架构3.2实时数据的数据架构选型3.3应用层建设经验分享3.3.1实时数据系统01业务场景02面临的困难03解决方案3.3.2用户画像系统DMP01业务场景02面临的困难03解决方案04效果05待提升3.4工具层建设经验分享

Pushkin.·2023-01-08 10:44

实时数仓方案

2、实时数仓方案2.1、为何需要实时数仓架构随着数据量的增大，传统数据的方案在时效性上和数据维护上变得越来越困难。实时数仓架构应运而生。

jerry-89·2023-01-08 10:41

流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓

作者：董伟柯——腾讯云大数据产品中心高级工程师概述ApacheFlink是流式计算处理领域的领跑者。它凭借易用、高吞吐、低延迟、丰富的算子和原生状态支持等优势，多方位领先同领域的开源竞品。同样地，ClickHouse是OLAP在线分析领域的一颗冉冉新星，它拥有极其出众的查询性能，以及丰富的分析函数，可以助力分析师灵活而迅速地挖掘海量数据的价值。然而金无足赤，人无完人，每个组件都有自己擅长和不擅长的

腾讯云大数据·2023-01-08 10:10

腾讯云原生实时数仓建设实践

腾讯云原生实时数仓建设实践实时数仓面临的挑战实时数仓被广泛应用于腾讯各大业务，涉及的平台众多，从统计信息中可以看出，集群规模庞大，数据量极大。

腾讯云大数据·2023-01-08 10:10

知乎实时数仓架构演进

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。

chiweiwei2710·2023-01-08 10:10

Hologres助力AliExpress双11实时数仓升级

简介：本篇将重点介绍Hologres在阿里巴巴AliExpress的最佳实践，并助力AliExpress实时数仓升级，节约成本近50%，提效300%。

阿里开发者·2023-01-08 10:39

StarRocks × Apache Flink：如何构建简单强大的实时数仓架构

当前在构建实时数仓时，由于数据源的多样性，需要使用不同的采集工具，如Flume、Canal、Logstash。对于不同的业务，我们通常会采用不同的分析引擎。

StarRocks_labs·2023-01-08 10:09

实时数仓，为什么不可代替？

什么是实时数据仓库？它有哪些不可替代之处？大数据时代中，数据仓库解决了商业智能分析过程中的数据管理问题，但是存在烟囱式、冗余高的弊端随着商业智能的兴起和数据时代的到来，越来越多的企业开始汇总、整合和分析自身的业务大数据，从中挖掘出有价值的知识信息，支撑商业决策。相比于早年的信息初时代，不由让人感叹一句，时代变了。大数据时代的一个显著特征就是企业会面临数据源多、结构复杂的问题，为了更好地业务大数据实

jerry-89·2023-01-08 10:05

Hive SQL 题目总结 - 尚硅谷

手写HQL第一题表名：score;表结构：uid,subject_id,score求：找出所有科目成绩都大于某一学科平均成绩的学生数据集如下100101901001029010010390100201851002028510020370100301701003027010030385数据insertintoscorevalues('1001','01',90);insertintoscoreval

qq_25127933·2023-01-07 13:53

VirtualBox使用vagrant快速搭建系统环境等

VirtualBox快速搭建系统环境在以前没看尚硅谷的谷粒商城的时候，在虚拟机搭建系统环境，都是自己去下载一个几G的镜像，浪费时间，现在不用了准备工作1.已经下载好了VirtualBox，相当于Vmware

Adger@·2023-01-06 19:02

【新年新姿势第一弹】腾讯云EMR数仓建设教程发布——与尚硅谷强强联手带你全方位了解大数据组件

腾讯云开发者社区带着干货来了，腾讯云×尚硅谷大数据研究院强强联手，重磅推出新年第一弹：腾讯云EMR数仓教程发布腾讯云开发者社区“公开课”直达：腾讯云开发者公开课-腾讯云开发者社区-腾讯云这套教程由腾讯云官方与尚硅谷大数据研究院联合推出

·2023-01-06 16:56

出行平台如何基于 StarRocks 构建实时数仓？

首汽约车（以下简称“首约”）是首汽集团为响应交通运输部号召，积极拥抱互联网，推动传统出租车行业转型升级，加强建设交通强国而打造的网约车出行平台。在用车服务方面，包括了即时用车、预约用车、多日接送、包车业务、接送机、国际用车、城际拼车等用车服务场景，提供出租、畅享、舒适、商务、豪华、巴士等丰富车型。首汽约车还通过数据整合和智能科技陆续推出了学生用车、老人用车等产品来满足不同人群的出行需求。随着5G时

·2023-01-06 16:26

2022年学生面试不写商城项目那就让自己假设处于工作状态的环境去学习吧！

一、前言很多学生在大二暑假、大二寒假、大三暑假去报名线下的培训机构(黑马、尚硅谷)其实是个不错的选择，可以系统性的学习Java技术体系。

无处不在的海贼·2023-01-06 10:43

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。

javastart·2023-01-06 01:52

实时数仓之 Kappa 架构与 Lambda 架构

大家好，我是球球。今天，我们先了解一下数据仓库架构的演变过程，本文主要从五个方面进行介绍数据仓库概念离线大数据架构Lambda架构Kappa架构Lambda架构与Kappa架构的对比1数据仓库概念数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。数据仓

智慧化智能化数字化方案·2023-01-06 01:22

基于Flink构建全场景实时数仓

目录：一.实时计算初期二.实时数仓建设三.Lambda架构的实时数仓四.Kappa架构的实时数仓五.流批结合的实时数仓实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，

普通网友·2023-01-06 01:22

Day01 Java基本概念

尚硅谷-基本语法-02-复习1-一、整体语言概述(知识图谱)二、项目和课程对应关系说明第一部分:编程语言核心结构:主要知识点:变量、基本语法、分支、循环、数组、…第二部分:Java面向对象的核心逻辑主要知识点

拾贰_CTF·2023-01-04 09:49

面试+学习+做项目+最全Java视频讲解

关注公众号：计算机视觉与图形学实战Java零基础教程视频（适合Java0基础，Java初学入门）尚硅谷Java零基础入门教程（含百道Java真题，2万多行Java代码实战）黑马程序员全套Java教程_Java

元宇宙MetaAI·2023-01-04 09:20

复杂查询响应速度提升10+倍，度言软件基于 Apache Doris 实时数仓建设实践

作者|杭州度言软件大数据团队杭州度言软件有限公司（度言软件）成立于2014年，是信贷不良资产处置技术服务供应商，以“智能科技赋能不良资产处置，推动贷后行业合规高效发展”为使命，运用云通讯、大数据、人工智能等智能科技为信贷不良资产处置业务赋能，提供贷后管理通信能力支撑，实现了催收作业的智能化管理，客户群体为银行、消费金融公司、AMC等金融机构和为这些机构提供人力资源外包服务的相关公司，目前已拥有20

·2023-01-03 19:47

尚硅谷python部分学习笔记

Python文章目录PythonPython环境的安装下载Python安装Python测试是否安装成功pip的使用安装配置使用pip管理Python包修改pip下载源注释单行注释多行注释变量以及数据类型变量的定义变量的类型查看数据类型标识符和关键字命名规范关键字类型转换转换成为整数转换成为浮点数转换成为字符串转换成为布尔值运算符算数运算符算数运算符在字符串里的使用赋值运算符复合赋值运算符比较运算符

跪下，大胆刁民·2023-01-02 11:36

Java学习路线（总览及目录）

刚刚开始学习java，已经决定走这一条路了，本来是算法无奈太卷而且感觉太难，所以选择开发，目前的学习路线是跟着尚硅谷走的，b站可以搜到，尚硅谷的老师都讲的非常的好，所以我在博客目前

java小白沣·2023-01-02 07:17

【学习笔记】尚硅谷-Redis6 2.Redis配置文件和事务

本博客为尚硅谷课程笔记，课程来源：【尚硅谷】Redis6入门到精通超详细教程_哔哩哔哩_bilibili部分参考博文：Redis6从入门到精通文章目录Redis配置文件发布和订阅Jedis操作Jedis

Morejay·2023-01-02 07:06

【学习笔记】尚硅谷-Redis6 1.Redis入门及数据类型介绍

本博客为尚硅谷课程笔记，课程来源：【尚硅谷】Redis6入门到精通超详细教程_哔哩哔哩_bilibili部分参考博文：Redis6从入门到精通文章目录NoSQL与Redis概述NoSQL简介Redis介绍与安装常用

Morejay·2023-01-02 07:34

【学习笔记】尚硅谷-AJAX

Ajax简介AsynchronousJavaScriptAndXML：在不网页无刷新跳转的情况下，向服务器（后端）发送HTTP请求并得到HTTP响应Ajax就是一个异步无刷新请求，无需更新整个页面就异步加载一些数据，交互性更强。Ajax优缺点无需刷新页面即可与服务器端进行通信。允许根据用户事件来更新部分页面内容。无浏览历史，不能回退。存在跨域问题（同源）：如a.com向b.com发送AJAX请求默

Morejay·2023-01-02 07:04

CC00031.bdpositions——|Hadoop&实时数仓.V11|——|项目.v11|DWD层处理|数据仓库层数据处理.V1|

一、DW层处理###---DW层处理~~~DW(DataWarehouse数据仓库层)。~~~包含DWD、DWS、DIM层，由ODS层数据加工而成。主要完成数据加工与整合，~~~建立一致性的维度，~~~构建可复用的面向分析和统计的明细事实表，~~~以及汇总公共粒度的指标。~~~DWD(DataWarehouseDetail细节数据层)，是业务层与数据仓库的隔离层。~~~以业务过程作为建模驱动，基于

yanqi_vip·2022-12-31 16:09

数据查询和业务流分开_滴滴实时数仓逐层剖解：实时与离线数据误差<0.5%

原标题：滴滴实时数仓逐层剖解：实时与离线数据误差<作者介绍潘澄，资深软件开发工程师。负责实时数据仓库建设，多年数据相关工作经验，专注数据建模、数据仓库、实时数据技术等领域。朱峰，高级软件开发工程师。

weixin_39733812·2022-12-31 16:07

MyBatis笔记目录

视频教程链接：【尚硅谷】2022版MyBatis教程（细致全面，快速上手）视频p数笔记链接简介p01-051-MyBatis简介MyBatis历史、MyBatis特性、MyBatis下载、和其它持久化层技术对比

嘤桃子·2022-12-31 16:54

MapReduce-ETL数据清洗（From 尚硅谷）

个人学习整理，所有资料来自尚硅谷B站学习连接：添加链接描述MapReduce—ETL数据清洗1.ETL数据清洗“ETL"，Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取

lavineeeen·2022-12-31 10:26

智能湖仓架构实践：利用 Amazon Redshift 的流式摄取构建实时数仓

AmazonRedshift是一种快速、可扩展、安全且完全托管的云数据仓库，可以帮助用户通过标准SQL语言简单、经济地分析各类数据。相比其他任何云数据仓库，AmazonRedshift可实现高达三倍的性能价格比。数万家客户正在借助AmazonRedshift每天处理EB级别的数据，借此为高性能商业智能（BI）报表、仪表板应用、数据探索和实时分析等分析工作负载提供强大动力。我们很激动地为Amazon

亚马逊云开发者·2022-12-30 17:59

亚马逊云科技智能湖仓架构实践：利用Amazon Redshift的流式摄取构建实时数仓

AmazonRedshift是一种快速、可扩展、安全且完全托管的云数据仓库，可以帮助用户通过标准SQL语言简单、经济地分析各类数据。相比其他任何云数据仓库，AmazonRedshift可实现高达三倍的性能价格比。数万家客户正在借助AmazonRedshift每天处理EB级别的数据，借此为高性能商业智能（BI）报表、仪表板应用、数据探索和实时分析等分析工作负载提供强大动力。我们很激动地为Amazon

m0_72973530·2022-12-30 17:28

青软集团产业项目集：基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目

随着大数据、人工智能、工业互联网等新兴技术的发展，传统产业数字化转型的不断深化，相关企业更加迫切地需要理解产业、具备技术和工程实践等能力的高素质数字化人才。基于真实产业需求，青软面向商业BI、航空、智能交通、社会舆情、能源、医药服务等领域，引入适用于高校人才培养的项目资源，构建于U+新工科智慧云平台上，助力高校培育复合型应用人才。本期，我们将介绍企业级真实案例——《基于Flink+Kylin+Dr

QST青软集团·2022-12-30 11:38

SpringCloud学习笔记尚硅谷周阳2020版下半场SpringCloud Alibaba

SpringCloud学习笔记代码gitee仓库地址https://gitee.com/lu-yi1104/spring-cloud_-study.git/上半场(一)地址https://blog.csdn.net/weixin_43691773/article/details/109167048文章目录SpringCloud学习笔记上半场(一)地址SpringCloudAlibaba简介官网地址

Java全栈百度工程师·2022-12-30 05:32

B站尚硅谷最新版SpringCloud Alibaba学习笔记(1)Nacos服务注册和配置中心

NaoJoestar·2022-12-30 05:28

尚硅谷谷粒商城项目学习笔记-分布式组件-P2-SpringCloudAlibaba

分布式组件-P2-SpringCloudAlibaba0.分布式组件SpringCloudAlibaba使用1.Nacos-注册、配置中心1.1注册中心1.1引入依赖1.2配置Nacos地址1.3@EnableDiscoveryClient注解1.2配置中心1.2.1引入依赖1.2.2添加配置1.2.3Nacos进行配置1.3配置中心细节1.3.1命名空间1.3.2配置集1.3.3配置集ID：1.

学无止境DayDayUp·2022-12-30 05:53

SpringCloud Alibaba 实战，来自尚硅谷电商项目理解

电商项目常见解决技术搭配方案：SpringCloudAlibaba--nacos：注册中心SpringCloudAlibaba--nacos：配置中心SpringCloud--Ribbon：负载均衡SpringCloud--OpenFeign：声明式Http客户端（调用远程服务）SpringCloudAlibaba--Sentinel：服务容错（限流、降级、熔断）SpringCloud--Gate

明明在学JAVA·2022-12-30 05:18

尚硅谷SpringCloud Alibaba

SpringCloudAlibaba1.SpringCloudAlibaba1.1.SpringCloudAlibaba功能1.2组件2.Nacos2.1Nacos简介2.2安装并运行Nacos2.3基于nacos的服务提供者2.3.1建父工程2.3.2建立服务的提供者alibaba-provider-payment90012.3.4建立服务的提供者alibaba-provider-payment

smilecb·2022-12-30 05:45

SpringCloud+SpringCloud Alibaba（尚硅谷2020版）

文章目录1.传统单体架构和微服务架构的对比1.1传统单体架构1.1.1传统单体架构概述1.1.2单体架构的特点1.1.3单体架构的优点1.1.4单体架构的缺点1.2微服务架构1.2.1微服务架构概述1.2.2微服务架构的特点1.2.3微服务架构的优点1.2.4微服务架构的缺点2.SpringCloud简介3.SpringCloud和SpringBoot的关系4.SpringCloud和Spring

☜阳光·2022-12-30 05:40

推荐频道

尚硅谷实时数仓