数仓分层架构

1.8万字详解实时数仓建设方案及大厂案例

一、实时数仓建设背景关注公号：数元斋1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。
少晗·2023-08-19 03:39

数据库变革：HashData云数仓实现事务级实时性

酷克数据资深解决方案架构师陈义贤在“数据库内核•技术创新”专场发表题为“分布式数仓的TP能力探索—HashDataUnionStore”的演讲，介绍HashData以Logisdatabase的思路在分布式数据仓库提升
·2023-08-18 20:18

2023.8.8巨人网络数据开发工程师面试复盘

1概述问题一览总体感觉良好，通过面试官的介绍可知这个岗位偏向离线数仓。
TIM33470348·2023-08-18 09:38

PyFlink SQL的json解析函数

当你遇到大数据里含有json时候，离线数仓开发，hive有特别好用的get_json函数。
黑肚皮的窝·2023-08-18 06:12

大数据开发：数仓建模常见数据模型

对于数仓建模，很多人说不就是建表吗，哪有那么复杂，事实上，这是非常错误的思想。今天的大数据开发分享，我们来聊聊数仓建模常见的几种数据模型。
加米谷大数据张老师·2023-08-17 12:22

数仓建模方法论

1.数仓建模的理由数据建模的主要目的是降低成本，提高数据的利用效率。尤其是大数据时代的到来，数据的多样化，巨量，更需要有效的有针对性数据建模方法。
浪尖聊大数据-浪尖·2023-08-17 12:51

StoneData 2.0 正式上线阿里云市场，高性能、低成本一站式实时数仓，满足用户全场景分析需求

好消息，石原子旗下新一代离在线一体化实时数仓StoneData2.0正式上线阿里云云市场了！云市场版本交付方式为计算巢私有化部署，自动完成云资源的创建和应用部署，相比传统部署方案，大幅降低配置复杂度。
·2023-08-17 12:28

StoneData 2.0 正式上线阿里云市场，高性能、低成本一站式实时数仓，满足用户全场景分析需求

好消息，石原子旗下新一代离在线一体化实时数仓StoneData2.0正式上线阿里云云市场了！云市场版本交付方式为计算巢私有化部署，自动完成云资源的创建和应用部署，相比传统部署方案，大幅降低配置复杂度。
·2023-08-17 12:18

DDD分层架构最佳实践

还在单体应用的时候就是分层架构一说，我们用得最多的就是三层架构。而现在已经是微服务时代，在微服务架构模型比较常用的有几个，例如：整洁架构，CQRS（命令查询分离）以及六边形架构。
·2023-08-17 08:34

实现分层架构)

承接系列的上一篇，本次我回来分享如何结合CleanArchitecture与DDD实现一个分层架构。
·2023-08-17 08:03

数仓开发需要了解的BI数据分析方法

数仓开发经常需要与数据表打交道，那么数仓表开发完成之后就万事大吉了吗？显然不是，还需要思考一下如何分析数据以及如何呈现数据，因为这是发挥数据价值很重要的一个方面。
大数据技术与数仓·2023-08-17 04:32

阿里云大数据实战记录6：修改生产环境表单字段数据类型

最近，在数仓处理一个数据表就遇到了这个问题。
Xin学数据·2023-08-16 19:07

Databend 开源周报第 106 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-08-16 19:22

网易云音乐实时数仓治理优化实践

导读今天分享的主题是实时数仓治理的优化实践。
王知无(import_bigdata)·2023-08-16 18:02

基于Doris实时数据开发的一些注意事项

基于Doris的一些存储实时数仓在越来越多的场景中开始有一些实践。大家也看到了这种方案频繁出现在社区分享中。
王知无(import_bigdata)·2023-08-16 18:02

【云+社区极客说】新一代大数据技术：构建PB级云端数仓实践

本文来自腾讯云技术沙龙，本次沙龙主题为构建PB级云端数仓实践在现代社会中，随着4G和光纤网络的普及、智能终端更清晰的摄像头和更灵敏的传感器、物联网设备入网等等而产生的数据，导致了PB级储存的需求加大。
·2023-08-16 18:59

基于 Kafka 的实时数仓在搜索的实践应用

一、概述ApacheKafka发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。ApacheKafka社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得ApacheKafka功能越发丰富、性能越发稳定，成为企业大数据技术架构解决方案中重要的一环。ApacheKafka作为一个热门消息队列中间件，具备高效可靠的消息处理能力，且拥有非常广泛的应用领域。那么，今天就来
vivo互联网技术·2023-08-16 17:55

Spring Boot框架分层设计解析

文章目录model层dao层service层controller层spring分层架构图.jpgmodel层model层即数据库实体层，也被称为entity层，pojo（PlainOrdinaryJavaObject
富士山下2020·2023-08-16 15:01

技术分享 | StoneData 的身份认证与访问控制策略：构建安全可靠的数据分析环境

身份认证与访问控制策略是构建安全可靠的数仓环境的核心要素，StoneData作为一款新一代高性能、低成本的一站式实时数仓，已具备健全的身份认证与访问控制能力。本文将围绕着账号合规
·2023-08-16 15:35

使用 Databend 助力 MySQL 的数据分析

目标Databend是一个非常先进的基于对象存储云原生数仓1可以提强大的计算分析及存储能力。让MySQLDBA非常眼馋。今天想把MySQL的wubx库从MySQL全量迁移到Databend中。
·2023-08-16 15:47

技术分享 | StoneData 的身份认证与访问控制策略：构建安全可靠的数据分析环境

身份认证与访问控制策略是构建安全可靠的数仓环境的核心要素，StoneData作为一款新一代高性能、低成本的一站式实时数仓，已具备健全的身份认证与访问控制能力。本文将围绕着账号合规
·2023-08-16 15:24

融入数据浪潮，KaiwuDB 期待与您共赴 DTCC 2023

大会以“数智赋能共筑未来”为主题，设置2大主会场，20＋技术专场，邀请超百位行业专家，重点围绕HTAP与多模数据库应用、图数据技术、云原生数据库、实时数仓等内容展开分享和探讨。
·2023-08-16 15:51

从银行数字化转型来聊一聊，火山引擎 VeDI 旗下 ByteHouse 的应用场景

作为火山引擎数智平台VeDI旗下核心数智产品之一，ByteHouse起源于字节跳动的内部数智实践，并于2021年8月正式外对发布，随后在12月发布数仓版本。尽管面向企业级
·2023-08-16 13:28

火山引擎ByteHouse助力中国地震台网中心，快速构建一站式实时数仓

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群近日，中国地震台网中心与火山引擎达成合作，双方将围绕ByteHouse实时数仓展开合作。
·2023-08-16 13:57

流批一体的近实时数仓的思考与设计

摘要：基于对数据时间旅行的思考，引出了对目前三种数仓形态和两种数仓架构的思考。
·2023-08-16 10:30

架构演进及常用架构

1架构演进及常用架构1.1单体分层架构1.2多应用微服务架构1.3分布式集群部署部署CDN节点：用户访问量的增加意味着用户地域的分散请求，如果所有请求都直接发送中心服务器的话，距离越远，响应速度越差，这时就需要用到
珠峰之巅·2023-08-16 07:55

尚硅谷大数据项目《在线教育之离线数仓》笔记001

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录P003P004【数仓概念讲的颇为详细】P018P019P020P021P022P023P024P003时间切片：时间回溯
upward337·2023-08-16 03:37

Spark操作Hive表幂等性探索

数仓中的表还要考虑幂等性吗？幂等性数据幂等性是指在多次执行相同操作时，最终的结果与执行一次操作的结果相同。具体来说，无论重复执行多少次相同的操作，操作的结果应该保持一致
SunnyRivers·2023-08-16 01:16

芒果 TV 基于 Flink 的实时数仓建设实践

一、芒果TV实时数仓建设历程芒果TV实时数仓的建设共分为三个阶段，14-19年为第一阶段，技术选型采用Storm/FlinkJava+SparkSQL
·2023-08-15 18:00

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

我们基于ApachePaimon(Incubating)构建StreamingLakehouse的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设
·2023-08-15 18:41

专家老师带教！现场答疑！阿里云实时计算 Flink 版线下训练营北京站来啦！

专家老师现场教学，真实还原实时计算业务和实时数仓场景，现场有机会领取Flink最新周边礼包！
·2023-08-15 18:43

支持多数据源联合查询的SQL运行引擎sycnany-SQL添加使用自定义函数

在微服务和云原生愈发流行的今天，数据的分布也愈发脱离单库单机而更加复杂，使用的数据库类型也会更多，但业务的复杂依然会带来了大量的数据查询和导出需求，而很多时候我们很难为数据量的大部分系统创建完整的BI数仓系统
·2023-08-15 16:36

支持多数据源联合查询的本地运行SQL执行引擎syncnany-SQL安装和配置

在微服务和云原生愈发流行的今天，数据的分布也愈发脱离单库单机而更加复杂，使用的数据库类型也会更多，但业务的复杂依然会带来了大量的数据查询和导出需求，而很多时候我们很难为数据量的大部分系统创建完整的BI数仓系统
·2023-08-15 16:09

Apache Doris 在约苗数据平台的实时数仓建设实践

本文导读：约苗平台是国内目前最大的成人预防接种管理服务平台。近年来，随着各功能的不断完善，用户数量不断增多，越来越多注册数据、疫苗类别点击数据、页面浏览时长等数据被生成和积累，如何有效利用这些数据进行处理分析，对于约苗提高工作效率、优化运营决策有着不容小觑的作用。基于此约苗平台历经三代架构演进，最终通过ApacheDoris重构了数据平台架构，统一了数据源出口，实现了近300倍的查询提速，目前已在
·2023-08-15 16:52

【数仓建设系列之一】什么是数据仓库？

一、什么是数据仓库？数据仓库(DataWarehouse，简称DW)简单来讲，它是一个存储和管理大量结构化和非结构化数据的存储集合，它以主题为向导，通过整合来自不同数据源下的数据(比如各业务数据，日志文件数据等)，解决企业数据孤岛，为企业提供统一的数据视图。通过构建不同时间范围或不同业务主题下的分析报告和数据报表等，为企业决策提供一定程度上的支持和帮助。二、数据仓库的特点？主题性传统的数据库，更多
码猿小站·2023-08-15 16:44

实时数仓浪潮来袭，这些宝藏开源CDC工具助您破壁 | StoneDB数据库观察 第9期

作者|祁国辉编辑|宇亭头图|Yeekin责编|韩楠实时数仓的浪潮来袭，对于用户最大的挑战，就是业务数据的变化需要实时反馈到后台系统，甚至需要针对这些变化，快速做出反应，那么就需要
·2023-08-15 16:38

DTCC 2023即将启幕 明天见！

作为国内云原生数据仓库代表厂商，酷克数据受邀亮相DTCC2023，与广大数据库领域从业人士共同分享云原生数仓发展趋势，探讨数据仓库提升实时性的路径。精彩话题不容错过！
·2023-08-15 16:06

如何设计实时数据平台（技术篇）

在上篇（设计篇）中，我们从现代数仓架构角度和典型数据处理角度介绍了RTDP，并探讨了RTDP的整体设计架构。本文作为下篇（技术篇），则是从技术角度入手
longLiveData·2023-08-15 14:47

SpringCloud微服务

传统架构—》分布式架构—》SOA面向服务架构—》微服务架构从传统到微服务架构过程传统架构也就是为单点应用，也就是大家在早期所学习的JavaEE知识SSH或者SSM架构模式，会采用分层架构模式：数据库访问层
kaico2018·2023-08-15 10:52

Autosar NvM 详解

一、AutoSARMemoryStack整体概述前言在AutoSAR架构除了横向看包含APP/RTE/BSW/MCAL等分层架构之外，对于BSW（包含MCAL）对纵向的不同功能协议栈也作了详细的划分，主要包括通信栈
king110108·2023-08-15 08:20

热烈Matplotlib子图不不会画来看看-分图绘制（怒肝万字）

‍博主介绍：大家好，我是大锤爱编程的博客_CSDN博客-大数据,Go,数据分析领域博主，有五年的数据开开发，有着丰富的数仓搭建、数据分析经验。
大锤爱编程·2023-08-15 05:29

字节电商大数据开发一面，已过，面试题已配答案

面试题答案参考大数据面试题V3.0，523道题，679页，46w字1、实习经历这点不多说了，根据自己的来就行2、工作中最难的点一般都会提前回顾之前自己遇到的问题，根据自己的来3、如何保证数据质量这里主要是阿里对数仓的一些数据质量保证原则
蓦然_·2023-08-15 01:36

数仓建设保姆级教程，离线和实时理论+实战

文档大纲：一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。
灯惉·2023-08-14 23:57

你的项目适合哪种嵌入式软件架构模式？

一般分7种架构模式：①分层架构②多层架构③管道-过滤器架构④客户端-服务器架构⑤模型-视图-控制器架构⑥事件驱动架构⑦微服务架构其中加粗部分属于个人觉得适合在嵌入式系统应用的架构（模式），实际开发中一般是多种模式嵌套
嵌入式资讯精选·2023-08-14 20:40

Flink—读Hive表数据写入Kafka

引言场景  数仓Hive中的数据需要读取后写入Kafka中进行数据服务输出。选型  选用Flink进行读Hive写Kafka，因为其拥有丰富的connector可选择。
Andya_net·2023-08-14 19:02

成功解决DataX从Hive导出Oracle的数据乱码问题！

市面上可用的etl工具和框架很多，如来自于传统数仓和BI圈的kettle/informatica/datastage,来自于hadoop生态圈的sqoop/datax，抑或使用计算引擎spark/presto
笑看风云路·2023-08-14 18:30

每日一学——TCP/IP参考模型

TCP/IP参考模型是一个用于网络通信的分层架构，它定义了一组协议，这些协议实现了计算机之间的数据传输。
课题设计·2023-08-14 14:53

大数据开发基础-环境配置篇-Hadoop集群安装

首先是大数据开发基础篇环境搭建、组件面试题等其次是更新大数据开发面经的java面试基础最后更新一个大数据开发离线数仓的实战项目，自己写入简历的项目。关注不迷路，学习要进步！！！！！！
葡萄成熟时_·2023-08-14 01:19

BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化

▼关注「ApacheFlink」，获取更多技术干货▼摘要：本文整理自BIGOStaffEngineer邹云鹤在FlinkForwardAsia2021的分享。主要内容包括：业务背景落地实践&特色改进应用场景未来规划Tips：点击「阅读原文」查看原文视频&演讲PDF～一、业务背景BIGO是一家面向海外的以短视频直播业务为主的公司,目前公司的主要业务包括BigoLive(全球直播服务)，Likee(短
Apache Flink·2023-08-13 15:54

不惧流量持续上涨，BIGO 借助 Flink 与 Pulsar 打造实时消息系统

随着数据规模日益增长，产品不断迭代，BIGO消息流平台承载的数据规模出现了成倍增长，下游的在线模型训练、在线推荐、实时数据分析、实时数仓等业务对消息流平台的实时性和稳定性提出了更高的要求。
zhisheng_blog·2023-08-13 15:53
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他