数仓（

Databend 开源周报第 107 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-08-23 08:01

美团增量数仓建设新进展

本篇内容主要分为四个部分：1.建设背景2.核心能力设计与优化3.业务实践4.未来展望Tips：点击「阅读原文」免费领取5000CU*小时Flink云资源01美团增量数仓的建设背景美团数仓架构的诞生是基于这样的技术假设
Apache Flink·2023-08-23 07:34

基于阿里云 Flink+Hologres 搭建实时数仓

摘要：本文作者阿里云Hologres高级研发工程师张高迪&阿里云Flink技术内容工程师张英男，本篇内容将为您介绍如何通过实时计算Flink版和实时数仓Hologres搭建实时数仓。
Apache Flink·2023-08-23 07:33

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

内容主要分为四个部分：流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的实时数仓中的一个实时预处理的功能
Apache Flink·2023-08-23 07:58

CDH集群离线配置python3环境，并安装pyhive、impyla、pyspark

背景：项目需要对数仓千万级数据进行分析、算法建模。
yunpeng.zhou·2023-08-23 06:55

数仓第5篇:『数据魔法』ETL

目录导读：一、数据同步之道01.sqoop02.DataX03.kettle04.canal05.StreamSets二、ETL之技术栈2.1工具2.2语言三、ETL加载策略01.增量02.全量03.拉链四、结束语导读：ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ET
浊酒南街·2023-08-22 23:16

Flink + Iceberg 的数仓增量生产 ETL 以及在美团的落地实践

一、美团数仓架构图如上图，是美团最新的数仓架构图。
KK架构·2023-08-22 23:46

MySQL—数仓ETL开发中常用到的日期函数

在数据仓库ETL开发中，当以增量的方式进行数据同步时，会将数据表中的时间字段作为增量字段获取增量数据。对于MySQL数据库来说，总结了以下日期表示以及需要注意的问题。一、需要注意的问题：查看MySQL数据库的时区，以下MySQL的时间是utc时间，与北京时间相差8个小时，所以在进行ETL开发时，要将表字段转换成北京时间（在utc时间基础上加8个小时即为北京时间）二、utc时间转为北京时间的函数：c
一克拉的小蚂蚁·2023-08-22 23:16

零代码ETL+聚水潭，实现销售出库单同步到数仓

一、聚水潭单据同步需求聚水潭作为领先的电商ERP有很多快销、零售企业使用，同时作为以订单为核心的电商ERP系统企业还需要在本地配合其他业务系统一起使用完全整个业务的协同和财务结算，作为中大型企业随着业务发展企业会在聚水潭中沉淀大量的业务数据，这些数据需要接取到本地业务系统如金碟云星空、用友NC中进行发货、生成凭证、统计分析等需求，如果这些数据没有同步将会影响企业的业务运行，阻碍企业的业务创新能力。
苛子·2023-08-22 23:15

零代码ETL+聚水潭，实现销售出库单同步到数仓

一、聚水潭单据同步需求聚水潭作为领先的电商ERP有很多快销、零售企业使用，同时作为以订单为核心的电商ERP系统企业还需要在本地配合其他业务系统一起使用完全整个业务的协同和财务结算，作为中大型企业随着业务发展企业会在聚水潭中沉淀大量的业务数据，这些数据需要接取到本地业务系统如金碟云星空、用友NC中进行发货、生成凭证、统计分析等需求，如果这些数据没有同步将会影响企业的业务运行，阻碍企业的业务创新能力。
苛子·2023-08-22 23:13

人群圈选效率提升 30 倍，云积天赫基于 Apache Doris 构建统一数仓的实践

ApacheDoris在部分业务中使用，并在使用过程中逐渐发掘出ApacheDoris更多强大之处以及优势，最终决定全面应用ApacheDoris，基于ApacheDoris来构建云积互动企业级实时离线统一数仓
·2023-08-22 15:47

云上 Index：看「简墨」如何为云原生打造全新索引

拓数派首款数据计算引擎PieCloudDBDatabase是一款全新的云原生虚拟数仓。
·2023-08-22 11:01

性能全面飙升！StarRocks 在贝壳找房的极速统一实践

随着数据和业务规模的增长，传统数仓的分析能力面临很大的挑战，贝壳需要引入新兴的数据湖技术来支撑业务的发展。
·2023-08-22 10:45

Apache Paimon 实时数据湖 Streaming Lakehouse 的存储底座

内容主要分为四个部分：流计算邂逅数据湖PaimonCDC实时入湖Paimon不止CDC入湖总结与生态点击查看原文视频&演讲PPT一、流计算邂逅数据湖流计算1.0实时预处理流计算1.0架构截止到现在也是非常主流的实时数仓中的一个实时预处理的功能
·2023-08-22 10:14

大数据背景和概念

现在市场回归理性后：普通岗：大数据/数仓开发，实际上除超一线城市之外，尚存很多大型企业转型期信息化、互联网（物联网IOT）还在发展，数据还在爆发式增长，仍大有可为。精英岗/管理岗：大数
2301_77342543·2023-08-22 00:29

【数仓建设系列之二】数仓基本概念介绍

随着移动互联网的快速发展，数据的生产也成几何式的增长，传统意义上的数据库已经无法满足日益增长的需求，建设一个好的数仓，不仅可以为企业的决策和发展带来具有价值的指导意义，同时也能够将企业产生的所有数据充分利用起来
码猿小站·2023-08-21 23:32

腾讯云对象存储联合DataBend云数仓打通数据湖和数据仓库

随着数字化进程不断深入，数据呈大规模、多样性的爆发式增长。为满足更多样、更复杂的业务数据处理分析的诉求，湖仓一体应运而生。在Gartner发布的《HypeCycleforDataManagement2021》中，湖仓一体（Lakehouse）首次被纳入到技术成熟度曲线中。伴随多场景的成功落地，腾讯云对象存储打造基于云技术的湖仓一体解决方案。将数据仓库构建在数据湖上，打通数据仓库和数据湖两套体系，构
·2023-08-21 15:18

尚硅谷大数据项目《在线教育之离线数仓》笔记002

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录P025P026P027P028P029P030P031P032P033P034P035P036P037P038P025在
upward337·2023-08-20 16:31

任务调度之时间轮实现 | 京东云技术团队

前言在生活中太阳的东升西落，鸟类的南飞北归，四级的轮换，每天的上下班，海水的潮汐，每月的房租车贷等等，如果用程序员的视角看，这就是一个个的定时任务，在日常的开发工作中也有很多的定时任务场景：数仓系统凌晨进行的数据同步订单
·2023-08-19 15:17

数仓分层架构

1分层实现数据仓库一般分为三层，自上而下分别为数据贴源层（ODS，OperationDataStore）、数据公共层（CDM，CommonDataModel）和数据应用层（ADS，ApplicationDataService）。1.1ODS层（数据贴源层）贴源层，与业务库保持一致，不做任何处理1.2CDM层（数据公共层）数据公共层CDM（CommonDataModel，又称通用数据模型层），包括D
三石先生已存在·2023-08-19 12:38

DTCC 2023即将启幕 明天见！

、ChinaUnix两大技术社区主办的第14届中国数据库技术大会（DTCC2023）将在北京举行作为国内云原生数据仓库代表厂商，酷克数据受邀亮相DTCC2023，与广大数据库领域从业人士共同分享云原生数仓发展趋势
HashData酷克数据·2023-08-19 09:52

数据库变革：HashData云数仓实现事务级实时性

酷克数据资深解决方案架构师陈义贤在“数据库内核•技术创新”专场发表题为“分布式数仓的TP能力探索—HashDataUnionStore”的演讲，介绍HashData以Logisdatabase的思路在分布式数据仓库提升
HashData酷克数据·2023-08-19 08:21

数仓建模—OneID

简介：这个和上面的更新问题有点像，上面更新问题我们可以保证一个自然人的OneID不发生变化，但是选择问题会导致发生变化，但是这个问题是图计算中无法避免的，我们举个例子，假设我们有用户的两个ID(A_ID,C_ID)，但是这两个ID在当前是没有办法打通的，所以我们就会为这个两个ID生成两个OneID,也就是(A_OneID,B_OneID)，所以这个时候我们知道因为IDMapping不上，所以我们认
大数据00·2023-08-19 05:45

1.8万字详解实时数仓建设方案及大厂案例

一、实时数仓建设背景关注公号：数元斋1.实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。
少晗·2023-08-19 03:39

数据库变革：HashData云数仓实现事务级实时性

酷克数据资深解决方案架构师陈义贤在“数据库内核•技术创新”专场发表题为“分布式数仓的TP能力探索—HashDataUnionStore”的演讲，介绍HashData以Logisdatabase的思路在分布式数据仓库提升
·2023-08-18 20:18

2023.8.8巨人网络数据开发工程师面试复盘

1概述问题一览总体感觉良好，通过面试官的介绍可知这个岗位偏向离线数仓。
TIM33470348·2023-08-18 09:38

PyFlink SQL的json解析函数

当你遇到大数据里含有json时候，离线数仓开发，hive有特别好用的get_json函数。
黑肚皮的窝·2023-08-18 06:12

大数据开发：数仓建模常见数据模型

对于数仓建模，很多人说不就是建表吗，哪有那么复杂，事实上，这是非常错误的思想。今天的大数据开发分享，我们来聊聊数仓建模常见的几种数据模型。
加米谷大数据张老师·2023-08-17 12:22

数仓建模方法论

1.数仓建模的理由数据建模的主要目的是降低成本，提高数据的利用效率。尤其是大数据时代的到来，数据的多样化，巨量，更需要有效的有针对性数据建模方法。
浪尖聊大数据-浪尖·2023-08-17 12:51

StoneData 2.0 正式上线阿里云市场，高性能、低成本一站式实时数仓，满足用户全场景分析需求

好消息，石原子旗下新一代离在线一体化实时数仓StoneData2.0正式上线阿里云云市场了！云市场版本交付方式为计算巢私有化部署，自动完成云资源的创建和应用部署，相比传统部署方案，大幅降低配置复杂度。
·2023-08-17 12:28

StoneData 2.0 正式上线阿里云市场，高性能、低成本一站式实时数仓，满足用户全场景分析需求

好消息，石原子旗下新一代离在线一体化实时数仓StoneData2.0正式上线阿里云云市场了！云市场版本交付方式为计算巢私有化部署，自动完成云资源的创建和应用部署，相比传统部署方案，大幅降低配置复杂度。
·2023-08-17 12:18

数仓开发需要了解的BI数据分析方法

数仓开发经常需要与数据表打交道，那么数仓表开发完成之后就万事大吉了吗？显然不是，还需要思考一下如何分析数据以及如何呈现数据，因为这是发挥数据价值很重要的一个方面。
大数据技术与数仓·2023-08-17 04:32

阿里云大数据实战记录6：修改生产环境表单字段数据类型

最近，在数仓处理一个数据表就遇到了这个问题。
Xin学数据·2023-08-16 19:07

Databend 开源周报第 106 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-08-16 19:22

网易云音乐实时数仓治理优化实践

导读今天分享的主题是实时数仓治理的优化实践。
王知无(import_bigdata)·2023-08-16 18:02

基于Doris实时数据开发的一些注意事项

基于Doris的一些存储实时数仓在越来越多的场景中开始有一些实践。大家也看到了这种方案频繁出现在社区分享中。
王知无(import_bigdata)·2023-08-16 18:02

【云+社区极客说】新一代大数据技术：构建PB级云端数仓实践

本文来自腾讯云技术沙龙，本次沙龙主题为构建PB级云端数仓实践在现代社会中，随着4G和光纤网络的普及、智能终端更清晰的摄像头和更灵敏的传感器、物联网设备入网等等而产生的数据，导致了PB级储存的需求加大。
·2023-08-16 18:59

基于 Kafka 的实时数仓在搜索的实践应用

一、概述ApacheKafka发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。ApacheKafka社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得ApacheKafka功能越发丰富、性能越发稳定，成为企业大数据技术架构解决方案中重要的一环。ApacheKafka作为一个热门消息队列中间件，具备高效可靠的消息处理能力，且拥有非常广泛的应用领域。那么，今天就来
vivo互联网技术·2023-08-16 17:55

技术分享 | StoneData 的身份认证与访问控制策略：构建安全可靠的数据分析环境

身份认证与访问控制策略是构建安全可靠的数仓环境的核心要素，StoneData作为一款新一代高性能、低成本的一站式实时数仓，已具备健全的身份认证与访问控制能力。本文将围绕着账号合规
·2023-08-16 15:35

使用 Databend 助力 MySQL 的数据分析

目标Databend是一个非常先进的基于对象存储云原生数仓1可以提强大的计算分析及存储能力。让MySQLDBA非常眼馋。今天想把MySQL的wubx库从MySQL全量迁移到Databend中。
·2023-08-16 15:47

技术分享 | StoneData 的身份认证与访问控制策略：构建安全可靠的数据分析环境

身份认证与访问控制策略是构建安全可靠的数仓环境的核心要素，StoneData作为一款新一代高性能、低成本的一站式实时数仓，已具备健全的身份认证与访问控制能力。本文将围绕着账号合规
·2023-08-16 15:24

融入数据浪潮，KaiwuDB 期待与您共赴 DTCC 2023

大会以“数智赋能共筑未来”为主题，设置2大主会场，20＋技术专场，邀请超百位行业专家，重点围绕HTAP与多模数据库应用、图数据技术、云原生数据库、实时数仓等内容展开分享和探讨。
·2023-08-16 15:51

从银行数字化转型来聊一聊，火山引擎 VeDI 旗下 ByteHouse 的应用场景

作为火山引擎数智平台VeDI旗下核心数智产品之一，ByteHouse起源于字节跳动的内部数智实践，并于2021年8月正式外对发布，随后在12月发布数仓版本。尽管面向企业级
·2023-08-16 13:28

火山引擎ByteHouse助力中国地震台网中心，快速构建一站式实时数仓

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群近日，中国地震台网中心与火山引擎达成合作，双方将围绕ByteHouse实时数仓展开合作。
·2023-08-16 13:57

流批一体的近实时数仓的思考与设计

摘要：基于对数据时间旅行的思考，引出了对目前三种数仓形态和两种数仓架构的思考。
·2023-08-16 10:30

尚硅谷大数据项目《在线教育之离线数仓》笔记001

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录P003P004【数仓概念讲的颇为详细】P018P019P020P021P022P023P024P003时间切片：时间回溯
upward337·2023-08-16 03:37

Spark操作Hive表幂等性探索

数仓中的表还要考虑幂等性吗？幂等性数据幂等性是指在多次执行相同操作时，最终的结果与执行一次操作的结果相同。具体来说，无论重复执行多少次相同的操作，操作的结果应该保持一致
SunnyRivers·2023-08-16 01:16

芒果 TV 基于 Flink 的实时数仓建设实践

一、芒果TV实时数仓建设历程芒果TV实时数仓的建设共分为三个阶段，14-19年为第一阶段，技术选型采用Storm/FlinkJava+SparkSQL
·2023-08-15 18:00

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

我们基于ApachePaimon(Incubating)构建StreamingLakehouse的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设
·2023-08-15 18:41

专家老师带教！现场答疑！阿里云实时计算 Flink 版线下训练营北京站来啦！

专家老师现场教学，真实还原实时计算业务和实时数仓场景，现场有机会领取Flink最新周边礼包！
·2023-08-15 18:43
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他