数仓学习专栏

MatrixDB数据库学习——筑梦之路

为万物互联的智能时代提供坚实、简洁的智能数据核心基础设施，为物联网应用、工业互联网、智能运维、智慧城市、实时数仓、智能家居、车
筑梦之路·2023-09-20 05:55

数仓规范随记

数仓分层以《大数据之路：阿里巴巴大数据实践》中五层(ods/dwd/dws/dim/ads)分类为基础划分,有序列表记录是分层大类,分层大类下的无需列表是分层小类或者说真正落地的:ods:近源层/贴源层
mizuhokaga·2023-09-20 00:56

深度解读 Flink 1.11：流批一体 Hive 数仓2020-06-02

Flink1.11中流计算结合Hive批处理数仓，给离线数仓带来Flink流处理实时且Exactly-once的能力。
会飞的鱼go·2023-09-19 14:06

Flink 离线批处理 Mysql to Hive 离线数仓

flinkmysqltohive我本地用的版本是flink1.13.2scala2.11,hive3.1.2环境配置1,source端读取mysql导入FLINK_HOME/lib,flink-connector-jdbc.jar2.sink端写入Hive,导入FLINK_HOME/lib,flink-sql-connector-hive注意如果没有找到自己对应版本的flinkhive包的话就导入
aaaak_·2023-09-19 11:56

Databend 开源周报第 111 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-09-19 09:51

支持多数据源联合查询的本地运行SQL执行引擎syncnany-SQL安装和配置

在微服务和云原生愈发流行的今天，数据的分布也愈发脱离单库单机而更加复杂，使用的数据库类型也会更多，但业务的复杂依然会带来了大量的数据查询和导出需求，而很多时候我们很难为数据量的大部分系统创建完整的BI数仓系统
·2023-09-19 09:22

支持多数据源联合查询的SQL运行引擎sycnany-SQL添加使用自定义函数

在微服务和云原生愈发流行的今天，数据的分布也愈发脱离单库单机而更加复杂，使用的数据库类型也会更多，但业务的复杂依然会带来了大量的数据查询和导出需求，而很多时候我们很难为数据量的大部分系统创建完整的BI数仓系统
·2023-09-19 09:22

幸福里基于 Flink & Paimon 的流式数仓实践

幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。
Apache Flink·2023-09-19 07:26

Flink相关

知乎实时数仓架构演进_天池技术圈-阿里云天池关于flink实时数仓的实际问题_flinkdatastream按天,小时写入hdfs_一个写湿的程序猿的博客-CSDN博客基于Flink+Hudi的实时数仓在
丢雷劳谋·2023-09-19 07:24

【直播预约中】 腾讯大数据 x StarRocks｜构建新一代实时湖仓

随着信息时代的兴起，数据已成为推动业务决策和创新的核心要素；结构化、半结构化等多种类型的数据呈现爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse
StarRocks_labs·2023-09-19 04:34

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

Doris构建实时数仓落地方案详解（一）：实时数据仓库概述1.数据仓库的发展历程2.数据仓库技术的发展3.数仓的相关技术栈4.OLAP查询5.MPP架构6.实时数仓定义7.实时数仓的难点数据仓库的概念可以追溯到
G皮T·2023-09-19 04:45

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

Doris构建实时数仓落地方案详解（二）：Doris核心功能解读1.Doris发展历程2.Doris三大模型3.Doris数据导入4.Doris多表关联5.Doris核心设计6.Doris查询优化7.Doris
G皮T·2023-09-19 04:14

数据湖调研

数据湖调研1什么是数据湖2数据湖能解决什么问题3数据湖与数仓的区别4数据湖生态5当前常见的数据湖实现方案5.1基于Hudi5.2基于Iceberg5.2.1Iceberg应用场景：5.3数据湖基本实现：
Direction_Wind·2023-09-19 00:30

【直播预约中】 腾讯大数据 x StarRocks｜构建新一代实时湖仓

随着信息时代的兴起，数据已成为推动业务决策和创新的核心要素；结构化、半结构化等多种类型的数据呈现爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse
·2023-09-18 21:54

如何快速从 ETL 到 ELT？火山引擎 ByteHouse 做了这三件事

在数仓及分析领域，海量数据则主要采按列的方式储存。因此，将数据从行级转换成列级存储是建立企业数仓的基础能力。传统方式是采用Extract-Transform-Load
·2023-09-18 18:39

幸福里基于 Flink & Paimon 的流式数仓实践

幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。
·2023-09-18 17:57

【MySQL基础|第三篇】--- 详谈SQL中的DQL语句

个人主页：兜里有颗棉花糖欢迎点赞收藏✨留言✉加关注本文由兜里有颗棉花糖原创收录于专栏【MySQL学习专栏】本专栏旨在分享学习MySQL的一点学习心得，欢迎大家在评论区讨论前言DQL（DataQueryLanguage
兜里有颗棉花糖·2023-09-18 17:39

HashData 云数仓上线华为蓝鲸应⽤商城

近⽇，经过华为对企业技术、产品和服务能⼒的综合评估，酷克数据企业级云原⽣数据仓库HashData通过与华为OceanStorPacific分布式存储的适配与优化，形成⼀体化解决⽅案，成功上线华为蓝鲸应⽤商城。图1：华为蓝鲸商城HashData产品⻚⾯华为蓝鲸应⽤商城是华为数据存储产品线与合作伙伴联合打造的⼀站式IT应⽤解决⽅案集成平台，通过对企业应⽤与IT基础设施的深度融合，构建了应⽤快速上线、应
·2023-09-18 16:34

【遇见Doris】Doris在作业帮实时数仓中的应用&实践

9月20日的ApacheDoris线上Meetup——壹佰案例峰会预热沙龙圆满成功，现在为大家带来这次Meetup的内容回顾。本次Meetup请到了来自作业帮和百度画像团队的技术大牛带来ApacheDoris应用与实践上的经验分享，了解更多详情请关注Doris官方公众号。嘉宾分享回顾会陆续放出，公众号后台回复“0920”立即get回放录像。糜利敏作业帮大数据查询引擎负责人伴随着业务的快速发展，由于
ApacheDoris·2023-09-18 08:07

『LeetCode|每日一题』----＞打家劫舍||

打家劫舍||1.每日一题2.解题思路2.1思路分析2.2核心代码2.3完整代码2.4运行结果1.每日一句任何事情把期待值降到最低，所有遇见的都是礼物2.作者简介个人主页：XiaoXiaoChen-2716学习专栏
XiaoXiaoChen-2716·2023-09-17 22:53

『LeetCode|每日一题』----＞打家劫舍

每日一句如果我们总在等待绝对的一切就绪，那我们将永远无法开始作者简介个人主页：XiaoChen_Android学习专栏：力扣专栏发布日期：2022/8/29『LeetCode|每日一题』打家劫舍1.每日一题原文链接
XiaoXiaoChen-2716·2023-09-17 22:22

【Linux成长史】Linux权限的详细讲解

博客主页：博主链接本文由Mmalloc原创，首发于CSDN学习专栏推荐：LeetCode刷题集数据库专栏初阶数据结构欢迎点赞收藏⭐留言如有错误敬请指正！
M malloc·2023-09-17 21:40

Day69 Kafka 设计原理详解

Storm/Spark流式处理引擎web/nginx，访问日志消息服务开放统一接口给consumerhadoop,hbase等.装载到hadoop,数仓etl做离线分析和数据挖掘.ScreenShot2022
小周爱吃瓜·2023-09-17 12:39

数据结构之美：如何优化内存和性能

内存优化使用紧凑的数据类型避免冗余存储使用位运算压缩数据性能优化使用适当的数据结构减少不必要的复制使用合适的算法数据结构优化的案例分析结论欢迎来到数据结构学习专栏~探索数据结构之美：如何优化内存和性能☆
IT·陈寒·2023-09-17 08:11

企业级数据仓库-数仓实战

数仓实战安装包大小安装清单环境搭建一、环境搭建01（机器准备）准备好三台虚拟机，并进行修改hostname、在hosts文件增加ip地址和主机名映射。
beyond_champion·2023-09-17 03:06

数据仓库模型设计V2.0

一、数仓建模的意义数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。只有将数据有序的组织和存储起来之后，数据才能得到高性能、低成本、高效率、高质量的使用。
000X000·2023-09-16 21:46

Hive参数与性能调优-V2.0

但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建出一个完美的数仓，所以Hive性能调优是我们大数据从业者必须掌握的技能。本文将给大家讲解Hive性能调优的一些方法及技巧。
000X000·2023-09-16 21:54

初识网络的发展史、通信基础和原理

2.3.3OSI模型和TCP/IP体系结构三.网络通信的原理总结个人主页：tq02的博客_CSDN博客-C语言,Java,Java数据结构领域博主本文由tq02原创，首发于CSDN本章讲解内容：网络的通信基础多线程学习专栏
tq02·2023-09-16 18:14

实时数仓方案如何选型和构建（建议收藏）

一、为何需要实时数仓架构最初企业存储数据都在数仓中存储，但是随着数据量的增大，传统数据的方案在时效性上和数据维护上变得越来越困难。实时数仓架构应运而生。
also&lucky·2023-09-16 11:30

ETL之拉链表算法探索

历史数据存储方式数仓中历史数据存储的2种方式：快照存储快照式存储拉链存储拉链表存储可以很明显的看出：在数仓中，相比于快照存储，拉链表，既能满足反应数据的历史状态，又可以最大程度的节省存储。
Daniel_张·2023-09-16 10:39

离线数仓和实时数仓割裂的痛点,数据湖方案

离线数仓和实时数仓割裂的痛点：1)离线加工数据产出时效性不足2)实时加工可观测性，可运维性较弱3)批流双链路，双份资源开销4)全天计算资源高峰集中在凌晨数据湖方案：数据入湖增量计算，提升时效流表二像性，
秉寒-CHO·2023-09-16 08:53

数仓的主数据出数据指标是否有意义 ，单调递增的数据指标作为虚荣指标是否对公司的业务发展有实际的指导意义

数仓的主数据出数据指标如果能够指导公司的业务发展，那么这些指标是有意义的。然而，如果这些指标只是单调递增的虚荣指标，那么它们并不能对公司的业务发展提供实际的指导意义。
秉寒-CHO·2023-09-16 08:53

Serverless 数仓技术与挑战 - 张雁飞｜3306π

在本次分享中，我们将介绍一款新型Serverless数仓技术。该技术旨在解决传统数仓在扩展性、成本和管理上的局限性，能够大幅提升性能并降低成本。我们还将探讨Serverless数仓面临的技术挑战。
Databend·2023-09-16 07:23

Meetup 回顾｜Data Infra 研究社第十期（含资料发布）

此次直播活动的两大主题分别是《漫谈时序数据库的设计》和《云原生数仓产品》。Greptime联合创始人-冯家纯、Databend优化器负责人-雷宇分别为本次活动分享了他们的独特见解。
Databend·2023-09-16 07:52

设计模式学习专栏十一--------状态模式

设计模式学习专栏十一--------状态模式名称:状态模式(State)价值观念:通过改变对象内部的状态来帮助对象控制自己的行为场景设计一个万能糖果机,我们希望设计尽可能有弹性,而且将来我们可能要为它增加更多的行为
你的头发真的好长·2023-09-16 06:59

【案例分享】网管协议SNMPv1/v2c的配置

spm=1001.2014.3001.5482http://网络工程师学习专栏-华为/思科技术简介本案例介绍SNMPv1/v2组网需求如图1所示，iMC服务器作为NMS通过SNMPv1/SNMPv2c协议对设备
厦门微思网络·2023-09-15 13:33

Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12

什么是HiveCatalog如何使用HiveCatalog什么是HiveDialect如何使用HiveDialect公众号『大数据技术与数仓』
大数据技术与数仓·2023-09-15 12:37

一百七十八、ClickHouse——海豚调度执行ClickHouse的.sql文件

一、目的由于数仓的ADS层是在ClickHouse中，即把Hive中DWS层的结果数据同步到ClickHouse中，因此需要在ClickHouse中建表，于是需要海豚调度执行ClickHouse的.sql
天地风雷水火山泽·2023-09-15 09:47

HashData 云数仓上线华为蓝鲸应⽤商城

近⽇，经过华为对企业技术、产品和服务能⼒的综合评估，酷克数据企业级云原⽣数据仓库HashData通过与华为OceanStorPacific分布式存储的适配与优化，形成⼀体化解决⽅案，成功上线华为蓝鲸应⽤商城。图1：华为蓝鲸商城HashData产品⻚⾯华为蓝鲸应⽤商城是华为数据存储产品线与合作伙伴联合打造的⼀站式IT应⽤解决⽅案集成平台，通过对企业应⽤与IT基础设施的深度融合，构建了应⽤快速上线、应
HashData酷克数据·2023-09-15 08:47

一百七十七、Hive——海豚调度执行Hive的.sql文件

一、目的对于Hive数仓，每一层的建库建表SQL语句都各自放在一个.sql文件里，然后用海豚调度执行一下Hive的.sql文件二、实施步骤（一）第一步，上传.sql文件到海豚调度器上（二）第二步，建立并配置工作流
天地风雷水火山泽·2023-09-15 07:33

GaussDB（DWS）云原生数仓技术解析：湖仓一体，体验与大数据互联互通

文章目录前言一、关于数据仓库需求场景分类二、数据仓库线下部署场景2.1、线下部署场景介绍及优劣势说明2.2、线下部署场景对应的客户需求三、数据仓库公有云部署场景3.1、公有云部署场景介绍及优劣势说明3.2、公有云部署场景对应的客户需求四、为何重视数据共享（含湖仓一体）？4.1、传统数据共享业务场景4.2、数据共享（含湖仓一体）能力解决掉的问题五、数据仓库技术架构演进5.1、SharedStorag
白鹿第一帅·2023-09-15 07:56

【MySQL从删库到跑路 | 基础第二篇】——谈谈SQL中的DML语句

个人主页：兜里有颗棉花糖欢迎点赞收藏✨留言✉加关注本文由兜里有颗棉花糖原创收录于专栏【MySQL学习专栏】本专栏旨在分享学习MySQL的一点学习心得，欢迎大家在评论区讨论前言前面我们已经讲解了SQL语句中的
兜里有颗棉花糖·2023-09-15 00:54

尚硅谷大数据项目《在线教育之离线数仓》笔记008

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录P123P124P125P126P127P128P129P123ApacheSuperset是一个现代的数据探索和可视化平台
upward337·2023-09-14 23:32

数仓模型之 拉链表

Q1什么拉链表？拉链表，记录每条信息的生命周期，一旦一条记录的生命周期结束，就要重新开始一条新的记录，并把当前日期放入生效的开始日期；如果当前信息至今有效，在生效结束日期中填入一个极大值（一般为9999-99-99）Q2为什么要建立拉链表？拉链表适合于：数据会发生变化，但是大部分是不变的；比如：订单信息从未支付、已支付、未发货、已完成等经历了一周，大部分时间是不变化的，只有状态和状态发生时间会有更
秋慕云·2023-09-14 18:54

【Linux成长史】Linux基本指令大全

博客主页：博主链接本文由Mmalloc原创，首发于CSDN学习专栏推荐：LeetCode刷题集数据库专栏初阶数据结构欢迎点赞收藏⭐留言如有错误敬请指正！
M malloc·2023-09-14 16:21

大数据面试知识点

大数据：1.离线数仓【ERP、电商、业务清楚、】1.业务熟悉2.技术架构3.数仓建设4.指标【5个】做过哪些指标如何做的2.spark工具：1.技术架构2.优点：3.实时指标yarn：1.背景2.好处3
ODzongzi·2023-09-14 14:24

认识数据分析

文章目录1.认识数据分析1.1数据自身的三大属性1.2建数仓数据分析的工程技术1.3数据分析解决问题的原理1.4数据分析的具体流程1.5数据的中心化和智能化1.6数据分析的四种类型和六个方向1.认识数据分析
几窗花鸢·2023-09-14 07:29

【吐血总结】前端开发：一文带你精通Vue.js前端框架（四）

主页链接：秋说的博客学习专栏推荐：人工智能：创新无限MySQL进阶之路C++刷题集网络安全攻防姿势总结前端开发：探索创新与用户体验✔️文章目录⚽前言1️⃣Vue.js模板语法之指令2️⃣Vue.js模板语法之用户输入
秋说·2023-09-14 03:08

【吐血总结】前端开发：一文带你精通Vue.js前端框架（二）

主页链接：秋说的博客学习专栏推荐：人工智能：创新无限MySQL进阶之路C++刷题集网络安全攻防姿势总结【从0开始深度掌握】C程序设计前端开发：探索创新与用户体验✔️欢迎点赞收藏⭐留言文章目录前言1️⃣Vue.js
秋说·2023-09-14 03:38

【吐血总结】前端开发：一文带你精通Vue.js前端框架（三）

主页链接：秋说的博客学习专栏推荐：人工智能：创新无限MySQL进阶之路C++刷题集网络安全攻防姿势总结【从0开始深度掌握】C程序设计前端开发：探索创新与用户体验✔️欢迎点赞收藏⭐留言文章目录前言1️⃣Vue
秋说·2023-09-14 03:38
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他