数仓学习专栏

2024年 最新 iPhone手机 历代机型、屏幕尺寸、纵横比、分辨率 整理

博客主页：https://xiaoy.blog.csdn.net本文由呆呆敲代码的小Y原创，首发于CSDN学习专栏推荐：Unity系统学习专栏游戏制作专栏推荐：游戏制作Unity实战100例专栏推荐：Unity
呆呆敲代码的小Y·2024-01-12 06:48

Hive解析json数组

在使用Hive搭建数据仓库，处理数据时，同传统数仓的结构化数据不同，我们经常会遇到一些非结构化的数据，json格式的字符串就是常见的一种类型。
风筝flying·2024-01-12 03:47

【Databend】数据类型

文章目录数据类型列表转换数据类型数据类型扩展整数类型布尔类型浮点数类型字符串类型日期时间类型其它数据类型总结数据类型列表Databend作为一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓
有请小发菜·2024-01-11 17:08

Apache Flink 和 Paimon 在自如数据集成场景中的使用

业务背景自如目前线上有基于Hive的离线数仓和基于Flink、Kafka的实时数仓，随着业务发展，我们也在探索引入湖仓一体的架构更好的支持业务，我们对比了Iceberg、Hudi、Paimon后，最终选择
Apache Flink·2024-01-11 13:09

亚信安慧AntDB团队引领数据库创新浪潮

该数据库经过多次迭代，形成了完整的“超融合流式实时数仓”体系，为通信运营商和各行业提供卓越的服务
亚信安慧AntDB数据库·2024-01-11 12:48

基于Hologres+Flink的曹操出行实时数仓建设作者：林震｜曹操出行实时计算负责人

作者：林震｜曹操出行实时计算负责人曹操出行业务背景介绍曹操出行创立于2015年5月21日，是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务，以“科技重塑绿色共享出行”为使命，将全球领先的互联网、车联网、自动驾驶技术以及新能源科技，创新应用于共享出行领域，以“用心服务国民出行”为品牌主张，致力于打造服务口碑最好的出行品牌。作为一家互联网出行平台，主要提供了网约车、顺风车、专车等一些出行服务。
阿里云大数据AI技术·2024-01-11 09:40

离线数仓构建案例一

数据采集日志数据（文件）到Kafka自己写个程序模拟一些用户的行为数据，这些数据存在一个文件夹中。接着使用flume监控采集这些文件，然后发送给kafka中待消费。1、flume采集配置文件监控文件将数据发给kafka的flume配置文件：#定义组件a1.sources=r1a1.channels=c1#配置sourcea1.sources.r1.type=TAILDIRa1.sources.r1
躺着听Jay·2024-01-10 22:06

数仓规范

目录：一、数据模型架构原则数仓分层原则主题域划分原则数据
听雪10·2024-01-10 15:37

JAVA学习专栏

JAVA专栏Java核心技术Java核心技术Java练手算法Java练手算法Java数据结构和算法Java数据结构和算法Java设计模式Java设计模式Java并发编程Java并发编程MySQL数据库MySQL数据库Java项目管理MavenJava项目管理Maven项目管理工具gradle项目管理工具gradle玩转IntelliJIDEA纵享Java的丝滑Java数据库编程JDBCJava数据
weixin_51551879·2024-01-09 22:37

前端学习专栏

前端专栏订阅会员HTML教程HTML教程CSS教程CSS教程JavaScript教程JavaScript教程TypeScript教程TypeScript教程ES6ES6Node.jsNode.jsnpm包管理工具npm包管理工具Yarn包管理工具Yarn包管理工具Webpack前端打包工具Webpack前端打包工具BabelBabelCSS预处理器SassCSS预处理器SassCSS预处理器Les
weixin_51551879·2024-01-09 22:34

hive基础知识大全

一、Hive基本概念1.1hive是什么hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据telupdown138383843813451567138383843953451567138383844012411657713838384413453157571383838434353551567567
不爱吃鱼的馋猫·2024-01-09 13:23

数仓分层结构

--图片来源尚硅谷ODS层：数据存储格式：JSON/TSV+gzip压缩（默认）OperateDataStore--存储从mysql业务数据库和日志服务器的日志文件中采集到的数据--日志数据--格式:JSON--业务数据--历史数据--格式:--全量--Datax:TSV--增量--Maxwell:JSON--汇总数据--希望用最少的资源存储最多的数据--压缩：--gzip：Hadoop默认支持的
Young_IT·2024-01-09 06:40

某大厂大数据开发-外包面试

4.spark用过吗，用到的开发工具5.数据量多少，服务器台数6.数仓每层做了什么事，为什么这样做？
劝学-大数据·2024-01-09 06:42

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

流式湖仓增强，Hologres+Flink构建企业级实时数仓一、Hologres+Flink，阿里云上众多客户实时数仓的首选随着大数据从规模化走向实时化，实时数据的需求覆盖互联网、交通、传媒、金融、政府等各个领域
Elivis Hu·2024-01-08 22:52

数仓建设学习路线（二）模型建设(1)

OLTPVSOLAPOLTP概念全称OnLineTransactionProcessing，中文名联机事务处理系统，主要是执行基本日常的事务处理，比如数据库记录的增删查改,例如mysql、oracle。OLAP概念全称OnLineAnalyticalProcessing，中文名联机分析处理系统，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果,例如、ClickHouse、Doris、K
语兴数据·2024-01-08 18:58

数仓建设学习路线（一）

前言数仓建设实践路线是语兴发布在B站的系列课程，搜索语兴呀即可学习完整的数仓建设理论。大数据相关岗位大数据常见的岗位主要包括实时开发、数据治理、数据安全、数据资产等。
语兴数据·2024-01-08 18:57

数仓建设学习路线（二）模型建设(2)

写在最前面本节内容主要讲解模型的具体设计过程，也是我们平常数仓工作中的重中之重。更多精彩课程关注B站语兴呀，或关注gzh：语数，获取全部课件资料。
语兴数据·2024-01-08 18:52

大数据技术架构

整表同步数据量大，一般是数仓T+1方式同步，保证数据一条不丢；还
乘风踏羽·2024-01-08 17:47

基于DataWorks+MaxCompute的公共电影票房数据预处理实践

实验内容：对MaxCompute数仓公共数据进行预处理，主要对maxcompute_public_data.dwd_product_movie_basic_info(电影基本信息，包含影片名、导演、编剧
周周的奇妙编程·2024-01-08 00:43

alibabacloud学习笔记02（小滴课堂）

linux学习专栏笔记中有，大家可以去看。关闭nacos:这样我们就登录了nacos。项目集成Nacos实现服务直接的调用每个子模块都去添加。
抹茶味的西瓜汁·2024-01-08 00:19

Hive元数据迁移及升级方案

Hive的架构和工作原理简介Hive是基于Hadoop之上的数仓，便于用户可以基于SQL（HiveQL）进行数据分析，其架构图如下:从上图可知，Hive主要用来将建立结构化数据库和后端分布式结构化文件的映射
云原生大数据·2024-01-07 22:49

物流实时数仓：数仓搭建（DWS）二

系列文章目录物流实时数仓：采集通道搭建物流实时数仓：数仓搭建物流实时数仓：数仓搭建（DIM）物流实时数仓：数仓搭建（DWD）一物流实时数仓：数仓搭建（DWD）二物流实时数仓：数仓搭建（DWS）一物流实时数仓
超哥--·2024-01-07 17:28

数仓知识点总结（面试常问）

目录1数仓1.1定义1.2特点1.3架构1.4数仓的分层架构1.5常见术语1.5.1实体1.5.2维度1.5.3度量1.5.4粒度1.5.5口径
南潇如梦·2024-01-07 15:52

数仓工具—Hive进阶之常见的StorageHandler(24)

这里我们介绍一下常见的StorageHandler，但是由于目前StorageHandler的种类还是比较多的，主要包括官方的和非官方的，我们使用的时候需要注意的是版本的兼容性。常见的StorageHandlerApacheHive提供了多个存储处理程序（StorageHandler），允许用户集成Hive查询和分析引擎与不同的底层存储系统。以下是一些常见的存储处理程序：HDFSStorageHa
不二人生·2024-01-07 15:07

数仓工具—Hive内部表和外部表(5)

内部表和外部表未被external修饰的是内部表（managedtable），被external修饰的为外部表（externaltable）；因为默认情况下我们不加external关键字修饰，所以默认情况下是内部表区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehous
不二人生·2024-01-07 07:42

数仓工具—Hive进阶之StorageHandler(23)

另外，Hive作为数仓的核心组件，借助Stora
不二人生·2024-01-07 07:39

实时数仓模型

为了计算一些实时指标，就在原来离线数仓的基础上增加了一个实时计算的链路，并对数据源做流式改造（即把数据发送到消息队列），实时计算去订阅消息队列，直接完成指标增量的计算，推送到下游的数据服务中去，由数据服务层完成离线
jero_lei·2024-01-06 23:48

Doris 的概述及使用场景

基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户
一座野山·2024-01-06 16:16

湖仓架构的演进

1.数据仓库架构的历史演进起初，业界数据处理首选方式是数仓架构。通常数据处理的流程是把一些业务数据库，通过ETL的方式加载到DataWarehouse中，再在前端接入一些报表或者BI的工具去展示。
土豆马铃薯·2024-01-06 16:09

Databend使用入门

Databend官网：专注于打造全球最强云数仓，弹性、简单、低成本，支持mysql、clickhouse有线连接协议（白话就是可以直接用它们的客户端连接Databend服务）。
_hys·2024-01-06 14:48

利用 Addax 异构迁移数据到 Databend

这也有了异构数据库的数据同步需求，今天重点给大家介绍两个利器：异构数据迁移：Addax结合云原生数仓Databend实现异构数据库数据合
Databend·2024-01-06 14:17

Migrate your data into databend with DataX

这也有了异构数据库的数据同步需求，今天重点给大家介绍两个利器：异构数据迁移：DataX结合云原生数仓Databend实现异构数据库数据合并及分析。
Databend·2024-01-06 14:17

2022年第十三届中国数据库技术大会（DTCC2022）-核心PPT资料下载

一、峰会简介本届大会以“数据智能价值创新”为主题，设置2大主会场，20+技术专场，邀请超百位行业专家，重点围绕时序数据库、图数据技术、实时数仓技术与应用实践、云原生数据库、大数据平台与数据安全等内容展开分享和探讨
百家峰会·2024-01-05 14:25

python requests elasticsearch auth reindex alias 通过requests用户名密码验证实现es异步重建并指定别名

在使用elasticsearch7.x的过程中,发现elasticsearch默认的副本数和分片数都为1,随着数据量不断增多，一个分片导致写入索引的效率越来越低，之后决定对业务层和数仓的索引进行重建#-
Cocktail_py·2024-01-05 08:02

Flink实时电商数仓之旁路缓存

撤回流的处理撤回流是指流式处理过程中，两表join过程中的数据是一条一条跑过来的，即原本可以join到一起的数据在刚开始可能并没有join上。撤回流的格式：解决方案定时器：使用定时器定时10s（数据最大的时间差值），定时器触发时将状态中的数据发送过来如果重复计算这些数据，如何保持结果正确即可；通过每次度量值修改为当次度量值-上次度量值即可异步IO减少等待的时间，充分利用已有的资源使用异步IO时，必
十七✧ᐦ̤·2024-01-05 07:47

uni-app 从入门到精通 3天快速掌握 文字版 学习专栏

大家好，我是java1234小锋老师。近日锋哥又卷了一波课程，uni-app从入门到精通3天快速掌握教程，文字版+视频版。三天掌握。2023版uniapp从入门到上天视频教程(Java后端无废话版)，火爆更新中..._哔哩哔哩_bilibili2023版uniapp从入门到上天视频教程(Java后端无废话版)，火爆更新中...共计23条视频，包括：第1讲uni-app简介、第2讲uni-app环境
java1234_小锋·2024-01-05 07:38

Databend 开源周报第 125 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-05 05:25

Databend 开源周报第 126 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-05 05:25

数据库工程师—面试

2.数仓每层做了什么事说的层次感不清晰，3.写过最复杂的SQL,如路径分析，流失，回流用户
劝学-大数据·2024-01-05 00:59

物流实时数仓：数仓搭建（DWD）二

系列文章目录物流实时数仓：采集通道搭建物流实时数仓：数仓搭建物流实时数仓：数仓搭建（DIM）物流实时数仓：数仓搭建（DWD）一物流实时数仓：数仓搭建（DWD）二文章目录系列文章目录前言一、代码编写1.文件创建
超哥--·2024-01-04 22:27

物流实时数仓：数仓搭建（DWS）一

系列文章目录物流实时数仓：采集通道搭建物流实时数仓：数仓搭建物流实时数仓：数仓搭建（DIM）物流实时数仓：数仓搭建（DWD）一物流实时数仓：数仓搭建（DWD）二物流实时数仓：数仓搭建（DWS）一文章目录系列文章目录前言一
超哥--·2024-01-04 22:56

微信基于StarRocks的湖仓一体实践

作者：StarRocksActiveContributer、微信OLAP内核研发工程师微信作为国内活跃用户最多的社交软件，其数据平台建设经历了从Hadoop到ClickHouse亚秒级实时数仓的阶段，但仍旧面临着数据体验割裂
StarRocks_labs·2024-01-04 20:38

数据湖和传统数仓区别及湖仓一体

1.数据仓库早期系统采用关系型数据库来存放管理数据，但是随着大数据技术的兴起，人们对于多方面数据进行分析的需求愈加强烈，这就要求建立一个能够面向分析、集成保存大量历史数据的新型管理机制，这一机制就是数据仓库。数据仓库通常存储来自不同源的数据，集成源数据以提供统一的视图。这些资源可以包括事务系统、应用程序日志文件、关系数据库等等。数据仓库特性：面向主题：与传统数据库面向应用进行数据组织的特点相对应，
土豆马铃薯·2024-01-04 20:04

流式湖仓增强，Hologres + Flink构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新
阿里云大数据AI技术·2024-01-04 16:07

数仓工作中的常见问题及解决方案

数据仓库系列文章数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2024-01-04 16:34

实时数仓投放主备链路Diff测试工具落地实践

一、背景目前实时数仓提供的投放实时指标优先级别越来越重要，特别下游为规则引擎提供的数仓数据，直接对投放运营的广告投放产生直接影响，数据延迟或者异常均可能产生直接或者间接的资产损失；从投放管理平台的链路全景图投放全景图来看
得物技术·2024-01-04 08:02

某人寿保险公司基础架构云化与小机数仓下移实践

随着数据中心IT基础架构的不断演进，云计算、大数据、移动互联的需求日益高涨，快速敏捷、易于维护以及扩展性，逐渐成为金融机构在升级数据中心时重点考虑的方面。某人寿保险公司（以下简称“客户”）过往采用传统三层架构，即IBMPower/x86+FCSAN+集中式存储的组合，在使用多年后面临设备老旧、灵活性与性能无法及时满足业务变化等问题。另外，传统架构也存在使用专用硬件及网络、存储控制器集中、架构及运维
志凌海纳SmartX·2024-01-04 03:09

python学习专栏

PYTHON专栏python基础教程python基础教程Python练手算法Python练手算法Python设计模式Python设计模式MySQL教程MySQL教程ORM框架SQLAlchemyPythonORM框架SQLAlchemyHtml教程Html教程PythonWeb框架DjangoPythonWeb框架DjangoWeb框架FastAPIWeb框架FastAPIhttp库request
weixin_51551879·2024-01-03 20:33

golang学习专栏

GOLANG专栏Golang基础教程Golang基础教程Golang练手算法Golang练手算法Golang设计模式Golang设计模式Golang数据结构和算法Golang数据结构和算法Golang并发编程Golang并发编程ORM框架GormGolangORM框架gormGolang源码分析Golang源码分析MySQL教程MySQL教程ORM框架XormGolangORM框架XormWeb框
weixin_51551879·2024-01-03 20:02

Doris 数仓使用规范（经验版）

第一部分：字符集规范【强制】数据库字符集指定utf-8，并且只支持utf-8。命令规范【建议】库名统一使用小写方式，中间用下划线（_）分割，长度62字节内【建议】表名称大小写敏感，统一使用小写方式，中间用下划线（_）分割，长度64字节内第二部分：建表规范【强制】确保每个tablet大小为1-3G之间。举例：假设表内单分区数据量在100G，按天分区,bucket数量100个。【强烈建议】不要使用Au
hf200012·2024-01-03 19:30
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他