数仓分层架构

安卓系统架构分层级特点

Android的系统架构采用了分层架构的思想，下图所示。从上往下共包括四层，分别是应用程序程序层、应用框架层、系统库和Android运行时和Linux内核。
贺兰猪·2023-03-22 12:41

聊聊日志硬扫描，阿里 Log Scan 的设计与实践

从时效性角度看日志计算引擎：数仓覆盖T+1日志处理，准实时系统（搜索引擎、OLAP）瞄准交互式场景，实时需求则加速了Flink等流引擎的发展。再回到用户场景角度，各
阿里云技术·2023-03-22 11:59

数据治理要点

数据治理-ods我一直在做的都是离线数仓，整个的大体框架
啊帅和和。·2023-03-22 11:17

flink实时数仓

目录电商常识实时数仓架构对所用到的表进行解析完成数据源和数据采集完成ODS层完成DIM层分析表结构使用代码导入数据并checkpoint将相同部分的代码进行封装完成DWD层完成ADS层电商常识由于这个项目是基于电商数据所完成的项目
啊帅和和。·2023-03-22 11:46

(二)全解MySQL：一条SQL语句从诞生至结束的多姿多彩历程！

引言在上篇文章中，我们以《MySQL架构篇》拉开了MySQL数据库的的序幕，上篇文章中将MySQL分层架构中的每一层都进行了详细阐述。
竹子爱熊猫·2023-03-22 03:42

我说MySQL每张表最好不超过2000万数据，面试官让我回去等通知？

朋友：我在实习期间做了一个存储用户操作记录的功能，主要是从MQ获取上游服务发送过来的用户操作信息，然后把这些信息存到MySQL里面，提供给数仓的同事使用。
关注我学java·2023-03-21 19:18

2020年12月30日阶段总结

Spark和离线数仓学得很烂。要回头补。SQL能力也不行，要加强
Jason__Kwok·2023-03-21 18:56

【数仓】什么是数仓，什么是OLTP，什么是OLAP

一、数仓是什么，为什么需要数仓个人理解，数仓和数据库都是组织数据的方法论，数仓和数据库（关系型数据库）处理的问题不同，所以当面对数据库不那么适合处理的问题时，就出现了数仓。
刘婉晴·2023-03-21 14:33

神奇的SQL---天财商龙

天财商龙到底是一个什么公司有些事情真是活久见，做了技术10年+，在今年对接天财商龙，由于需要建立数仓，问他们要了一些他们目前展示报表的查询sql，我贴出来，大家可能都会觉得简直是神奇了，我看完直接语无伦次了
倪宝华·2023-03-21 08:40

数据仓库理论第一炮

作为数仓的工作者,长时间的与数据打交道，一股作气写sql。
孤城心·2023-03-21 08:36

前端分层架构-网络层拆分

概览此篇文章用于说明前端分层架构中网络层拆分的代码实现。
樱木夜访流川枫·2023-03-21 03:49

设备联网工作建设方法和步骤

1、前言原计划在“制造业数字原生的OT数仓建设”一文完成后，把关于如何开展设备连接的工作快速整理出来，因为各种原因没有沉下心来准备和完成，这里仅把之前列的大纲补充说明，供参考。
PascalMing·2023-03-21 00:19

TDengine不同数据模型下的存储对比验证

1、概念与数据模型在制造业数字原生的OT数仓建设的补充章节，提到一个多值的模型，即把IoT数据归集为int,float,bool,string，由4个超级表分开存改为1个超级表统一存。
PascalMing·2023-03-21 00:19

制造业数字原生的OT数仓建设

关键词：OT数仓工业物联网智能工厂时序库数据采集数字化转型IT/OT融合从技术演化的视角来看，工业互联网发展的核心在于OT技术（控制技术）与IT技术（信息技术）的融合。
PascalMing·2023-03-21 00:19

坐上JDK8时间SDK的小船，带你遨游UNIX时间戳与时区的小太空～·

由于店铺可以自主选择店铺所在时区（全球二十四个时区），而数仓统计后落库的时间是GMT+8时区对应的UNIX时间戳。因此，在我们调用中台的接口时，不能直接取服务器的UNIX时间戳作为传参。
明月清风_0cd3·2023-03-20 21:29

从产品的角度看数仓

背景：因为业务报表需求，需要高精准性，但是公司此前没有做数据产品，所有的数据报表都是从由业务系统直接去抽取。但我们做的是医院的业务系统，一个大三甲的医院三个月就有60多万条数据，导致精准度非常差，数据混乱，脏数据太多，没有办法只能下苦力来做个简单的数据产品做支撑了。技术的角度:很热的词：用Hadoop做底层，MapReduce来做存储，还有一些很技术的词数据抽取工具：kafka、flume、syn
泛舟垂钓·2023-03-20 11:21

利用Flink CDC和Flink SQL构建实时数仓Flink写入Doris

软件环境Flink1.13.3Scala2.12doris0.14一、MySQL开启binlog日志、创建用户1.开启binlogMySQL8.0默认开启了binlog，可以通过代码showvariableslike"%log_bin%";查询是否开启了，showvariableslike"%server_id%";查询服务器ID。上图分别显示了binlong是否开启以及binlog所在的位置。2
lbship·2023-03-19 13:43

实时场景下的机器学习模型实时特征离线特征融合方案(踩坑笔记)

如果有实时数仓那还比较庆幸，如果没有的话，那就有点悲催了，从头趟一遍发现坑有点深啊，比那啥海沟还要深，没错就是挂在嘴边，又叫不出名字的
mtj66·2023-03-19 11:48

详述 Flink CDC 打通数据实时入湖！

在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖ApacheIceberg两种技术，来解决业务数据实时入湖相关的问题。
Richard123m·2023-03-19 11:43

流计算开发平台StreamPark安装

同时，StreamPark提供了一个流处理应用管理平台，核心能力包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等。官方网站
CodePhage·2023-03-19 11:40

Flink Mysql CDC结合Doris flink connector实现数据实时入库

FlinkMysqlCDC结合Dorisflinkconnector实现数据实时入库Apachedoris通过扩展支持通过Flink读写doris数仓中的数据表，目前doris支持Flink1.11.x
张家锋·2023-03-18 22:45

01-核心实现-Core Container-Spring源码学习

spring整体架构Spring框架是一个分层架构，它包含一系列的功能要素，并被分为大约20个模块spring整体架构（1）CoreContainer（核心容器）包含的模块就和图上的一样，就不重复写了。
大碗茶·2023-03-18 12:26

原创好文！聊聊数据域和主题域的区别

这篇文章跟大家一起聊下数仓中比较容易混淆的两个概念——数据域、主题域。
Data跳动·2023-03-18 02:41

Hologres揭秘:深度解析高效率分布式查询引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
阿里云Hologres·2023-03-17 11:26

大数据架构进阶目录

在此立下复习目录，分享多年的大数据开发和数仓经验，实现目标，共勉Flink开发(1.架构2.实时开发(项目案例代码)3.优化技巧4.面试常问原理)Spark开发(1.架构2.实时开发(项目案例代码)3.
风轻云淡lq·2023-03-17 10:13

基于oneData的数仓方法论

阿里oneData架构设计oneData是阿里巴巴内部进行数据整合和管理方法体系和工具。指导思想首先，要进行充分的业务调研和需求分析。其次，进行数据总体架构设计，主要是根据数据域对数据进行划分；按照维度建模理论，构建总线矩阵，抽象出业务过程和维度。再次，对报表需求进行抽象整理出相关指标体系，使用OneData工具完成指标规范定义和模型设计。最后，是代码研发和运维。其实施流程主要分为：数据调研、架构
眼君·2023-03-17 10:07

大数据 flume之Source

数仓学习中给自己总结一下：主要接触了三种Source：ExecSource、SpoolingDirectorySource和TaildirSource。
后浪普拉斯·2023-03-16 22:02

怎么看待Nervos 的分层架构？？

2、你怎么看待Nervos的分层架构？分层是就像是分工协作，目的是提升效率。以太坊没有分层却要做世界计算机，所以困难重重。世界计算机不应该是区块链的目标，而是云计算的目标。
坦霍伊泽·2023-03-15 23:30

【北漂的第4个月】

不过认识了基础数仓的很多小伙伴。整个月都在努力做好一个小兵的角色，治丹变成了我们的leader，其实对未来的大方向还是挺迷茫的。中秋回家烫了个头，见了见柴，李辉，还帮做了个建模比赛。
深海suke·2023-03-15 15:43

微服务架构分层和前后端分离

1、分层架构1.1典型的互联网分层架构客户端层web站点层业务服务层：整个多个相关单一服务的数据，对外提供通用功能，减少重复代码数据库访问层：对外提供某个系统的数据访问服务、数据存储层：db/缓存1.2
Lucky小黄人·2023-03-15 14:21

[实战系列]SelectDB Cloud Flink Connector 最佳实践

而云原生实时数仓的出现，让传统的数据仓库无论是成本、灵活性还是开放性等方面都显露出不足。拥有高性能、高可用性、可伸缩性、高安全性等特征的云原生数据库，正在成为企业的首选。
hf200012·2023-03-15 07:04

[实战系列]SelectDB Cloud Datax 数据写入最佳实践

新一代云原生实时数仓SelectDBCloud作为一款运行于多云之上的云原生实时数据仓库，致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
hf200012·2023-03-15 07:03

实时数仓入门训练营：Hologres 数据导入/导出实践

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题
阿里开发者·2023-03-15 07:25

[实战系列]SelectDB Cloud Kafka Connect 最佳实践张家锋

新一代云原生实时数仓SelectDBCloud作为一款运行于多云之上的云原生实时数据仓库，致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
hf200012·2023-03-15 07:15

[实战系列]SelectDB Cloud Spark Connector 最佳实践

新一代云原生实时数仓SelectDBCloud作为一款运行于多云之上的云原生实时数据仓库，致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
hf200012·2023-03-15 07:14

DolphinScheduler2.0版本升级3.0版本方案

1.升级背景因项目需要使用数据质量模块功能，可以为数仓提供良好的数据质量监控功能。
缤纷的世界·2023-03-15 02:13

AntDB“超融合+流式实时数仓”，谈传统数据库与流计算的有机融合

（一）前言据统计，在信息化时代的今天，人们一天所接触到的信息量，是古人一辈子所能接收到的信息量的总和。当今社会中除了信息量“多”以外，人们对信息处理的“效率”和“速度”的要求也越来越高。譬如，对于很多企业决策者来说，在当前的经济形势下需要尽一切可能降本增效。过去每周看看经营报表的习惯，现在慢慢转变为利用实时可视化的方式来随时分析企业当前的经营状况。数据库作为信息的核心载体，在过去的半个世纪中，基本
亚信安慧AntDB数据库·2023-03-15 02:46

墨天轮发布数据库行业报告，亚信科技AntDB“超融合+流式实时数仓”开启新纪元

近日，知名数据库社区墨天轮发布《2022中国数据库行业年度分析报告》，亚信科技全新发布的“超融合+流式实时数仓”数据库AntDB入选报告并被业界广泛关注。
亚信安慧AntDB数据库·2023-03-15 02:15

autosar中com模块_AUTOSAR通信篇—AUTOSAR COM模块

图1AUTOSARCOM在分层架构中的位置AUTOSARCOM提供了基本的通信服务，它有明确的上层模块RTE(Runtime
weixin_39581964·2023-03-14 22:23

AUTOSAR 基础知识简介

目录一、AUTOSAR简介二、AUTOSAR部分术语简介三、AUTOSAR软件架构介绍1、AUTOSAR的标准（1）分层架构（2）方法论（3）软件接口（RTE接口）2、AUTOSAR的开发流程一、AUTOSAR
不吃鱼的猫丿·2023-03-14 22:01

AutoSAR NM【一文读懂网络管理接口】

通用网络管理接口(NM)「是AUTOSAR分层架构通信服务块的通用块的一部分。」它是AUTOSAR通信管理器(ComM)和总线特定或网络相关网络管理(NM)块之间的适配层（
车端·2023-03-14 22:30

JAVA开发（Spring框架详解）

javaweb项目几乎已经离不开spring框架了，spring是一个典型的分层架构框架，它包含一系列的功能并被分为多个功能模块，springboot对spring框架又做了一层封装，以至于很多人对原来的
茅河野人·2023-03-14 22:17

漫谈数据治理之二：思想上的体系化

数据的滚雪球效应现代数仓体系中，数据数量的高速增长已经不是什么新鲜事了，在大数据的作用被业界所认知到后，几乎所有对于业务有价值的行为，都将以数据的形式被收集。
晓阳的数据小站·2023-03-14 15:54

浅谈一个新人的大数据之路

第一章，大数据之路浅谈数仓&数据集市&数据湖**数据仓库**：英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
CCCCCColdkl·2023-03-14 14:57

Apache Hudi简介、与Kudu、Hive、 HBase对比

数据实时处理和实时的数据实时分为处理的实时和数据的实时，即席分析是要求对数据实时的处理，马上要得到对应的结果，Flink、SparkStreaming是用来对实时数据的实时处理，数据要求实时，处理也要迅速，数据不实时，处理也不及时的场景则是我们的数仓
四月天03·2023-03-14 11:47

Android入门

Android开发环境Android系统架构基于Linux平台，完全开放，免费；采用分层架构，分为四个层：应用程序层、应用程序框架层、系统运行库层、Linux核心层；image.png应用程序：Android
规诫·2023-03-14 01:26

kettle8.0源码编译

kettle作为一款开源etl工具，在数据仓库领域的应用还算是比较广泛的，做过数仓的朋友应该都知道，在做etl开发的时候，对于参数变量的引用是时常出现的场景，对于一些公共的变量，kettle的做法是启动的时候默认读取用户目录下一个
paopaodaxia·2023-03-14 01:49

hive迷案之数据异常

经过：2018-04-02凌晨，数仓同学收到数据质量报警，某个字段的唯一性检查没有通过。一般情况下，这种问题是由脏数据引起的。然而这一次排查发现上游数据没有问题，于是数仓同学尝试直接
群演_·2023-03-12 14:49

电商数据仓库项目简介

项目简介基于hadoop生态搭建的电商数据仓库，整体功能架构包含数据采集、数仓搭建、数据导出、数据可视化等。
如虎添·2023-03-12 02:40

Bean Validation 简化表单验证逻辑

一、背景在Javamvc分层架构的实际应用中，从视图层到数据访问层，每一层都会对表单参数信息进行校验，如下图所示：原始校验方式.jpg校验方式普遍采用“抽象工具类”+“逻辑if...else判断”的形式
only_case·2023-03-11 23:44
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他