数仓模型设计

Kubernetes网络模型概述

Kubernetes网络模型设计的一个基础原则是：每个Pod都拥有一个独立的IP地址，并假定所有Pod都在一个可以直接连通的、扁平的网络空间中。
夜雨风云·2024-01-18 10:46

技术选型｜开源大数据OLAP引擎最佳实践

一、开源OLAP综述二、开源数仓解决方案三、ClickHouse介绍四、StarRocks介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样，不同种类的引擎满足了我们不同的需求
浪尖聊大数据-浪尖·2024-01-18 08:14

数仓项目6.0配置大全（hadoop/Flume/zk/kafka/mysql配置）

配置背景我使用的root用户，懒得加sudo所有文件夹在/opt/module所有安装包在/opt/software所有脚本文件在/root/bin三台虚拟机：hadoop102-103-104分发脚本fenfa，放在~/bin下,chmod777fenfa给权限#!/bin/bash#1.判断参数个数if[$#-lt1]thenechoXXXXXXXXXNoArguementXXXXXXXXX!
Int mian[]·2024-01-18 06:57

如何设计实时数据平台（设计篇）

在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问
longLiveData·2024-01-18 05:11

离线数仓二

数据仓库维度模型设计维度建模基本概念维度模型是数据仓库领域大师RalphKimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。
pauls·2024-01-18 00:26

风控算法大赛解决方案分享

01项目总体思路本文将为您介绍我们在数据处理过程中所采用的方法，从数据清洗到特征工程再到特征选择，最终进行模型设计与分析。在
风控小兵突击·2024-01-17 23:29

尚硅谷离线数仓之采集平台

1.用户行为日志数据流向流程图如下，其中红框表示用户行为日志数据的流向图。1.1行为日志内容行为日志主要包括以下几个内容页面浏览记录动作记录曝光记录启动记录错误记录页面浏览记录动作记录曝光记录启动记录1.2用户行为日志格式页面日志启动日志页面日志，以页面浏览为单位，即一个页面浏览记录，生成一条页面埋点日志。一条完整的页面日志包含，一个页面浏览记录，用户在该页面所做的若干个动作记录，若干个该页面的曝
韩顺平的小迷弟·2024-01-17 21:56

数据仓库面试题

1思维导图&数仓常见面试题2题目1.数据仓库是什么？  
韩顺平的小迷弟·2024-01-17 21:53

2024.1.16 用户画像day01 - 项目介绍

技术选型:技术架构:项目架构:二.名词解释一.项目介绍整体流程:项目介绍-elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-结构化流实时指标-制作报表数仓开发用户画像实时开发
白白的wj·2024-01-17 15:40

关于CarbonData+Spark SQL的一些应用实践和调优经验分享

行业亟需一个高效、统一的融合数仓，从海量数据中快速获取有效信息，从而洞察机遇、规避风险。
weixin_34075551·2024-01-17 15:31

数仓数据含有特殊字符，如何更方便的导出成excel文件

如果遇到数据中含有特殊字符,"\n","\r","\t",或者其他的特殊分隔符在数据导出时造成错位，都用sql替换，但是需求是导出的数据要保持原有内容格式，就不能替换剔除这些特殊字符，这种情况下使用json方式1，在hive数仓建一个临时的
第一次看海·2024-01-17 15:00

spark sql实践开发后端引擎

-------------“何以解忧，唯有暴富”需求开发一个系统，主要是将数仓中治理完用于检索的数据灌入Elasticsearch中，一般情况，开源的一些系
第一次看海·2024-01-17 14:28

【提示学习论文七】Visual Prompt Tuning论文原理

Abstract1Introduction2RelatedWork3Approach3.1准备工作3.2Visual-PromptTuning(VPT)3.2.1VPT-Shallow3.2.2VPT-Deep3.2.3StoringVisualPrompts存储视觉提示4实验主要结果模型设计变体的消融
一个很菜的小猪·2024-01-17 06:28

Hive使用shell调用命令行特殊字符处理

1.场景分析数据处理常用hive-e的方式，通过脚本操作数仓，过程中常常遇到特殊字符的处理，如单双引号、反斜杠、换行符等，现将特殊字符用法总结使用如下，可直接引用，避免自行测试的繁琐。
tuoluzhe8521·2024-01-16 07:17

ClickHouse - 01

批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce、Spark、Flink技术对数据进行ETL清洗处理，也可以直接将数据抽取到Hive数仓中
ArthurHC·2024-01-16 02:17

数据库, 数据仓库, 数据集市，数据湖，数据中台

数据仓库和数据库的区别作者：南宫蓉出处：简书第一篇：数据仓库概述第二篇：数据库关系建模作者：穆晨出处：CNBLOS数据仓库、数据湖、数据集市、和数据中台的故事作者：Murkey学习之旅出处：csdn数据中台和数仓的关系作者
cxzhq2002·2024-01-16 01:26

mysql/oracle 数据库delete操作太慢（where ... in ...），不加索引，一招让性能提升百倍

比如在数仓项目中，软删虽然更快更安全，但是缺点也很多：1、软删造成数据冗余，甚至快速膨胀的后果。比如一些中间表，只是作为中转站，过两天数据就分配其他表了，不硬删的话就会造成数据快速膨胀。
大壮001·2024-01-15 23:30

亚信安慧AntDB-S流式数据库实现企业数智化转型

AntDB-S流式数据库是一项针对实时数仓等场景的创新技术，旨在取代传统的流式处理引擎，从而简化开发和测试过程。该流式数据库具备强大的ACID特性和高可用性，为企业降低了流式业务开发和维护的成本。
亚信安慧AntDB数据库·2024-01-15 14:11

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（上）

概述背景ApacheDoris官方地址https://doris.apache.org/ApacheDorisGitHub源码地址https://github.com/apache/incubator-dorisApacheDoris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。ApacheDoris的分布式架构非常简洁，易于运维，并且可以支持1
IT小神·2024-01-15 13:45

数仓选型必列入考虑的OLAP列式数据库ClickHouse(中)

实战案例使用背景ELK作为老一代日志分析技术栈非常成熟，可以说是最为流行的大数据日志和搜索解决方案；主要设计组件及架构如下：而新一代日志监控选型如ClickHouse、StarRocks特别是近年来对ELK地位发起较大的挑战，不乏有许多的大公司如携程，快手已开始把自己的日志解决方案从ES迁移到了Clickhouse，将日志从ES迁移到ClickHouse可以节省更多的服务器资源，总体运维成本更低，
IT小神·2024-01-15 13:45

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（中）

概述背景ApacheDoris官方地址ApacheDorisApacheDorisGitHub源码地址GitHub-apache/incubator-doris:ApacheDoris(Incubating)isanMPP-basedinteractiveSQLdatawarehousingforreportingandanalysis.ApacheDoris是一个现代化的MPP分析型数据库产品。
Firstlucky77·2024-01-15 13:42

大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)

但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。
Key-Key·2024-01-15 12:04

大数据开发之Hive（详细版，最后有实战训练）

但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。
Key-Key·2024-01-15 12:29

小区人员管理系统【含数据库源码】

章需求分析2.1可行性分析（1）硬件可行性分析（2）软件可行性分析（3）经济可行性（4）操作可行性2.2系统功能分析第3章概念结构设计3.1实体属性图设计3.2系统E-R图设计第4章逻辑结构设计4.1关系模型设计
Mang go·2024-01-15 09:24

项目实战-知行教育大数据分析平台-01

目录一、业务流程二、项目架构流程三、clouderamanager（CM）基本介绍四、项目环境搭建五、维度分析六、数仓建模1、维度建模2、什么是事实表与维度表3、事实表与维度表的分类4、维度建模的三种模型
吆喝的翅膀·2024-01-15 04:22

clickhouse常规的优化方法

一、建表优化1.1日期字段避免使用String存储建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive为中心的数仓建设中常见，但ClickHouse环境不应受此影响。
运维仙人·2024-01-15 01:08

分布式链路追踪专栏，Spring Cloud Sleuth：分布式链路追踪之通信模型设计

SpringCloudSleuth赋予分布式跟踪的SpringBoot自动配置的一键解决方案。SpringCloudSleuth是基于Brave的封装，也是很多公司采用开源加自研的最佳解决方案。那么从作为架构师或者技术专家如何去借鉴优秀框架的设计理念和思想，本次Chat将开启作者既分布式链路追踪生态的兄弟篇：Skywalking（全链路监控）之后的Spring-Cloud-Sleuth系列，欢迎大
架构随笔录·2024-01-14 23:26

分布式链路追踪专栏——分布式链路追踪：Skywalking 探针模型设计

这些精彩的技术类型的体系化文章，后面我会放到公众号上，并集中在合集“分布式链路追踪专栏”中，欢迎大家去订阅我的公众号和视频号“架构随笔录”，大家可以订阅合集，这样更加方便喔，后面会出电子版本，更加方便。另外本人也出版过“SpringCloudAlibaba微服务架构实战派上下册”的技术类书籍，另外新书“RocketMQ分布式架构实战派”即将上架。SkyWalking是一个开源APM系统，包括针对C
架构随笔录·2024-01-14 23:25

使用Navicat+Premium模型设计表之间关系图（1：n；n:n）

一设计E-R图之间关系1.打开Navicat+Premium软件，开始设计表2.设计表之间的关系操作步骤：选中关系图标，将某张表的一个字段拖动到另外一张表的字段。设计表之间的关系：4.导出成png5.保存模型使用Navicat逆向建立Mysql数据模型--高效记忆数据逻辑关系_程序员大宝(coder-dabao)的博客-CSDN博客_navicat逆向数据模型
健康平安的活着·2024-01-14 19:02

统一OLAP查询平台之语义层

产品和应用讨论分析指标，并拉上数仓和业务一起确认指标。数仓理解指标，并开始数据加工。首先，从ODS层开
XianMing的博客·2024-01-14 11:27

数据仓库（1）-总览

整体大纲如下，分为8个部分，包括认识数仓，数仓模型建设，元数据管理，指标体系，数据质量，数据安全，数据治理，实时技术。
XianMing的博客·2024-01-14 11:27

数据仓库（2）-认识数仓

1、数据仓库是什么数据仓库，由数据仓库之父比尔·恩门（BillInmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，做有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(DataMining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有
XianMing的博客·2024-01-14 10:53

小目标检测模型设计的一点思考

1.小目标的特性目标之间的交叠概率比较低，即使有交叠，其IoU多数情况下也是比较小的AI-TODTinyPersonDateset小目标自身的纹理显著度有强弱区别，但是总体来说纹理特征都较弱，很多时候需要借助一定的图像上下文来帮助确认随着上下文信息增加，可以逐步判断为人脸2.小目标分类3.从感受野切入，思考小目标检测backbone设计基本认识：在不考虑宽度的情况下，网络深度越深，通常来说更有利于
liiiiiiiiiiiiike·2024-01-14 10:08

长龙航空HTAP实践：统一技术栈，高效构建在线服务与轻量实时数仓

浙江长龙航空有限公司（以下简称“长龙航空”）是浙江省唯一的本土总部型客货综合公共运输航空公司，拥有国内国际、客运货运全牌照航空运输资质，属于中大型航空公司，居民营航空公司前列，自2011年成立至今，累计开通国内外客货运航线近600条，覆盖全国并通达日韩、港澳、东南亚、中亚等“一带一路”沿线国家和地区的170余个城市。在现代航空业运营中，高效的数据管理和可靠的数据库系统是成功运营的关键要素之一。长龙
OceanBase数据库官方博客·2024-01-14 07:30

数仓搭建——DWD层

1DWD层（用户行为日志）1.1日志解析思路页面埋点日志启动日志思路1.2get_json_object函数使用数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]取出第一个json对象hive(gmall)>selectget_json_object('[{"name":"大郎","sex":"男",
丝丝呀·2024-01-14 06:10

数据仓库-离线数仓（基于物流数仓）

1、数据仓库概述1.1、数据仓库概念数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。1.2、数据仓库核心架构2、数据仓库建模概述2.1、数据仓库建模的意义如果把数据看作图书馆里的书，我们希望看到它
小鱼干换酒钱·2024-01-14 06:39

数仓学习笔记(5)——数仓搭建(DWD层)

目录一、数仓搭建——DWD层1、DWD层(用户行为日志)1.1日志解析思路1.2get_json_object函数使用1.3启动日志表1.4页面日志表1.5动作日志表1.6曝光日志表1.7错误日志表1.8DWD
默萧756·2024-01-14 06:35

数仓笔记（五）-DWD层，DWS层

数仓搭建DWD层1）对用户行为数据解析2）对业务数据采用维度模型重新建模6.1DWD层（用户行为日志）1）日志结构回顾（1）页面埋点日志（2）启动日志2）日志解析思路6.1.2get_json_object
芝士雪豹.·2024-01-14 06:33

离线数仓 (十三) --------- DWD 层搭建

目录前言一、DWD层(用户行为日志)1.日志解析思路2.get_json_object函数使用3.启动日志表4.页面日志表5.动作日志表6.曝光日志表7.错误日志表8.DWD层用户行为数据加载脚本二、DWD层(业务数据)1.评价事实表(事务型事实表)2.订单明细事实表(事务型事实表)3.退单事实表(事务型事实表)4.加购事实表(周期型快照事实表，每日快照)5.收藏事实表(周期型快照事实表，每日快照
在森林中麋了鹿·2024-01-14 06:02

企业级大数据项目【4】数仓-业务域ODS-DWD-ADS开发篇

1概要说明业务域的数据来自业务系统的数据库通过sqoop（或datax）抽取到数仓的ods层在ods层对有需要的表进行增量合并，字段选择，反范式话，形成dwd明细层表在明细层基础上，进行各类主题的数据统计
江湖人称涛哥·2024-01-14 06:32

物流实时数仓ODS层——Mysql到Kafka

目录1.采集流程2.项目架构3.resources目录下的log4j.properties文件4.依赖5.ODS层——OdsApp6.环境入口类——CreateEnvUtil7.kafka工具类——KafkaUtil8.启动集群项目这一层要从Mysql读取数据，分为事实数据和维度数据，将不同类型的数据进行不同的ETL处理，发送到kakfa中。代码1.采集流程2.项目架构3.resources目录下
雷神乐乐·2024-01-14 06:01

物流实时数仓DWD层——1.准备工作

目录1.创建主程序——DwdOrderRelevantApp类2.创建DWD层的事实表——来源于订单表和订单明细表(1)创建订单表实体类(2)创建订单明细表实体类(3)创建交易域：下单事务事实表实体类，并整合(1)与(2)，采用下单时间(4)创建交易域：支付成功事务事实表实体类，并整合(1)与(2)，采用支付时间和支付状态(5)创建物流域：揽收（接单）事务事实表实体类，并整合(1)与(2)，采用揽
雷神乐乐·2024-01-14 06:57

Hive命令行运行SQL将数据保存到本地如何去除日志信息

1.场景分析先有需求需要查询hive数仓数据并将结果保存到本地，但是在操作过程中总会有日志信息和表头信息一起保存到本地，不符合业务需要，那如何才能解决该问题呢？
tuoluzhe8521·2024-01-14 05:01

教你学会RBAC权限模型设计

☆*o(≧▽≦)o*☆嗨~我是小奥个人博客：小奥的博客CSDN：个人CSDNGithub：传送门面经分享（牛客主页）：传送门文章作者技术和水平有限，如果文中出现错误，希望大家多多指正！如果觉得内容还不错，欢迎点赞收藏关注哟！❤️文章目录权限系统设计方案(1)为什么需要权限管理(2)权限模型①权限设计②为什么需要角色③权限模型的演进RBAC模型角色继承的RBAC模型带约束的RBAC模型④用户划分用户
欧克小奥·2024-01-14 03:10

美团点评实时数仓平台演进与实践

1.摘要数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而Flink实时数仓在数据链路中扮演着极为重要的角色。
笔名辉哥·2024-01-14 02:50

数仓建模—埋点设计与管理

数据仓库系列文章(部分已出，持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓
大数据技术派·2024-01-14 01:22

hiveSQL任务执行时间过长

从业务或者其他方面优化4、从接口层取数前期的数仓设计不合理或者临时性
amberwest·2024-01-13 22:16

在线支付系统的精英搭档：深入剖析收银核心与支付引擎的协同作战（一）

本篇主要讲清楚收银核心和支付引擎的设计与实现，包括收银核心如何渲染可用支付方式，支付引擎如何去为商户扣款，以及它们的领域模型设计，状态机设计等。
隐墨_SC·2024-01-13 12:26

数据仓库Apache Hive

为了分析数据而来数据分析的平台2、数据仓库的特性3、数据仓库和数据库的区别OLTP系统OLAP系统注意：这里要解决一个核心的误区：数仓绝不是大型数据库。
江枫渔火R·2024-01-13 09:29

2022-02-01大数据学习日志——Hadoop离线阶段——数据仓库、Apache Hive

学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解ApacheHive远程模式部署安装内容大纲#数据仓库基础核心知识
王络不稳定·2024-01-13 09:28
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他