数据仓库模型设计V2.0

数仓建设规范

数仓建设规范一、数据模型架构原则1.数仓分层原则2.主题域划分原则3.数据模型设计原则二、数仓公共开发规范1.层次调用规范2.数据类型规范3.数据冗余规范4.NULL字段处理规范5.指标口径规范6.数据表处理规范四
长不大的大灰狼·2024-02-05 04:03

数据库与数据仓库的区别

数据库Database(Oracle,Mysql,PostgreSQL)主要用于事务处理，数据仓库Datawarehouse(AmazonRedshift,Hive)主要用于数据分析。
42c64edf12e9·2024-02-05 02:12

HIVE

--------hive数据仓库hive底层执行引擎有MapReduceTezSpark压缩GZIPLZOSnappyBZIP2等存储TextFileSequenceFileRCFileORCParquetUDF
Yagami_·2024-02-05 00:23

MIMIC-IV v2.0数据库

0.引言回顾性收集的医疗数据有机会通过知识发现和算法开发来改善患者护理。为了最大的公共利益，广泛重复使用医疗数据是可取的，但数据共享必须以保护患者隐私的方式进行。重症监护医疗信息集市（MIMIC）-III数据库为进入贝斯以色列女执事医疗中心（BIDMC）重症监护室的40000多名患者提供了重症监护数据。重要的是，根据《健康保险可携带性和责任法案》（HIPAA）安全港规定，MIMIC-III被取消识
努力の小熊·2024-02-04 15:07

MIMIC-IV- v2.0带着随访数据来啦

更多关于mimic数据库的知识，欢迎大家关注我的公众号：科研杂录MIMIC-IVv2.0已于2022年6月12日发布。此次新增的数据包括院外死亡日期、来自在线病历系统的信息（包括身高和体重），以及ICU持续输注的更多详细信息。一、主要变化①移除了core模块，目前admissions,patients和transfers表格存在hosp模块里；②移除了新生儿数据，后续将与新生儿重症监护室的数据一起
科研杂录·2024-02-04 15:36

大数据领域的数据仓库

在大数据领域，数据仓库（DataWarehouse）是一个用于存储、管理和分析大量数据的集中式系统。
薛定谔的zhu·2024-02-04 09:43

DDD技术方案落地实践

对于领域驱动模型设计研发，从开始的各种疑惑到吸收各种先进的理念，目前在技术实施这一块已经基本比较成熟。在既往经验中总结了一些在开发中遇到的技术问题和解决方案进行分享。
IT枫斗者·2024-02-04 07:58

软考笔记--数据仓库技术

数据仓库是一个面向主题的，集成的，相对稳定的、反映历史变化的数据集合，用于支持管理决策。数据源是数据仓库系统的基础，是整个系统的数据源泉。
赤露水·2024-02-04 07:12

Hadoop大数据实战系列文章之Hive

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据可以将
测试帮日记·2024-02-04 05:45

第七章 主管信息系统和数据仓库

[TOC]第七章主管信息系统和数据仓库7.0前言EIS是数仓之前的概念EIS没有注重基础结构（数据源、数据质量、数据流通等）DSS是现代的EIS，与数仓紧密相连7.1EIS概述EIS典型用途趋势分析关键指标度量和跟踪向下钻取问题监控竞争分析关键性能指标监控
晨磊的微博·2024-02-04 04:53

tidb mysql语法兼容_SQL 语句语法 - 与 MySQL 兼容性对比 - 《TiDB v2.0 中文技术文档》 - 书栈网 · BookStack...

与MySQL兼容性对比TiDB支持包括跨行事务，JOIN及子查询在内的绝大多数MySQL的语法，用户可以直接使用现有的MySQL客户端连接。如果现有的业务已经基于MySQL开发，大多数情况不需要修改代码即可直接替换单机的MySQL。包括现有的大多数MySQL运维工具(如PHPMyAdmin,Navicat,MySQLWorkbench等)，以及备份恢复工具(如mysqldump,mydumper/
即将把她埋掉·2024-02-04 00:28

【读书笔记】数据仓库- Apache Kylin权威指南

ApacheKylin权威指南（第2版）◆1.2.1为什么要使用ApacheKylin它们的主要技术是“大规模并行处理”（MassivelyParallelProcessing，MPP）和“列式存储”（ColumnarStorage）◆1.2.2ApacheKylin怎样解决关键问题基于以上两点，我们得到一个新的思路——“预计算”。应尽量多地预先计算聚合结果，在查询时刻也尽量使用预计算的结果得出查
KevinBrain·2024-02-03 19:16

[Python] 如何使用scikit-learn的preprocessing和impute模块进行数据预处理（数据无量纲化，缺失值填充，对分类型特征编码与哑变量，对连续型特征进行二值化与分段）

数据挖掘的五大流程获取数据从各种来源收集数据，包括但不限于数据库、数据仓库、互联网、传感器、社交媒体等。获取数据的方式可以通过数据抓取、数据爬取、数据采集工具等方法进行。
老狼IT工作室·2024-02-03 18:16

数仓建模&维度建模理论知识

0.思维导图第1章数据仓库概述1.1数据仓库概述  数据仓库是一个为数据分析而设计的企业级数据管理系统。
韩顺平的小迷弟·2024-02-03 16:02

离线数仓-数据治理

目录一、前言1.1数据治理概念1.2数据治理目标1.3数据治理要解决的问题1.3.1合规性元数据合规性数据质量合规性数据安全合规性1.3.2成本存储资源成本计算资源成本二、数据仓库发展阶段2.1初始期2.2
爱吃辣条byte·2024-02-03 13:51

神经网络模型设计的方法和技巧

设计神经网络模型涉及多个关键步骤和技巧，以下是一些通用的策略和注意事项：明确任务需求：确定目标：是分类、回归、生成式建模还是强化学习等。了解数据集特性，包括样本数量、特征维度、潜在的数据分布特点以及标签信息。选择合适的模型架构：根据问题类型选择基础模型结构，例如卷积神经网络（CNN）用于图像识别，循环神经网络（RNN）、长短时记忆网络（LSTM）或门控循环单元（GRU）用于序列数据处理，Trans
科学禅道·2024-02-03 11:56

深入数仓离线数据同步：问题分析与优化措施

一、前言在数据仓库领域，离线数仓和实时数仓是常见的两种架构类型。离线数仓一般通过定时任务在特定时间点（通常是凌晨）将业务数据同步到数据仓库中。
Light Gao·2024-02-03 10:14

数仓日常维护：剖析每日增量同步的内部机制

而数据的实时性和准确性对于确保数据仓库的有效性至关重要。而离线数仓中常见的数据同步方式是T+1，其中同步方式主要分为两种：全量同步和增量同步。本文聚焦于探讨增量同步的原理，解析其工作机制和实
Light Gao·2024-02-03 10:14

深度学习入门笔记（四）函数与优化方法

深度学习有三大部分模型表征（包括模型设计、网络表示等）模型评估（上一篇文章提到的准确召回和损失函数等）优化算法（模型如何学习或更新）本节我们就来介绍模型是如何学习或更新的。
zhanghui_cuc·2024-02-03 03:30

数据湖系列之一 | 你一定爱读的极简数据平台史，从数据仓库、数据湖到湖仓一体

从数据仓库、数据湖，到现在的湖仓一体，业界建设数据平台的新方法和新技术层出不穷。理解这些方法和技术背后隐藏的演进脉路、关键问题、核心技术原理，可以帮助企业更好地建设数据平台。
百度智能云技术站·2024-02-02 23:04

生成式学习，特别是生成对抗网络（GANs），存在哪些优点和缺点，在使用时需要注意哪些注意事项?

模型设计自由度高：生成器和判别器均采用神经网络，可以通过调整神经网络的架构和选用不同的损失函
小桥流水---人工智能·2024-02-02 19:08

Hive和Hbase的各自适用场景

Hive：Hive是Hadoop数据仓库，严格来说，不是
yoku酱·2024-02-02 17:36

超详细【入门精讲】数据仓库原理&实战 一步一步搭建数据仓库 内附相应实验代码和镜像数据和脚本

文章对应的博客园链接：点击这里文章目录0.B站相关课程链接和搭建数据仓库资源及脚本下载食用指南：建议先把博客整体看一遍之后再进行操作文章最后有常见问题及解决方法1.项目介绍及整体流程1.1项目介绍1.2
Oraer_·2024-02-02 16:29

银行数据仓库体系实践（18）--数据应用之信用风险建模

信用风险银行的经营风险的机构，那在第15节也提到了巴塞尔新资本协议对于银行风险的计量和监管要求，其中信用风险是银行经营的主要风险之一，它的管理好坏直接影响到银行的经营利润和稳定经营。信用风险是指交易对手未能履行约定契约中的义务而给银行造成经济损失的风险。典型的表现形式包括借款人发生违约或信用等级下降。借款人因各种原因未能及时、足额偿还债务/银行贷款、未能履行合同义务而发生违约时，债权人或银行必将因
南极找南·2024-02-02 13:10

银行数据仓库体系实践（15）--数据应用之巴塞尔新资本协议

巴塞尔新资本协议介绍在银行管理中经常会听到巴3、新资本协议等专用词，那这都是指《巴塞尔资本协议》，全称《关于统一国际银行资本衡量和资本标准的协议》。新资本协议的五大目标是：促进金融体系的安全性和稳健性（保持总体资本水平不变）；继续促进公平竞争；更全面地反映风险；更敏感地反映银行头寸及其业务的风险程度；重点放在国际活跃银行，基本原则适用于所有银行。最新的《巴塞尔协议III》（第3版）于2010年9月
南极找南·2024-02-02 13:40

银行数据仓库体系实践（16）--数据应用之财务分析

总账系统在所有公司中，财务分析的基础都是核算，那在银行的系统体系中，核算功能在业务发生时由业务系统如核心、贷款、理财中实现登记，各业务系统会在每天切日后统计当天各机构的核算科目的发生额与余额，并统一送到总账系统，总账系统进行全行会计核算的汇总、调整并每天统计出全银行的资产负债表、利润表和现金流表，使银行的经营情况一目了然。后续的许多财务应用以及监管报送中，总账数据是必不可少的一部分。而且数据质量校
南极找南·2024-02-02 13:40

银行数据仓库体系实践（10）--汇总指标层和集市模型设计

建立多层次的数据访问服务体系，有力提升数据仓库的价值。基于指标汇总层、集市层、可以提供面向业务人员的即席数据查询、以及面向应用开发者的数据接口、应用访问接口，满足不同类型应用的需要。
acumen_leo·2024-02-02 13:38

银行数据仓库体系实践（17）--数据应用之营销分析

营销是每个银行业务部门重要的工作任务，银行产品市场竞争激烈，没有好的营销体系是不可能有立足之地，特别是随着互联网金融发展,金融脱媒”已越来越普遍，数字化营销方兴未艾，银行的营销体系近些年也不断发展，从客户经理为主逐步转变为客户经理+互联网营销的模式。在客户经理阶段，银行主要通过CRM系统进行产品销售管理。对产品、客户经理、团队的绩效进行统计。那随着互联网营销的发展和数据量的增加，单个CRM系统已经
南极找南·2024-02-02 13:06

LLMLingua | 通过提示语压缩为大型语言模型设计一种语言

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/。在当今这个技术飞速发展的时代，大型语言模型（LLM）的能力不断被推向新的高度，它们已经
新加坡内哥谈技术·2024-02-02 06:08

全新2021款 Jlink隔离器，ARM仿真器隔离，Jlink，Nu-link，ULINK的隔离，Cortex-M系列隔离仿真

全新2021款仿真器隔离器已经来了；目录关键字：〇、前言：一、初次尝试v1.0二、偶然的发现三、难度超过我想象v2.0代四、与客户需求一同成长的v3.0时代来临V3.0版参数：普通/D版JlinkJlinkPro
xiaofei558008·2024-02-02 04:55

数据仓库表级血缘应用

表血缘热度文章目录数仓血缘应用（一）：表血缘热度前言一、价值衡量指标——应用层二、血缘节点应用——热度1、指标透传（应用层——>数仓）2、指标应用（热度）2.1、数仓血缘节点关系2.2、热度2.3、热度应用总结前言在数据仓库的建设过程中
零壹Ture·2024-02-02 02:24

手把手教你学dsp_大咖问答第13期：如何掌握DSP设计？顾卫钢博士在线为你解答...

拥有近十年产品研发经验，近年来带领团队研发了具有代码自动生成功能、基于模型设计的实时数字控制器RTU-BOX、积木式电力电子功率组件等多款产品。曾
weixin_39609718·2024-02-01 13:59

十分钟学会用springboot制作微信小程序富文本编辑器

1.1富文本模型设计在构建富文本编辑器系统时，首先需要设计一个合适的富文本模型。
Java斌·2024-02-01 11:53

springboot+mysql智能停车场管理系统-计算机毕业设计源码41692

摘要由于数据库和数据仓库技术的快速发展，智能停车场管理系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
vx2_Biye_Design·2024-02-01 09:10

大数据开发之离线数仓项目（用户行为采集平台）（可面试使用）

第1章：数据仓库概念数据仓库，是为企业指定决策，提供数据支持的，可以帮助企业，改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。
Key-Key·2024-02-01 08:46

8｜数据库设计：怎样按领域模型设计数据库？

这节课，我们来学习数据库设计。前面我们说过，模型驱动设计可以分成两大部分：模型的建立和模型的实现。模型的建立要求模型和业务需求一致，模型的实现要求实现和模型一致。现在，咱们已经建立了领域模型，并且从理论层面对模型驱动设计的概念进行了总结，这些都属于模型的建立。而我们这节课要做的数据库设计，则属于模型的实现。那么，怎样由领域模型，一步一步地推导出数据库的设计呢？这种方法和以前的方法有什么不同呢？这节
码出天空·2024-02-01 07:38

Hadoop 大数据技术原理与应用

生态分布式存储系统（HDFS）分布式计算框架（MapReduce）资源管理（YARN）数据迁移（Sqoop）数据挖掘算法库（Mahout）分布式数据库（HBase）分布式协调服务（Zookeeper）数据仓库
kk8_·2024-02-01 04:33

2022年最新数据库经典面试题及答案汇总（含PostgreSQL、Oracle、MySQL）

我们梳理了墨天轮平台上2022年最新的一批数据库经典面试题，主要包含PostgreSQL、MySQL和Oracle、数据仓库等方面的内容，希望能够帮助到各位正在或即将求职DBA的朋友们。
MoMoSQL666·2024-02-01 02:44

数据库基础理论

（数据仓库）数据：描述事务的符号记录，包含但不限于数字、文字、图形、图像、声音、语言等。数据有多重形式，它们都可以经过数字化后存入计算机。数据库：数据仓库。
sour moon·2024-02-01 00:59

火山引擎ByteHouse：分析型数据库如何设计列式存储

作为云原生数据仓库的ByteHouse，也采用列式存储设计，保证读写性能、支持事务一致性，又适用大规模的数据计算，为用户提供极速分析体验和海量数据处理能力，提升企业数字化转型能力。
字节数据平台·2024-01-31 22:37

spark从入门到放弃三十九:Spark Sql(12)SparkSql工作原理以及性能优化

http://www.haha174.top/article/details/2570731工作原理1.大家都知道，只要在数据库类型的技术里面，比如,最传统的mysql,Oracle包括现在大数据领域的数据仓库如
意浅离殇·2024-01-31 20:42

饿了么元数据管理实践之路

元数据定义与价值元数据打通数据源、数据仓库、数据应用，记录了数据
weixin_34113237·2024-01-31 20:57

elasticsearch性能优化常见方法

ElasticSearch之性能优化1.性能优化的杀手锏：FilesystemCache2.数据预热3.冷热分离4.ElasticSearch中的关联查询5.Document模型设计6.分页性能优化一道面试题的引入
火树银花之处·2024-01-31 15:37

【技术预研】StarRocks官方文档浅析（3）

参考文档产品简介|StarRocksStarRocksStarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析
偏振万花筒·2024-01-31 15:02

如何通过Hive/tez与Hadoop的整合快速实现大数据开发

一、Hive的功能Hive是基于Hadoop的一个外围数据仓库分析组件，可以把Hive理解为一个数据仓库，但这和传统的数据库是有差别的。
小枫@码·2024-01-31 08:00

第九届机电之光模型设计大赛落幕

近日，第九届“机电之光模型设计大赛”在东校区图书楼204闭幕，大赛特邀电工电子实验中心黄在范、张观山、刘林老师担任评委，经过现场作品展示和答辩，最终产生一等奖2名、二等奖3名、三等奖5名。
ac49a69b0606·2024-01-31 00:49

银行数据仓库体系实践（13）--数据应用之监管报送

1、监管报送概览：我国各类银行已达到4000家左右，管理着亿万资产，已经成为我国金融体系的重要组成部分，它的稳定运行关乎到国家经济走势，关系到每个居民的生活。那在我国金融体系中，银行的主要管理者有人行和银保监会：（1）中央人民银行是中华人民共和国国务院组成部门。主要职责是制定和执行货币政策，防范和化解金融风险，维护金融稳定。（2）中国银行保险监督管理委员会（简称银保监会）是国务院直属事业单位，其主
南极找南·2024-01-30 18:18

银行数据仓库的架构

1.数据仓库的定义官方定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。这个定义的确官方，但是却指出了数据仓库的四个特点。
specila_coder·2024-01-30 18:46

银行数据仓库体系实践（15）--数据应用之巴塞尔新资本协议

巴塞尔新资本协议介绍在银行管理中经常会听到巴3、新资本协议等专用词，那这都是指《巴塞尔资本协议》，全称《关于统一国际银行资本衡量和资本标准的协议》。新资本协议的五大目标是：促进金融体系的安全性和稳健性（保持总体资本水平不变）；继续促进公平竞争；更全面地反映风险；更敏感地反映银行头寸及其业务的风险程度；重点放在国际活跃银行，基本原则适用于所有银行。最新的《巴塞尔协议III》（第3版）于2010年9月
acumen_leo·2024-01-30 18:45

数据仓库实践杂谈（十八）——关于报表

全量第十章：拉链处理第十一章：分布式处理增量第十二章：列式存储第十三章：逻辑数据模型（数仓模型）第十四章：数据模型参考第十五章：维模型第十六章：渐变维第十七章：数据回滚第十八章：关于报表第十九章：数据挖掘数据仓库实践杂谈
老程序员一叶知秋·2024-01-30 18:45
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他