E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据仓库SNOWFLAKE
SQL在云计算中的新角色:重新定义数据分析
文章目录1.云计算与数据分析的融合2.SQL在云计算中的新角色3.分布式SQL查询引擎4.SQL-on-Hadoop解决方案5.SQL与其他数据分析工具的集成6.实时数据分析与SQL7.SQL在云
数据仓库
中的角色
程序边界
·
2024-02-08 13:01
sql
云计算
数据分析
Apache Doris 用户案例库
物化视图与索引在京东的典型应用ApacheDoris在京东客服OLAP中的应用实践京东搜索实时OLAP探索与实践知乎基于ApacheDoris的DMP平台架构建设实践同程数科基于ApacheDoris的
数据仓库
建设货拉拉基于
hf200012
·
2024-02-08 11:03
Doris
大数据
doris
13
数据仓库
设计
1.
数据仓库
分层该项目数据分层如下:2.
数据仓库
构建流程2.1数据调研数据调研重点做两项工作,分别是业务调研和需求分析。2.1.1业务调研业务调研主要目标是熟悉业务流程、熟悉业务数据。
kk_io
·
2024-02-08 10:32
数据仓库
数据仓库
大数据
数据库学习笔记
数据库学习笔记数据库系统概述基本概念关系型数据库和非关系型数据库redis数据库引擎MyISAM与InnoDB的区别OLTP联机事务处理onlinetransactionprocessingOLAP联机分析处理
数据仓库
三流淼货
·
2024-02-08 08:10
数据库
数据库
面试
涤生大数据实战:基于Flink+ODPS历史累计计算项目分析与优化(上)
涤生大数据实战:基于Flink+ODPS历史累计计算项目分析与优化(一)1.前置知识ODPS(OpenDataPlatformandService)是阿里云自研的一体化大数据计算平台和
数据仓库
产品,在集团内部离线作为离线数据处理和存储的产品
涤生大数据
·
2024-02-08 08:55
数仓建模/数据架构/数据治理
大数据
flink
odps
数据仓库
入门介绍框架(附带完整项目实战)
一、诞生背景企业数据分析需要:各个部门自己建立独立的数据抽取系统,导致数据不一致概述
数据仓库
是一个面向主题的、集成、非易失的且随时间变化的数据集合主要用于组织积累的历史数据,并使用分析方法(OLAP、数据分析
麻辣清汤
·
2024-02-07 23:34
数据仓库
大数据用户画像系统架构设计
文章目录一、用户画像
数据仓库
搭建、数据抽取部分二、大数据平台、用户画像集市分层设计、处理三、离线计算部分四、实时计算部分五、Solr/ES搜索引擎部分六、JavaWeb毫秒级实时用户画像接口服务七、用户画像实时展示异步触发获取
充电了么
·
2024-02-07 19:37
数仓:事实表设计方法,原则和三种类型选择
关注公众号,回复关键字【资料】,获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】事实表设计方法事实表作为
数据仓库
维度建模的核心,紧紧围绕着业务过程来设计。
大数据左右手
·
2024-02-07 09:35
大数据
数据仓库
数据挖掘
数据分析
即席查询框架怎么选?
即席查询与批处理的区别批处理在
数据仓库
系统中,根据应用程序的需求,需要对源数据进行加工,这些加工过程往往是固定的处理原则,这种情况下,可以把数据的增删改查SQL语句写成一个批处理脚
大数据左右手
·
2024-02-07 09:32
大数据
大数据
数仓-数据质量体系建设
注:文章参考:
数据仓库
数据质量体系建设涤生推荐:未来的行业中,数据是企业的重要资产,而
数据仓库
则是对企业数据进行有效管理和利用的重要手段。
爱吃辣条byte
·
2024-02-07 08:26
数仓建设
大数据
数据仓库
数据湖与
数据仓库
一、数据湖的定义维基百科上定义,数据湖(DataLake)是一个以原始格式存储数据的存储库或系统。它按原样存储数据,而无需事先对数据进行结构化处理。一个数据湖可以存储:结构化数据(如关系型数据库中的表),半结构化数据(如CSV、日志、XML、JSON),非结构化数据(如电子邮件、文档、PDF)二进制数据(如图形、音频、视频)。但是随着大数据技术的融合发展,数据湖不断演变,汇集了各种技术,包括数据仓
四月天03
·
2024-02-07 05:36
绕过去除 union 和 select 的 SQL 注入
环境准备:构建完善的安全渗透测试环境:推荐工具、资源和下载链接_渗透测试靶机下载-CSDN博客一、基础知识MySQL是一个流行的开源关系型数据库管理系统(RDBMS),广泛用于Web应用、
数据仓库
、嵌入式应用等场景
狗蛋的博客之旅
·
2024-02-07 05:33
Web安全渗透
sql
数据库
数据仓库
-Hive基础(二)Hive 的基本概念
什么是HiveHive是基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
做个合格的大厂程序员
·
2024-02-07 03:42
Spring Boot集成百度UidGenerator雪花算法使用以及自定义starter封装UidGenerator支持原生DB、Redis、自定义方式获取workID介绍
常见的分布式ID生成策略有基于数据库号段模式、UUID、基于Redis、基于zookeeper、雪花算法(
snowflake
)等方案,这其中雪花算法由于其简单、独立、易用的特性,被众多技术选型推荐。
小满别摸鱼
·
2024-02-07 00:36
java
web
springboot
java
数据库
spring
boot
雪花算法
分布式ID
UID
ETL是什么,有哪些ETL工具?就业前景如何?
ETL一词较常用在
数据仓库
,但其对象并不限于
数据仓库
。
得帆云
·
2024-02-06 23:46
iPaaS干货
etl
数据仓库
数据仓库
数据仓库
(DataWarehouse)是一个面向主题(SubjectOriented))的、集成(Integrate)的、稳定(Non-Volatile)的、反映历史变化(TimeVariant)的数据集合
茶盏浮花
·
2024-02-06 20:47
性能实测:分布式存储 ZBS 与集中式存储 HDS 在 Oracle 数据库场景表现如何
在《分布式存储支持
数据仓库
业务系统性能验证》文章中,我们对比了SmartX分布式存储ZBS与全闪集中式存储(EMCPowerStore)执行数仓跑批任务的效率。为了帮助用
志凌海纳SmartX
·
2024-02-06 18:40
数据库
分布式
oracle
【技术预研】StarRocks官方文档浅析(4)
参考文档产品简介|StarRocksStarRocksStarRocks是一款高性能分析型
数据仓库
,使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析
偏振万花筒
·
2024-02-06 09:16
starRocks
大数据
SQL在数据中台/
数据仓库
领域的局限性
在复杂数据项目场景下,SQL的使用存在局限巨大的局限性可能表现为业务逻辑的碎片化、不能全局优化、无效的数据移动以及大量使用临时表。业务逻辑的碎片化问题在冗长的SQL脚本中,每一个目标数据项(指标、标签等)的逻辑分散在众多的SQL代码段中,每个SQL代码中又承载了多个目标数据项业务逻辑的碎片。在冗长的SQL脚本中,业务逻辑碎片交叉耦合。目标数据项目业务逻辑碎片化,破坏了业务逻辑的原子性,导致一系列问
Trident敏捷数据开发平台
·
2024-02-06 07:56
sql
大数据
数据仓库
etl
数据库开发
SAP BW/4HANA学习笔记1
1.MasterDataBW/4HANABW/4HANA简介BW/4HANA的前身是SAPBW(BusinessWarehouse),本质是一种
数据仓库
解决方案。
偶是不器
·
2024-02-06 05:01
学习
数据仓库
数据挖掘
数据库
数据分析
数据仓库
系列:星型模型和雪花型模型
在实际工作中多维分析的商业智能解决方案,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织。一、星型模型星型模型:是一种多维的数据关系,它由一个事实表(FactTable)和一组维表(DimensionTable)组成。每个维表都有一个维作为主键,所有这些维的主键组合成事实表的主键。事实表的非主键属性称
小黎子数据分析
·
2024-02-05 16:02
Bytebase 签约 Vianova,助力欧洲城市交通智能平台中
Snowflake
和 PG 的变更自动化及版本控制
近日,数据库DevOps团队协同管理工具Bytebase签约欧洲交通数据管理平台Vianova,旨在全面自动化及版本控制Vianova的数据库变更,包括了
Snowflake
和PostgreSQL。
Bytebase
·
2024-02-05 13:54
数据库
运维
DBA
开发者
数据库管理
DevOps
【分布式】雪花算法学习笔记
雪花算法学习笔记来源https://pdai.tech/md/algorithm/alg-domain-id-
snowflake
.html概述雪花算法是推特开源的分布式ID生成算法,以划分命名空间的方式将
少写代码少看论文多多睡觉
·
2024-02-05 11:26
Java全栈开发进阶
分布式
分布式
算法
学习
全局唯一ID优缺点总结
❤️文章目录全局唯一ID(分布式ID)1、UUID2、数据库自增ID3、数据库集群模式ID4、Redis自增ID5、雪花算法(
SnowFlake
)全局唯一ID(分布式ID)1、
欧克小奥
·
2024-02-05 02:40
有趣的问题
全局唯一ID
数据库与
数据仓库
的区别
数据库Database(Oracle,Mysql,PostgreSQL)主要用于事务处理,
数据仓库
Datawarehouse(AmazonRedshift,Hive)主要用于数据分析。
42c64edf12e9
·
2024-02-05 02:12
HIVE
--------hive
数据仓库
hive底层执行引擎有MapReduceTezSpark压缩GZIPLZOSnappyBZIP2等存储TextFileSequenceFileRCFileORCParquetUDF
Yagami_
·
2024-02-05 00:23
大数据领域的
数据仓库
在大数据领域,
数据仓库
(DataWarehouse)是一个用于存储、管理和分析大量数据的集中式系统。
薛定谔的zhu
·
2024-02-04 09:43
大数据
数据仓库
软考笔记--
数据仓库
技术
数据仓库
是一个面向主题的,集成的,相对稳定的、反映历史变化的数据集合,用于支持管理决策。数据源是
数据仓库
系统的基础,是整个系统的数据源泉。
赤露水
·
2024-02-04 07:12
软考
笔记
数据仓库
Hadoop大数据实战系列文章之Hive
hive是基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,Hive定义了简单的类SQL查询语言,称为HQL,它允许熟悉SQL的用户查询数据可以将
测试帮日记
·
2024-02-04 05:45
第七章 主管信息系统和
数据仓库
[TOC]第七章主管信息系统和
数据仓库
7.0前言EIS是数仓之前的概念EIS没有注重基础结构(数据源、数据质量、数据流通等)DSS是现代的EIS,与数仓紧密相连7.1EIS概述EIS典型用途趋势分析关键指标度量和跟踪向下钻取问题监控竞争分析关键性能指标监控
晨磊的微博
·
2024-02-04 04:53
【读书笔记】
数据仓库
- Apache Kylin权威指南
ApacheKylin权威指南(第2版)◆1.2.1为什么要使用ApacheKylin它们的主要技术是“大规模并行处理”(MassivelyParallelProcessing,MPP)和“列式存储”(ColumnarStorage)◆1.2.2ApacheKylin怎样解决关键问题基于以上两点,我们得到一个新的思路——“预计算”。应尽量多地预先计算聚合结果,在查询时刻也尽量使用预计算的结果得出查
KevinBrain
·
2024-02-03 19:16
大数据
数据仓库
apache
kylin
大数据
分布式
[Python] 如何使用scikit-learn的preprocessing和impute模块进行数据预处理(数据无量纲化,缺失值填充,对分类型特征编码与哑变量,对连续型特征进行二值化与分段)
数据挖掘的五大流程获取数据从各种来源收集数据,包括但不限于数据库、
数据仓库
、互联网、传感器、社交媒体等。获取数据的方式可以通过数据抓取、数据爬取、数据采集工具等方法进行。
老狼IT工作室
·
2024-02-03 18:16
机器学习
python
机器学习
scikit-learn
python
数仓建模&维度建模理论知识
0.思维导图第1章
数据仓库
概述1.1
数据仓库
概述
数据仓库
是一个为数据分析而设计的企业级数据管理系统。
韩顺平的小迷弟
·
2024-02-03 16:02
#
大数据开发
spark
大数据
数据仓库
hadoop
hive
离线数仓-数据治理
目录一、前言1.1数据治理概念1.2数据治理目标1.3数据治理要解决的问题1.3.1合规性元数据合规性数据质量合规性数据安全合规性1.3.2成本存储资源成本计算资源成本二、
数据仓库
发展阶段2.1初始期2.2
爱吃辣条byte
·
2024-02-03 13:51
数据治理
大数据
数据仓库
深入数仓离线数据同步:问题分析与优化措施
一、前言在
数据仓库
领域,离线数仓和实时数仓是常见的两种架构类型。离线数仓一般通过定时任务在特定时间点(通常是凌晨)将业务数据同步到
数据仓库
中。
Light Gao
·
2024-02-03 10:14
数据仓库
实时数仓
数据库
数据仓库
大数据
数据分析
数仓日常维护:剖析每日增量同步的内部机制
而数据的实时性和准确性对于确保
数据仓库
的有效性至关重要。而离线数仓中常见的数据同步方式是T+1,其中同步方式主要分为两种:全量同步和增量同步。本文聚焦于探讨增量同步的原理,解析其工作机制和实
Light Gao
·
2024-02-03 10:14
数据仓库
大数据
数据库
大数据
数据仓库
数据同步
sql
AI+数据库——梳理
Snowflake
和 Databricks 在峰会上的重要发布,快来看市值数百亿美金的数据巨头的贴身肉搏!
目录01背景02买、买、买03肉搏
Snowflake
:要做AI-Powered数据驱动平台Databricks:到处都是AI以及统一的数据管理04写在结尾Onemorething01背景
Snowflake
小猿姐
·
2024-02-03 10:51
人工智能
数据库
JAVA面试题分享四百二十八:为什么需要分布式ID?你项目中是怎么做的?
分布式ID常见解决方案数据库数据库主键自增数据库号段模式NoSQL算法UUID
Snowflake
(雪花算法)开源框架UidGenerator(百度)Leaf(美团)Tinyid(滴滴)IdGenerator
之乎者也·
·
2024-02-03 02:31
JAVA
面试题分享
分布式
内容分享
java
分布式
开发语言
数据湖系列之一 | 你一定爱读的极简数据平台史,从
数据仓库
、数据湖到湖仓一体
从
数据仓库
、数据湖,到现在的湖仓一体,业界建设数据平台的新方法和新技术层出不穷。理解这些方法和技术背后隐藏的演进脉路、关键问题、核心技术原理,可以帮助企业更好地建设数据平台。
百度智能云技术站
·
2024-02-02 23:04
百度沧海·存储
数据湖
百度
对象存储
Hive和Hbase的各自适用场景
Hive:Hive是Hadoop
数据仓库
,严格来说,不是
yoku酱
·
2024-02-02 17:36
超详细【入门精讲】
数据仓库
原理&实战 一步一步搭建
数据仓库
内附相应实验代码和镜像数据和脚本
文章对应的博客园链接:点击这里文章目录0.B站相关课程链接和搭建
数据仓库
资源及脚本下载食用指南:建议先把博客整体看一遍之后再进行操作文章最后有常见问题及解决方法1.项目介绍及整体流程1.1项目介绍1.2
Oraer_
·
2024-02-02 16:29
数据仓库
大数据分析
数据仓库
数据库
hadoop
银行
数据仓库
体系实践(18)--数据应用之信用风险建模
信用风险银行的经营风险的机构,那在第15节也提到了巴塞尔新资本协议对于银行风险的计量和监管要求,其中信用风险是银行经营的主要风险之一,它的管理好坏直接影响到银行的经营利润和稳定经营。信用风险是指交易对手未能履行约定契约中的义务而给银行造成经济损失的风险。典型的表现形式包括借款人发生违约或信用等级下降。借款人因各种原因未能及时、足额偿还债务/银行贷款、未能履行合同义务而发生违约时,债权人或银行必将因
南极找南
·
2024-02-02 13:10
银行数据仓库
数据仓库
银行
数据仓库
体系实践(15)--数据应用之巴塞尔新资本协议
巴塞尔新资本协议介绍在银行管理中经常会听到巴3、新资本协议等专用词,那这都是指《巴塞尔资本协议》,全称《关于统一国际银行资本衡量和资本标准的协议》。新资本协议的五大目标是:促进金融体系的安全性和稳健性(保持总体资本水平不变);继续促进公平竞争;更全面地反映风险;更敏感地反映银行头寸及其业务的风险程度;重点放在国际活跃银行,基本原则适用于所有银行。最新的《巴塞尔协议III》(第3版)于2010年9月
南极找南
·
2024-02-02 13:40
银行数据仓库
数据仓库
银行
数据仓库
体系实践(16)--数据应用之财务分析
总账系统在所有公司中,财务分析的基础都是核算,那在银行的系统体系中,核算功能在业务发生时由业务系统如核心、贷款、理财中实现登记,各业务系统会在每天切日后统计当天各机构的核算科目的发生额与余额,并统一送到总账系统,总账系统进行全行会计核算的汇总、调整并每天统计出全银行的资产负债表、利润表和现金流表,使银行的经营情况一目了然。后续的许多财务应用以及监管报送中,总账数据是必不可少的一部分。而且数据质量校
南极找南
·
2024-02-02 13:40
银行数据仓库
数据仓库
银行
数据仓库
体系实践(10)--汇总指标层和集市模型设计
建立多层次的数据访问服务体系,有力提升
数据仓库
的价值。基于指标汇总层、集市层、可以提供面向业务人员的即席数据查询、以及面向应用开发者的数据接口、应用访问接口,满足不同类型应用的需要。
acumen_leo
·
2024-02-02 13:38
银行数据仓库
大数据
数据仓库
汇总层
指标层
数据中台
银行
数据仓库
体系实践(17)--数据应用之营销分析
营销是每个银行业务部门重要的工作任务,银行产品市场竞争激烈,没有好的营销体系是不可能有立足之地,特别是随着互联网金融发展,金融脱媒”已越来越普遍,数字化营销方兴未艾,银行的营销体系近些年也不断发展,从客户经理为主逐步转变为客户经理+互联网营销的模式。在客户经理阶段,银行主要通过CRM系统进行产品销售管理。对产品、客户经理、团队的绩效进行统计。那随着互联网营销的发展和数据量的增加,单个CRM系统已经
南极找南
·
2024-02-02 13:06
银行数据仓库
数据仓库
数据仓库
表级血缘应用
表血缘热度文章目录数仓血缘应用(一):表血缘热度前言一、价值衡量指标——应用层二、血缘节点应用——热度1、指标透传(应用层——>数仓)2、指标应用(热度)2.1、数仓血缘节点关系2.2、热度2.3、热度应用总结前言在
数据仓库
的建设过程中
零壹Ture
·
2024-02-02 02:24
数据仓库
大数据
spark
数据库
数据分析
sharding-jdbc笔记(3)-分布式id
SnowFlake
下面的文章写的非常详细,有利于理解理解分布式id生成算法
SnowFlake
DefaultKeyGeneratorDefaultKeyGenerator也是实现了
SnowFlake
算法参考
兴浩
·
2024-02-01 22:24
2018-02-09
Twitter
SnowFlake
ApacheCarbonDatadoctest优化MySQL:3个简单的小调整为什么程序员找不到工作:4个恐怖故事NULLinSQL:IndicatingtheAbsenceofDatacpu_featuresNginx
baitu
·
2024-02-01 16:29
springboot+mysql智能停车场管理系统-计算机毕业设计源码41692
摘要由于数据库和
数据仓库
技术的快速发展,智能停车场管理系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
vx2_Biye_Design
·
2024-02-01 09:10
spring
boot
mysql
css
html5
ajax
vue.js
java
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他