数据仓库SNOWFLAKE

分布式ID自增算法 Snowflake

后来发现twitter的Snowflake算法。
dotNET跨平台·2024-02-14 22:56

数仓面试

4）.长的帅或漂亮，前四条都可以忽略1.什么是数据仓库？如何构建数据仓库？
China_mr001·2024-02-14 21:46

雪花算法（SnowFlake）

一、原理SnowFlake算法生成id的结果是一个64bit大小的整数，它的结构如下图：雪花算法结构图1bit，不用，因为二进制中最高位是符号位，1表示负数，0表示正数。
喬杰·2024-02-14 02:12

Java+springboot+MYSQL停车场管理系统的设计与实现82061-计算机毕业设计项目选题推荐（免费领源码）

摘要由于数据库和数据仓库技术的快速发展，停车场管理系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
QQ_3376098506·2024-02-13 13:45

五，Geoserver栅格数据仓库（/coveragestores）

覆盖率存储描述如何访问光栅数据源。/workspaces/{workspace}/coveragestoresGet:获取{workspace}中所有覆盖范围存储的列表Post:向服务器添加新的覆盖率存储条目。Put:无效。Delete:无效。改用/coverage/{style}/workspaces/{workspace}/coveragestores/{store}Get:在{workspa
武汉小强·2024-02-13 08:07

ETL入门系列 之 ETL是什么

简单定义：将数据从OLTP系统中转移到数据仓库中的一系列操作的集合。ETL应用范围抽取：一般抽取过程需要连接到不同的数据源，以便为随后的步骤提供数据。
小纠结在简书·2024-02-13 00:34

数据仓库内容分享(十七)：Doris实践分享:它做了哪些架构优化和场景优化？

ApacheDoris是一款开源的实时数据仓库，由百度旗下的技术团队开发。它具有高性能、高可靠性、易扩展等特点，能够满足大规模数据实时查询和分析的需求。
之乎者也··2024-02-12 20:13

C#系列-C#EF框架实现雪花主键（20）

雪花主键（SnowflakeID）是一种在分布式系统中生成唯一ID的算法，它通常是由Twitter的雪花算法演变而来。
管理大亨·2024-02-12 19:04

【分布式技术专题】「分布式ID系列」百度开源的分布式高性能的唯一ID生成器UidGenerator

UidGenerator是什么UidGenerator是百度开源的一款分布式高性能的唯一ID生成器，更详细的情况可以查看官网集成文档uid-generator是基于Twitter开源的snowflake
洛神灬殇·2024-02-11 20:54

数据所在，计算随行：Databend 的 2023 年度总结

Databend自2021年开始研发，「三年之期已到」，作为Snowflake的开源竞品，Databend会交出怎样的一份答卷呢？让我们一起看看吧。
·2024-02-11 18:14

云计算 - 对象存储服务OSS技术全解

从媒体存储到数据备份，再到数据仓库与数据湖，我们不仅解析了OSS在各种应用场景下的关键角色，还深入讨论了其与机器学习、多媒体处理以及日志和监控等多个开发场景的结合。
·2024-02-11 18:21

Bytebase 签约 Vianova，助力欧洲城市交通智能平台中 Snowflake 和 PG 的变更自动化及版本控制

近日，数据库DevOps团队协同管理工具Bytebase签约欧洲交通数据管理平台Vianova，旨在全面自动化及版本控制Vianova的数据库变更，包括了Snowflake和PostgreSQL。
·2024-02-11 18:11

移植美团 leaf 从 java 到 golang

引言关于生成分布式ID服务的方案有很多，基本上都是基于twitter的snowflake来实现，而美团的leaf则把snowflake和号段模式给集成到一起。
DigitMagic魔数实验室·2024-02-11 11:44

离线数仓（一）【数仓概念、需求架构】

1、数据仓库概念1.1、概念数据仓库（DataWarehouse），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。（数据仓库的目的
让线程再跑一会·2024-02-11 11:58

若依系统自动生成代码增加雪花主键

1.增加雪花主键类packagecom.ruoyi.common.utils.uuid;/***Twitter_Snowflake*SnowFlake的结构如下(每部分用-分开):*0-00000000000000000000000000000000000000000
管理大亨·2024-02-11 10:23

Hive与ClickHouse的区别

Hive是Hadoop生态系统中事实上的数据仓库标准。Hive是建立在Hadoop生态中的数据仓库中间件，其本身并不提供存储与计算能力。
晓之以理的喵~~·2024-02-11 08:18

Spring框架常见的注解Spring、SpringMVC、SpringBoot）

@Repository:表示一个数据仓库组件，用于数据库访问。@Controller:定义
辞暮尔尔-烟火年年·2024-02-11 03:31

京东面试总结

1数据仓库的概念？和数据库的区别？2hdfs上传文件有哪几种方式？3Hive的优化问题？4Hive的数据倾斜问题？5数据分析？概念和总结6Django源码？7python的浅拷贝和深拷贝？
小小少年Boy·2024-02-09 21:45

OLAP 和数据挖掘的关系

从技术角度看，商务智能的过程是企业的决策人员以企业中的数据仓库为基础，经由数据挖掘工具、联机分析处理工具加上决策规划人员的专业知识，从数据中获得有用的信息和知识，帮助企业获取更多的利润。
挣扎的菜鸟·2024-02-09 18:02

数据中台 pdf_数据中台到底怎么建设，有人把他说清楚了

本人断断续续从事数据仓库约有五六年经验，在移动公司前三年是负责数据仓库项目实施，后四年开发搞大数据平台，见证了从传统数据仓库转型到大数据平台的全历程，见证了大数据平台从0到1的全部过程，包括第一个MPP
weixin_39699121·2024-02-09 18:59

亚马逊认证考试系列 - 知识点 - Redshift简介

AWSRedshift是一种快速、可扩展的数据仓库服务，可简化数据分析和BI工作负载的管理。它提供了强大的数据处理能力，使得用户能够轻松地分析海量的数据，并从中汲取有价值的信息。
customservice·2024-02-09 02:32

UUID和雪花(Snowflake)算法该如何选择？

UUID和雪花(Snowflake)算法该如何选择？
Java方文山·2024-02-09 00:20

浅谈ETL

前言ETL开发是数据工程师必备的技能之一，在数据仓库、BI等场景中起到重要的作用。但很多从业者连ETL对应的英文是什么都不了解，更不要谈对ETL的深入解析，这无疑是非常不称职的。
秋夜雨凉·2024-02-08 21:15

SQL在云计算中的新角色：重新定义数据分析

文章目录1.云计算与数据分析的融合2.SQL在云计算中的新角色3.分布式SQL查询引擎4.SQL-on-Hadoop解决方案5.SQL与其他数据分析工具的集成6.实时数据分析与SQL7.SQL在云数据仓库中的角色
程序边界·2024-02-08 13:01

Apache Doris 用户案例库

物化视图与索引在京东的典型应用ApacheDoris在京东客服OLAP中的应用实践京东搜索实时OLAP探索与实践知乎基于ApacheDoris的DMP平台架构建设实践同程数科基于ApacheDoris的数据仓库建设货拉拉基于
hf200012·2024-02-08 11:03

13 数据仓库设计

1.数据仓库分层该项目数据分层如下：2.数据仓库构建流程2.1数据调研数据调研重点做两项工作，分别是业务调研和需求分析。2.1.1业务调研业务调研主要目标是熟悉业务流程、熟悉业务数据。
kk_io·2024-02-08 10:32

数据库学习笔记

数据库学习笔记数据库系统概述基本概念关系型数据库和非关系型数据库redis数据库引擎MyISAM与InnoDB的区别OLTP联机事务处理onlinetransactionprocessingOLAP联机分析处理数据仓库
三流淼货·2024-02-08 08:10

涤生大数据实战：基于Flink+ODPS历史累计计算项目分析与优化（上）

涤生大数据实战：基于Flink+ODPS历史累计计算项目分析与优化（一）1.前置知识ODPS（OpenDataPlatformandService）是阿里云自研的一体化大数据计算平台和数据仓库产品，在集团内部离线作为离线数据处理和存储的产品
涤生大数据·2024-02-08 08:55

数据仓库入门介绍框架（附带完整项目实战）

一、诞生背景企业数据分析需要：各个部门自己建立独立的数据抽取系统，导致数据不一致概述数据仓库是一个面向主题的、集成、非易失的且随时间变化的数据集合主要用于组织积累的历史数据，并使用分析方法（OLAP、数据分析
麻辣清汤·2024-02-07 23:34

大数据用户画像系统架构设计

文章目录一、用户画像数据仓库搭建、数据抽取部分二、大数据平台、用户画像集市分层设计、处理三、离线计算部分四、实时计算部分五、Solr/ES搜索引擎部分六、JavaWeb毫秒级实时用户画像接口服务七、用户画像实时展示异步触发获取
充电了么·2024-02-07 19:37

数仓：事实表设计方法，原则和三种类型选择

关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】事实表设计方法事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。
大数据左右手·2024-02-07 09:35

即席查询框架怎么选？

即席查询与批处理的区别批处理在数据仓库系统中，根据应用程序的需求，需要对源数据进行加工，这些加工过程往往是固定的处理原则，这种情况下，可以把数据的增删改查SQL语句写成一个批处理脚
大数据左右手·2024-02-07 09:32

数仓-数据质量体系建设

注：文章参考：数据仓库数据质量体系建设涤生推荐：未来的行业中，数据是企业的重要资产，而数据仓库则是对企业数据进行有效管理和利用的重要手段。
爱吃辣条byte·2024-02-07 08:26

数据湖与数据仓库

一、数据湖的定义维基百科上定义，数据湖（DataLake）是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事先对数据进行结构化处理。一个数据湖可以存储：结构化数据（如关系型数据库中的表），半结构化数据（如CSV、日志、XML、JSON），非结构化数据（如电子邮件、文档、PDF）二进制数据（如图形、音频、视频）。但是随着大数据技术的融合发展，数据湖不断演变，汇集了各种技术，包括数据仓
四月天03·2024-02-07 05:36

绕过去除 union 和 select 的 SQL 注入

环境准备：构建完善的安全渗透测试环境：推荐工具、资源和下载链接_渗透测试靶机下载-CSDN博客一、基础知识MySQL是一个流行的开源关系型数据库管理系统（RDBMS），广泛用于Web应用、数据仓库、嵌入式应用等场景
狗蛋的博客之旅·2024-02-07 05:33

数据仓库-Hive基础（二）Hive 的基本概念

什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
做个合格的大厂程序员·2024-02-07 03:42

Spring Boot集成百度UidGenerator雪花算法使用以及自定义starter封装UidGenerator支持原生DB、Redis、自定义方式获取workID介绍

常见的分布式ID生成策略有基于数据库号段模式、UUID、基于Redis、基于zookeeper、雪花算法（snowflake）等方案，这其中雪花算法由于其简单、独立、易用的特性，被众多技术选型推荐。
小满别摸鱼·2024-02-07 00:36

ETL是什么，有哪些ETL工具？就业前景如何？

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
得帆云·2024-02-06 23:46

数据仓库

数据仓库（DataWarehouse）是一个面向主题（SubjectOriented)）的、集成（Integrate）的、稳定（Non-Volatile）的、反映历史变化（TimeVariant）的数据集合
茶盏浮花·2024-02-06 20:47

性能实测：分布式存储 ZBS 与集中式存储 HDS 在 Oracle 数据库场景表现如何

在《分布式存储支持数据仓库业务系统性能验证》文章中，我们对比了SmartX分布式存储ZBS与全闪集中式存储（EMCPowerStore）执行数仓跑批任务的效率。为了帮助用
志凌海纳SmartX·2024-02-06 18:40

【技术预研】StarRocks官方文档浅析（4）

参考文档产品简介|StarRocksStarRocksStarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析
偏振万花筒·2024-02-06 09:16

SQL在数据中台/数据仓库领域的局限性

在复杂数据项目场景下，SQL的使用存在局限巨大的局限性可能表现为业务逻辑的碎片化、不能全局优化、无效的数据移动以及大量使用临时表。业务逻辑的碎片化问题在冗长的SQL脚本中，每一个目标数据项（指标、标签等）的逻辑分散在众多的SQL代码段中，每个SQL代码中又承载了多个目标数据项业务逻辑的碎片。在冗长的SQL脚本中，业务逻辑碎片交叉耦合。目标数据项目业务逻辑碎片化，破坏了业务逻辑的原子性，导致一系列问
Trident敏捷数据开发平台·2024-02-06 07:56

SAP BW/4HANA学习笔记1

1.MasterDataBW/4HANABW/4HANA简介BW/4HANA的前身是SAPBW(BusinessWarehouse),本质是一种数据仓库解决方案。
偶是不器·2024-02-06 05:01

数据仓库系列：星型模型和雪花型模型

在实际工作中多维分析的商业智能解决方案，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型还是雪花型模型进行组织。一、星型模型星型模型：是一种多维的数据关系，它由一个事实表（FactTable）和一组维表（DimensionTable）组成。每个维表都有一个维作为主键，所有这些维的主键组合成事实表的主键。事实表的非主键属性称
小黎子数据分析·2024-02-05 16:02

Bytebase 签约 Vianova，助力欧洲城市交通智能平台中 Snowflake 和 PG 的变更自动化及版本控制

近日，数据库DevOps团队协同管理工具Bytebase签约欧洲交通数据管理平台Vianova，旨在全面自动化及版本控制Vianova的数据库变更，包括了Snowflake和PostgreSQL。
Bytebase·2024-02-05 13:54

【分布式】雪花算法学习笔记

雪花算法学习笔记来源https://pdai.tech/md/algorithm/alg-domain-id-snowflake.html概述雪花算法是推特开源的分布式ID生成算法，以划分命名空间的方式将
少写代码少看论文多多睡觉·2024-02-05 11:26

全局唯一ID优缺点总结

❤️文章目录全局唯一ID（分布式ID）1、UUID2、数据库自增ID3、数据库集群模式ID4、Redis自增ID5、雪花算法（SnowFlake）全局唯一ID（分布式ID）1、
欧克小奥·2024-02-05 02:40

数据库与数据仓库的区别

数据库Database(Oracle,Mysql,PostgreSQL)主要用于事务处理，数据仓库Datawarehouse(AmazonRedshift,Hive)主要用于数据分析。
42c64edf12e9·2024-02-05 02:12

HIVE

--------hive数据仓库hive底层执行引擎有MapReduceTezSpark压缩GZIPLZOSnappyBZIP2等存储TextFileSequenceFileRCFileORCParquetUDF
Yagami_·2024-02-05 00:23

大数据领域的数据仓库

在大数据领域，数据仓库（DataWarehouse）是一个用于存储、管理和分析大量数据的集中式系统。
薛定谔的zhu·2024-02-04 09:43
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他