数据仓库SNOWFLAKE

Hive编程（一）

数据库操作：数据仓库的创建：createdatabase（ifnotexist）hivedwd；创建时添加键值对信息：createdabatasehivedwhwithdbproperties（‘owner
꧁༺朝花夕逝༻꧂·2024-01-18 07:29

银行数据仓库体系实践（2）--系统架构

UML对系统架构的定义是：系统的组织结构，包括系统分解的组成部分，它们的关联性，交互，机制和指导原则，例如对系统群就是定义各子系统的功能和职责，如贷款系统群可能分为进件申请、核额、交易账务、贷后管理、管理台等子系统，对于系统就是定义各模块的功能和层次，例如管理台包括权限管理、用户管理、交易管理、逾期管理、统计分析等功能。技术架构是指从技术实现层面描述系统，主要是根据系统架构组成部分确定每层使用什么
南极找南·2024-01-18 06:59

Elasticsearch：将数据从 Snowflake 摄取到 Elasticsearch

作者：来自ElasticAshishTiwari为了利用Elasticsearch®提供的强大搜索功能，许多企业在Elasticsearch中保留可搜索数据的副本。Elasticsearch是一种经过验证的技术，适用于传统文本搜索以及用于语义搜索用例的向量搜索。ElasticsearchRelevanceEngineTM(ESRE)使你能够在专有数据上添加语义搜索，这些数据可以与生成式AI技术集成
Elastic 中国社区官方博客·2024-01-18 06:53

阿里数据仓库搭建实践分享

内容来源：2017年7月8日，阿里云高级技术专家后稷在“阿里云—数据化运营实践分享【7上海站】”进行《阿里数据仓库搭建实践分享》演讲分享。
IT大咖说·2024-01-18 05:24

全局唯一ID实现方案——雪花算法

全局唯一ID实现方案——雪花算法雪花算法原理Snowflake，雪花算法是由Twitter开源的分布式ID生成算法，以划分命名空间的方式将64-bit位分割成多个部分，每个部分代表不同的含义。
String、code·2024-01-18 04:28

关联规则分析（Apriori算法

啤酒和尿布的关联规则故事沃尔玛公司数据仓库里集中了其各门店的详细原始交
天玑y·2024-01-18 02:09

离线数仓二

数据仓库维度模型设计维度建模基本概念维度模型是数据仓库领域大师RalphKimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。
pauls·2024-01-18 00:26

数据仓库面试题

1思维导图&数仓常见面试题2题目1.数据仓库是什么？  
韩顺平的小迷弟·2024-01-17 21:53

离线数据仓库-关于增量和全量

数据同步策略数据仓库同步策略概述一、数据的全量同步二、数据的增量同步三、数据同步策略的选择数据仓库同步策略概述应用系统所产生的业务数据是数据仓库的重要数据来源，我们需要每日定时从业务数据库中抽取数据，传输到数据仓库中
Aimyon_36·2024-01-17 20:38

GaussDB(DWS)查询优化技术大揭秘

GaussDB(DWS)查询优化技术大揭秘大数据时代，数据量呈爆发式增长，经常面临百亿、千亿数据查询场景，当数据仓库数据量较大、SQL语句执行效率低时，数据仓库性能会受到影响。
炒香菇的书呆子·2024-01-17 15:52

Hive数据导出的四种方法

hive数据仓库有多种数据导出方法，我在本篇文章中介绍下面的四种方法供大家参考：Insert语句导出、Hadoop命令导出、Hiveshell命令导出、Export语句导出。
冬瓜的编程笔记·2024-01-17 08:31

hive除数取整

简介Hive是一个构建在Hadoop上的数据仓库基础设施，它提供了一个类似于SQL的查询语言，用于处理大规模的结构化数据。在Hive中，我们常常需要对数据进行数学运算，包括除法操作。
cuisidong1997·2024-01-17 08:30

HashData湖仓一体方案：方案概览与Hive数据同步

随着云计算、大数据、AI的发展和普及，各行各业的业务场景日益复杂，数据呈现出大规模、多样性的特点，企业对数据仓库的需求也进一步拓展至对多元化数据实时处理的场景。
HashData酷克数据·2024-01-17 07:55

数据仓库建模

要将这些数据转化为有意义的信息，并为企业智能决策提供支持，一个重要的步骤是进行数据仓库建模。本文将深入探讨数据仓库建模的意义、建模分类和步骤。
临界爵迹·2024-01-17 06:12

gin-vue-admin二开使用雪花算法生成唯一标识 id

由于分支的id是子增的主键id，所以会出现重复的id，但是这个id需要作为标识，没有实际作用，这里选择的是分布式id雪花算法生成id存储用来标识，这个项目基于gva进行开发的，可以使用sonyflake和snowflake
三杯温开水·2024-01-17 06:04

工作十年总结的六条面试技巧，助力你拿到理想的offer

大数据开发的领域不同，面试的锚定点也不同，从我过往的经验来说，可以大致来将大数据领域的开发分为如下几种：离线开发：数据仓库、离线计算、ETL开发实时开发：流计算开发基础架构：组件二次开发，底层组件稳定性维护大数据运维方向数据平台开发一
KubeData·2024-01-17 02:12

一文了解数据库vs数据仓库vs数据湖

为什么会有数据仓库？拆解几个OLAP核心概念大数据技术架构演进过程什么是数据湖？数据库、数据仓库、数据湖：哪个更合适？什么是数据库？
KubeData·2024-01-17 02:11

一文了解数据库，数据仓库，数据湖，数据集市，数据湖仓

目录一、定义1.数据库（Database）2.数据仓库（DataWarehouse）3.数据湖（DataLake）4.数据集市（DataMart）5.数据湖仓（DataLakehouse）二、相同、异同
giszz·2024-01-17 02:27

Hive数学函数讲解

Hive是一个基于Hadoop的数据仓库工具，它支持类似于SQL的查询语言HiveQL，并且提供了许多内建的数学函数来处理数值数据。下面我将逐一讲解您提到的这些数学函数，并提供一些使用案例和注意事项。
田晖扬·2024-01-17 02:55

Python操作数据库

可以方便地支持关系型数据库如DB2、InFormix、MySQL、MsSQL、Access、Sybase，以及非关系型数据库如XML、MetaKit、Durus等的访问操作，支持嵌入式数据库SQLite、ThinkSQL，支持数据仓库系统
酷飒de小姐姐·2024-01-16 23:54

《21天晋级大数据实战营》小结汇总

【DAY17】轻松探索数据背后的价值-数据湖探索实验小结点击查看【DAY15】让数据产生价值--数据仓库服务实验小结点击查看【DAY14】机器学习实战-销售预测实验小结点击查看【DAY13】车联网应用之轨迹分析实验小结点击查看
技术火炬手·2024-01-16 12:48

BIOS知识枝桠——RAID 磁盘阵列

磁盘A和B，放在A中的文件与B磁盘没有关系，两块磁盘是完全独立的两个数据仓库，这种传统的没有联系的关系简称JBOD（Justabunch
Hi,Hubery·2024-01-16 08:14

Hive知识点

基本概念：由Facebook开源，构建在Hadoop之上的数据仓库，数据计算是mapreduce，数据存储是HDFS目的是构建面向分析的集成的数据环境，为企业提供决策支持（面向分析的存储系统）主要特征：
꧁༺朝花夕逝༻꧂·2024-01-16 07:25

大数据技术原理与应用 第三版 林子雨 期末复习（四） Hive

大数据技术原理与应用第三版林子雨期末复习（四）Hive概念数据仓库层次传统数据仓库面临的挑战Hive简介Hive与传统数据库对比概念Hive是一个基于Hadoop的数据仓库工具。
头发多多，肆意生长·2024-01-16 05:22

Clickhouse实时指标加工

Starwift实时指标加工方案方案介绍Starwift（ClickHouse）是京东云上的一款云原生数据仓库，为用户带来极速分析体验，能够支撑实时数据分析和海量数据离线分析。
麦田里的守望者··2024-01-16 04:10

ClickHouse - 01

Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce、Spark、Flink技术对数据进行ETL清洗处理，也可以直接将数据抽取到Hive数仓中，一般可以将结构化的数据直接抽取到Hive数据仓库中
ArthurHC·2024-01-16 02:17

数据库, 数据仓库, 数据集市，数据湖，数据中台

转载声明本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容：数据仓库和数据集市的区别作者：修鹏李出处：CSDN大数据：数据仓库和数据库的区别作者：南宫蓉出处：简书第一篇：数据仓库概述第二篇
cxzhq2002·2024-01-16 01:26

LR.JAVA平台商业可视化大屏（BI）设计演示

关于BI商业智能（BusinessIntelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
IT加班狗啊·2024-01-15 12:56

分布式 ID 生成器的解决方案

一、雪花算法（SnowflakeAlgorithm）雪花算法是一种常用于分布式系统生成唯一ID的算法，它的核心思想是使用一个64位的整数作为全局唯一ID。
灸哥漫谈·2024-01-15 11:13

Java--Spring项目生成雪花算法数字（Twitter SnowFlake）

文章目录前言步骤查看结果前言分布式系统常需要全局唯一的数字作为id，且该id要求有序，twitter的SnowFlake解决了这种需求，生成了符合条件的这种数字，本文将提供一个接口获取雪花算法数字。
芝麻馅_·2024-01-14 18:36

数据库系统(重点，上午下午都会考)

模型关系代数与元组规范化理论函数依赖价值与用途·键题目答案：A，ABCD，B范式（重点）第一范式第二范式第三范式BC范式题目模式分解列表公式法并发控制基本概念并发中存在的问题封锁协议数据库完整性约束数据库安全数据备份数据仓库与数据挖掘反规范化大数据
努力发光的程序员·2024-01-14 16:49

数据仓库（3）-模型建设

本文从以下9个内容，介绍数据参考模型建设相关内容。1、OLTPVSOLAPOLTP：全称OnLineTransactionProcessing，中文名联机事务处理系统，主要是执行基本日常的事务处理，比如数据库记录的增删查改,例如mysql、oracleOLAP：全称OnLineAnalyticalProcessing，中文名联机分析处理系统，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询
XianMing的博客·2024-01-14 11:57

数据仓库（1）-总览

从事数据仓库工作已经7年了。整理下这个行业的相关知识。整体大纲如下，分为8个部分，包括认识数仓，数仓模型建设，元数据管理，指标体系，数据质量，数据安全，数据治理，实时技术。
XianMing的博客·2024-01-14 11:27

数据仓库（2）-认识数仓

1、数据仓库是什么数据仓库，由数据仓库之父比尔·恩门（BillInmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构
XianMing的博客·2024-01-14 10:53

Hive数据定义（2）

hive数据定义是hive的基础知识，所包含的知识点有：数据仓库的创建、数据仓库的查询、数据仓库的修改、数据仓库的删除、表的创建、表的删除、内部表、外部表、分区表、桶表、表的修改、视图。
冬瓜的编程笔记·2024-01-14 06:25

数据仓库-离线数仓（基于物流数仓）

1、数据仓库概述1.1、数据仓库概念数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。
小鱼干换酒钱·2024-01-14 06:39

当下流行的分布式唯一ID生成算法-雪花算法

为了解决这些问题，雪花算法（SnowflakeAlgorithm）应运而生。雪花算法是一种高效、趋势递增、分布式场景友好的唯一ID生成算法。
Java斌·2024-01-14 06:20

美团点评实时数仓平台演进与实践

1.摘要数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而Flink实时数仓在数据链路中扮演着极为重要的角色。
笔名辉哥·2024-01-14 02:50

数仓建模—埋点设计与管理

数据仓库系列文章(部分已出，持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓
大数据技术派·2024-01-14 01:22

java生成唯一有序序列号_分布式系统中唯一ID算法之雪花算法

而twitter的snowflake解决了这种需求，最初Twitter把存储系统从MySQL迁移到Cassandra，因为Cassandra没有顺序ID生
weixin_39907526·2024-01-14 01:23

基于mysql唯一单号java实现_全局唯一订单号生成方法（参考snowflake）

backgroudSnowflakeisanetworkserviceforgeneratinguniqueIDnumbersathighscalewithsomesimpleguarantees.简介对于一个较大的订购业务场景
小二嘉·2024-01-14 01:22

mycat中间件+mysql集群

可以替代MySQL的加强版数据库一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQLServer结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品一个新颖的数据库中间件产品
小样想当当·2024-01-14 01:19

Shell ETL 操作

删除文件第一行记录，即字段名称处理的文件第一行都是字段名称，我们在文件中的数据导入到数据仓库Hive中时，不需要第一行字段名称，因此，这里在做数据预处理时，删除第一行。
数据小白鼠·2024-01-13 23:54

大数据

广义来说，hadoop通常指一个更广泛的概念，hadoop生态圈：image.pngHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将
哈斯勒·2024-01-13 19:30

Hive安装部署

安装好对应版本的hadoop集群，并启动hadoop的HDFS以及YARN服务安装了MySQL服务，并启动MySQL的服务Hive的安装部署注意hive就是==一个构建数据仓库的工具==，只需要在==一台服务器上
我还不够强·2024-01-13 13:35

Hive及各组件功能介绍

Hive是一个开源的数据仓库基础设施，是构建在Hadoop之上的。它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop中的大规模数据集。
思旭�·2024-01-13 12:32

如何在VS 2019里安装SQL Server数据仓库开发工具

SQLServer的AnalyticService提供了强大的数据仓库功能，开发者可以使用VS2019来开发这些功能，但是VS2019即使安装了SQLServerDataTools开发者也找不到创建MultidimensionalProject
surfirst·2024-01-13 10:39

数据仓库Apache Hive

数据仓库ApacheHive内容大纲#数据仓库基础核心知识1、数据仓库是什么为何而来？
江枫渔火R·2024-01-13 09:29

2022-02-01大数据学习日志——Hadoop离线阶段——数据仓库、Apache Hive

学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解ApacheHive远程模式部署安装内容大纲#数据仓库基础核心知识
王络不稳定·2024-01-13 09:28

数据仓库 & Apache Hive

一、数据分析1、数据仓库数据仓库（英语：DataWarehouse，简称数仓、DW），是一个用于存储、分析、报告的数据系统。
杀神lwz·2024-01-13 09:52
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他