--------【数据仓库】

hive中的增删改如何实现

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
code_____monkey·2022-09-28 07:43

数据批处理速度慢？不妨试试这个

大部分业务统计都会要求以某日作为截止点，而且为了不影响生产系统的运行，跑批任务一般会在夜间进行，这时候才能将生产系统当天产生的新明细数据导出来，送到专门的数据库或数据仓库完成跑批
·2022-09-27 08:16

实时数据仓库-(实时数仓设计)

数据仓库设计数据仓库分层规划优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。数据仓库构建流程以下是构建数据仓库的完整流程。
顶尖高手养成计划·2022-09-26 20:33

数据仓库(09)数仓缓慢变化维度数据的处理

  数据仓库的重要特点之一是反映历史变化，所以如何处理维度的变化是维度设计的重要工作之一。
·2022-09-26 20:00

Data Analysis 常见的组件

ClickHouse：(不基于Hadoop集群，可独立安装)列式数据库，主要用于实时数据仓库，这个也是基于内存的，特点就是快。
·2022-09-26 16:14

二、Hive数据仓库技术

Hive数据仓库技术Hive数据仓库技术Hive简介Hive与传统关系型数据库Hive架构设计Hive数据单元数据存储模型安装配置Hive环境Metastore的三种运行模式Metastore配置属性搭建
小石小石摩西摩西·2022-09-25 10:31

来电科技：基于Flink+Hologres的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合
阿里云云栖号·2022-09-24 13:43

来电科技：基于 Flink + Hologres 的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合
阿里云云栖号·2022-09-24 13:43

大数据新时代：基于Flink的实时数仓架构-学习笔记（上）

目录大数据应用大数据的业务流程大数据的技术学习路线大数据的本质数据仓库处理过程参考视频：【黑马程序员】大数据新时代：基于Flink的实时数仓架构大数据应用数据运营、用户画像、推荐系统、金融风控、机器学习
^果然好^·2022-09-24 13:08

来电科技基于Flink+Hologres的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合
阿里云开发者·2022-09-24 13:35

【技思广益 · 腾讯技术人原创集】双周优秀作品回顾vol.03

❤️腾讯后台开发工程师jhonye《大数据架构系列：如何理解湖仓一体》这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowf
·2022-09-23 16:57

基于Vite2+Vue3的项目复盘总结

项目背景与技术选型1.1项目背景我们要做一个基于边缘计算的物联网管理平台雏形，流程大概是这样：数据（传感器收集通过串口传入边缘节点服务器）经过边缘节点计算处理后上传到云端，然后再经过一些处理后得到一个数据仓库
前端开发博客·2022-09-23 15:17

一篇关于Vite2+Vue3实战项目的复盘总结

项目背景与技术选型1.1项目背景我们要做一个基于边缘计算的物联网管理平台雏形，流程大概是这样：数据（传感器收集通过串口传入边缘节点服务器）经过边缘节点计算处理后上传到云端，然后再经过一些处理后得到一个数据仓库
前端达人·2022-09-23 15:13

数据仓库相关概念

数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。
weixin_49790852·2022-09-23 15:40

Flink电商数仓项目复盘笔记-01

实时数仓基于一定的数据仓库理念，对数据处理流程进行规划、分层，目的是提高数据的复用性。例如下图：例如：我们在普通实时SparkStream
岁月的眸·2022-09-23 15:26

数据仓库之电商数仓-- 3.1、电商数据仓库系统(ODS层、DIM层、DWD层)

目录一、数仓分层1.1为什么要分层1.2数据集市与数据仓库概念1.3数仓命名规范1.3.1表命名1.3.2脚本命名1.3.3表字段类型二、数仓理论2.1范式理论2.1.1范式概念2.1.2函数依赖2.1.3
FunnyPrince_·2022-09-23 15:19

9.数据仓库搭建之DIM层搭建

数据仓库搭建之DIM层搭建在开发数据仓库的DIM层时，我们需要注意以下几点：1）DIM层的设计依据是维度建模理论，该层存储维度模型的维度表。
Mmj666·2022-09-23 15:48

分布式数据库高可用方案对比与分析

作为一款云原生分布式数据仓库，HashData在传统架构的MPP数据库基础上，对存储层、计算层、元数据等多方面进行了改进和优化，进一步提升系统的可用性。相比传统MPP架构的数据库，HashD
·2022-09-22 13:26

传统行业数字化转型：除了自建数据中台，还有别的招吗？

海量、多源、碎片化、混合部署的背后，大数据被分散在了不同的数据仓库
麦聪聊数据·2022-09-21 19:50

介绍几个巨佬给大家认识

这里不但有数据分析、数据仓库、数据研发、机器学习等领域的原创入门教程、技术干货；还有BAT&TMD大佬们总结思考的职场心得、方法论；同时还提供内推信息、技术社群、技术
欣一2002·2022-09-21 17:51

大数据技术之Hive+Flume+Zookeeper+Kafka详解

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive本质是将HQL转化成MapReduce程序。
wespten·2022-09-21 14:12

大数据不得不说的事儿（一）：存算分离凭什么能一统天下

另一个是效率问题，大数据处理组件多，不同组件使用不同的数据处理格式，比如大家熟悉的数据湖、数据仓库使用的就是不同的格式，多样化的数据格式导致数据存储变得复杂，系统中应对不同的场景
大数据在线·2022-09-21 07:28

数据平台发展史-从数据仓库数据湖到数据湖仓

数据平台发展史-从数据仓库数据湖到数据湖仓做数据的同学经常听到一些数据相关的术语，常见的包括数据仓库，逻辑数据仓库，数据湖，数据湖仓/湖仓一体，数据网格datamesh,数据编织datafabric等.
·2022-09-20 19:20

数据湖管理及优化

本篇内容主要分为两个部分：数据湖元数据仓库介绍阿里云DLF数据湖管理与优化点击查看直播回放数据湖元数据仓库介绍数据湖的实践过程中，我们面临了诸多挑战：第一，数据难以识别和查找。
·2022-09-20 15:51

20年清华扫地僧，整理的Storm、Spark学习笔记，面试官：给我看看

传统数据库和数据仓库的统治地位本来看上去牢不可破，随着Hadoop等大数据技术的日趋成熟，这种情况到了终结的时候。
Java技术那些事儿·2022-09-16 16:58

数据库发展史2--数据仓库

回顾数据仓库的发展历程，大致可以将其分为几个阶段：萌芽探索到全企业集成时代、企业数据集成时代、混乱时代--"数据仓库之父"间的论战、理论模型确认时代以及数据仓库产品百家争鸣时代。
·2022-09-16 11:01

react状态管理redux和mobx操作步骤

第一步:创建仓库vuex=====redux1,下载安装redux模块和react-redux模块npminstallredux--savenpminstallreact-redux--save2,创建数据仓库文件
qq_52579875·2022-09-15 17:04

数据仓库建设之数仓架构

图中显示的整个数据仓库环境包括操作型系统和数据仓库系统两大部分。ETL过程分成了抽取和转换装载两个部分。
chimchim66·2022-09-15 12:13

数据仓库建设之主题划分

关于主题：数据仓库中的数据是面向主题组织的，主题是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领域。
chimchim66·2022-09-15 12:43

智能湖仓架构实践：利用 Amazon Redshift 的流式摄取构建实时数仓

AmazonRedshift是一种快速、可扩展、安全且完全托管的云数据仓库，可以帮助用户通过标准SQL语言简单、经济地分析各类数据。
·2022-09-15 09:58

【湖仓一体化】存OR算之争？SPL 我都要

它和数据仓库、数据湖的关系是什么？为什么要用一体来形容呢？从一体机、超融合到云计算、HTAP，我们不断尝试将多种应用场景融合在一起并试图通过一种技术来解决一类问题，借以达到使用简单高效的目标。
Pushkin.·2022-09-14 18:17

大数据架构系列：如何理解湖仓一体？

引言这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前44
·2022-09-14 18:05

数据仓库(08)数仓事实表和维度表技术

所谓的事实表和维度表技术，指的就是如何和构造一张事实表和维度表，是的事实表和维度表，可以涵盖现在目前的需要和方便后续下游数据应用的开发。事实表，就是一个事实的集合。事实来自业务过程的度量，基本上以数量值表示。事实表行对应一个事实，一个事实对应一个物理可以观察的事件，例如，再零售事件中，销售数量与总额是数据事实，与销售事件不相关的度量不可以放在同一个事实表里面，如员工的工资。事实表是实际发生的度量，
·2022-09-13 15:53

大数据数仓经典最值得阅读书籍推荐

从事数仓工作，在工作学习过程也看了很多数据仓库方面的数据，此处整理了数仓中经典的，或者值得阅读的书籍，推荐给大家一下，希望能帮助到大家。建议收藏起来，后续有新的书籍清单会更新到这里。
张飞的猪大数据·2022-09-11 20:04

Hive数据仓库工具基本架构和入门部署详解

Hive是一个建立在HadoopHDFS架构至上的数仓工具，管理元数据但本身不存储数据，本篇了解hive优缺点，进一步理解其组成部分和数据组织形式和Driver，最后通过部署最新版本3.1.3版本完成内嵌模式、本地metastore、远程hiveserver2和metastore打开进入hive使用的大门
itxiaoshen·2022-09-10 11:00

数据湖架构及概念简介

数据湖概念于2010年提出，其目的是解决传统数据仓库和数据集市所面临的两个问题：其一，希望通过统一的元数据存储解
·2022-09-08 11:30

金三银四——大数据/Java面试集锦

下列文章链接请阅读：《金三银四——面试集锦》高级大数据研发工程师面试题总结海量大数据处理面试题和思路总结大数据之数据仓库面试题一文概览数据仓库知识和面试数仓相关面试题经典的SparkSQL/Hive-SQL
大数据学习与分享·2022-09-08 10:35

什么是ETL？ETL是什么技术?

加载(load)至目的端的过程，它能够对各种分布的、异构的源数据(如关系数据)进行抽取，按照预先设计的规则将不完整数据、重复数据以及错误数据等“脏"数据内容进行清洗,得到符合要求的“干净”数据,并加载到数据仓库中进行存储
luckyfigo·2022-09-08 10:28

【千里之行，始于足下】大数据高频面试题——数据仓库篇（一）

本期与大家分享的是，小北用心整理的与数据仓库相关的常见的面试题，希望对大家能有帮助，大家喜欢就给点鼓励吧，欢迎各位大佬评论区指教讨论！制作不易，各位大佬们给点鼓励！
北慕辰·2022-09-08 10:55

2022爱分析·数据智能应用实践报告

特别鸣谢（按拼音排序）报告摘要湖仓一体强化全域数据管理效能为解决数据类型丰富、数据体量倍增带来的存储问题，同时满足人工智能、机器学习在趋势预测、探索分析等方面的应用需求，同时配置数据仓库、数据湖成为企业的普遍选择
·2022-09-07 16:54

大数据开发必须掌握的五大核心技术

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。
xyzkenan·2022-09-07 10:39

学习大数据必须掌握哪些核心技术？

一、数据采集与预处理数据采集就是将这些包括移动互联网数据、社交网络的数据等各种来源的数据，写入数据仓库中，把零散的数据整合在一起，对这些数据进行综合分析。
我想去吃ya·2022-09-07 10:35

基于开放共享的自主研发—MaxCompute 持续增强生态与开放性建设

简介：MaxCompute是阿里巴巴自研的云原生数据仓库，同时也兼容大部分大数据生态系统。一个平台无法实现所有功能和解决所有问题，MaxCompute需持续增强生态与开放性建设，方能走得更远。
·2022-09-06 18:37

hadoop常见组件及其功能

2.Hive：是一个基于Hadoop的数据仓库，适用于一些高延迟性的应用（离线开发），可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。
Michaelwubo·2022-09-06 15:08

直播预告 | 8月24日晚19:30，实时数仓搭建保姆级教程开课，个推TechDay治数训练营第二期来了

当下，企业的实时计算需求越来越高频，很多企业和组织选择建设实时数据仓库，以敏捷支撑实时报表分析、智能算法推荐、系统风险预警等多元业务场景需求。相比离线数仓，实时数仓有哪些特性？
个推技术·2022-09-05 14:26

数据仓库---Hive

1.数据仓库1.1概念一个非常规范标准的定义是：数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合，用于支持管理决策。
浅沫～·2022-09-03 07:14

数据湖架构及概念简介

数据湖概念于2010年提出，其目的是解决传统数据仓库和数据集市所面临的两个问题：其一，希望通过统一的元数据存储解决数据集市之间的数据孤岛问题；其二，希望存储原始数据，而非存储数据集市建设过程中经过裁剪后的数据
阿里云大数据AI技术·2022-09-02 20:35

数仓项目拉链表

一、拉链表的功能和使用场景拉链表专门用于解决在数据仓库中数据发生变化如何实现数据存储的问题，如果直接覆盖历史状态，会导致无法查询历史状态，如果将所有数据单独切片存储，会导致存储大量非更新数据的问题。
万里长江横渡·2022-09-01 12:15

大数据之hadoop hive hbase 的区别是什么？有什么应用场景？

后者可以独立运行，前者可以选择性使用，也可以不使用2.hive通俗的说是一个数据仓库，仓库中的数据是被hdfs管理的数据文件，它支持类似sql语句的功
小前端而已·2022-09-01 12:11

数据湖架构及概念简介

数据湖概念于2010年提出，其目的是解决传统数据仓库和数据集市所面临的两个问题：其一，希望通过统一的元数据存储解决数据集市之间的数据孤岛问题；其二，希望存储原始数据，而非存储数据集市建设过程中经过裁剪后的数据
·2022-09-01 11:40
上一页 66 67 68 69 70 71 72 73 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他