数据仓库数据中台数据湖

Paimon+StarRocks 湖仓一体数据分析方案

本文整理自阿里云高级开发工程师曾庆栋（曦乐）在StreamingLakehouseMeetup分享的内容，深入探讨了传统数据仓库分析、Paimon+StarRocks湖仓一体数据分析、StarRocks
·2023-09-08 19:10

前端开发中如何高效渲染大数据量

我们是袋鼠云数栈UED团队，致力于打造优秀的一站式数据中台产品。我们始终保持工匠精神，探索前端道路，为社区积累并传播经验价值。
·2023-09-08 18:35

架构中台图

阿里巴巴数据中台全景图阿里是数据中台概念的首先提出者，其案例更具分析意义。
ixiaoyang8·2023-09-08 16:21

社交客户关系管理如何赋能企业私域流量用户增长？

因而，对于企业而言，如果要做精细化运营，首先要建立自己的用户数据中台，将分散流量进行有效连接，例如以SCRM、Sa
Olivia_226a·2023-09-08 14:08

数据中台建设方案-基于大数据平台

数据中台建设方案-基于大数据平台-1数据中台建设方案1.1总体建设方案1.2大数据集成平台1.3大数据计算平台1.3.1数据计算层建设计算层技术含量最高，最为活跃，发展也最为迅速。
FRDATA1550333·2023-09-08 05:08

智慧能源方案：TSINGSEE青犀AI算法中台在能源行业的应用

智慧能源的总体架构是以智能化为核心，基于智能云服务、物联网等基础设施平台以及AI中台、知识中台、业务中台、数据中台等
TSINGSEE·2023-09-08 05:05

“第十届金融工程及量化投资年会”会议议程

摒弃单一的数据存贮引擎，采用融合型的数据仓库和数据库管理系统，是
Tinysoft_SH·2023-09-08 05:26

国产自主程序开发语言TSL炼成记

其开发的自主技术有计算机语言、数据仓库及数据挖掘平台、网格计算、BI工具、桌面开发工具、协同报告生成系统等等，同时还在进行新型数据库的研发。
Tinysoft_SH·2023-09-08 05:26

【数据仓库基础（二）】数据仓库架构

文章目录一.基本架构二.主要数据仓库架构1.数据集市架构1.1.独立数据集市1.2.从属数据集市1.3.Inmon企业信息工厂架构2.Kimball数据仓库架构3.混合型数据仓库架构三.操作数据存储（ODS
roman_日积跬步-终至千里·2023-09-08 05:48

【数据仓库基础（三）】抽取-转换-装载

ETL是建立数据仓库最重要的处理过程，也是最体现工作量的环节，一般会占到整个数据仓库项目工作量的一半以上。ETL的工作：●抽取：从操作型数据源获取数据。●转换：转换数据，使之转
roman_日积跬步-终至千里·2023-09-08 05:48

【数据仓库基础（四）】数据仓库需求：基本需求和数据需求

文章目录一.基本需求1.安全性2.可访问性3.自动化三.数据需求1.准确性2．时效性3．历史可追溯性从基本需求和数据需求两方面介绍对数据仓库系统的整体要求。
roman_日积跬步-终至千里·2023-09-08 05:46

拉链表的原理及简单实现

数新网络官网已全新上线，欢迎点击访问www.datacyber.com数新网络_让每个人享受数据的价值1什么是拉链表拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。
数新网络·2023-09-08 04:36

浅谈数据仓库工具——Hive

前言Hadoop分布式文件系统(HDFS)因其高容错性、高吞吐量的特点，且适合部署在廉价的机器上，使其非常适合大批量数据的存储，但是如何快速地对HDFS上的文件进行统计分析操作呢？最初是靠写MapReduce编程进行分析，但是MR十分繁琐，而且对不熟悉Java的编程人员十分不友好。另外数据存储HDFS上是没有schema的概念的，这样就不能够使用SQL进行处理。在这种背景下，Hive产生了。Hiv
数新网络·2023-09-08 04:04

云原生架构如何助力大数据和AI技术在软件开发中的深度整合

文章目录1.云原生架构简介2.大数据与云原生的融合a.弹性计算和存储b.容器化大数据应用c.数据湖和数据仓库3.AI与云原生的深度融合a.弹性AI模型训练b.容器化AI应用c.自动化部署和监控4.对软件开发的影响
程序员 小侯·2023-09-08 03:54

数智化，如何驱动高校的产教融合

同时，通过建立数据仓库和可视化分析工具，让决策者能够直观地理解数据背后的洞见。图片来
派可数据BI可视化·2023-09-08 02:15

简单明了，介绍数据仓库

从逻辑上理解，数据库和数仓没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大。
派可数据BI可视化·2023-09-08 02:44

GaussDB(DWS)与Hive在功能上存在一定的差异

GaussDB(DWS)与Hive在功能上存在一定的差异，主要体现在以下几个方面：Hive是基于HadoopMapReduce的数据仓库，GaussDB(DWS)是基于Postgres的MPP的数据仓库
燃烧的岁月_·2023-09-08 02:55

软考高级系统架构设计师系列案例考点专题三：数据库系统考点梳理及精讲

软考高级系统架构设计师系列案例考点专题三：数据库系统考点梳理及精讲一、ORM技术二、数据库分类比较三、并发控制四、封锁协议五、不规范化带来的四大问题六、反规范化技术七、分布式数据库八、数据仓库集成数据库系统知识在架构设计师的考试里时有考查
最笨的羊羊·2023-09-07 23:40

ClickHouse 存算分离改造：小红书自研云原生数据仓库实践

为应对挑战，小红书数据流团队基于开源ClickHouse自主研发了云原生实时数据仓库REDClickHouse（以下简称“REDck”）。在保持ClickHouse原有超高性能的基础上，我们对
小红书技术REDtech·2023-09-07 22:22

Hive概述

一、概述Hive是hadoop集群中一个数据仓库，可以将结构化的数据文件映射为一张表，并提供类似SQL的查询功能，其本质就是将HQL转化成mapreduce程序。
诗云HSY·2023-09-07 14:11

华为数据管理——《华为数据之道》

元数据是数据中台的重要的基础设施，元数据治理贯彻数据产生、加工、消费的全过程，沉淀了数据资产，搭建了技术和业务的桥梁。
BUG指挥官·2023-09-07 12:50

个性化搜索引擎系统架构设计

文章目录前言一、搜索数据仓库搭建、数据抽取部分二、大数据平台、搜索数据集市分层设计、处理三、离线算法部分四、在线Web搜索接口服务总结前言个性化搜索目前发展阶段不是要替换掉传统搜索，而是对传统搜索的一个补充
充电了么·2023-09-07 11:55

Informatica使用操作流程--增量抽取 案例8

目录一、增量抽取：二、案例：1、目标：开发增量抽取（业务系统OLTP--->EDW）2、操作流程步骤：一、增量抽取：ETL的开发流程:业务系统OLTP--->操作型数据存储ODS----->清洗到数据仓库
Jalen data analysis·2023-09-07 09:01

什么是ETLT？他是新一代数据集成平台？

数据集成涉及将来自各种来源的数据合并、清洗、转换，并将其加载到数据仓库或分析平台以供进一步的处理和分析。传统上，数据集成有两种主要方法，即ETL（提取、转换、加载）和ELT（提取、加载、转换）。
苛子·2023-09-07 09:28

Dataphin帮助企业构建数据中台系列之--萃取数据中心

Dataphin作为阿里巴巴数据中台OneData(OneModel、OneID、OneService)方法论的产品载体，帮助企业构建三大数据中心：基于数据集成形成的垂直数据中心、基于数据开发沉淀的公共数据中心和基于标签工厂构建的萃取数据中心
Ta oo·2023-09-07 08:09

用户案例 | 蜀海供应链基于 Apache DolphinScheduler 的数据表血缘探索与跨大版本升级经验

2021年初，蜀海信息技术中心大数据技术研发团队开始测试用DolphinScheduler作为数据中台和各业务产品项目的任务调度系统工具。
DolphinScheduler社区·2023-09-07 06:29

信息化发展22

数据仓库数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用于支持管理决策。（1）数据源。它是数据仓库系统的基础，是整个系统的数据源泉。通常包括组织内部信息和外部信息。
AbelZ_01·2023-09-07 04:42

李呈祥：bilibili在湖仓一体查询加速上的实践与探索

file导读：本文主要介绍哔哩哔哩在数据湖与数据仓库一体架构下，探索查询加速以及索引增强的一些实践。
DataFunTalk·2023-09-06 21:40

炫“库”行动—人大金仓有奖征文——金仓分析型数据库系统安装教程

适用于数据仓库、决策支持、高级分析等分析类应用场景，类似Vertica、Greenplum、G
天宫空间站·2023-09-06 21:49

0401hive入门-hadoop-大数据学习.md

客户端4.1HiveServer2服务4.2DataGrip5问题集5.1CouldnotopenclienttransportwithJDBCUri结语1Hive概述ApacheHive是一个开源的数据仓库查询和分析工具
gaog2zh·2023-09-06 17:43

数据湖_Hudi概述

转载自：数据湖-hudi概述_懒猫gg的博客-CSDN博客前言数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。
高达一号·2023-09-06 16:21

【大数据】Apache Iceberg 概述和源代码的构建

ApacheIceberg概述和源代码的构建1.数据湖的解决方案-Iceberg1.1Iceberg是什么1.2Iceberg的TableFormat介绍1.3Iceberg的核心思想1.4Iceberg
G皮T·2023-09-06 16:34

用户案例 | 蜀海供应链基于 Apache DolphinScheduler 的数据表血缘探索与跨大版本升级经验

2021年初，蜀海信息技术中心大数据技术研发团队开始测试用DolphinScheduler作为数据中台和各业务产品项目的任务调度系统工具。
·2023-09-06 12:52

绝绝子，奥威BI探寻式数据可视化工具，好用又高效

该工具基于数据仓库技术，支持大屏可视化与移动应用，提供10+行业标准BI方案，适合中国企业的数据可视化分析需求。此外，奥威BI还提供一站式的智能数据分析平台，让数据驱动企业决策，推动企业数字化转型。
qq_43696218·2023-09-06 10:26

用Google CDC来同步Cloud SQL的数据到Bigquery

现在需要定期把这些数据同步到Bigquery数据仓库中，这样我们就能在Bigquery上进行数据的后续分析处理，生成数据报表。
gzroy·2023-09-06 08:43

centos7上hive3.1.3安装及配置

1、安装背景；hive是基于hadoop的数据仓库软件，部署运行在linux系统之上，安装之前必须保证hadoop环境运行正常，hive本身不是分布式软件，它的分布式主要是借助hadoop实现，存储是hdfs
至尊宝♬·2023-09-06 05:13

中台是什么

同时，基于在即时通讯、社交、游戏等优势领域中的技术积累，腾讯将进一步开放业界领先的包括用户中台、内容中台、应用中台等在内的数据中台，以及包括通信中台、AI中台、安全中台等在内的技术
Darcy_Pi·2023-09-06 00:59

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

基于公司丰富的音乐内容资产，需要将歌曲库、艺人资讯、专辑信息、厂牌信息等大量数据进行统一存储形成音乐内容数据仓库，并通过产品工具为业务人员提供数据分析服务。
·2023-09-05 17:37

大咖论道｜源启数据资产管理平台助力金融机构加速数据资产化过程（下）

源启数据资产管理平台由数据湖管理平台、数据集成平台、数据开发平台、数据管控平台
中电金信·2023-09-05 17:46

异地容灾系统和数据仓库中数据同步的设计软件的功能模型

（1）初始同步模块该模块主要是在表进行初始同步时使用的；它能够根据实际需要生成物化视图及其索引的创建语句，并完成表的初始同步。如果没有特别的要求，则调用普通初始同步子模块进行目的端表的初始同步，创建语句将从源数据库获取；如果有特别的要求，如按指定的分区初始同步或者按照一定的条件进行初始同步，则会根据这些要求调用分区初始同步或条件初始同步子模块生成特定的创建语句来进行目的端表的初始同步。该模块能够批
精品资料学习库·2023-09-05 17:31

异地容灾系统和数据仓库系统设计和体系结构

（1）生产系统数据同步到异地容灾系统生产系统与异地容灾系统之间是通过百兆网连接的；生产系统的数据库是Oracle9iRAC，总的数据量大约为3TB，涉及五千多张表。对这些表进行分析归类，发现容灾系统真正需要实时同步的表大约只有五百张，数据量约为1TB，只要能够把这五百张表的变更及时准确地进行同步，即可在生产系统发生灾难时，启用异地容灾的营业应急系统。鉴于此，本系统数据库使用Oracle9i，同步软
精品资料学习库·2023-09-05 17:00

中台不是万能药，也不是假药！

共享事业部、Supercell、业务中台、数据中台、技术中台。。。。，成了业务部门、IT部门、咨询公司津津乐道的热门词语。
10247·2023-09-05 17:10

数据仓库的流程

数据仓库完全用统计分析框架实现:Spark,MR但是因为实际生产环境中,需求量非常大,如果每个需求都采用独立c代码开发方式,重复计算会很多.提高性能的方法:1.减少数据量2.减少重复计算例如RDDcache
叫我莫言鸭·2023-09-05 14:48

如何将单体数据湖转移到分布式数据网格

许多企业正在投资下一代数据湖，希望大规模地实现数据民主化，以提供商业洞察力，并最终做出自动化的智能决策。基于数据湖架构的数据平台存在着常见的失败模式，这些失败
蚊子squirrel·2023-09-05 05:14

Hive 和 HDFS、MySQL 之间的关系

HiveHive是一个基于Hadoop生态系统的数据仓库工具，用于管理和查询大规模数据集。它提供了一种类似于SQL的查询语言（HiveQL），允许用户执行数据分析和查询操作。
月亮给我抄代码·2023-09-05 05:42

MySQL数据库

数据库—数据仓库—数据持久化，管理数据关系(型)数据库：MySQL、Oracle、SQLServer、MariaDB、DB2、PostgreSQL、SQLite（嵌入式数据库）等非关系型数据库：NoSQL
乌拉的故事·2023-09-05 05:06

Kylin：多维立方体（Cube）

Cube示意图几个关键词数据仓库：存放的数据包含时间信息，且不常被修改立方体：由维度构建出来的多维空间，包含了所有要分析的基础数据，所有的聚合数据操作都
longLiveData·2023-09-05 02:49

大数据大创新-阿里巴巴云上数据中台之道

阿里巴巴云上数据中台正服务着阿里生态中的数十个业务板块、百余家公司、千万级客户，在帮助决策层看清甚至决定业态走向的同时，在上万个业务场景中应用并催生创新。
题典通·2023-09-05 00:16

基于 Kafka、Flink 构建实时数据湖的最佳实践

最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块或者文件。
浪尖聊大数据-浪尖·2023-09-04 22:15

软件工程专业的发展方向

企业计算是稍时髦较好听的名词，主要是指企业信息系统,如ERP软件（企业资源规划）、CRM软件（客户关系管理）、SCM软件（供应链管理，即物流软件）,银行证券软件,财务软件,电子商务/政务（包括各种网站），数据仓库
Rayabc·2023-09-04 18:29
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他