数据仓库数据中台数据湖

记一次系统上线的JVM调优

前言开发了大半年的数据中台系统，近期在测试环境上线压测，监控JVM时发现GC频繁，开启GC日志后发现隔几秒就要做一次MinorGC（对新生代内存进行回收），并且堆内存不到十分之一的时候就进行GC（测试-
南风过境jz·2023-12-06 04:05

当OLAP碰撞Serverless，看ByteHouse如何建设下一代云计算架构

作为一款火山引擎推出的云原生数据仓库，ByteHo
字节数据平台·2023-12-06 04:54

大数据技术1：大数据架构设计理论

数据量从兆字节(MB)、吉字节(GB)的级别到现在的太字节(TB)、柏字节(PB)级别，数据量的变化促使数据管理系统(DBMS)和数据仓库(DataWarehouse,DW)系统也在悄然
Java架构何哥·2023-12-06 03:16

数据仓库安全框架Sentry调研

CDH版本的Hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。其中，Kerberos主要负责平台用户的权限管理，Sentry则负责数据的权限管理。同时，可以集成LDAP，用于管理账号。这里着重探讨Sentry的原理，使用及存在的问题。一.Sentry概述1.Sentry介绍ApacheSentry是Cloudera公司发布的一个Hadoop开源组件，它提供了细粒度级、基
大数据faner·2023-12-06 02:47

数据中台学习和实战系列文章

【华为数据之道学习笔记】1-2华为数字化转型与数据治理-CSDN博客【华为数据之道学习笔记】非数字原生企业的特点-CSDN博客【数字化转型方法论读书笔记】选型数据中台的几大建议-CSDN博客【数字化转型方法论读书笔记
码农丁丁·2023-12-05 22:32

【数据中台】开源项目（4）-BitSail

介绍BitSail是字节跳动开源的基于分布式架构的高性能数据集成引擎,支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下的全域数据集成解决方案，目前服务于字节内部几乎所有业务线，包括抖音、今日头条等，每天同步数百万亿数据。开源地址：GitHub-bytedance/bitsail:BitSailisadistributedhigh-performancedataintegratio
码农丁丁·2023-12-05 22:55

【黑马甄选离线数仓day06_核销主题域开发】

全量同步,全量覆盖,增量仅新增,增量新增和更新)+内部表+分区表(部分)+指定字符分隔符+orc+zlib==第二天的时候已经完成了从mysql以及sqlserver抽取数据到ods层的过程1.1DWD层数据仓库细节层
LKL1026·2023-12-05 21:00

盘点：12个好用的大数据可视化工具

通过excel插件功能所有的Excel图形如特色图形：迷你图、帕累托图、子弹图、小又多图等特色图形；常用图形柱图、饼图、线图、雷达图等，并结合数据仓库里的动态数据进行数据展现。
数据小达人·2023-12-05 16:30

大数据转型方案：首推数据湖！

最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块或者文件。
zhisheng_blog·2023-12-05 02:12

商业智能领域中零售分析的妙用

BI是一种是一种运用了数据仓库、在线分析和数据挖掘技术来处理和分析数据的技术，其工作原理主要是通过对数据进行抽取、清洗、聚类、挖掘、预测等处理来产生可透析的各种展示数据。
彼岸發·2023-12-05 01:48

Hive -- 基本概念

1、什么是Hive：Hive是数据仓库建模的工具之一，通过向hive中写一个交互式的sql，在海量数据中查询分析得到结果的平台。
新手小农·2023-12-04 23:03

大数据的技术栈-逐步完善

目录1.hadoopa.HDFS分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构
刘文钊1·2023-12-04 20:12

oracle ogg技术架构,Oracle-GoldenGate技术架构概述.pdf

OracleGoldenGate可以在企业各种异构IT环境下实现交易数据的捕捉、路由、变换和投递，它的模块化设计可以根据业务需求灵活扩展，满足企业在高可用性和容灾、系统迁移和移植、数据整合、商业智能和数据仓库等各种场景下的需求
颜镇钟·2023-12-04 11:23

Presto基础学习--学习笔记

1，Presto背景2011年，FaceBook的数据仓库存储在少量大型hadoop/hdfs集群，在这之前，FaceBook的科学家和分析师一直靠hive进行数据分析，但hive使用MR作为底层计算框架
祈愿lucky·2023-12-04 09:21

数据治理的湖仓一体架构

1.2数据仓库、数据湖和湖仓一体的差异数据仓库、数据湖和湖仓一体之间的差异（见表1）主要体现在以下几点。
AIGC方案·2023-12-04 07:55

《数据中台：让数据用起来》书评

有幸被选中为数澜科技《数据中台：让数据用起来》抢鲜品鉴者，首先感谢数澜科技的小伙伴们能够系统的介绍和分享关于数据中台相关理念、知识、技术及工具。
礼_7f0b·2023-12-04 06:36

数据中台架构原理与开发实战：数据分析与决策支持

作者：禅与计算机程序设计艺术1.背景介绍数据中台（DataStudio）是一个重要的开源工具和框架，用于帮助企业进行数据采集、清洗、加工、存储、分析和可视化。
禅与计算机程序设计艺术·2023-12-03 23:15

【数据中台】开源项目（3）-Linkis

关于LinkisLinkis在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Linkis提供的REST/WebSocket/JDBC等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink等底层引擎，同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通，以及通过REST标准接口提供了数据源管理和数据源对应的元数据查询服务。作为计
码农丁丁·2023-12-03 23:42

数据中台方案

平台引擎DataSphereStudio基于插拔式的集成框架设计，及计算中间件Linkis，可轻松接入上层各种数据应用系统，让数据开发变得简洁又易用。在统一的UI下，DataSphereStudio以工作流式的图形化拖拽开发体验，将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等，数据应用开发全流程场景需求。数据治理引擎数据平台的数据治理：数据治理是一个大而全的治
aaaak_·2023-12-03 23:11

【数据中台】开源项目（3）-DataSphere Studio

DataSphereStudio（简称DSS）是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计，及计算中间件Linkis，可轻松接入上层各种数据应用系统，让数据开发变得简洁又易用。在统一的UI下，DataSphereStudio以工作流式的图形化拖拽开发体验，将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等，数据应用开发全流程场景需求。DSS通
码农丁丁·2023-12-03 23:10

[一起学Hive]之一–Hive概述，Hive是什么

1.Hive是什么Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。这是来自官方的解释。
antyzhu·2023-12-03 17:23

Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
hf200012·2023-12-03 16:07

浅析数据中台技术架构

@toc引言数据中台总体架构图前面我们通过理论层面对数据中台有了一定的了解，下面我们通过架构层面来详细看一下数据中台的设计。数据中台是位于底层存储计算平台与上层的数据应用之间的一整套体系。
kobe_OKOK_·2023-12-03 15:23

Hadoop未来五年走向何方

相对于传统数据库和数据仓库技术，Hadoop的优势在于将数据分析和存储平民化。
IT时代周刊·2023-12-03 14:02

Hadoop的基本概念、架构、优点、缺陷、适应场景和未来发展方向

由于其能够同时处理超大规模数据，因此被广泛应用于机器学习、数据仓库、日志处理等领域。Hadoop在2006年成为Apache项目，至今已经发布了十多个版本。
禅与计算机程序设计艺术·2023-12-03 14:57

大数据湖项目建设方案：文档全文101页，附下载

关键词：大数据解决方案，数据湖解决方案，数据治理解决方案，数据中台解决方案一、大数据湖建设思路1、明确目标和定位：明确大数据湖的目标和定位是整个项目的基础，这可以帮助我们确定项目的内容、规模、所需的技术以及如何评估项目的效果
方案365·2023-12-03 08:05

【数据中台】开源项目（5）-Amoro

介绍AmoroisaLakehousemanagementsystembuiltonopendatalakeformats.WorkingwithcomputeenginesincludingFlink,Spark,andTrino,Amorobringspluggableandself-managedfeaturesforLakehousetoprovideout-of-the-boxdataw
码农丁丁·2023-12-03 08:05

Hive SQL使用过程中的奇怪现象

hive是基于Hadoop的一个数据仓库工具，用来进行数据的ETL，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
大数据技术与数仓·2023-12-03 08:07

数据湖和中央数据仓库的设计

设计数据湖或中央数据仓库是许多大型组织的主要职能，这些组织每天处理数百万笔交易，并对这些交易进行进一步的报告、预测或机器学习项目分析。
小技术君·2023-12-03 05:23

ETL&数据仓库复习

文章目录ETL1.1、岗位所需技能点数据分析师2.1、岗位所需技能点数据仓库3.1、岗位所需技能点1、数据仓库1.1、数据仓库与数据库区别1.2、数据仓库分层架构1.3、为什么要分层1.4、维度数据模型
爱敲代码的小黑·2023-12-03 01:23

商业智能BI中的ETL到底是什么？

商业智能BI中有许多定义，诸如数据仓库、数据挖掘、OLAP等，还有一个不得不提的定义，那就是ETL。在BI工程师或相关的职位招聘中，ETL也是必不可少的一项技能。那么，ETL到底是什么呢？
data2006·2023-12-03 01:22

计算机科学与技术毕业生简历,计算机科学与技术专业应届毕业生简历范文

计算机科学与技术专业：计算机科学与技术健康状况：良好知识结构主修课：C语言，离散数学，JAVA语言，数据结构，操作系统，系统结构，编译原理，数据库原理，计算机网络专业课程：ORACAL实用数据库，DB2UDB数据库，数据仓库
weixin_39878760·2023-12-02 23:03

一本书读懂数据治理

读后感数据湖和数据仓库的对比数据治理的价值数据管理存在的问题数据治理的4个层面数据治理8项举措数据治理7种能力数据治理7把利剑书摘企业
4935同学·2023-12-02 23:24

复杂JSON的实时接入解析与可视化展示

数据在后端处理好通过API将JSON返回给前端页面2、SaaS产品对外通过WebAPI返回JSON提供数据服务，而不是让用户直接连接到数据库（这样太危险，而且数据库服务通常是多租户公用，无法直接登录访问）3、数据中台已经得到广泛应用
Crystalllleee·2023-12-02 21:46

Hive----基本概念

2、Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
Hi杯酒故人·2023-12-02 21:21

An Unsupervised Representation to Predict the Future of Patients from the Electronic Health Records

特别是三层去噪自动编码器堆栈用于捕获约EHRs的汇总EHR中的分层规则和依存关系来自西奈山数据仓库的700,000名患者
仓小鼠·2023-12-02 18:14

大数据——一文详解数据仓库概念（数据仓库的分层概念和维度建模详解）

1、ods是什么？ods层最好理解，基本上就是数据从源表拉过来，进行etl，比如MySQL映射到Hive，那么到了Hive里面就是ods层。ods全称是OperationalDataStore，操作数据存储——“面向主题的”，数据运营层，也叫ods层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的ETL之后，装入本层。本层的数据，总体上大多是按照源头业务系统的分类
静惘·2023-12-02 15:14

（星型、雪花、星座、交叉连接）多维数据模型各种类型优劣分析

概述在数据仓库的建设中，一般都会围绕着星型模型和雪花模型来设计表关系或者结构，同时从模型中又衍生出星座模型和交叉模型。下面我们先来理解这几种模型的概念和比较。事实和维度我们先来了解一下事实和维度。
真不爱学习·2023-12-02 10:21

2023.12.1 --数据仓库之 拉链表

目录什么是拉链表为什么要做拉链表?没使用拉链表:使用了拉链表:题中订单拉链表的形成过程实现语句什么是拉链表拉链表是缓慢渐变维的一种解决方案.拉链表,记录每条信息的生命周期,一旦一条记录的生命周期结束,就重新开始一条新的记录,并把当前日期放入生效开始日期,如果当前信息至今都有效,就在结束日期中填入一个最大值(9999-12-31)为什么要做拉链表?拉链表适合于:数据会发生变化，但是大部分是不变的比如
白白的wj·2023-12-02 09:19

速通MySql

一、简介1、什么是数据库数据仓库，用来存储数据。
bunny playing games·2023-12-02 08:31

sklearn中tfidf的计算与手工计算不同详解

sklearn中tfidf的计算与手工计算不同详解引言：本周数据仓库与数据挖掘课程布置了word2vec的课程作业，要求是手动计算corpus中各个词的tfidf，并用sklearn验证自己计算的结果。
stay_foolish12·2023-12-02 02:17

开源多组件数据中台整体框架设计

本文参考该论证思维工具，结合自身的工作经验，来论证下当前为什么“开源多组件数据中台”是政务数据应用的选择之一。一、什么是数据中台？  
开源数据中台·2023-12-02 01:50

数据中台架构原理与开发实战：数据中台项目管理流程

作者：禅与计算机程序设计艺术1.背景介绍数据架构概述数据架构（DataArchitecture）作为IT企业运用新型信息技术（IT）技术革命带来的变革，已经成为越来越重要的领域。随着互联网、移动互联网、物联网、云计算等新一代技术的发展，人类活动产生的数据量正在以指数级增长。而数据架构就成为了构建和维护这些海量数据的基石。由于数据量的爆炸性增长，传统单体数据库已无法满足业务需求的同时，还面临新的挑战
禅与计算机程序设计艺术·2023-12-02 01:49

数据中台架构原理与开发实战：数据可视化与数据报表

2017年，阿里巴巴集团发布了"支付宝数据中台",该平台旨在打通数据分析、决策制定和营
禅与计算机程序设计艺术·2023-12-01 23:48

直播电商数据仓库

直播电商数据仓库一.数仓及其维度什么是数仓数据仓库，简称数仓,（DataWarehouse）。
李昊哲小课·2023-12-01 21:31

缓慢变化维 (Slowly Changing Dimension) 常见的三种类型及原型设计

开篇介绍在从OLTP业务数据库向DW数据仓库抽取数据的过程中，特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题：业务数据库中的一些数据发生了更改，到底要不要将这些变化也反映到数据仓库中？
叫我老村长·2023-12-01 16:57

数据中台之核心调度模块的设计

目录1.DAG图的设计1.1功能设计要点1.2数据库设计要点2.调度器设计2.1XXL-JOB调度架构特点
数据与后端架构提升之路·2023-12-01 12:51

数据中台之OneService

OneService定义数据服务（OneService）作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。如何构建OneService●第一步：API定义API的定义包括：快速配置参数、选择排序字段、API类型多样性、数据预览、复制字段等方面。API的类型又包括生成API、注册API、服务分组及服务编排这4个方面。●第二步：API发布API的发
数据与后端架构提升之路·2023-12-01 12:50

一文读懂：制造业头部企业如何构建经营分析数字化体系

用BI数据分析手段，通过SAPBW/4HANA、SAPSACPlanning、数据中台、Hadoop等构建大数据平台，实现企业经营分析的数字化在近年逐步被认可和推崇，尤其是数字化场景的经营分析会成为数字化转型的亮点应用之一
智扬信达·2023-12-01 09:11

(免费领源码）java#ssm#mysql 招聘客户管理系统78049-计算机毕业设计项目选题推荐

摘要由于数据库和数据仓库技术的快速发展，招聘客户管理系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
2301_3224142804·2023-11-30 21:53
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他