DataHub

【DataHub】 现代数据栈的元数据平台的Serving Architecture【服务体系架构】讲解

ServingArchitecture架构图DataHub服务层的架构图如下：主服务是gms，它提供一套RESTAPI和一套GraphQLAPI，用于对元数据执行CRUD操作元数据服务还提供了搜索和图查询
九层之台起于累土·2024-02-28 08:18

01-Datahub是什么？

Datahub是LinkedIn开源的基于现代数据栈的元数据管理平台，原来叫做WhereHows。经过一段时间的发展datahub于2020年2月在Github开源。
大数据流动·2024-02-05 16:51

轻松上手：DataHub 的安装和配置指南

目录写在开头1.安装DataHub的步骤1.1.准备工作1.2.下载DataHub的DockerCompose文件1.3.配置DataHub参数1.4.启动DataHub容器2.配置DataHub的基本设置
theskylife·2024-01-31 05:39

【翻译】DataHub：流行的元数据架构讲解

原文：https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained目录数据发现：
王登山·2024-01-11 21:10

元数据管理平台对比预研 Atlas VS Datahub VS Openmetadata

元数据管理平台层出不穷，但目前主流的还是Atlas、Datahub、Openmetadata三家，那么我们该如何选择呢？本文就带大家对比一下,这三个平台优势劣势。要了解元数据管理平台，先要从架构说起。
大数据流动·2024-01-09 18:25

【译】OpenMetadata 与 DataHub： 架构、功能、集成等方面的比较

原文地址：OpenMetadatavs.DataHub:CompareArchitecture,Capabilities,Integrations&More一、时间紧张？
markvivv·2023-12-28 15:19

开源元数据治理平台Datahub部署指南(小白版)

1.引言datahub是做什么的，这里就不展开描述了，如果想了解更多请自行阅读DataHub官网文档，这里主要教大家如何一步一步安装然后100%部署完成。
嫣夜来·2023-12-23 12:57

数据中台架构原理与开发实战：从监控告警到故障处理

1.背景介绍数据中台概述数据中台(DataHub)是一个数据服务平台，它提供了包括各种数据源、数据采集、清洗、计算、存储和分析等数据服务功能。
禅与计算机程序设计艺术·2023-12-21 02:17

域架构下的功能安全思考

同时，区域控制器也集成了二级智能配电功能，真正形成了PowerHUB,IOHUB,DataHUB。整车区域架构新EEA架构下，功能安全也随之有了新的变化。原来多个不同的控制器来
基诺·2023-12-20 08:24

助力 Shopee 重构系统发布 ETL 功能，SeaTunnel 在电商巨头的实践经验

用户可以在Datahub中管理数据获取作业，还可以浏览数据，并用从DataStudio中获取的数据来创建不标准的数据管道。在Datahub或DataStudio中创建作业后，调度
大数据技术架构·2023-12-19 14:55

数据中台架构原理与开发实战：理解数据湖与数据中台的关系

数据中台（DataHub）是一个数据平台，它作为多个异构数据源的集合点，能够汇聚各类数据并进行数据
禅与计算机程序设计艺术·2023-12-15 19:08

Data Fabric 和 Data Mesh

从传统DataHub（中央强管控模式）到DataFabric与DataMesh这两种新型数据架构发生了哪些变革？DataHub通过中央强管DataFabric与DataMesh是截然不同的。
古道陌路客·2023-12-03 10:37

Configuring Data Hub Adapter

localextensions.xml中添加DataHubAdapter的扩展应用***添加之后，不需要执行update，但是需要执行antcleanall***在local.properties属性配置文件中添加DataHub
炼心之旅·2023-11-28 18:46

DataWorks实践笔记-从入门到精通

在这个基础上，有Datahub数据总线引擎，实时计算Flink引擎
qq_43548990·2023-11-22 13:58

腾讯云国际-如何使用对象存储COS在 CKafka 控制台创建数据异步拉取任务？腾讯云代充

操作场景Datahub支持接入各种数据源产生的不同类型的数据，统一管理，再分发给下游的离线/在线处理平台，构建清晰的数据通道。
Unirech阿里云·2023-10-28 02:34

datahub 中血缘图的实现分析，在react中使用airbnb的visx可视化库来画有向无环图

之前在公司也做过一些案例，也看过很多友商的产品，阿里的DataWork，领英的Datahub，datawork的血缘图使用的是G6，自家的产品Datahub使用的是爱彼邻的可视化库visx本篇文章就来谈谈
拿我格子衫来·2023-10-27 20:11

一站式元数据治理平台——Datahub入门宝典

作为新一代的元数据管理平台，Datahub在近一年的时间里发展迅猛，大有取代老牌元数据管理工具Atlas之势。
灯惉·2023-10-26 03:54

虹科DataHub：连接工业自动化的桥梁，引领企业数字化转型

一、前言随着智能制造、工业互联网等新一代信息技术的不断发展，IT和OT融合已成为未来制造业数字化转型的重要趋势。得益于开放的系统架构和创新的软件应用，OT（工业自动化技术）和信息技术（IT）系统之间的数据流不断增加，正飞速地进行融合。二、挑战IT和OT融合是制造业数字化转型的一个重要趋势，但这一过程中也存在许多挑战。其中最主要的挑战包括安全风险、标准化问题、数据集成问题、管理体系问题等。这些问题需
宏集科技工业物联网·2023-10-21 12:31

使用POI提取Word文件的内容(纯文本、带html格式)

pom.xmlorg.apache.poipoi-scratchpad3.17org.apache.poipoi-ooxml3.17fr.opensagres.xdocreportfr.opensagres.poi.xwpf.converter.xhtml2.0.1提取工具类：importcom.datahub.aimind
IlyT·2023-10-20 15:17

侧输出流SideOutput

主要功能是通过侧数据流拆分流数据代码示例packagecom.gwm.driver;importcom.alibaba.flink.connectors.datahub.datastream.source.DatahubSourceFunction
大数据00·2023-09-29 22:42

Flink RoaringBitmap去重

org.roaringbitmapRoaringBitmap0.9.212、Demo去重packagecom.gwm.driver;importcom.alibaba.fastjson.JSON;importcom.alibaba.flink.connectors.datahub.datastream.source.DatahubSourceFunction
大数据00·2023-09-29 22:09

使用@Conditional注解根据配置文件注入不同的对象

背景：项目中使用了datahub，kafka两种消息队列，为了避免硬编码，应该根据配置文件来决定使用哪种消息队列，以及初始化哪个对象。为了简洁，我只写了简单代码来表明实现逻辑。
uweii·2023-09-29 10:55

DataHub 0.8.14.1安装方法

好像跟之前我写的那个在安装上有区别修改pip源建议用阿里云的源，豆瓣源有问题python3-mpipconfigsetglobal.index-urlhttps://mirrors.aliyun.com/pypi/simple/Writingto/root/.config/pip/pip.conf或者python3-mpipinstall-ihttp://pypi.douban.com/simpl
李春田·2023-09-28 13:08

元数据管理平台Datahub0.10.5版本安装部署与导入各种元数据手册

官网文档连接DataHubQuickstartGuide|DataHub(datahubproject.io)本文所选择的Python的版本为3.8.16，Docker版本为20.10.0，Datahub
Mumunu-·2023-09-17 20:48

datahub 修改logo及网站名

datahub修改logo及网站名建议首先将docker关闭，再开启datahub，然后再进行jar包的修改！
李春田·2023-09-17 08:35

BLINK-DataStream开发

pom.xml注意：com.alibaba.flinkdatahub-connector0.1-SNAPSHOTjar-with-dependencies此依赖需要手动加载到maven仓库，具体方式参见：读取DataHub
大数据00·2023-08-19 05:14

flink写入DataHub(DatahubSinkFunction的使用方法）

importcom.alibaba.ververica.connectors.datahub.sink.DatahubSinkFunction;importcom.aliyun.datahub.client.model
Appreciate(欣赏)·2023-08-04 15:10

开源元数据管理平台Datahub最新版本0.10.5——安装部署手册（附离线安装包）

开源元数据管理平台Datahub近期得到了飞速的发展。已经更新到了0.10.5的版本，来咨询我的小伙伴也越来越多，特别是安装过程有很多问题。
大数据流动·2023-08-03 12:50

DataHub——实时数据治理平台

DataHub首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。数据治理是大佬们最近谈的一个火热的话题。
大数据流动·2023-07-23 13:59

数据治理方案技术调研 Atlas VS Datahub VS Amundsen

数据治理意义重大，传统的数据治理采用文档的形式进行管理，已经无法满足大数据下的数据治理需要。而适合于Hadoop大数据生态体系的数据治理就非常的重要了。大数据下的数据治理作为很多企业的一个巨大的难题，能找到的数据的解决方案并不多，但是好在近几年，很多公司已经进行了尝试并开源了出来，本文将详细分析这些数据发现平台，在国外已经有了十几种的实现方案。数据发现平台可以解决的问题为什么需要一个数据发现平台？
大数据流动·2023-07-23 13:59

如何根据Hive SQL代码生成Datahub数据集及血缘

需求数据库（Postgres、Hive等）中的元数据（表信息）可以通过cli命令及ui界面的方式采集元数据信息到Datahub中，并配置表级与列级血缘。
DawsonSally·2023-07-16 14:43

sqllineage解析FineBI数据集导入Datahub生成血缘

业务系统：各种制造业业务系统（高速迭代、重构、新建中）数仓开发平台：数栖平台，支持数仓内各层级的DAG调度血缘图数仓导出库：PGBI可视化系统：FineBI，支持内部数据集、图表的血缘通过调研分析，引入datahub
DawsonSally·2023-07-16 14:13

sqllineage解析sql列级血缘并提交到datahub

目录版本信息操作记录安装datahubv0.10.0datahub快速部署元数据摄取通过sqlline获取指定sql文件中HiveSQL的字段级血缘关系，并将结果提交到datahub版本信息python3.8.16datahubv0.10.0
LCriska·2023-07-16 14:00

集群规模及购买服务器建议

每天约100GODS压缩为10GDWD压缩为10GDWS轻度聚合约50GADS数据量忽略不计保存3副本共210G半年不扩容共37T预留20%30%共53T2.DATAHUB缓存数据每天100G，2副本，
etheon·2023-06-24 03:28

基于DataHub元数据血缘管理实施方案

目录1.元数据管理实施方案总览2.元数据分类2.1技术元数据2.2业务元数据3.元数据标签体系基础标签数仓标签业务标签潜在标签4.表元数据4.1基于pull机制抽取元数据web端ui方式cli端yml方式yml解析yml模板4.2.RESET-API方式API-MEDTADA人工构建模板5.血缘元数据5.1基于push机制构建血缘元数据SparkSql场景SparkSession场景5.2基于Re
只会写demo的程序猿·2023-06-13 01:02

Datahub安装教程

DataHub是由LinkedIn的数据团队开源的一款提供元数据搜索与发现的工具。目前SQLFlow已经具备集成Datahub的功能。有关如何集成SQLFlow到Datahub可以参考这篇博客。
马哈鱼SQLFlow·2023-06-13 01:56

CDH(Cloudera DataHub 6.2.1)部署（centos6、7）、常用组件（zookeeper、hive、hdfs、yarn、oozie、hue、impala、hbase）安装及验证

本文介绍了CDH的基础环境部署、cdh的server服务部署和相关组件的部署及验证。具体的组件使用，请参考本人的相关专栏内容。说明：本部署是在centos6的环境中部署的，写法是按照centos7的要求或命令写的，如果其中有不同，则会使用注释说明。本部署计划是server1文章目录一、CM基础环境部署1、下载安装包2、安装依赖包3、安装httpd4、配置host5、关闭防火墙6、关闭selinux
一瓢一瓢的饮 alanchan·2023-06-12 12:41

单细胞转录组实战04: infercnvpy识别恶性细胞

下载GENCODE基因注释信息mkdir -p ~/DataHub/Genomics
生信探索·2023-04-07 18:10

LinkedIn-DataHub专题: 元数据中心系统架构演进

LinkedIn-DataHub专题:元数据中心系统架构演进本文翻译自ShirshankaDas的DataHub:Popularmetadataarchitecturesexplained自从WhereHows
这个傻猿不太冷·2023-04-05 00:47

Win10家庭版 傻瓜安装datahub的备忘一则

仅以此，献给那些和我一样，没用过Linux也没下载过docker却被要求安装datahub的盆友们跟着datahub官方教程走，首先对应win10下载dockerdesktop，直接安装包走起就可以了，
weixin_47359840·2023-04-05 00:42

元数据管理：DataHub和OpenMetadata对比分析

DazdataMDSOpenMetadata和DataHub是目前最流行的两种开源数据编目工具。这两种工具在功能方面都有明显的重叠，但是，它们也有一些区别。
Airbyte中文社区·2023-04-05 00:35

datahub数据source读取问题

datahub读取数据的位置datahub全部启动正常后有9个项目，在datahub-actions中是做数据读取等一系列操作的在读取数据时候这个镜像内部有python3.9.9所以个人建议在使用python
玉雨钰瑜·2023-04-05 00:26

DataHub: 现代数据栈的元数据平台的Serving Architecture【服务体系架构】讲解

数据治理平台系统文章：DataHub:现代数据栈的元数据平台的入门体验及填坑记录DataHub:现代数据栈的元数据平台的ServingArchitecture【服务体系架构】讲解DataHub:现代数据栈的元数据平台的
java编程艺术·2023-04-05 00:21

【DataHub】 现代数据栈的元数据平台--如何添加自定义数据平台

数据平台代表了一个第三方系统，DataHub从数据平台获取元数据实体。每个被摄取的数据集都与一个平台相关联，例如MySQL、OpenGauss、Hive或HDFS。
九层之台起于累土·2023-04-05 00:17

【DataHub】 现代数据栈的元数据平台--如何将自定义的元数据事件发送到DataHub

在某些情况下，业务上需要程序直接构造自定义的元数据事件【MetadataEvent】，然后将该元数据发送到DataHub。
九层之台起于累土·2023-04-05 00:47

【DataHub】 现代数据栈的元数据平台的入门体验及填坑记录

DataHub采用模型优先的理念，专注于解锁不同工具和系统之间的互操作性。DataHub架构图通过Datahub的架构图可以清晰的了解Datahub的架构组成。
九层之台起于累土·2023-04-05 00:46

一站式元数据治理平台——Datahub入门宝典

作为新一代的元数据管理平台，Datahub在近一年的时间里发展迅猛，大有取代老牌元数据管理工具Atlas之势。
javastart·2023-04-05 00:11

DataHub Docker安装 &PostreSQL元数据集成

installdocker&docker-compose，包括docker-compose升级curl-Lhttps://github.com/docker/compose/releases/download/v2.14.0/docker-compose-uname-s-uname-m-o/usr/local/bin/docker-composeinstalljqwgethttp://dl.fed
allen sue·2023-04-05 00:10

DataHub - 为现代数据技术栈而生的元数据管理平台

1.引言当前属于大数据时代，数据爆炸式增长，当然管理数据的工具也是层出不穷，从传统的单机关系型数据库PostgreSQL、Oracle、MySQL、MSSQL到擅长分析的Greenplum、Clickhouse、Vertica等，再到前几年火的不要不要的Hadoop体系，种类繁多的数据管理软件，也得有上百种了。以下截图节选自知名VCMattTurck分享的数据栈：完整图片获取地址：http://m
阿福Chris·2023-04-05 00:09

DataHub: 现代数据栈的元数据平台的Metadata Ingestion Architecture【元数据摄取架构】讲解

数据治理平台系统文章：DataHub:现代数据栈的元数据平台的入门体验及填坑记录DataHub:现代数据栈的元数据平台的ServingArchitecture【服务体系架构】讲解DataHub:现代数据栈的元数据平台的
java编程艺术·2023-04-05 00:27
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他