DataWorks

数仓（三）简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构

这篇我们简要分析一下以下5家公司的数仓分层架构模型：1、马蜂窝数仓分层架构2、阿里云MaxCompute配合DataWorks数仓架构分层架构3、美团点评基于Flink实时数仓分层架构4、网易严选基于Flink
浪尖聊大数据-浪尖·2023-03-30 02:09

【大数据&AI人工智能】企业级大数据产品体系技术架构白皮书

目录以OneData为内核，“快”、“准”、“全”、“统”、“通”的智能大数据体系DataWorks产品架构
禅与计算机程序设计艺术·2023-03-29 22:19

ODPS-0130013 :Authorization exception

报错开发工具阿里云大数据处理平台中的dataworks报错现象问题原因RAM子账号不在访问的项目中。解决方案将RAM子账号添加到要使用的项目中，给予RAM子账号开发者权限。
拒—绝·2023-03-22 11:18

大数据架构进阶目录

实现目标，共勉Flink开发(1.架构2.实时开发(项目案例代码)3.优化技巧4.面试常问原理)Spark开发(1.架构2.实时开发(项目案例代码)3.优化技巧4.面试常问原理)阿里云相关服务讲解(1.Dataworks2
风轻云淡lq·2023-03-17 10:13

阿里云数仓实时同步任务binlog解析文档

背景：阿里云dataworks中有实时同步数据库binlog的任务配置，起源是业务数据库中数据被回滚了，所以借助数仓这边的同步任务数据进行解析和监控更新时间。
Hunter_Young·2023-02-26 06:35

DataWorks SQL代码编码原则和规范

编码原则SQL代码的编码原则如下：代码功能完善。代码行清晰、整齐，代码行的整体层次分明、结构化强。代码编写充分考虑执行速度最优的原则。代码中需要添加必要的注释，以增强代码的可读性。规范要求并非强制性约束开发人员的代码编写行为。实际应用中，在不违反常规要求的前提下，允许存在可以理解的偏差。SQL代码中应用到的所有SQL关键字、保留字都需使用全大写或小写，例如select/SELECT、from/FR
胜利的曙光·2023-02-19 20:01

如何基于DataWorks构建数据中台？

原盒马在线数据平台研发负责人欢伯向大家分享新零售企业如何基于DataWorks构建数据中台的经验心得，从商业模式及业务的设计，到数据中台的架构设计与产品选型，再到数据中台构建的最佳实践，最后利用数
阿里开发者·2023-02-01 08:22

DataX使用入门

DataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。
mynameisjinxiaokai·2023-01-26 05:23

CSDN技术峰会2022年上海站

csdn技术峰会：AI算力池让我联想到挖矿dataworks创始人讲解多云时代是未来的发展趋势帅哥讲解web安全防御，通过算法进行拦截分析，通过大数据分析这本书是参加活动送的：
无名之辈之码谷娃·2023-01-07 21:53

windows上datax的使用记录

datax使记录简介https://github.com/alibaba/DataXDataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。
AnalogElectronic·2023-01-07 09:46

数仓构建-架构与模型设计

其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。
胜利的曙光·2023-01-06 01:24

阿里云DataWorks学习——数仓架构设计

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。
zhisheng_blog·2022-12-31 16:36

使用 DataWorks 将 PolarDB-X 中的数据同步到 MaxCompute

大数据开发治理平台DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。
·2022-12-27 18:01

使用 DataWorks 将 PolarDB-X 中的数据同步到 MaxCompute

大数据开发治理平台DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。
·2022-12-27 17:29

DataX数据同步

DataX是阿里云商用产品DataWorks数据集成的开源版本，它是一个异构数据源的离线数据同步工具/平台（ETL工具）。
yzhSWJ·2022-12-24 12:35

数据的“敏捷制造”，DataWorks一站式数据开发治理范式演进

在2021阿里云峰会上，阿里巴巴集团副总裁、阿里云智能计算平台事业部高级研究员贾扬清发布基于DataWorks的一站式大数据开发治理的平台，就是这个蜕变最好的
阿里云云栖号·2022-12-23 09:20

DataWorks赋能企业一站式数据开发治理能力

在2021阿里云峰会上，阿里巴巴集团副总裁、阿里云智能计算平台事业部高级研究员贾扬清发布基于DataWorks的一站式大数据开发治理的平台，就是这个蜕变最好的佐证。
阿里云大数据AI技术·2022-12-23 09:20

阿里云DataWorks荣获DAMA中国数据治理优秀产品奖

DAMA（国际数据管理协会）是一个全球性的专业组织，协会自1980年成立以来，一直致力于数据管理和数字化的研究、实践及相关知识体系的建设，先后发行了《DAMA数据管理字典》和《DAMA数据管理的知识体系》等，该知识体系已被广泛使用，逐渐成为业界的标杆和权威。目前协会在全球有会员2万人，分会52个。2022年12月3日，2022DAMA中国数据管理峰会（线上部分）成功举行，汇聚多位世界级数据大咖分享
阿里云大数据AI技术·2022-12-22 09:59

阿里云-数据仓库-全链路大数据开发治理平台-DataWorks的数字世界

二、DataWorks是什么DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台
风一样的美狼子·2022-12-22 09:24

通过DataWorks周期性导入MaxCompute数据至Hologres最佳实践

1.在MaxCompute创建数据表MaxCompute分区表选择MaxCompute公共数据集public_data中的分区表dwd_product_movie_basic_info。--MaxCompute分区表DDLCREATETABLEIFNOTEXISTSpublic_data.dwd_product_movie_basic_info(movie_nameSTRINGCOMMENT'电影
胜利的曙光·2022-12-11 01:17

dataworks自定义函数开发环境搭建

document_detail/27971.html2.用idea安装MaxComputeStudiohttps://help.aliyun.com/document_detail/50892.html3.连接dataworks
菩提树下的呆子·2022-12-10 12:27

DataX新组件开发＜附准备\开发\测试＞：阿里云SLS日志服务数据reader组件

他们还有一个收费的叫DataWorks。很贵就是了~我没钱！而且开源的也够用了！所以用开源的。开发
dancoder·2022-12-10 04:38

数仓架构流程二

一种是基于阿里云的dataworks这种一站式大数据开发与
环球小猪·2022-11-29 19:42

云原生一体化数仓发布

云原生一体化数仓是集阿里云大数据产品MaxCompute、DataWorks、Hologres三种产品能力于一体的一站式大数据处理平台。
阿里云开发者·2022-10-10 13:18

阿里云学习

Sass3、Pass三、主流的常用的云有哪些1、阿里云2、腾讯云3、小鸟云4、华为云5、百度云6、盛大云7、微软云8、新浪云9、新睿云四、阿里云的产品组成1、云弹性服务2、云数据库3、云大数据五、阿里dataworks1
山河不夜天Ajatar·2022-09-29 15:10

Flink实战之实时风控规则引擎

一、项目背景目前钱大妈基于云原生大数据组件（DataWorks、MaxCompute、Flink、Hologres）构建了离线和实时数据一体化的全渠道数据中台，为各业务线提供BI报表及数据接口支持。
000X000·2022-09-22 18:40

钱大妈基于 Flink 的实时风控实践

主要内容包括：项目背景业务架构未规则模型难点攻坚回顾展望点击进入Flink中文学习网一、项目背景目前钱大妈基于云原生大数据组件（DataWorks、MaxCompute、Flink、Hologres）构建了离线和实时数据一体化的全渠道数据中台
Apache Flink·2022-09-22 18:16

重磅发布！阿里云全链路数据湖开发治理解决方案

简介：阿里云重磅发布全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR)+一站式大数据数据开发治理平台DataWorks+数据湖构建DLF+对象存储OSS等核心产品。
·2022-09-08 11:01

阿里云大数据工厂DataWorks学习之--数据同步任务常见日志报错总结

在使用大数据开发套件时最常用的就是数据同步模块，工单里最常见的问题就是其中数据同步的问题，这里总结一些常见一些从Maxcompute到其他数据源的同步任务报错案例，主要是日志中出现数据回滚写入的问题。那首先看下日志中数据回滚的原因，当数据写入rds或者hybridDB等一些支持事务的数据库中，数据批量写入，一旦由于各种原因没有写入成功，这个批次的数据会回滚重新写入，如果再次写入失败，就会报脏数据的
weixin_34128411·2022-09-07 13:40

用阿里云平台dataworks创建表三种方式

用阿里云平台dataworks创建表三种方式：1.在临时查询中用odpssql如下2.在数据开发中先新建数据流程再新建表，然后可以一个一个写字段再提交到生产环境也可以ddl模式3.在手动业务流程中新建节点
大数据小理·2022-08-31 21:10

阿里云dataworks中业务流程中问题（odps2）

bigdate形式的数据在odps的2.0版本中无法隐式转换，应将一个参数改为false如下setprojectodps.sql.type.system.odps2=false;上面的语句应该与insert…table表名select…一起使用例如setprojectodps.sql.type.system.odps2=false;INSERTOVERWRITETABLEyhxxgxSELECTy
大数据小理·2022-08-31 21:10

全链路数据治理实操演练营，互联网、金融、制造等行业都适用！

大数据开发治理平台DataWorks推出多个大数据训练营（持续更新中），全域数据集成训练营可完成多种数据源、多种网络环境下的离线同步与实时同步。参营还可领取定制无线充、定制折扇！
阿里云开发者·2022-08-30 22:26

全链路数据治理实操演练营，互联网、金融、制造等行业都适用！

大数据开发治理平台DataWorks推出多个大数据训练营（持续更新中），全域数据集成训练营可完成多种数据源、多种网络环境下的离线同步与实时同步。参营还可领取定制无线充、定制折扇！
·2022-08-23 17:47

全链路数据治理实操演练营，互联网、金融、制造等行业都适用！

大数据开发治理平台DataWorks推出多个大数据训练营（持续更新中），全域数据集成训练营可完成多种数据源、多种网络环境下的离线同步与实时同步。参营还可领取定制无线充、定制折扇！
·2022-08-19 12:53

DataWorks数据建模 - 一揽子数据模型管理解决方案

作者：DataWorks产品经理刘天鸢在当下的商业环境中，正确的数据治理策略对于数据增值是非常重要的。据统计，企业的数据一直都在以每年50%的速度增长，因此企业数据治理与整合的难度就不断加大了。
阿里云大数据AI技术·2022-08-18 13:14

重磅发布 ， 阿里云全链路数据湖开发治理解决方案

阿里云重磅更新全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR)+一站式大数据数据开发治理平台DataWorks+数据湖构建DLF+对象存储OSS等核心产品。
阿里云大数据AI技术·2022-08-18 13:05

重磅发布！阿里云全链路数据湖开发治理解决方案

阿里云重磅发布全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR)+一站式大数据数据开发治理平台DataWorks+数据湖构建DLF+对象存储OSS等核心产品。
·2022-08-17 14:27

SpringBoot整合dataworks的实现过程

目录注意事项整合实现依赖引入请求参数类编写工具类编写初始化操作测试代码测试结果项目地址注意事项阿里云的dataworks提供了OpenApi,需要是企业版或旗舰版才能够调用，也就是付费项目。
·2022-08-12 14:51

DataWorks 如何撑起阿里99%的数据开发？

阿里妹导读：DataWorks是阿里巴巴自主研发，支撑阿里巴巴经济体99%数据业务建设和治理，每天数万名数据开发和算法开发工程师在使用。
阿里云云栖号·2022-08-11 21:50

支撑阿里 99% 数据开发的 DataWorks 在技术架构变革方面的实践

DataWorks是阿里巴巴自主研发，支撑阿里巴巴经济体99%数据业务建设和治理，每天数万名数据开发和算法开发工程师在使用。
阿里巴巴中间件·2022-08-11 21:18

springboot进阶

properties配置日志3.springboot的logback配置三、springboot整合swagger提示：以下是本篇文章正文内容，下面案例可供参考一、整合数据库连接池druid阿里云计算平台DataWorks
Network porter·2022-08-11 21:17

DataWorks和DataOne比较

Redis数据库和DataWorksRedis简介Redis是一个数据库，不过与传统数据库不同的是Redis的数据库是存在内存中，所以读写速度非常快，因此Redis被广泛应用于缓存方向。除此之外，Redis也经常用来做分布式锁，Redis提供了多种数据类型来支持不同的业务场景。除此之外，Redis支持事务持久化、LUA脚本、LRU驱动事件、多种集群方案。Redis五种数据类型简单动态字符串(Sim
qq_38120013·2022-08-11 21:46

SpringBoot整合dataworks

注意事项阿里云的dataworks提供了OpenApi,需要是企业版或旗舰版才能够调用，也就是付费项目。这里测试主要是调用拉取dataworks上拉取的脚本，并存储到本地。
IT_DLin·2022-08-11 21:41

数据仓库4.0

1个节点1万美元云服务选择阿里云的EMR(不用搭建平台和考虑兼容性问题)，MaxCompute,DataWorks亚马逊云的EMR腾讯云EMR华为云EMR（市场份额少）物理机和云主机选择集群规模计算例子用户
编程爱上我吧·2022-08-05 14:00

阿里云云原生一体化数仓--数据安全能力解读

简介：云原生一体化数仓数据安全能力基于MaxCompute与DataWorks的组合能力，包括数据分级机制、敏感数据识别算法、用户权限级别和数据安全级别自动映射、数据脱敏、审批和权限回收流程、审计机制、
·2022-08-04 18:48

阿里云云原生一体化数仓 — 湖仓一体新能力解读

简介：本文主要介绍如何通过湖仓一体，打通MaxCompute与Hadoop、DLF/OSS数据湖，以及Hologres、MySQL等数据平台，并通过DataWorks做统一数据开发和治理。
·2022-07-28 18:42

阿里云云原生一体化数仓 — 数据治理新能力解读

简介：本文介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展，包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读，以及围绕降本增效的成本治理最佳实践。
·2022-07-20 11:02

阿里云云原生一体化数仓 — 数据建模新能力解读

简介：本文主要介绍DataWorks智能数据建模的核心产品能力。分享人：阿里云智能产品专家闫建丽没来得及看直播的同学，可以观看直播回放。
·2022-07-11 17:53

IDC：阿里云获2021中国数据治理平台市场份额第一

分析师评价：阿里云在数据治理领域主要提供自主研发的全链路大数据开发治理平台DataWorks。DataWorks是中国市场上较早的数据治理平台型产品，从2009开始在阿里
·2022-06-28 17:38

DataWorks开发ODPS SQL开发生产环境自动补全ProjectName

简介：DataWorks标准模式下，支持开发环境和生产环境隔离，开发环境和生产环境的数据库表命名有所区别，如果需要在开发环境访问生产环境的数据库表或者跨项目空间访问其他项目空间的表，需要根据projectA.tablename
·2022-06-24 17:02
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他