MaxCompute

数据管理篇之存储和成本管理

解决方案目前MaxCompute中提供了archive压缩方法，它采用了具有更高压缩比的压缩算法，可以将数据保存为RAIDfile的形式，数据不再简单地保存为3份，而是使用盘古RAIDf
道理你都懂·2022-12-25 03:36

DataX数据同步

DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
yzhSWJ·2022-12-24 12:35

PostgreSQL 导入 SLS，从业务到监控数据

SLS在数据导入方面提供了丰富的数据源，如OSS导入、MaxCompute、MySQL、SQLServer等数据源。Postg
阿里云云栖号·2022-12-22 20:39

阿里云-数据仓库-全链路大数据开发治理平台-DataWorks的数字世界

二、DataWorks是什么DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台
风一样的美狼子·2022-12-22 09:24

PostgreSQL 导入 SLS，从业务到监控数据

SLS在数据导入方面提供了丰富的数据源，如OSS导入、MaxCompute、MySQL、SQLServer等数据源。Postg
·2022-12-20 16:09

【Meetup 预告】OpenMLDB + MaxCompute：集成打通云上生态，高效构建 AI 应用

2022年12月3日（周六）上午10：00-12:00，开源机器学习数据库OpenMLDB第八期Meetup将通过线上直播的形式展开。活动背景数据的爆发式增长为AI应用的繁荣提供了坚实的基础，而云服务作为新一代快速整合、高效计算的服务模式，为大数据的分析处理和AI智能化程度升级和进化带来了新的路径和可能。为应对数据挑战，加速AI落地，开源机器学习数据库OpenMLDB携手提供云原生大数据计算服务的
第四范式开发者社区·2022-12-16 09:54

演讲实录｜OpenMLDB 与阿里云 MaxCompute 生态集成

在OpenMLDB第8期Meetup中，OpenMLDBPMC陈迪豪以出租车行车时间预测问题为例，使用OpenMLDB基于阿里云MaxCompute的Serverless服务搭建机器学习应用，从数据引入开始
第四范式开发者社区·2022-12-16 09:15

【Meetup 明天见】OpenMLDB + MaxCompute：集成打通云上生态，高效构建 AI 应用

为应对数据挑战，加速AI落地，开源机器学习数据库OpenMLDB携手提供云原生大数据计算服务的阿里云MaxCompute带来本期Meet
第四范式开发者社区·2022-12-16 09:45

数据技术之数据挖掘

2.阿里数据挖掘平台阿里巴巴的算法平台选用MPI作为基础计算框架，其核心机器学习算法的开发都是基于阿里云MaxCompute的MPI实现的。MaxComputeMPI处理流程图如下：伏羲：阿
道理你都懂·2022-12-15 23:47

Meetup No.8 回顾 | OpenMLDB + MaxCompute：集成打通云上生态，高效构建 AI 应用

OpenMLDBMeetupNo.8活动回顾会议内容OpenMLDB社区于2022年12月3日举行了第八期meetup，会议相关视频及资料如下：OpenMLDB卢冕，以《开源机器学习数据库OpenMLDB：线上线下一致的生产级特征平台》为题，为大家重点介绍了OpenMLDB社区11月的最新工作进展。视频：https://www.zhihu.com/zvideo/...阿里云机器学习PAI平台和大数
·2022-12-14 15:57

演讲实录｜OpenMLDB 与阿里云 MaxCompute 生态集成

在OpenMLDB第8期Meetup中，OpenMLDBPMC陈迪豪以出租车行车时间预测问题为例，使用OpenMLDB基于阿里云MaxCompute的Serverless服务搭建机器学习应用，从数据引入开始
·2022-12-14 15:57

通过DataWorks周期性导入MaxCompute数据至Hologres最佳实践

1.在MaxCompute创建数据表MaxCompute分区表选择MaxCompute公共数据集public_data中的分区表dwd_product_movie_basic_info。
胜利的曙光·2022-12-11 01:17

DataX新组件开发＜附准备\开发\测试＞：阿里云SLS日志服务数据reader组件

实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异构数据源之间高效的数据同步功能
dancoder·2022-12-10 04:38

基于MaxCompute的数仓数据质量管理

本文针对MaxCompute数仓建设过程中如何
阿里云技术·2022-11-30 18:25

一条 SQL 的查询计划生成之旅【上】

不仅ApacheFlink、ApacheDruid、ApacheHive等明星开源项目在使用Calcite，腾讯天穹SuperSQL、阿里MaxCompute、Dremio等商业化产品的SQLPlanner
·2022-11-30 06:38

MaxCompute笛卡尔积逻辑的参数优化&复杂JOIN逻辑优化

简介：这篇文章主要讲一个SQL优化反映的两个优化点。分别是：一、笛卡尔积逻辑的参数优化。二、一个复杂JOIN逻辑的优化思路。1.优化概述最近协助一个项目做下优化任务的工作。因为主要数据都是报表，对数对的昏天暗地的不敢随便调整SQL逻辑，所以本身只想做点参数调整，但是逼不得已后来还是改了一下SQL。这篇文章主要讲一个SQL优化反映的两个优化点。分别是：一、笛卡尔积逻辑的参数优化。二、一个复杂JOIN
·2022-10-11 18:57

云原生一体化数仓发布

云原生一体化数仓是集阿里云大数据产品MaxCompute、DataWorks、Hologres三种产品能力于一体的一站式大数据处理平台。
阿里云开发者·2022-10-10 13:18

ASI 2021 年双十一万级别超大规模集群的高性能提升

为了实现最大化利用云的能力，通过统一调度，实现了ASI成为阿里集团所有业务的底座，包括新加入到统一调度架构的搜推广业务，实时计算Flink业务，FaaS业务，中间件，新计算PAI等，以及通过统一调度来进行架构升级的MaxCompute
阿里巴巴中间件·2022-09-23 09:41

Flink实战之实时风控规则引擎

一、项目背景目前钱大妈基于云原生大数据组件（DataWorks、MaxCompute、Flink、Hologres）构建了离线和实时数据一体化的全渠道数据中台，为各业务线提供BI报表及数据接口支持。
000X000·2022-09-22 18:40

钱大妈基于 Flink 的实时风控实践

主要内容包括：项目背景业务架构未规则模型难点攻坚回顾展望点击进入Flink中文学习网一、项目背景目前钱大妈基于云原生大数据组件（DataWorks、MaxCompute、Flink、Hologres）构建了离线和实时数据一体化的全渠道数据中台
Apache Flink·2022-09-22 18:16

一文快速了解MaxCompute

很多刚初次接触MaxCompute的用户，面对繁多的产品文档内容以及社区文章，往往很难快速、全面了解MaxCompute产品全貌。
阿里云技术·2022-09-07 14:19

阿里云大数据工厂DataWorks学习之--数据同步任务常见日志报错总结

在使用大数据开发套件时最常用的就是数据同步模块，工单里最常见的问题就是其中数据同步的问题，这里总结一些常见一些从Maxcompute到其他数据源的同步任务报错案例，主要是日志中出现数据回滚写入的问题。
weixin_34128411·2022-09-07 13:40

基于开放共享的自主研发—MaxCompute 持续增强生态与开放性建设

简介：MaxCompute是阿里巴巴自研的云原生数据仓库，同时也兼容大部分大数据生态系统。一个平台无法实现所有功能和解决所有问题，MaxCompute需持续增强生态与开放性建设，方能走得更远。
·2022-09-06 18:37

阿里云「MaxCompute最佳实践」征文大赛获奖文章公布

与传统Hadoop相比，阿里云数加MaxCompute(原名ODPS)向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
weixin_34033624·2022-09-01 07:17

离线数仓——T+1处理数据

数仓分层数仓分层思想云上离线数仓（阿里云）整体架构数据源=>DTS同步数据=>DataWork（底层是MaxCompute）=>DB
日月交辉·2022-08-31 12:48

全链路数据治理实操演练营，互联网、金融、制造等行业都适用！

>>点击此处立即报名>多表、多表>>单表、单表>>单表等场景下，进行实时或离线同步的技术选型与核心能力，并以MaxCompute与Hologres引擎为例，演示云上数据同步操
阿里云开发者·2022-08-30 22:26

独家下载|《阿里云MaxCompute百问百答》 解锁SaaS模式云数据仓库尽在本电子手册！

简介：为了帮助MaxCompute用户更顺畅的使用产品，阿里云MaxCompute团队基于开发者社区和其他渠道总结归纳出相关功能点的常见问题，联合阿里云开发者社区共同打造了《阿里云MaxCompute百问百答
阿里云开发者·2022-08-30 22:52

全链路数据治理实操演练营，互联网、金融、制造等行业都适用！

\>>点击此处立即报名>多表、多表>>单表、单表>>单表等场景下，进行实时或离线同步的技术选型与核心能力，并以MaxCompute与Hologres引擎为例，演示云上数据同步
·2022-08-23 17:47

大数据计算服务MaxCompute

数据采集（ETL）获取数据数据清洗数据转换数据分析计算根据需求获取想要的数据分析的结果需要存储起来MySQLredisES数据展示其他的业务系统需要使用分析计算好的数据从存储系统中查询数据大屏显示01MaxCompute
撸码的xiao摩羯·2022-08-23 07:29

全链路数据治理实操演练营，互联网、金融、制造等行业都适用！

\>>点击此处立即报名>多表、多表>>单表、单表>>单表等场景下，进行实时或离线同步的技术选型与核心能力，并以MaxCompute与Hologres引擎为例，演示云上数据同步
·2022-08-19 12:53

阿里MaxCompute生态团队负责人—李睿博 : 参与开源，让自己的履历与众不同｜《大神详解开源 BUFF 增益攻略》讲座回顾...

该讲座从面试官和求职者两个视角出发，分别邀请了四位嘉宾进行分享，他们是：1.张晓东：京东科技的无线宝产品部负责人2.李睿博：阿里MaxCompute生态团队负责人3.张金瑞：Microsoft、Amazon
Apache IoTDB·2022-08-17 09:50

SpringBoot整合dataworks的实现过程

脚本包含两部分1、开发的odps脚本(通过OpenApi获取)2、建表语句脚本(通过dataworks信息去连接maxCompute获取建立语
·2022-08-12 14:51

SpringBoot集成MaxCompute的示例代码

目录1、SDK方式集成1.1、依赖引入odps-sdk-core1.2、编写连接工具类1.2.1、重要类和方法说明1.2.2工具类测试1.2.3为什么要开启全表扫描2、JDBC方式集成2.2、编写连接工具类2.2.1、重要类和方法说明2.2.2工具类测试1、SDK方式集成使用odps-sdk-core集成,官方文档地址MaxComputeJavaSDK介绍1.1、依赖引入odps-sdk-core
·2022-08-12 14:50

SpringBoot集成MaxCompute

odps-sdk-core1.80.40.8-publiccom.aliyun.odpsodps-sdk-core${max-compute-sdk.version}1.2、编写连接工具类编写MaxComputeSdkUtil以SDK方式连接MaxCompute1.2.1
IT_DLin·2022-08-11 21:45

SpringBoot整合dataworks

脚本包含两部分1、开发的odps脚本(通过OpenApi获取)2、建表语句脚本(通过dataworks信息去连接maxCompute获取建立语句)阿里云Dataworks的openApi分页查询限制，一次最多查询
IT_DLin·2022-08-11 21:41

独家下载|《阿里云MaxCompute百问百答》 解锁SaaS模式云数据仓库尽在本电子手册！

简介：为了帮助MaxCompute用户更顺畅的使用产品，阿里云MaxCompute团队基于开发者社区和其他渠道总结归纳出相关功能点的常见问题，联合阿里云开发者社区共同打造了《阿里云MaxCompute百问百答
·2022-08-11 13:58

数据仓库4.0

1个节点1万美元云服务选择阿里云的EMR(不用搭建平台和考虑兼容性问题)，MaxCompute,DataWorks亚马逊云的EMR腾讯云EMR华为云EMR（市场份额少）物理机和云主机选择集群规模计算例子用户
编程爱上我吧·2022-08-05 14:00

阿里云云原生一体化数仓--数据安全能力解读

简介：云原生一体化数仓数据安全能力基于MaxCompute与DataWorks的组合能力，包括数据分级机制、敏感数据识别算法、用户权限级别和数据安全级别自动映射、数据脱敏、审批和权限回收流程、审计机制、
·2022-08-04 18:48

阿里云云原生一体化数仓 — 湖仓一体新能力解读

简介：本文主要介绍如何通过湖仓一体，打通MaxCompute与Hadoop、DLF/OSS数据湖，以及Hologres、MySQL等数据平台，并通过DataWorks做统一数据开发和治理。
·2022-07-28 18:42

独家下载|《阿里云MaxCompute百问百答》 解锁SaaS模式云数据仓库尽在本电子手册！

简介：为了帮助MaxCompute用户更顺畅的使用产品，阿里云MaxCompute团队基于开发者社区和其他渠道总结归纳出相关功能点的常见问题，联合阿里云开发者社区共同打造了《阿里云MaxCompute百问百答
·2022-07-25 13:25

大数据之路读书笔记-13计算管理

大数据之路读书笔记-13计算管理目前内部MaxCompute集群上有200多万个任务，每天存储资源、计算资源消耗都很大。
潘小磊·2022-07-21 11:14

6000字干货分享：数据中台项目管理实践分享

阿里云数据中台以Maxcompute等大数据计算平台为载体，以三个One为理论基础构成数据中台方法论，实现在一个平台里完成数据全生命周期的管理工作。
阿里云技术·2022-07-16 08:20

Hive/MaxCompute SQL性能优化(一)：什么是数据倾斜

对于MaxCompute/ODPS来说，定位是否倾斜，
王义凯_Rick·2022-07-15 14:05

6000字干货分享：数据中台项目管理实践分享

阿里云数据中台以Maxcompute等大数据计算平台为载体，以三个One为理论基础构成数据中台方法论，实现在一个平台里完成数据全生命周期的管理工作。本文总结了企业级数据中台项目的实践经验，
·2022-07-12 18:15

Maxcompute-UNION数据类型对齐的方法

简介：怎么对齐两段union脚本的数据类型第1章问题概述1.1UNION中隐式类型转换问题近期参与的一个私有云项目要升级，因为maxcompute要升级到更新的版本，对之前的一些SQL写法有个更高的要求
·2022-06-28 18:21

模拟IDC spark读写MaxCompute实践

简介：现有湖仓一体架构是以MaxCompute为中心读写Hadoop集群数据，有些线下IDC场景，客户不愿意对公网暴露集群内部信息，需要从Hadoop集群发起访问云上的数据。
·2022-06-28 18:21

阿里云云原生一体化数仓 — 离线实时一体化新能力解读

简介：介绍MaxCompute+Hologres离线和实时数仓一体化优于之前有离线、有在线、有很多不同的引擎的实现方案，通过用实时的引擎做预处理，实现离线实时数据入仓后做更加实时的服务化BI分析实践。
·2022-06-28 18:20

如何正确的做增量加工

本文讲述了如何在MaxCompute上用与关系数据库的不同的方式做增量数据的加工。
·2022-06-24 17:02

阿里云全链路数据治理

阿里云全链路数据治理实验全流程阿里云全链路数据治理实验全流程实验地址实验流程通过DataWorks采集日志数据至MaxCompute创建业务流程配置workshop_start节点新建表配置离线同步节点
简明编程·2022-06-23 10:32

钱大妈基于 Flink 的实时风控实践

主要内容包括：项目背景业务架构未规则模型难点攻坚回顾展望一、项目背景目前钱大妈基于云原生大数据组件（DataWorks、MaxCompute、Flink、Hologres）构建了离线和实时数据一体化的全渠道数据中台
·2022-06-20 15:39
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他