maxcompute

ODPS #MaxCompute数据开发中几个常见的异常及解决方案

异常1：分区表不允许全表扫描，必须指定分区值FAILED:ODPS-0130071:[0,0]Semanticanalysisexception-physicalplangenerationfailed:java.lang.RuntimeException:Table(x_mei,t_order_info)isfullscanwithallpartitions,pleasespecifyparti
有时有味·2023-10-25 05:54

数据查询和业务流分开_阿里云大数据产品 | 大数据计算

阿里云大数据计算产品包括MaxCompute、E-MapReduce和实时计算（AlibabaCloudRealtimeCompute）。
weixin_39772420·2023-10-24 08:07

DataX原理及安装

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
Rudolf_liu·2023-10-22 09:11

MaxCompute 基本概念与术语

项目空间•项目空间（Project）是MaxCompute的基本组织单元，类似于传统数据库的DataBase或Schema的概念，是进行多用户隔离和访问控制的主要边界。
hsabrina·2023-10-20 10:08

Maxcompute分区表的简单操作

分区概述：不介绍了，看图就一目了然了。从图就可以看出，分区的好处是：1.能方便对数据的管理。2.可以优化查询。查询表时通过WHERE子句查询指定所需查询的分区。避免全表扫描，提高处理效率，降低计算费用。使用限制单表分区层级最多为6级。单表分区数最大值为60000个。单次查询允许查询最多的分区个数为10000个。STRING分区类型的分区值不支持使用中文。其他介绍：https://help.aliy
只爱大锅饭·2023-10-20 03:02

一条 SQL 的查询计划生成之旅【上】

不仅ApacheFlink、ApacheDruid、ApacheHive等明星开源项目在使用Calcite，腾讯天穹SuperSQL、阿里MaxCompute、Dremio等商业化产品的SQLPlanner
Aloudata技术团队·2023-10-18 23:35

Maxcompute批量分区删除

ps:Maxcompute数据仓库建设的分享。
Wesin·2023-10-17 10:41

【深入MaxCompute】人力家：借助Information Schema合理治理费用

本文将为大家带来MaxCompute与人力家客户案例深度解读。
阿里云大数据AI技术·2023-10-16 12:40

基于公开数据集，5分钟生成个性可视化数据报告

简介：基于内置电商、广告、出行、汽车、国内生产总值等公开数据集，通过DataWorks与MaxCompute搭建可视化数据报告。
阿里云大数据AI技术·2023-10-16 12:40

MaxCompute安全管理指南-基础篇

背景及目的方便和辅助MaxCompute的projectowner或安全管理员进行project的日常安全运维，保障数据安全。
zhaowei121·2023-10-16 08:56

Apache doris Datax DorisWriter扩展使用方法

DataX实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres
张家锋·2023-10-15 14:25

MaxCompute全套攻略

概况介绍大数据计算服务(MaxCompute，原名ODPS，产品地址：https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。
JQW_FY·2023-10-13 13:08

阿里巴巴大数据计算平台MaxCompute全套攻略

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
chulicheng5417·2023-10-13 13:36

期末考试题库3

311.小明在一家IT教育公司做运营工作，经常听到同学聊到MaxCompute核心概念，但又不知其意，下列哪些选项（ABCDE）能帮助小明更好的了解MaxCompute。
m0_74487105·2023-10-12 01:54

Ali MaxCompute SDK

ALIMC文件读写publicabstractBufferedInputStreamreadResourceFileAsStream(Stringvar1)throwsIOException;LocalExecutionContext.java@OverridepublicBufferedInputStreamreadResourceFileAsStream(StringresourceName)
zhixingheyi_tian·2023-10-11 20:29

Hive/MaxCompute SQL性能优化(三)：数据倾斜优化实战

SQL性能优化系列：Hive/MaxComputeSQL性能优化(一)：什么是数据倾斜Hive/MaxComputeSQL性能优化(二)：如何定位数据倾斜前面介绍了如何定位数据倾斜，本文介绍如果遇到各种数据倾斜的情况该怎样优化代码。Map长尾优化一、Map读取数据量不均匀小文件多，数据分布不均匀，使用下面的参数设置小文件合并，让每个mapper实例读取数据量大致相同。setodps.sql.map
王义凯_Rick·2023-10-08 20:00

SQL中通过QUALIFY语法过滤窗口函数简化代码

MaxCompute和hive都支持使用QUALIFY语法对窗口函数的数据进行过滤，该语法类似于HAVING对聚合和GROUPBY之后的结果的处理。
王义凯_Rick·2023-10-08 20:26

MaxCompute Spark开发指南

MaxComputeSpark是MaxCompute提供的兼容开源的Spark计算服务，它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持用户以熟悉的开发使用方式提交运行Spark作业
阿里云技术·2023-10-04 00:28

一站式大数据开发治理DataWorks学习

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大
qiufeng1ye·2023-10-03 17:49

MaxCompute Spark开发指南

MaxComputeSpark是MaxCompute提供的兼容开源的Spark计算服务，它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持用户以熟悉的开发使用方式提交运行Spark作业
weixin_34413802·2023-10-03 00:58

MaxCompute SQL

修改记录时间内容2020年9月13日第一次发布一、概述1.1定义MaxCompute（原ODPS）SQL适用于海量数据(TB级别)，实时性要求不高的场合，比如离线批量计算，它的每个作业的准备，提交等阶段要花费较长时间
宇宙中的Philip·2023-09-30 05:51

实时数仓Hologres：推出计算组实例/支持JSON数据/向量计算+大模型等新能力

阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理
阿里云云栖号·2023-09-28 10:34

DataWorks 全新发布：增强分析/数据建模个人版等新能力

阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理
阿里云云栖号·2023-09-28 10:32

基于MaxCompute SQL 的半结构化数据处理实践

简介：MaxCompute作为企业级数据仓库服务，集中存储和管理企业数据资产、面向数据应用处理和分析数据，将数据转换为业务洞察。通过与阿里云内、外部服务灵活组合，可构建丰富的数据应用。
阿里云云栖号·2023-09-27 16:20

基于 MaxCompute SQL 的半结构化数据处理实践

一、MaxCompute基础介绍阿里云数据与分析产品解决方案MaxCompute作为企业级数据仓库服务，集中存储和管理企业数据资产、面向数据应用处理和分析数据，将数据转换为业务洞察。
阿里云技术·2023-09-27 16:48

实时数仓 Hologres：推出计算组实例/支持JSON数据/向量计算+大模型等新能力

阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理
·2023-09-25 15:09

【ODPS 新品发布第 2 期】实时数仓 Hologres：推出计算组实例/支持 JSON 数据/向量计算+大模型等新能力

云布道师阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研
云布道师·2023-09-23 06:25

DataWorks 全新发布：增强分析/数据建模个人版等新能力

阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理
·2023-09-19 17:23

离线数据同步平台datax+报表可视化平台metabase

dataxDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
liaomin416100569·2023-09-17 19:33

阿里云大数据实战记录10：Hive 兼容模式的坑

8、小结1、前言今天在开发一个表单的时候，MaxCompute抛给我一个错误：SQLRuntimeUnretryableError:ODPS-0121125:
Xin学数据·2023-09-17 16:58

量化交易-数据源获取二

存储方案考虑到非离线要求：数据源大而广，适合离线分析，完善的数据补全方式在线要求：数据小而快，为了能最快的获取在线分析要求的数据，在存储的时候应尽量保存最小集，保证数据库查询的效率技术选型：离线数据引擎-maxcompute
未_定·2023-09-17 10:37

【ODPS新品发布第1期】DataWorks全新发布：增强分析/数据建模个人版等新能力

阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理
阿里云大数据AI技术·2023-09-16 09:55

MaxCompute半结构化数据思考与创新

作者：周宇睿阿里云高级技术专家本文将介绍MaxCompute在半结构化数据方面的一些思考与创新，介绍会围绕下面四点展开：1.半结构化数据简析2.传统方案优劣对比3.MaxCompute半结构化数据解决方案
阿里云大数据AI技术·2023-09-14 07:00

使用Data Transfer Hub迁移MaxCompute数据至S3数据湖实践

本文以迁移阿里MaxCompute数据为示例，通过阿里OSS对象存储实时事件触发，部署DataTran
红彤软件·2023-09-13 02:25

MaxCompute半结构化数据思考与创新

作者：周宇睿阿里云高级技术专家本文将介绍MaxCompute在半结构化数据方面的一些思考与创新，介绍会围绕下面四点展开：1.半结构化数据简析2.传统方案优劣对比3.MaxCompute半结构化数据解决方案
·2023-09-12 10:28

阿里云大数据实战记录9：MaxCompute RAM 用户与授权

文章目录问题来源：maxcompute管理员无法访问敏感列？主线问题：如何提高用户等级衍生问题1：怎么知道自己的等级和表单的等级衍生问题2：为什么dataworks空间管理员也没有设置等级的权限？
Xin学数据·2023-09-05 09:31

使用MaxCompute进行数据质量核查（实验篇）

实验背景和目标，参考课时6第一章：实验准备开通DataWorks服务本次实验主要使用MaxCompute（DataWorks）客户端进行开发，如已开通相关服务，则直接跳过本章节，进入实验即可。
SunnyRivers·2023-09-01 05:55

【深入MaxCompute】人力家：用MaxCompute 事务表2.0主键模型去重数据持续降本增效

简介：MaxCompute新增TransactionTable2.0（下文简称事务表2.0)表类型在2023年6月27日开始邀测，支持基于事务表2.0实现近实时的增全量一体的数据存储、计算解决方案。
阿里云大数据AI技术·2023-08-31 19:41

深入MaxCompute -第十弹 -IF ELSE分支语句

简介：MaxCompute通过脚本模式支持IFELSE分支语句，让程序根据条件自动选择执行逻辑，支持更好的处理因数据不同而需要采用不同策略的业务场景产生的复杂SQL，提高开发者编程的灵活性！
阿里云大数据AI技术·2023-08-31 19:41

深入MaxCompute -第十一弹 -QUALIFY

简介：MaxCompute支持QUALIFY语法过滤Window函数的结果，使得查询语句更简洁易理解。
阿里云大数据AI技术·2023-08-31 19:41

深入MaxCompute -第十二弹 -PIVOT/UNPIVOT

简介：MaxCompute推出新语法-PIVOT/UNPIVOT：通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列；通过UNPIVOT关键字可将一个或者多个列转换为行。
阿里云大数据AI技术·2023-08-31 19:36

人力家：用 MaxCompute 事务表2.0主键模型去重数据持续降本增效

业务简介人力家是由阿里钉钉和人力窝共同投资成立，帮助客户进入人力资源数字化，依靠产品技术创新驱动战略的互联网公司。公司主要提供包括人事管理、薪酬管理、社保管理、增值服务在内的人力资源SaaS服务，加速对人力资源领域赋能，实现人力资源新工作方式。目前已服务电子商务、零售服务等领域的多行业客户。人力家是一家典型的创业公司，目前处于一个竞争激烈的市场环境中，公司具有多产品性质，每个产品的数据具有独立性，
·2023-08-31 18:39

深入MaxCompute -第十二弹 -PIVOT/UNPIVOT

简介：MaxCompute推出新语法-PIVOT/UNPIVOT：通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列；通过UNPIVOT关键字可将一个或者多个列转换为行。
·2023-08-31 17:01

深入MaxCompute -第十一弹 -QUALIFY

简介：MaxCompute支持QUALIFY语法过滤Window函数的结果，使得查询语句更简洁易理解。
·2023-08-31 14:18

深入MaxCompute -第十弹 -IF ELSE分支语句

简介：MaxCompute通过脚本模式支持IFELSE分支语句，让程序根据条件自动选择执行逻辑，支持更好的处理因数据不同而需要采用不同策略的业务场景产生的复杂SQL，提高开发者编程的灵活性！
·2023-08-31 10:52

datax安装+配置+使用文档

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
涂作权的博客·2023-08-30 12:32

【深入MaxCompute】人力家：用MaxCompute 事务表2.0主键模型去重数据持续降本增效

简介：MaxCompute新增TransactionTable2.0（下文简称事务表2.0)表类型在2023年6月27日开始邀测，支持基于事务表2.0实现近实时的增全量一体的数据存储、计算解决方案。
·2023-08-30 11:51

基于预测的云资源弹性伸缩框架MagicScaler，实现“高QoS，低成本”双丰收

开篇近日，由阿里云计算平台大数据基础工程技术团队主导，与计算平台MaxCompute团队、华东师范大学数据科学与工程学院、达摩院合作，基于预测的云计算平台资源弹性伸缩框架论文《MagicScaler:Uncertainty-aware
·2023-08-29 17:43

【VLDB 2023】基于预测的云资源弹性伸缩框架MagicScaler，实现“高QoS，低成本”双丰收

开篇近日，由阿里云计算平台大数据基础工程技术团队主导，与计算平台MaxCompute团队、华东师范大学数据科学与工程学院、达摩院合作，基于预测的云计算平台资源弹性伸缩框架论文《MagicScaler:Uncertainty-aware
阿里云大数据AI技术·2023-08-29 08:38

【VLDB 2023】基于预测的云资源弹性伸缩框架MagicScaler，实现“高QoS，低成本”双丰收

开篇近日，由阿里云计算平台大数据基础工程技术团队主导，与计算平台MaxCompute团队、华东师范大学数据科学与工程学院、达摩院合作，基于预测的云计算平台资源弹性伸缩框架论文《MagicScaler:Uncertainty-aware
·2023-08-28 12:13
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他