maxcompute

MaxCompute( 原ODPS）下的表分区解释

大数据计算服务（MaxCompute，原名ODPS，https://www.aliyun.com/product/odps）是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。
weixin_34128237·2020-07-28 18:14

MaxCompute - ODPS重装上阵　第五弹 - SELECT TRANSFORM

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。
weixin_34120274·2020-07-28 18:35

odps是什么?

ODPS（OpenDataProcessingService），是阿里巴巴通用计算平台提供的一种快速、完全托管的GB/TB/PB级数据仓库解决方案，现在已更名为MaxCompute，MaxCompute
weixin_34101229·2020-07-28 18:52

MaxCompute平台非标准日期和气象数据处理方法--以电力AI赛为例

摘要：MaxCompute平台支持的日期格式通常是对齐的日期格式诸如20170725或2017/07/25这种，而本次电力AI赛提供的日期格式却是未对齐的非标准（相对MaxCompute平台来说）的日期格式
weixin_34090562·2020-07-28 18:17

MaxCompute读取分析OSS非结构化数据的实践经验总结

摘要：本文背景很多行业的信息系统中，例如金融行业的信息系统，相当多的数据交互工作是通过传统的文本文件进行交互的。此外，很多系统的业务日志和系统日志由于各种原因并没有进入ELK之类的日志分析系统，也是以文本文件的形式存在的。1.本文背景很多行业的信息系统中，例如金融行业的信息系统，相当多的数据交互工作是通过传统的文本文件进行交互的。此外，很多系统的业务日志和系统日志由于各种原因并没有进入ELK之类的
weixin_34032779·2020-07-28 18:38

如何理解maxcompute常见报错信息？【阿里云MVP月度分享】

貌似大部分人在遇到报错的时候，都懒得用翻译软件翻译报错信息，一般直接抛出来问，甚至连报错信息都懒得复制，直接截图出来。所以这里特地总结了一下，最近一段时间有人经常在群里问到的报错信息。ODPS-0130252:Cartesianproductisnotallowed“不允许笛卡尔积”主要是为了防止用户误操作，不小心漏了关联条件，造成大量的资源的耗费。特别，如果是后付费用户，做大表的笛卡尔积会占用大
weixin_34014277·2020-07-28 18:25

MaxCompute的分区配置和使用

创建表的时候，可以设置普通列和分区列。在绝大多数情况下，可以把普通列理解成数据文件的数据，而分区列可以理解成文件系统的目录。所以表的存储空间的占用，讲的是普通列的空间占用。分区列虽然不直接存储数据，但是如同文件系统里的目录，可以起到方便数据管理，并在计算只指定具体的分区的时候，只查询对应分区减少计算量的作用。分区列的设置创建分区表的语法可以参考这里。这里分别举2个例子方便理解：从这里可以看到分区表
weixin_34009794·2020-07-28 18:23

MaxCompute JOIN优化小结

摘要：Join是MaxCompute中最基本的语法，但由于数据量和倾斜问题，非常容易出现性能问题。
weixin_33912453·2020-07-28 18:47

MaxCompute预付费资源监控工具-CU管家

很多MaxCompute预付费用户，经常会问到我，我买了150CU，够不够用？很多作业在排队，要不要升级扩容？到底是哪些任务占用了资源，能否把让这些不重要的任务降低优先级。
weixin_33862514·2020-07-28 18:13

使用cu管家管理Maxcompute多项目

使用cu管家管理Maxcompute多项目我们在maxcompute的实际使用中,采用了多项目的方式,具体可参看之前写的一篇博客:MaxCompute多团队协同数据开发项目管理最佳实践虽然有很多优点,但是实际使用过程中还需要
weixin_33862993·2020-07-28 18:13

理论与实践：如何从Hadoop迁移到MaxCompute

摘要：MaxCompute大数据计算服务，能提供快速、完全托管的PB级数据仓库解决方案，能够使用户经济且高效地分析处理海量数据。
weixin_33831196·2020-07-28 18:15

MaxCompute Studio 使用入门

MaxComputeStudio是MaxCompute平台提供的安装在开发者客户端的大数据集成开发环境工具，是一套基于流行的集成开发平台IntelliJIDEA的开发插件，可以帮助您方便地进行数据开发。
weixin_33813128·2020-07-28 17:05

QuickBI助你成为分析师——搞定数据源

产品的核心流程如下图所示，QuickBI实现无缝集成云上数据库：支持阿里云多种数据源，包括但不限于MaxCompute
weixin_33805557·2020-07-28 17:56

MaxCompute命令行工具——odpscmd的操作使用

2019独角兽企业重金招聘Python工程师标准>>>摘要：在MaxCompute生态中，命令行工具究竟处于什么样的位置？它又发挥着什么样的作用？能够帮助开发者如何更好使用MaxCompute？
weixin_33797791·2020-07-28 17:52

【Spark Summit EU 2016】使用Java Agent扩展Spark

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com
weixin_33772645·2020-07-28 17:11

MaxCompute Tunnel上传典型问题场景

数据问题Q：使用TunnelJavaSDK上传数据，上传数据可以自动分配到各个分区吗？A：目前Tunnel是无法自动上传数据并自动分配到各个分区的：每一次上传只支持数据上传到一张表或表的一个分区，有分区的表一定要指定上传的分区，多级分区一定要指定到末级分区。关于JAVASDK可参考：JavaSDK。Q：使用TunnelJavaSDK上传数据，如果是分区表，SDK能够动态根据数据创建不同的分区吗？A
weixin_33711647·2020-07-28 17:17

ODPS到ODPS数据迁移指南

1.工具选择与方案确定目前,有两种方式可用于专有云环境下的从MaxCompute到MaxCompute整体数据迁移。
weixin_33691817·2020-07-28 17:01

MaxCompute常见错误汇总（更新ing）

从今天开始，小编会为大家陆续解读MaxCompute常见问题，帮助大家快速上手MaxCompute，玩转大数据计算平台，同时，也欢迎大家一起补充。
weixin_33691598·2020-07-28 17:59

MaxCompute Console 实用小命令

MaxComputeConsole可以从这里下载。在阿里云官网可以查看帮助文档。这里跟大家分享一些MaxComputeConsole中实用的小命令。嗯，一般人我不告诉他～1odpscmd-v查看odpscmd版本/Users/zhenhong/tool/odps_clt./bin/odpscmd-v******OdpsCommandLineTools******BuildTime:2016-06-
weixin_33690963·2020-07-28 17:59

使用MaxCompute Java SDK 执行任务卡住了，怎么办？

场景一用户AA:“亲，用MaxComputeJavaSDK跑作业，为什么卡住不动了？”me:“有Logview吗？发来看下”A:“没有，我用的是SDK，没Logview”场景二用户BB：“亲，用MaxComputeJavaSDK访问Table，为什么卡住半天没反应？”me：“卡在哪一行了？”B："就RestClientretry然后卡住了"去繁就简用户A的问题在于没有instance的logvie
weixin_33670786·2020-07-28 17:51

MaxCompute 往分区表插入数据

一、创建分区表userCREATETABLEuser(user_idBIGINT,genderBIGINTCOMMENT'0unknow,1male,2Female',ageBIGINT)PARTITIONEDBY(regionstring,dtstring);二、添加分区ALTERTABLEuserADDIFNOTEXISTSPARTITION(region='guangzhou',dt='20
我从雨中来·2020-07-28 11:42

阿里云大数据计算服务MaxCompute（下篇）

关于阿里云大数据计算服务MaxCompute的详细内容：阿里云大数据计算服务MaxCompute使用教程（MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案
云计算小百科·2020-07-28 05:40

阿里云大数据计算服务MaxCompute（下篇）

关于阿里云大数据计算服务MaxCompute的详细内容：阿里云大数据计算服务MaxCompute使用教程（MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案
云计算小百科·2020-07-27 23:42

Maxcompute sql 练习题

为方便大家操作，特提供相关的MaxCompute建表语句和数据文件（emp表数据文件，dept表数据文件），您可自行在MaxCompute项目上创建表并上传数据。
hibernatekangdx·2020-07-27 23:16

ODPS系列（1）：初识ODPS

注：MaxCompute，原名ODPS，出于使用习惯考虑，以下用ODPS代指MaxCompute，即阿里巴巴大数据计算服务。一、为什么选择ODPS？1．选择ApacheHadoop？
晓阳的数据小站·2020-07-27 22:08

大数据全攻略：10年老兵带你看尽MaxCompute大数据运算挑战与实践

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
dicyt·2020-07-27 21:36

阿里云大数据利器Maxcompute学习之--窗口函数实现分组TopN

原文地址看到很多用户经常会问如何对分组内进行排序。官方文档：https://help.aliyun.com/document_detail/34994.html?spm=5176.doc27891.6.611.Q1bk3j例如需求：1.odps里面能否做排名操作，比如一个表里面有用户ID和金额两个字段，用金额大小排序的话，我如何计算用户的排名（金额最大的是第一名，以此类推）2.计算每个金融产品的最
chipo1143·2020-07-27 20:51

【大数据】odps数据迁移方式

1）Tunnel批量数据通道MaxComputeTunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。
binggetong·2020-07-27 19:46

大数据阿里云工具之DataWorks（一）

DataWorks支持多种计算和存储引擎服务，包括离线计算MaxCompute、开源大数据引擎E-MapRedu
法海不爱你·2020-07-27 18:48

MaxCompute常用语句汇总(更新ing)

点击查看全文大数据计算服务(MaxCompute，原名ODPS，产品地址：https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。
Mc顽固份子·2020-07-27 15:36

阿里云 MaxCompute 计算长尾问题优化

文章目录一、前言二、长尾的原因三、优化思路与解决方案3.1GroupBy长尾3.2countdistinct长尾3.3动态分区长尾3.4Join长尾一、前言长尾问题是分布式计算里最常见的问题之一，也是典型的疑难杂症。究其原因，是因为数据分布不均，导致各个节点的工作量不同，整个任务就需要等最慢的节点完成才能完成。处理这类问题的思路就是把工作分给多个Worker去执行，而不是一个Worker单独抗下最
云 祁·2020-07-27 14:39

MaxCompute基础开发环境搭建

大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。这篇文章来对MaxCompute的基础开发环境进行搭建，来为开发提供基础。
一天_pika·2020-07-27 14:30

SQL_ODPS-MaxCompute-odpscmd-tunnel-数据上传下载

SQL_ODPS-MaxCompute-odpscmd-tunnel-数据上传下载1.rd行分割-fd列分割-charset编码--建临时表odps@work_test_1>createtableifnotexistst_rd_fd
in_·2020-07-27 14:56

Maxcompute ODPS upload（主要看标红指令）

Lastlogin:TueOct2318:36:10onttys001xuqiongdeMacBook-Pro:~xuqiong$java-versionjavaversion"1.8.0_191"Java(TM)SERuntimeEnvironment(build1.8.0_191-b12)JavaHotSpot(TM)64-BitServerVM(build25.191-b12,mixedmo
有石为玉·2020-07-27 13:29

MaxCompute预付费资源监控工具-CU管家使用教程

MaxCompute管家使用前提1、用户购买了MaxCompute预付费CU资源，60CU以上的用户（备注：CU过小无法发挥计算资源及管家的优势）。
weixin_34376986·2020-07-27 13:04

MaxCompute如何对SQL查询结果实现分页获取

由于MaxComputeSQL本身不提供类似数据库的select*fromtablelimitxoffsety的分页查询逻辑。但是有很多用户希望在一定场景下能够使用获取类似数据库分页的逻辑，对查询结果进行分页/分批获取结果，本文将介绍几种方法，来实现上述场景。1.借助row_number()函数作为递增唯一标识进行过滤查询select*from(selectrow_number()over()as
weixin_33932129·2020-07-27 13:04

阿里云大数据计算服务MaxCompute命令行工具——odpscmd的操作使用

摘要：在MaxCompute生态中，命令行工具究竟处于什么样的位置？它又发挥着什么样的作用？能够帮助开发者如何更好使用MaxCompute？
weixin_33859231·2020-07-27 13:28

MaxCompute计算长尾问题

长尾问题是分布式计算里最常见的问题之一，也是典型的疑难杂症。究其原因，是因为数据分布不均，导致各个节点的工作量不同，整个任务就需要等最慢的节点完成才能完成。处理这类问题的思路就是把工作分给多个Worker去执行，而不是一个Worker单独抗下最重的那份工作。本文希望就平时工作中遇到的一些典型的长尾问题的场景及其解法做一些分享。JoinJoin能出现长尾，是因为Join时出现某个Key里的数据特别多
weixin_33827590·2020-07-27 13:56

阿里云-在线教育学生数据分析(RDS,Maxcompute,dataWorks,QuickBI)

目标:DataIDE完成数据处理，QuickBI完成数据前台展示教育平台功能：在线视频观看，作业提交，形成性考核分析：要了解学生学习情况和学习状态。分析学习行为，展现学习情况数据分析维度：平台健康度：每日登陆人数(用户登陆信息表)，活跃度用户习惯分析：分时段学习人数(当日人均登录时常表)，学习次数，平均学习时长(当日人均登录时常表)课程质量评估：用户活跃度（登录且学习，测验了），学习行为次数(用户
Share-Get·2020-07-27 13:21

【阿里云】企业自建 Hadoop 迁移至 MaxCompute 最佳实践学习

文章目录一、前言二、适用场景三、技术架构四、方案优势五、自建Hadoop集群规划5.1Hadoop集群安装规划5.2创建VPC网络5.3批量创建ECS实例5.4初始化配置5.5配置hadoop各ECS之间的无密钥登录5.6loggen操作5.7Kafka操作5.8Zookeeper操作5.9Hadoop操作5.10Flume操作5.11MySQL操作5.12Hive操作5.13Hbase操作5.1
云 祁·2020-07-27 11:30

MaxCompute SQL大数据公开数据集实战

MaxCompute公开数据集简介目前阿里云MaxCompute已经免费向全部用户开放了多种公用数据集，包括：股票价格数据房产信息影视及其票房数据TPC-DS数据集这些公开数据现已免费开放给用户，并已经完成了数据分析前序较复杂的数据获取
一天_pika·2020-07-27 11:40

SQL_ODPS-MaxCompute-odpscmd-1.0

dSQL_ODPS-MaxCompute-odpscmd-1.0注：这篇每块代码按顺序操作每块可按顺序看目的：熟悉一下日志（一）简单的语句操作普通表--复制表结构odps@work_test_1>createtablet_denile
in_·2020-07-27 11:59

datax的安装与使用

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
别先生·2020-07-17 20:00

DataX 是一个异构数据源离线同步工具

致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute、HBase、F
gnicky·2020-07-15 23:43

ACP大数据笔记

spm=a2c4g.11186623.6.541.oiqbz7MaxCompute支持SQL、MapReduce、Graph等计算类型及MPI迭代类算法。
Aretlas恺撒·2020-07-15 22:18

阿里云大数据组件的基本介绍

目录阿里云大数据组件的基本介绍1MaxCompute1.1简介1.2分布式1.3计算模型1.4系统架构1.5数据通道2Tunnel2.1场景2.2命令3DataHub3.1简介3.2功能
Song_MJ·2020-07-15 11:17

大数据之路~第十二章 元数据

1元数据概述1.1元数据定义阿里常见的技术元数据：1分布式计算系统存储元数据，如MaxCompute表、列、分区等信息。
yaofangxugo·2020-07-15 11:00

阿里云大学精品课程：深入理解阿里云数加大数据开发套件Data IDE-基本知识

阿里云大学精品课程：深入理解阿里云数加大数据开发套件DataIDE-基本知识写在最前面>>>进入了解更多>>>阿里云数加·MaxCompute大数据计算服务.基于阿里云数加·MaxCompute构建大数据仓库的开发工具利器
weixin_34348174·2020-07-15 05:43

阿里云大数据ACP认证知识点梳理9——产品特点（DATA WORKS） ...

DataWorks（数据工场）基于MaxCompute作为核心的计算、存储引擎，提供了海量数据的离线加工分析、数据挖掘的能力.使用DataWorks（数据工场），可对数据进行数据传输、数据转换等相关操作
weixin_33967071·2020-07-15 04:25

揭秘阿里云EB级大数据计算引擎

内容来源：本文内容由阿里大数据计算服务（MaxCompute）团队投稿提供。IT大咖说经授权发布，转载请标明出处。
weixin_33785972·2020-07-15 04:32
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他