ODPS 第8页

批量数据的聚合以及groupby实现

大家一定对sql非常熟悉，关系型数据库自不必说，现在越来越多的大数据系统也都支持sql，比如hive，odps,presto，phoenix（hbase），galaxy以及cep（esper）等都支持sql

年轻的海员·2020-08-10 13:41

datax详解以及案例

dataX概览1.1DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS

weidajiangjiang·2020-08-10 07:19

阿里天池odps_SQL查看更多数据

一不小心就入了天池的“坑”，感觉天池比赛是你机器学习数据挖掘理论结合实际很好的平台。但是缺点就是入门比较麻烦，最好有个大神或者最起码做过几次比赛的人能带你，不然入门真的很麻烦。可惜天池比赛上有很多常年参加的大牛选手都喜欢和相同水平的人组队（可以理解），而且他们相互加过QQ，组群讨论，所以想进他们的圈子还是很难的。不说那么多了，赶快进入正题。在阿里比赛的时候一般会有初赛和复赛，复赛会在阿里自己的平台

芳草碧连天lc·2020-08-08 17:32

SQL语句生成随机数的方法

SQL中的随机函数rand()，属于SQLServer，我实在MySQL、Oracle和ODPS中进行的测试，请自行甄别，有的没有这个函数比较CEILING和FLOORCEILING函数返回大于或等于所给数字表达式的最小整数

_Johnny_·2020-08-07 22:39

从读取数据数据预处理到卡方检验

fromodps.df.backendsimportpdfromsklearn.decompositionimportPCAfromsklearn.feature_selectionimportSelectKBest

小曦1024·2020-08-07 22:55

划分数据集，实现决策树，评价得分，可视化

决策树实现importosimportpydotplusfromodps.df.backendsimportpdfromsklearnimporttreefromsklearn.model_selectionimporttrain_test_splitfromsklearn.treeimportDecisionTreeClassifierdata

小曦1024·2020-08-07 11:34

DataX的使用

DataX使用指南1、DataX3.0概览DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能

S无影者·2020-08-05 19:17

MaxCompute - ODPS重装上阵　第二弹 - 新的基本数据类型与内建函数

摘要：MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。

阿里云云栖号·2020-08-04 22:57

数据探查-ODPS大数据引擎计算不同格式的日期时间类型的极值

思路：SQL实现，正则表达式匹配到不同格式然后将其转为同一种格式的日期时间进行比较例如：将所有的日期格式转换为yyyyddMMhhmmsss的格式#取最大值selecttmp1.birthday,tmp1.real_birthdayfrom(selectregexp_replace(tmp.birthday,"[-|/|.|\\s|:|年|月|日]","\\1",0)asbirthday,real

Mr_YDK·2020-08-04 22:10

【大数据干货】数据进入阿里云数加-大数据计算服务MaxCompute（原ODPS）的N种方式...

免费开通大数据服务：https://www.aliyun.com/product/odps想用阿里云大数据计算服务（MaxCompute），对于大多数人首先碰到的问题就是数据如何迁移到MaxCompute

weixin_34409703·2020-08-04 20:31

阿里云odps介绍

https://help.aliyun.com/product/27797.htmlmaxCompute(大数据计算服务，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。

weixin_33739541·2020-08-04 20:48

使用odps 和 hive 后对数据库与数据仓库概念的理解

暑假实习使用了两个月的odps，回学校看了下hadoop的hive，让我对数据库与数据仓库增进了一些理解，记录下来。简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。

weixin_30682127·2020-08-04 19:47

阿里云大数据计算服务MaxCompute（远ODPS）

阿里云大数据计算服务MaxCompute（原ODPS）概要使用场景海量数据，实时性要求不高，不具备数据库的特征，如事务、主键约束、索引等保留字sql语句的关键字分区表创建表的时候创建分区列，提高sql效率类型转换显式转换和隐式转换显式转换

nkym61·2020-08-04 16:04

大数据下的数据问题-从很远很远的历史开始谈未来，谈谈阿里云ODPS的SQL复杂度，谈设计新的数据库，最终？

文章要谈大数据下的数据问题-从很远很远的历史开始谈未来，谈谈阿里云ODPS的SQL复杂度，mapreduce，谈设计新的数据库，人工智能，。。。。好多东西。其实写的时候也不知道本文的目的是啥？

jiumajia·2020-08-04 15:01

MaxCompute（原ODPS）开发入门指南——数据上云篇

阅读全文MaxCompute（原ODPS）开发入门指南——数据上云篇写在最前面>>>进入了解更多>>>阿里云数加·MaxCompute大数据计算服务.根据《MaxCompute（原ODPS）开发入门指南

chuhan3075·2020-08-04 13:05

Oracle - ODPS数据类型转换

原文地址ODPS数据类型：类型描述取值范围Bigint8字节有符号整型。请不要使用整型的最小值(-9223372036854775808)，这是系统保留值。

chipo1143·2020-08-04 13:01

ODPS的SQL

ODPS中不直接支持update某条记录。查找实现方法的时候，找到了下面的方法。update/deleteodps没有update也没有delete。

brandyzhaowei·2020-08-04 13:58

阿里云大数据平台的实操：ODPS的SQL语句

大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案。

民谣书生·2020-08-04 12:52

Oracle -阿里云ODPS数据类型转换

ODPS数据类型：类型描述取值范围Bigint8字节有符号整型。请不要使用整型的最小值(-9223372036854775808)，这是系统保留值。

精打细算·2020-08-04 11:23

mysql忘记密码Macbook以及拾起遗忘的技术，脱离odps

参考博客https://www.jianshu.com/p/c3b7db87b061MySQL的官网http://www.mysql.com/downloads/,在页面中会看到“MySQLCommunityServer”下载后安装，⚠️最后一步有弹出框提示root账号默认的密码，需要记住，如果没记，需要修改root的密码1、系统偏好设置->最下边点MySQL，在弹出页面中，关闭服务，但是有时候无

东方陨·2020-08-04 06:34

每个人都应该知道的25个大数据术语

让我们开始吧：1.MaxCompute（原名ODPS）。

weixin_34067102·2020-08-04 05:36

datax的安装与使用

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS

小段大帅·2020-08-04 02:19

MaxCompute常用语句汇总

一、MaxComputeMaxCompute：大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。

热腾腾的Java·2020-08-02 23:22

大数据Clouder专项技能认证课程：Quick BI企业报表制作

第1步：数据集成多数据源支持：1、来自云数据源：RDS、HybridDB(Greenplum)、MaxCompute(ODPS)、AnalyticDB(ADS)等2、来自ECS自建数据库：Mysql、SqlServer

阿里云大学百科·2020-08-01 13:26

Icebound and Sequence（非互质逆元快速乘法）or（矩阵快速幂）

Iceboundhatesmath.ButImplovesmath.Oneday,Impgaveiceboundaproblem.Theproblemisasfollows.S=(∑ni=1qi）modpS

cwb丶·2020-08-01 11:18

阿里云大数据计算服务MaxCompute（下篇）

关于阿里云大数据计算服务MaxCompute的详细内容：阿里云大数据计算服务MaxCompute使用教程（MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案

云计算小百科·2020-08-01 10:23

阿里大数据竞赛日记

2014.4.24修改Logistic的特征为16个，即近3天的四个行为、近一周的四个行为、近半月的四个行为、近一月的两个行为，近两月的两个行为2014.4.25尝试使用ODPS平台，学习SQL，完成预处理的程序

ZeroClock·2020-08-01 07:55

阿里云开源离线同步工具DataX3.0介绍

阿里云开源离线同步工具DataX3.0介绍一.DataX3.0概览DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase

weixin_34393428·2020-08-01 04:59

阿里云大数据计算服务MaxCompute（上篇）

关于阿里云大数据计算服务MaxCompute的详细内容：阿里云大数据计算服务MaxCompute使用教程（MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案

云计算小百科·2020-07-31 23:35

Quick BI企业报表制作

第1步：数据集成多数据源支持：1、来自云数据源：RDS、HybridDB(Greenplum)、MaxCompute(ODPS)、AnalyticDB(ADS)等2、来自ECS自建数据库：Mysql、SqlServer

阿里云大学百科·2020-07-31 21:46

Durid的SQL解析器浅释

目前对各种数据库的支持如下：数据库DMLDDLodps完全支持完全支持mysq

珞石007·2020-07-31 21:49

PyODPS 中使用 Python UDF

摘要：PyODPS中使用PythonUDF包含两方面，一个是直接使用，也就是在MaxComputeSQL中使用；一个是间接的方式，也就是PyODPSDataFrame，这种方式你不需要直接写PythonUDF

猫耳呀·2020-07-31 21:46

MaxCompute（原ODPS） MapReduce常见问题解答

本文用到的阿里云数加－大数据计算服务MaxCompute产品地址：https://www.aliyun.com/product/odps1.作业出现ClassNotFoundException和NoClassDefFoundError

weixin_34321753·2020-07-30 17:44

环境篇：数据同步工具DataX

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能

咘雷扎克·2020-07-30 17:00

【干货分享】大数据计算服务MaxCompute使用教程

MaxCompute简介大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。

云计算小百科·2020-07-30 14:40

fastjson使用(九) -- JSONPath使用

关于JSONPath在JSON中的使用，在1.2.3的时候，官方support.odps下

爱在彩虹·2020-07-30 09:15

ODPS UploadSample

packagecom.alibaba.odps.tunnel.samples;importjava.io.IOException;importjava.util.Date;importcom.alibaba.odps.tunnel.Column

zxq1069897836·2020-07-29 03:09

odps（hive）上进行join操作的三种方式

最近项目上用到了阿里云大数据平台的数据仓库，很多离线计算和挖掘工作都是基于odps来实现，这其中必不可少的工作就是表与表之间的碰撞。

zx8167107·2020-07-29 03:26

开放数据处理服务ODPS_SQL一些基础知识

显式类型转换将double类型转为bigint类型时，小数部分会被截断，例如：cast(1.6asbigint)=1；满足double格式的string类型转换为bigint时，会先将string转换为double，再将double转换为bigint，因此，小数部分会被截断，例如cast(“1.6”asbigint)=1；满足bigint格式的string类型可以被转换为double类型，小数点后

_sandbar_·2020-07-29 02:42

odps基础积累-创建表

场景:基础知识积累与查询目的:纯粹基础知识积累,便于后续查询,由于互联网产品更新迭代非常快,记录的知识可能只适合当下一段时间,所以,官网www.aliyun.com有最新最权威文档.1.概念ODPS(OpenDataProcessingService

zhangbeizhen18·2020-07-29 02:34

odps随笔01

odps目前只开放了sql功能。不过哪怕是mr功能开放了后，sql应该还是最主要的开发方式。sql相对而言，开发难度低，容易上手，调试方便，实在是开发测试必备工具。今天我们来聊聊odps的sql。

zzzzzzzzzzzzzzzzzxs·2020-07-29 02:56

MaxCompute导入数据

spm=a2c4g.11186623.6.590.709b5791JljgYi具体过程如下：odps@YITIAN_BJ_MC>tunnelupload/Users/yitian/Documents/MaxCompute

一天_pika·2020-07-29 01:36

MaxCompute数据开发快速入门

命令的运行可以选用odpscmd客户端，也可以使用IDEAMaxComputeStudio（该工具的使用见：MaxComputeStudio

一天_pika·2020-07-29 01:36

ODPS 不同格式的日期比较大小（取极值）

思路：SQL实现，正则表达式匹配到不同格式然后将其转为同一种格式的日期时间进行比较例如：将所有的日期格式转换为yyyyddMMhhmmsss的格式这里是在odps的写的实例，用到正则匹配和正则替换#取最小值

Mr_YDK·2020-07-29 01:28

这样才能正确解锁MaxCompute客户端

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。

Ta oo·2020-07-29 00:12

ODPS 常用命令汇总

1.切换工程：useprojectName;2.查看工程下的所有表：listtables;3.查看表的分区：lspartitionstableName;4.查找分区的数据：select*fromtableNamewherepartitionName=partitionValue;5.查看表结构：desctableName;6.get_json_object(src,value):selectpoi

wuwh无非·2020-07-29 00:43

Odps使用过程中碰到的问题。

201603311944245892b70a006de4d2,ErrorCode=InvalidPartitionSpec,ErrorMessage=Thespecifiedpartitionspecisnotvalid.atcom.aliyun.odps.tunnel.TableTunnel