Odps

阿里ODPS架构与SQL过程

ODPS架构图整个ODPS分为1.客户端层 本层体现为用户使用的客户端：java/pythonsoftdevelopkits、commandlineinterface、IntegratedDevelopmentEnvironment
geekcug·2020-07-28 02:37

【ODPS】本地数据库数据批量上传到ODPS中

利用阿里云ODPS可以批量将数据库中数据上传到ODPS的数据表中，然后进行大数据处理。本次实例使用的是mysql数据库。
蒙奇娣龙·2020-07-28 01:49

阿里云大数据计算服务MaxCompute（下篇）

关于阿里云大数据计算服务MaxCompute的详细内容：阿里云大数据计算服务MaxCompute使用教程（MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案
云计算小百科·2020-07-27 23:42

ODPS系列（1）：初识ODPS

注：MaxCompute，原名ODPS，出于使用习惯考虑，以下用ODPS代指MaxCompute，即阿里巴巴大数据计算服务。一、为什么选择ODPS？1．选择ApacheHadoop？
晓阳的数据小站·2020-07-27 22:08

大数据全攻略：10年老兵带你看尽MaxCompute大数据运算挑战与实践

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
dicyt·2020-07-27 21:36

阿里云大数据利器Maxcompute学习之--窗口函数实现分组TopN

spm=5176.doc27891.6.611.Q1bk3j例如需求：1.odps里面能否做排名操作，比如一个表里面有用户ID和金额两个字段，用金额大小排序的话，我如何计算用户的排名（金额最大的是第一名
chipo1143·2020-07-27 20:51

【大数据】odps数据迁移方式

1、按迁移工具分类一共分为2种：Tunnel批量数据通道、DataHub实时通道。1）Tunnel批量数据通道MaxComputeTunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。目前Tunnel仅支持表（不包括视图View）数据的上传和下载。MaxCompute提供的数据上传和下载工具即是基于TunnelSDK编写的。分类：阿里云数加产
binggetong·2020-07-27 19:46

阿里云ODPS常用命令总结

CreateTable命令格式如下：CREATETABLE[IFNOTEXISTS]table_name//表名与列名均无所谓大小写[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTITIONEDBY(col_namedata_type[COMMENTcol_comment],...)]//分区表：根据各
民谣书生·2020-07-27 16:57

MaxCompute常用语句汇总(更新ing)

点击查看全文大数据计算服务(MaxCompute，原名ODPS，产品地址：https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。
Mc顽固份子·2020-07-27 15:36

aliyun_odps数仓常用命令总结

odps_cmd用户和权限管理-------------向项目空间中添加用户:adduserusername;eg:[email protected]查看用户：listusers;删除用户：removeuserusername
csdngyb·2020-07-27 14:46

MaxCompute基础开发环境搭建

大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。这篇文章来对MaxCompute的基础开发环境进行搭建，来为开发提供基础。
一天_pika·2020-07-27 14:30

BI_ODPS-D2-离线数仓-8-QuickBI展示

BI_ODPS-D2-离线数仓-8-QuickBI展示（上周学会使用句号）对RDS的gmall_adb数据库中的表做结果展示。
in_·2020-07-27 14:28

SQL_ODPS-MaxCompute-odpscmd-tunnel-数据上传下载

SQL_ODPS-MaxCompute-odpscmd-tunnel-数据上传下载1.rd行分割-fd列分割-charset编码--建临时表odps@work_test_1>createtableifnotexistst_rd_fd
in_·2020-07-27 14:56

ODPS_数据倾斜查看key分布的通用方案_200628

产生数据倾斜的通用方案知道数据倾斜了，但无法获知数据倾斜的key信息，可以使用以下方法查看数据倾斜。假如select*fromtbajointbbontba.id=tbb.id;产生了数据倾斜可以执行如下语句来查看key的分布：selectleft.key,left.cnt*right.cntfrom(selectkey,count(*)ascntfromtbagroupbykey)asleftj
in_·2020-07-27 14:56

SQL_ODPS-D2-离线数仓-7-临时查询

SQL_ODPS-D2-离线数仓-7-临时查询包括odsdwddwsads数仓的建表语句以及手动导入数据语句test--odpssql--********************************
in_·2020-07-27 14:56

Maxcompute ODPS upload（主要看标红指令）

Lastlogin:TueOct2318:36:10onttys001xuqiongdeMacBook-Pro:~xuqiong$java-versionjavaversion"1.8.0_191"Java(TM)SERuntimeEnvironment(build1.8.0_191-b12)JavaHotSpot(TM)64-BitServerVM(build25.191-b12,mixedmo
有石为玉·2020-07-27 13:29

阿里云大数据计算服务MaxCompute命令行工具——odpscmd的操作使用

在本文中，阿里巴巴计算平台产品专家曲宁将通过一个完整简单的小例子为大家介绍MaxCompute命令行工具odpscmd的使用以及其所具有的各种能力。直播视频回看，戳这里！
weixin_33859231·2020-07-27 13:28

odps命令

字段类型，ODPS数据类型（string、bigint、double、datetime、boolean）。描述，字段详细描述。
subo789·2020-07-27 13:11

odps结合mysql统计

需求：结合odps对日志就行统计分析并将结果导入到mysql中解决方法：结合odps命令行odpscmd和mysqldump、mysql以及contab完成该工作。Shell：#!
SunShine2025·2020-07-27 13:01

fetch result encounter exception: ODPS-0420061错误

在maxcomputer中查看表出现了：fetchresultencounterexception:ODPS-0420061:InvalidparameterinHTTPrequest-Fetcheddataislargerthantherenderinglimitation.Pleasetrytoreduceyourlimitsizeorcolumnnumber
空气城堡·2020-07-27 12:35

odps窗口函数

统计量：count,sum,avg,max/min,median,stddev,stddev_samp排名：row_unmber,rank,dense_rank,percent_rank其他类：lag,lead,cluster_sample--------------------基本用法;把数据按照一定条件分成多组称为开窗，每个组称为一个窗口partitionby部分用来指定开窗的列分区列的值相同
csdngyb·2020-07-27 11:27

SQL_ODPS-MaxCompute-odpscmd-1.0

dSQL_ODPS-MaxCompute-odpscmd-1.0注：这篇每块代码按顺序操作每块可按顺序看目的：熟悉一下日志（一）简单的语句操作普通表--复制表结构odps@work_test_1>createtablet_denile
in_·2020-07-27 11:59

datax的安装与使用

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
别先生·2020-07-17 20:00

阿里云开源离线同步工具DataX3.0简单介绍

介绍：DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能方法一、
朝闻道-夕死可矣·2020-07-16 00:25

dataX 阿里云开源离线同步工具

dataX阿里云开源离线同步工具1、Datax概要DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
陈洋洋chd·2020-07-15 17:21

DataX3.0离线同步工具介绍

DataX3.0离线同步工具介绍一.DataX3.0概览DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP
Ch3n·2020-07-15 16:59

odps sql 窗口函数基础

窗口函数是一个查询利器，平时遇到棘手的问题，90%能够用窗口函数解决。本篇内容主要介绍比较常用的窗口函数，看完这篇文章，基本能够解决大部分查询问题本篇主要内容如下本篇采用的数据集是titanic的train.csv数据，截取前几行如下：字段含义passengerididsurvived0死亡1获救pclass船舱等级sex性别age年龄fare船票费用1.排序函数题目：不同性别下年龄最大的人SEL
数据会说话·2020-07-15 10:50

odps sql 删除、更新、插入数据

ODPS不支持直接通过delete语句删除数据假设有表a有字段col_1col_2col_3col_4dsds类型为string,已有数据20191201到20191231若表a为非分区表TRUNCATE
数据会说话·2020-07-15 10:50

odps sql 日期函数处理

日期处理to_date命令格式：to_date(string,format)用途：将一个字符串按照format指定的格式转成日期值。SELECTto_date('20200401','yyyymmdd');>2020-04-0100:00:00to_char命令格式：to_char(datetime,format)用途：将日期类型按照format指定的格式转成字符串selectTO_CHAR(TO
数据会说话·2020-07-15 10:18

odps sql 字符处理函数

字符类型转换类型转换涉及隐式转化和显示转化隐式转换显式转换将DOUBLE类型转为BIGINT类型时，小数部分会被截断，例如cast(1.6asBIGINT)=1。满足DOUBLE格式的STRING类型转换为BIGINT时，会先将STRING转换为DOUBLE，再将DOUBLE转换为BIGINT，因此，小数部分会被截断，例如cast(“1.6”asBIGINT)=1。满足BIGINT格式的STRIN
数据会说话·2020-07-15 10:18

odps sql 常用正则表达式

regexp_substr命令格式：regexp_substr(source,pattern[,start_position[,nth_occurrence]])返回值：source中匹配pattern指定模式的子串，任一输入参数为NULL返回NULL。参数说明：source:string类型，搜索的字符串。pattern:string类型常量，要匹配的模型，pattern为空串时抛异常。star
数据会说话·2020-07-15 10:18

mysql中类似oracle/odps中to_char()、to_date的同款方法date_format()方法的使用

mysql中类似to_char()to_date()函数mysql日期和字符相互转换方法date_format(date,’%Y-%m-%d’)-------------->oracle/dataworks中的to_char();str_to_date(date,’%Y-%m-%d’)-------------->oracle/dataworks中的to_date();%Y：代表4位的年份%y：代
学无止境兮君难耐·2020-07-15 07:19

阿里云大学精品课程：深入理解阿里云数加大数据开发套件Data IDE-基本知识

DataIDE-基本知识写在最前面>>>进入了解更多>>>阿里云数加·MaxCompute大数据计算服务.基于阿里云数加·MaxCompute构建大数据仓库的开发工具利器DataIDE《MaxCompute（原ODPS
weixin_34348174·2020-07-15 05:43

什么是阿里云数加大数据计算服务MaxCompute?

免费开通大数据服务：https://www.aliyun.com/product/odpsMaxCompute简介大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案
weixin_33755649·2020-07-15 04:49

告别1人年，教你21天搭建推荐系统！

免费开通大数据服务：https://www.aliyun.com/product/odpshref="https://www.aliyun.com/product/odps"target="_blank
weixin_33756418·2020-07-15 04:49

使用阿里云ODPS之点滴

趁着这次做网聚宝搜索服务化这个项目，体验了一下阿里云的重量级云产品ODPS，也就是传说中的云梯2。
iteye_10738·2020-07-14 12:20

阿里云产品分析（5）：阿里云大数据处理工具DPC可用性分析与案例

阿里云大数据处理工具DPC可用性分析与案例采云间（DataProcessCenter，简称DPC）是基于开放数据处理服务（ODPS）的DW/BI的工具解决方案。
dreamcode·2020-07-14 04:16

算法竞赛专题解析（10）：DP优化(1)--四边形不等式

    作者签名书如有建议，请加QQ群：567554289，或联系作者QQ：15512356文章目录1理论背景2应用场合3四边形不等式优化4四边形不等式定义和单调性定义5四边形不等式定理（Knuth-YaoDPSpeedupTheorem
罗勇军·2020-07-14 03:57

阿里云MaxCompute（大数据）公开数据集---带你玩转人工智能

而现在阿里云的任何用户都可以通过基于大数据计算服务[MaxCompute](https://www.aliyun.com/product/odps)的数据工场[DataWorks](https://data.aliyun.com
weixin_34336526·2020-07-14 03:50

阿里云大数据ACA考试-笔记（三）

介绍产品概述提供全面托管的工作流服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索特点：全面托管的调度：具有强大的调度能力，提供完全托管的服务（任务到了指定时间自动调动）多种任务类型：数据同步，odpssql
didadu·2020-07-14 01:44

【云服务】利用MaxCompute快速处理大数据

MaxCompute大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
52it.club·2020-07-13 22:02

阿里大数据平台MaxCompute初窥

这个产品解决了什么问题概况MaxCompute，旧名ODPS，是阿里的一款离线计算引擎。底层基于阿里飞天、伏羲等阿里云基础套件，MaxCompute专注于离线计算部分。
远处的一只猫·2020-07-13 08:32

海量数据实时在线分析Quick BI入门

教学课程：QuickBI入门教程（课程主要介绍QuickBI的基础用法）QuickBI支持众多种类的数据源，既可以连接MaxCompute（ODPS）、RDS、AnalyticDB、HybridDB（Greenplum
云计算小百科·2020-07-13 03:59

MySQL/RDS数据如何同步到MaxCompute之实践讲解

摘要：大数据计算服务（MaxCompute，原名ODPS）是阿里云提供的一种快速、完全托管的EB级数据仓库解决方案。
zhaowei121·2020-07-10 14:34

完成数据的打通-豌豆荚被阿里巴巴收购后的168天

免费开通大数据服务：https://www.aliyun.com/product/odps曾经表示“要做伟大的公司”的豌豆荚在今年7月被阿里收购了。这家公司巅峰时期，估值曾高达10亿美元。
weixin_34310369·2020-07-10 08:47

阿里云通用计算平台诚聘人才啦！

一、业务及平台介绍阿里巴巴通用计算平台(MaxCompute，原名ODPS)是阿里巴巴提供的一种安全可靠、高效能、低成本、从GB到EB级别按需弹性伸缩的大数据计算服务。
weixin_33849215·2020-07-10 07:09

从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL

SQL基础有这些操作（按照执行顺序来排列）：fromjoin(leftjoin,rightjoin,innerjoin,outerjoin,semijoin)wheregroupbyselectsumdistinctcountorderby如果我们能理解mapreduce是怎么实现这些SQL中的基本操作的，那么我们将很容易理解怎么优化SQL写法。接下来我们一个一个的谈：from这个操作是在解析过程
weixin_33720078·2020-07-08 15:01

创建UDF的简单介绍

阅读原文请点击摘要：UDF(UserDefinedFunction),MaxCompute(原ODPS)里的东西,之前经常听到开发同学讲,自己一直没有去接触,最近因为项目需要,调研了一下UDF,本文简单地介绍了一下如何新建工程
阿里云_云栖社区·2020-07-08 10:33

druid连接池 driver-class-name 自动识别列表

前缀DriverCLass描述信息jdbc:odpscom.aliyun.odps.jdbc.OdpsDriverjdbc:derbyorg.apache.derby.jdbc.EmbeddedDriverjdbc
JAVA探索·2020-07-08 07:08

使用DataX进行数据同步

ODPSWriter插件适合于TB,GB数量级的数据传输，如果需要传输PB量级的数据，可以选择dttask工具;工具下载下载DataXwgethttp://datax-opensource.oss-cn-hangzhou.aliyuncs.com
dayday_baday·2020-07-07 18:35
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他