Odps

2.2 阿里云ODPS常用命令总结

CreateTable命令格式如下：CREATETABLE[IFNOTEXISTS]table_name//表名与列名均无所谓大小写[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTITIONEDBY(col_namedata_type[COMMENTcol_comment],...)]//分区表：根据各
旺达哒哒哒·2019-12-19 17:54

关于MaxCompute的基本了解

大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。
云计算小百科·2019-12-15 19:26

MaxCompute访问TableStore(OTS) 数据

免费开通大数据服务：https://www.aliyun.com/product/odps前言MaxCompute作为阿里云大数据平台的核心计算组件，承担了集团内外大部分的分布式计算需求。
猫耳呀·2019-12-13 17:54

海量数据实时在线分析QuickBI

教学课程：QuickBI入门教程（课程主要介绍QuickBI的基础用法）QuickBI支持众多种类的数据源，既可以连接MaxCompute（ODPS）、RDS、AnalyticDB、HybridDB（Greenplum
xmvip01·2019-11-30 02:16

RODPS安装过程中rjava包无法加载

可能是万恶的r自动更新导致之前的函数、包不可用，重新踏上安装RODPS的坑前提：macOS10.12.6RStudioversion1.1.456R3.5.1安装RODPS中，出现rjava包无法安装情况
丛小贱·2019-11-29 07:43

PyODPS学习：使用DataFrame实现SQL的IF判断

阅读原文请点击摘要：使用DataFrame实现SQL的IF判断在编写SQL代码时，可能会遇到这种场景(假如有两个字段column1，column2，当字段1小于某个值时，字段2等于0).1.sql语句可以使用CASEWHEN：SELECTcolumn1,(CASEWHENcolumn1<10THEN0ELSEcolumn2END)AScolumn2FROMtabelName;2.使用IF语句SEL
阿里云_云栖社区·2019-11-04 15:04

跨方向，阿里数据研发九面面经（内推转校招）+书籍推荐

我投递是数据岗位，对于之前我主要搞机器人的我来讲，基本处于什么的都不会的状态，做数据的一般都知道，需要用什么比如odps，hadoop，flink等等工具，然后做业务需要范式建模，纬度建模等等。我
牛客网·2019-11-02 09:58

MaxCompute问答整理之9月

在使用ODPS建表时，有可能会建出几千张表，那我们寻找需要的表时就需要知道表名称，可以在数据地图中查看表，也可以使用Pyodps批量获取表名称。
大涛学长·2019-10-23 19:26

datax简介及举例

dataX概览1.1DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS
C_time·2019-09-19 08:59

关于通过java调用datax,返回任务执行的方法

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
沉梦杨志·2019-08-28 10:49

阿里巴巴java开发手册 MYSQL 规约

MYSQL规约(一)建表规约【强制】表达是与否概念的字段，必须使用is_xxx的方式命名，数据类型是unsignedtinyint（1表示是，0表示否），此规则同样适用于odps建表。
Assassinhanc·2019-08-23 10:03

Java通过python命令执行DataX任务的实例

1.安装datax2.安装python并配置环境变量3.把mysql2odps.json文件放在datax安装目录的job文件夹下4.运行Test.java测试mysql2odps.json文件：{"job
王绍桦·2019-08-22 14:55

Windows7环境下Datax源码编译

简介DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
wzl_csdn_001·2019-08-21 12:45

在MaxCompute中利用bitmap进行数据处理

importcom.aliyun.odps.OdpsExce
阿里云云栖社区·2019-08-05 00:00

使用 DataX 增量同步数据

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
郭龙_Jack·2019-07-18 11:29

百亿级数据处理优化

我们的数仓基于阿里的ODPS，它与Hive类似，所以这篇文章也适用于使用Hive优化。
渡码·2019-07-16 08:00

DataX使用记录

DataX使用记录DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS
cigg153·2019-06-29 19:27

PyODPS DataFrame 处理笛卡尔积的几种方式

PyODPS提供了DataFrameAPI来用类似pandas的接口进行大规模数据分析以及预处理，本文主要介绍如何使用PyODPS执行笛卡尔积的操作。笛卡尔积最常出现的场景是两两之间需要比较或者运算。
阿里云云栖社区·2019-06-13 00:00

PyODPS DataFrame 的代码在哪里跑

在使用PyODPSDataFrame编写数据应用时，尽管编写的是同一个脚本文件，但其中的代码会在不同位置执行，这可能导致一些无法预期的问题，本文介绍当出现相关问题时，如何确定代码在何处执行，以及提供部分场景下解决问题的方法
独角的犀牛·2019-06-10 16:55

2019河北省大学生程序设计竞赛（重现赛）

牛客网题目描述Iceboundhatesmath.ButImplovesmath.Oneday,Impgaveiceboundaproblem.Theproblemisasfollows.S=(∑ni=1qi）modpS
不楸·2019-06-02 21:34

Mybatis 使用distinct问题

使用插件自动生成sql，具体如下selectdistinctversioncodeascodefromodpsrequesttoidbtableorderby${orderByClause}limit#
木灵木灵·2019-05-31 14:53

odps函数

常用函数系统自带函数coalesce()：返回列表中第一个非NULL的值，如果列表中所有的值都是NULL则返回NULL;eg:concat()：字符串连接函数;eg:least()：返回输入参数中最小的一个greatest()：返回输入参数中最大的一个(var1，var2可以为bigint，double，datetime或者string。若所有值都为NULL则返回NULL。返回值:输入参数中的最大
猿程序G·2019-05-29 15:58

阿里云odps基本语法

odpssql：与hivesql语法基本一致odpscmd.batSQL语句不分大小写，使用“–”进行注释，使用分号作为语句结束符号数据定义语言（DDL），数据操作语言（DML）,数据控制语言（DCL）
猿程序G·2019-05-29 15:32

DataX操作指南

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
Rest探路者·2019-05-15 17:00

DataX和kettle初步认识

的优点：DataX和kettle对比参考DataX和kettle初步了解DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS
西京刀客·2019-05-12 11:34

阿里云大数据计算服务 - MaxCompute (原名 ODPS)

MaxCompute是阿里EB级计算平台，经过十年磨砺，它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute做了哪些工作，这些工作背后的原因是什么？大数据市场进入普惠+红海的新阶段，如何与生态发展共赢？人工智能进入井喷阶段，如何支持与借力？本文从过去一年的总结，核心技术概览，以及每条技术线路未来展望等几个方面做一个概述。BigData概念在上世纪90年代被提出，随
BarryW·2019-04-20 08:00

使用split_size优化的ODPS SQL的场景

使用split_size优化的ODPSSQL的场景首先有两个大背景需要说明如下：说明1：split_size，设定一个map的最大数据输入量，单位M，默认256M。
阿里云云栖社区·2019-03-20 00:00

如何制作可以在 MaxCompute 上使用的 crcmod

之前我们介绍过在PyODPSDataFrame中使用三方包。对于二进制包而言，MaxCompute要求使用包名包含cp27-cp27m的Wheel包。
阿里云云栖社区·2019-03-01 00:00

ODPS-SDK调用排坑笔记(2)

原文链接：https://yq.aliyun.com/articles/691096一、业务背景业务上需要通过对二级类目的聚合，输出每个类目下排名30天销量排名TOP100的商品信息。抽象到SQL层面就是：通过对X字段的分组，获取每个分组前N条数据。二、原始方案说实话，这个方法有些low，但起码能实现功能。使用存储过程，思路如下：1.创建一张临时表先放着：createtemp_top_by_cat
串行并jjjjj·2019-02-22 14:29

ODPS SQL 大全

目录索引一、字符串函数二、窗口函数三、聚合函数四、日期函数五、数学函数一、字符串函数1.char_matchcountbigintchar_matchcount(stringstr1,stringstr2)用途：用于计算字符串str1中的字符有多少个出现在字符串str2中；2.charstringchar(bigintascii)用途：将一个给定的ASCII码转换为字符3.concatstring
duxin_csdn·2019-02-22 13:16

datax使用说明

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
SmartNewSexy·2019-01-14 11:34

海量数据上云

大家好，今天跟大家分享的内容是传统数据库迁移到阿里云odps遇到的那点坑；问题描述：传统数据库oracle向阿里云odps迁移数据库的时候，速率刚开始正常，后观察到，在传输过程中，速率越来越慢；解决思路
柒年游·2018-12-12 23:27

滴滴云使用 DataX 实现 Hive 与 MySQL 数据传输

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SQLServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
付江·2018-12-07 11:22

云数据库PolarDB（一）

成功登顶的“云梯2”，后来更名为ODPS，“加冕”成为了阿里巴巴各项
智慧城市大脑·2018-12-02 22:55

一些关键字-关注

依图科技ODPSMaxCompute文章：阿里云的这群疯子网址：http://www.tutorialspoint.com/免费学习文章标题：Windows系统程序员的“内功”修炼地址：https://
荆棘人·2018-10-17 18:00

大数据计算服务MaxCompute行业开发应用案例

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
开发者社区小百科·2018-09-18 10:20

2018-09-04

tail-f路径：动态查看linux下服务器日志ctrl+c:终结程序禁用ubuntu系统触摸板：sudormmodpsmouse（会将触摸点一起禁用调thinkpad）开启：sudomodprobepsmouse
M安静苦笑·2018-09-17 09:43

使用CLI进行高速跨域日志复制、历史数据重新索引与数仓投递

摘要：高速跨域日志复制、对历史数据重新索引，投递历史数据到OSS/ODPS？现在这些操作CLI都可以支持了。背景使用日志服务是不是常常遇到如下烦恼？
阿里云云栖社区·2018-09-07 00:00

odps正则抽取省份以及城市

在odps中使用方式如下。--select1,--casewhenlength(regexp_extract('上海市浦东新区西门路588弄-39-～42号','(.+省|.+自治区)(.
mtj66·2018-08-14 11:59

一种超大文件上传方案

1背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器
谷壹·2018-08-12 12:07

Datax 与 Azkaban 实现数据抽取与调度

1.什么是DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
bigdataCoding·2018-07-26 10:19

ODPS语句集锦

--DROPTABLEmicro_operation_content_pool_day_temp;CREATETABLEIFNOTEXISTSmicro_operation_content_pool_day_temp(channelstringCOMMENT'渠道',content_idBIGINTCOMMENT'内容id',createTimeBIGINTCOMMENT'插入时间',conten
啊浪的博客·2018-06-13 23:33

java通过jni调用c++逻辑

本博客通过一个简单的例子通过用java调c++处理，逻辑不带返回，直接打印helloword级别的，下面来看下，首先写一个java简答的测试类：packagecom.xx.odps.ainlp;publicclassHelloWorld
旭旭_哥·2018-06-03 12:35

一些 odps sql技巧

日期行为汇总有张表为pv_daily_table,在不同partitionds中记录每篇内容每日的pv,那么想汇总每篇内容近3日,近7日的pv,就可以用下面的sql.SELECTcontent_id,SUM(IF(ds='${ds}',pv,0))AStoday_pv--当日pv,SUM(IF(ds>'${ds3}',pv,0))AS3_days_pv--近3日pv,SUM(pv)AS7_days
yichudu·2018-05-24 17:12

在PyODPS DataFrame自定义函数中使用pandas、scipy和scikit-learn

阅读更多背景PyODPSDataFrame提供了类似pandas的接口，来操作ODPS数据，同时也支持在本地使用pandas，和使用数据库来执行。
猫耳呀·2018-05-17 19:00

在PyODPS DataFrame自定义函数中使用pandas、scipy和scikit-learn

阅读更多背景PyODPSDataFrame提供了类似pandas的接口，来操作ODPS数据，同时也支持在本地使用pandas，和使用数据库来执行。
猫耳呀·2018-05-17 19:00

DataX使用指南

简介DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
可乐Y·2018-05-08 09:17

异构数据源离线同步工具 加任务组合调度

1、阿里开源软件：DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
gnicky·2018-05-05 16:18

阿里云大数据MaxCompute计算资源分布以及LogView分析优化

MaxCompute(原ODPS）的概念大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的PB/EB级数据仓库解决方案，具备万台服务器扩展能力和跨地域容
猫耳呀·2018-04-26 14:00

阿里云大数据MaxCompute计算资源分布以及LogView分析优化

MaxCompute(原ODPS）的概念大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的PB/EB级数据仓库解决方案，具备万台服务器扩展能力和跨地域容
猫耳呀·2018-04-26 14:00
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他