Odps

DRDS到MaxCompute（原ODPS）数据归档性能优化测试

阅读更多摘要：cdp同步基本原理数据集成（DataIntegration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。一、cdp同步基本原理数据集成（DataIntegration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可
猫耳呀·2018-04-25 15:00

DRDS到MaxCompute（原ODPS）数据归档性能优化测试

阅读更多摘要：cdp同步基本原理数据集成（DataIntegration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。一、cdp同步基本原理数据集成（DataIntegration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可
猫耳呀·2018-04-25 15:00

ODPS工作笔记——数据一致性比对

场景：链路改造任务初始化数据比对1比什么？比较新链路两次初始化的差异数据，是否都能在增量数据里找着2什么时候比？第一次初始化之后，稳定运行一段时间，第二次初始化以后比3和谁比？（第一次初始化+增量*n天）和（第二次初始化的数据）比对4要比出什么？比较第二次初始化比第一次初始化+merge*n多的，在增量里为I的比较第二次初始化比第一次初始化+merge*n少的，在增量里为D的比较第二次初始化比第一
牧锋·2018-04-11 23:07

数据集成工具Kettle、Sqoop、DataX的比较

1、阿里开源软件：DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
ice_fire2008·2018-04-05 17:52

MaxCompute访问TableStore(OTS) 数据

免费开通大数据服务：https://www.aliyun.com/product/odps前言MaxCompute作为阿里云大数据平台的核心计算组件，承担了集团内外大部分的分布式计算需求。
猫耳呀·2018-04-02 11:00

MaxComputeSql性能调优

阅读更多摘要：部分用户(尤其对外输出)使用MaxCompute(原Odps)时，由于对产品的使用层面和执行层面了解程度不同，导致提交的任务执行时间过长、占用了较多集群资源；严重的会导致失败、不仅需要投入支持同学精力协助解决
猫耳呀·2018-04-02 10:00

MaxComputeSql性能调优

阅读更多摘要：部分用户(尤其对外输出)使用MaxCompute(原Odps)时，由于对产品的使用层面和执行层面了解程度不同，导致提交的任务执行时间过长、占用了较多集群资源；严重的会导致失败、不仅需要投入支持同学精力协助解决
猫耳呀·2018-04-02 10:00

MaxComputeSql性能调优

摘要：部分用户(尤其对外输出)使用MaxCompute(原Odps)时，由于对产品的使用层面和执行层面了解程度不同，导致提交的任务执行时间过长、占用了较多集群资源；严重的会导致失败、不仅需要投入支持同学精力协助解决
猫耳呀·2018-04-02 10:46

MaxCompute与OSS非结构化数据读写互通（及图像处理实例）

在这样的背景下，MaxCompute（ODPS）计算框架持续演化，而原来主要面对内部特殊格式数据的强大计算能力，也正在一步步的通过新增的非结构化数据处理框架，开放给不同的外部数据。
猫耳呀·2018-03-30 11:00

MaxCompute与OSS非结构化数据读写互通（及图像处理实例）

在这样的背景下，MaxCompute（ODPS）计算框架持续演化，而原来主要面对内部特殊格式数据的强大计算能力，也正在一步步的通过新增的非结构化数据处理框架，开放给不同的外部数据。
猫耳呀·2018-03-30 11:00

MaxCompute Console 实用小命令

嗯，一般人我不告诉他～1odpscmd-v查看odpscmd版本/Users/zhenho
猫耳呀·2018-03-27 11:00

使用 MaxCompute（原ODPS） java sdk 运行安全相关命令

阅读更多摘要：使用odpsconsole的同学，可能都使用过odps安全相关的命令。转自zhenhong使用MaxComputeconsole的同学，可能都使用过odps安全相关的命令。
猫耳呀·2018-03-27 11:00

使用 MaxCompute（原ODPS） java sdk 运行安全相关命令

阅读更多摘要：使用odpsconsole的同学，可能都使用过odps安全相关的命令。转自zhenhong使用MaxComputeconsole的同学，可能都使用过odps安全相关的命令。
猫耳呀·2018-03-27 11:00

阿里巴巴JAVA编程规范之MYSQL规约

【强制】表达是与否概念的字段，必须使用is_xxx的方式命名，数据类型是unsignedtinyint（1表示是，0表示否），此规则同样适用于odps建表。
diaozhi9211·2018-03-17 14:00

如何绕过ODPS不支持的笛卡尔积的限制

select*frompn_tablenameajoinpn_tablenameb;odps不支持无on的join会报*ODPS-0130252Cartesianproductisnotallowedwithoutmapjoin
风神AI·2018-02-14 19:36

hive与hbase

平时有接触和使用过hive和hbase，hive的话主要用的是阿里云的odps，hbase用的是hdp平台的开源版本，但是还没有对这两个组件真正的系统的放在一起对比总结过，于是上网查了资料也问了同事，于是在这里再来写点自己的理解
zx8167107·2018-02-11 14:27

负载均衡性能优化演进之路

提到云计算时，大家可能更多会想到计算相关的云产品，比如云主机ECS、关系型数据库RDS、大数据处理平台ODPS，但其实负载均衡在云计算里面的地位是至关重要的，因为它是网络流量的入口。
wjlovezzd·2018-02-06 10:47

Codeforces 906D:Power Tower-扩展欧拉定理

传送门题意：给你n个数w和一个数p，q个询问，每次询问一个区间[l,r],求w_l^{(w_{l+1}^{(w_{l+2}…^{w_r})})}\modpSolution:这道题类似于BZOJ3884但是稍有一点不同
Fizzmy·2018-02-04 14:38

关于MaxCompute的基本了解

大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。
开发者社区小百科·2018-01-31 15:49

从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL

摘要：SQL基础有这些操作（按照执行顺序来排列）：fromjoin(leftjoin,rightjoin,innerjoin,outerjoin,semijoin)wheregroupbyselectsumdistinctcountorderby如果我们能理解mapreduce是怎么实现这些SQL中的基本操作的，那么我们将很容易理解怎么优化SQL写法。点此查看原文：http://click.ali
猫耳·2018-01-31 00:00

阿里云大数据MaxCompute计算资源分布以及LogView分析优化

摘要：MaxCompute(原ODPS）的概念海量数据处理平台，服务于批量结构化数据的存储和计算，提供海量数据仓库的解决方案以及针对大数据的分析建模服务.
猫耳·2018-01-31 00:00

Deepin打开或者关闭触控板

触摸板设置插入鼠标时禁用触摸板设置-鼠标-插入鼠标时禁用触摸板禁用触摸板终端执行：sudomodprobepsmouse##启用触摸板sudormmodpsmouse##禁用触摸板如果是ThinkPad
LZK1997·2018-01-28 08:56

PyODPS DataFrame：统一的数据查询语言

阅读更多前几天，PyODPS发布了0.7版本，这篇文章给大家介绍下PyODPS新版本带来的重要特性。
jewel0516·2018-01-26 13:00

PyODPS 安装常见问题解决

阅读更多本文将用户安装PyODPS时遇到的常见问题列举如下，希望在遇到类似问题时可供借鉴。在参考下列步骤之前，请首先尝试卸载并重装PyODPS。
jewel0516·2018-01-26 13:00

阿里云大数据利器Maxcompute-使用mapjoin优化查询

阅读更多大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。
jewel0516·2018-01-23 18:00

阿里云大数据利器之-RDS迁移到Maxcompute实现动态分区

当数据量非常大的时候，此时传统关系型数据库会显得有些吃力，那么会经常有将mysql数据库的数据迁移到[大数据处理平台-大数据计算服务（Maxcompute，原ODPS）(https://www.aliyun.com
jewel0516·2018-01-23 17:00

MaxCompute Studio使用心得系列6——一个工具完成整个Python UDF开发

前置条件了解到，虽然功能发布，不过还在公测阶段，如果想要使用，还得申请开通：https://page.aliyun.com/form/odps_py/pc/index.htm。这里我就不介绍申
jewel0516·2018-01-22 16:00

阿里云MaxCompute印度开服，加速大数据产业升级

前置条件了解到，虽然功能发布，不过还在公测阶段，如果想要使用，还得申请开通：https://page.aliyun.com/form/odps_py/pc/index.htm。这里我就不介绍申
jewel0516·2018-01-22 16:00

阿里云MaxCompute，用计算力让数据发声

阿里云大数据计算服务MaxCompute原名ODPS，是阿里巴巴的主力计算平台。从ODPS到MaxCompute，记录了阿里巴巴大数据平台从支持阿里集团几乎99%的数据存储以及95
jewel0516·2018-01-22 16:00

阿里云MaxCompute，用计算力让数据发声

阿里云大数据计算服务MaxCompute原名ODPS，是阿里巴巴的主力计算平台。从ODPS到MaxCompute，记录了阿里巴巴大数据平台从支持阿里集团几乎99%的数据存储以及95
jewel0516·2018-01-22 16:00

实习日志

认路，认位置，学长导师让我熟悉简单的java程序，学习Spark,Scala.2018年1月4日了解jdbcTemplate用法，了解ODPS核心接口，重新学习了Spring@Scheduled注解的一些方式
班得瑞的猫·2018-01-04 08:00

阿里ETL工具datax学习（一）

阅读更多阿里云开源离线同步工具DataX3.0介绍一.DataX3.0概览DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS
柳絮飞祭奠·2017-12-22 14:00

阿里ETL工具datax学习（一）

阅读更多阿里云开源离线同步工具DataX3.0介绍一.DataX3.0概览DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS
柳絮飞祭奠·2017-12-22 14:00

阿里ETL工具datax学习（一）

阅读更多阿里云开源离线同步工具DataX3.0介绍一.DataX3.0概览DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS
柳絮飞祭奠·2017-12-22 14:00

接口声明变量的一个实际例子

UDTF接口说明如下：JavaUDTF需要继承com.aliyun.odps.udf.UDTF类。这个类需要实现4个接口。
cl_1234567·2017-12-12 19:26

【Mysql】《阿里巴巴Java开发手册（正式版）》--MySQL规约

【强制】表达是与否概念的字段，必须使用is_xxx的方式命名，数据类型是unsignedtinyint（1表示是，0表示否），此规则同样适用于odps建表。
jobbible·2017-12-01 15:43

ODPS改变列中某些值的方法

odps只能通过新建表的形式来更改数据！（哥哥就是没有update，怎么滴！）
码破苍穹·2017-11-22 21:00

Odps(MaxCompute)使用时一些问题

odps官方文档之给出了jdbc最原始的查询。我们当然不会直接用jdbc，不然工作量太大。因为查询出来的都是列，需要自己封装成对象。
补刀小次郎·2017-11-04 09:25

阿里出品《MySQL 规约》

【强制】表达是与否概念的字段,必须使用is_xxx的方式命名,数据类型是unsignedtinyint(1表示是,0表示否),此规则同样适用于odps建表。
hgditren·2017-10-16 17:38

MaxCompute常用语句汇总(更新ing)

大数据计算服务(MaxCompute，原名ODPS，产品地址：https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。
猫饭先生·2017-10-11 15:52

MaxCompute常用语句汇总(更新ing)

点击查看全文大数据计算服务(MaxCompute，原名ODPS，产品地址：https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。
Mc顽固份子·2017-10-11 11:36

天池 odps_SQL 常用函数和方法

平均值、中值、最大值、最小值：avg(distance)asmerchant_avg_distance,median(distance)asmerchant_median_distance,max(distance)asmerchant_max_distance,min(distance)asmerchant_min_distance统计数量、求和：count(*)COUNT(DISTINCTco
青盏·2017-10-02 15:13

odps词频统计

1、搭建maxcomputestudio一、编写udtf2、在项目下面选择script新建文件：new->maxcomputpython->pythonudtf，然后编写文本spilt：fromodps.udfimportannotatefromodps.udfimportBaseUDTF
hjimce·2017-09-29 15:09

DRDS到ODPS数据迁移指南

DRDS到ODPS数据迁移采用CDP的方式同步数据。开始DRDS到ODPS数据迁移1.创建源和目标库表结构初次在同步数据前需要在源库和目标库创建好相应的表结构。
Mc顽固份子·2017-09-29 15:28

DataX配置及使用

点击查看全文一.DataX3.0概览DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
Mc顽固份子·2017-09-26 14:37

阿里巴巴开发秘籍：MYSQL规约

阿里巴巴开发秘籍：MYSQL规约一、MYSQL建表规约1【强制】表达是与否概念的字段，必须使用is_xxx的方式命名，数据类型是unsignedtinyint（1表示是，0表示否），此规则同样适用于odps
我叫小白啊·2017-08-25 00:00

创建UDF的简单介绍

阅读原文请点击摘要：UDF(UserDefinedFunction),MaxCompute(原ODPS)里的东西,之前经常听到开发同学讲,自己一直没有去接触,最近因为项目需要,调研了一下UDF,本文简单地介绍了一下如何新建工程
qq_35267530·2017-08-16 14:33

odps 中的抽样

分组抽样希望按照性别年龄分组,去抽样查看他们的身高体重,那么mysql可以这么写:selectheight,weightfromstudent_tablegroupbygender,age可odps不支持这样的语法
yichudu·2017-08-03 15:32

odps是什么?

阅读更多原文链接：http://click.aliyun.com/m/27095/ODPS（OpenDataProcessingService），是阿里巴巴通用计算平台提供的一种快速、完全托管的GB/TB
爱哭的小魔女·2017-07-31 14:00

ODPS使用之上传下载数据

这篇文章里面我们介绍一下如果我们要想从ODPS里面读到数据并加工处理，有一种通道叫批量数据通道。这个需要在程序里面做处理。
爱你们的巴巴·2017-07-25 15:52
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他