maxcompute

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。先说Hadoop什么是Hadoop？
阿里云云栖号·2020-08-20 16:07

Python 匹配多个字符前缀

问题背景：最近需要批量初始化表结构，要从MaxCompute上将所有项目下的所有表结构都拉下来，其中只需要将满足部分前缀的表，像ads，dwd，dws，cdm等，一开始是想到用startswith，但是查了下
橘猫吃不胖·2020-08-20 11:29

图（关系网络）数据分析及阿里应用

摘要：2019年1月18日，由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，阿里巴巴资深技术专家钱正平为大家分享了大数据技术背景下图数据的应用前景
weixin_33769125·2020-08-19 21:25

阿里云ODPS（现名MaxCompute，原名ODPS）介绍

什么是ODPS（一）阿里云开放数据处理服务(OpenDataProcessingService，简称ODPS)是构建在飞天系统上的大规模分布式数据处理服务。ODPS以RESTAPI的形式，支持用户提交类SQL的查询语言，对海量数据进行处理。在API之上，还提供SDK开发包和命令行工具，Aliyun.com上还有一个Web演示界面。什么是ODPS（二）与传统数据仓库工具相比ODPS有以下优势：处理能
weixin_36607803·2020-08-19 07:30

基于阿里云 MaxCompute 构建企业云数据仓库CDW的最佳实践建议

在本文中阿里云资深产品专家云郎分享了基于阿里云MaxCompute构建企业云数据仓库CDW的最佳实践建议。本文内容根据演讲视频以及PPT整理而成。
开发者社区小百科·2020-08-18 11:50

SaaS 模式云数据仓库 MaxCompute 数据安全最佳实践

什么是MaxCompute?MaxCompute是一款云原生、高效能的SaaS模式企业级数据仓库服务，被广泛用于构建现代化企业数据平台，开展BI分析、数据化运营、画像及推荐、智能预测等应用场景。
代码派·2020-08-18 10:16

sql限制返回记录的条数以及maxcompute中测试

在网上搜索，总结了不同版本的sql限制返回记录条数的方法共3种：第一种：从OFFSET开始的N条，如下是返回从第一条开始的2条SELECT*FROMtableLIMIT2OFFSET1;第二种：从第1条开始，返回2条数据SELECT*FROMtableLIMIT1,2;第三种：从起始开始返回2条数据selecttop2*fromtable;可根据不同的sql版本实验上述三种方法。在阿里云的maxc
有石为玉·2020-08-16 16:43

基于MaxCompute构建企业用户画像

基于MaxCompute构建企业用户画像（用户标签的制作）日志string数据同步CreateMaxCompute用户标签摘要：在数据化营销时代，数据的价值越发显得更为珍贵。
weixin_33978016·2020-08-16 16:53

MaxCompute在高德大数据上的应用

摘要：2019年1月18日，由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，高德数据技术专家苗翌辰为大家分享了高德如何应用
weixin_33975951·2020-08-15 20:28

DataX简单上手

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
小伙伴00·2020-08-14 22:08

学习 Python3 使用 DataX 读取 csv 文件，写入另一个 csv 文件

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
王图思睿·2020-08-14 21:52

Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南

这样用户的hadoop数据可以通过MR任务批量上传到MaxCompute、RDS等，不需要用户提前安装和部署DataX软件包，也不需要另外为DataX准备执行集群。
weixin_34252090·2020-08-14 21:34

离线数据同步神器：DataX，支持几乎所有异构数据源的离线同步到MaxCompute

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
weixin_33856370·2020-08-14 20:52

离线数据同步神器：DataX，支持几乎所有异构数据源的离线同步到MaxCompute

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
weixin_33688840·2020-08-14 20:04

数据仓库ETL之DataX（一）简介

dataX是阿里巴巴内部被广泛使用的离线数据同步工具，实现包括MySQL，Oracle，SqlServer，PostgreSQL，HDFS，Hive，ADS，HBase，TableStore(OTS)、MaxCompute
那怪大尾巴狼咯·2020-08-14 20:58

初识数据源同步利器--DataX

DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
zhengqiangtan·2020-08-14 20:10

DataX原理及安装

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
Rudolf_liu·2020-08-14 19:20

datax_web搭建

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
qq_33752493·2020-08-14 18:51

DataX操作指南

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
一世一生命·2020-08-14 18:26

DataX 3.0初体验

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
胡晗-·2020-08-14 18:16

如何用DataX自定义KuduWriter插件

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
山间浓雾有路灯，风雨漂泊有归舟·2020-08-14 18:54

DataX自定义transformer编写指南

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
陆上溪流·2020-08-14 17:02

通过java调用datax,返回任务执行详情

DATAXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
沉梦杨志·2020-08-14 17:42

【大数据】DataX介绍

DataX入门1.DataX1.1介绍DataX是阿里巴巴集团内被广泛使用的异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原
binggetong·2020-08-14 16:34

datax使用小记

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
HYESC·2020-08-14 16:08

DataX 实战使用说明

DataX是阿里巴巴集团内部被广泛使用的离线数据同步工具/平台，实现包括MySQL，Oracle，SqlServer，Postgre，HDFS，Hive，ADS，HBase，TableStore（OTS），MaxCompute
白夜行"·2020-08-14 15:12

离线数据同步神器：DataX，支持几乎所有异构数据源的离线同步到MaxCompute

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
weixin_33713707·2020-08-14 15:19

DataX 定制数据传输: 使用DataX Transformer

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
东海陈光剑·2020-08-14 15:09

dataX使用指南

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
一个不靠谱的程序员·2020-08-14 15:34

DataX安装部署-Reader插件二次开发

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
凉城的夜·2020-08-14 15:46

MaxCompute 最新特性介绍 | 2019大数据技术公开课第三季

摘要：距离上一次MaxCompute新功能的线上发布已经过去了大约一个季度的时间，而在这一段时间里，MaxCompute不断地在增加新的功能和特性，比如参数化视图、UDF支持动态参数、支持分区裁剪、生成建表
zhaowei121·2020-08-14 12:59

阿里云MaxCompute（ODPS）如何使用SQL同步数据（SQLTask模式）

ODPS默认都是通过TableTunnel来获取数据，支持分区、续传等。但TableTunnel只支持单表，有时需要联表过滤数据就不能支持了。官方提供了SQLTask模式来进行一些扩展。思路ODPS提供了两种方式来执行SQL：直接使用SQLTask查询数据，但每次不支持超过10000行；未尝试能否通过多次执行task、每次task限定分页条件实现获取全部数据通过SQLTask创建临时表，通过Tab
王大锤砸·2020-08-14 12:50

MaxCompute SQL中select语句使用详情

SELECT语法介绍本文介绍MaxComputeSELECT语法格式及使用SELECT语法执行嵌套查询、排序操作、分组查询等操作的注意事项。在进行操作之前构建操作示例表sale_detail以及insert测试数据：---------------------------------------数据表和数据准备---------------------------------------CREATE
一天_pika·2020-08-14 12:53

为了让开发者写MaxCompute SQL更爽，DataWorks 增强SQL 编辑器功能

众所周知，数据开发和分析的同学每天都要花大量时间写MaxComputeSQL；Dataworks作为数据开发的IDE直接影响着大家的开发效率，这次新上线的Dataworks我们在编辑体验上做了很多工作，在前端实现MaxComputeSQL和编辑器参数等扩展语法的AST解析，并实现更好更智能的代码提示，更快速的响应，帮助大家提升开发效率； 首先show几张美图：看起来如何?是不是很像本地编辑器，很C
weixin_34400525·2020-08-14 12:14

MaxCompute SQL 使用正则表达式选列

编辑MaxComputeSQL时，经常会需要在某个表N个列中指定一些列。若需要指定的列比较少，编写SQL时一个个输入既可。当遇到列多的时候，一个个输入就会非常费劲。本文将介绍如何在编写MaxComputeSQL时通过正则表达式表达列（column），从而提升编码效率。首先用一个简单的示例介绍正则表达式的使用方法：SELECT`abc.*`FROMt;--查询t表中所有名字以'abc'开头的列。复制
weixin_34344677·2020-08-14 12:07

MaxCompute 存储优化技巧

原文链接：http://click.aliyun.com/m/14004/本文主要介绍一些ODPS表操作的优化技巧，通过这些技巧，可以有效节省ODPS存储空间和计算量。合理设置分区表ODPS支持分区表的概念，分区表指的是在创建表时指定的partition的分区空间，即指定表内的某几个字段作为分区列。在大多数情况下，用户可以将分区类比为文件系统下的目录。ODPS将分区列的每个值作为一个分区(目录)。
weixin_34315189·2020-08-14 12:05

MaxCompute Studio使用心得系列3——可视化分析作业运行

上一篇写分享了通过MaxComputeStudio编写sql脚本时“编译”功能带来的便捷，这次分享脚本编译好提交运行后，自助查看作业的执行情况。我们很熟悉的是通过logview，去分析作业的执行情况，logview上有很详细的执行日志，而Studio不仅仅提供可视化的信息，还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。比如我写完一个sql脚本，编译成功接着执行脚本，Studio自动打开
weixin_34288121·2020-08-14 12:34

使用MaxCompute快速实现企业数据化运营

随着人类社会从IT时代进入到DT时代，现在越来越多的企业开始重视数据的价值，但是并不是所有的企业都能够去挖掘出数据的价值。因此，企业需要通过使用大数据相关的技术对数据进行分析，并通过数据可视化技术将分析结果展现出来，这样才能够让企业负责人快速了解企业自身发展的情况。以我们的一个客户为例，来看一下如何快速地实现企业数据化运营。我们有一个客户，他们的网站系统部署在阿里云上，其系统架构如下所示：随着业务
???Sir·2020-08-14 12:02

MaxCompute基础与MaxCompute SQL优化

总论：大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
weixin_34066347·2020-08-14 12:14

MaxCompute参数调优

1背景及目的对于ODPS上的运行时间长的任务来说，针对不同的问题有不同的优化方法（详见其他章节）。但是对于一些特殊场景的任务来说，除了从业务上可以进行优化之外，还需要通过一些辅助的参数设置才能达到比较好的优化效果。因此，ODPS提供了很多性能参数供开发人员使用。2参数介绍2.1资源参数ODPS处理一个任务主要分为三个阶段：Map、Reduce、Join。如果处理的数据量比较大，导致各个阶段的每个I
weixin_33974433·2020-08-14 12:10

MaxCompute 学习计划(三)

MapReduce/Graph当业务逻辑实在是复杂的时候，用SQL配合UDF(包括UDAF和UDTF)也无法实现的时候，可以使用MapReduce或Graph来实现。作业MapReduceMapReduce文档里的十多个示例程序每个都很重要，务必每个都看懂每行代码的作用。参考链接文档。使用Eclipse/InteliJIDEA配置开发环境，可以修改warehouse里的数据然后观察任务的运行结果的
weixin_33816946·2020-08-14 11:58

MaxCompute的任务状态和多任务执行

我们在使用MaxCompute的时候，我们其实非常期望知道当前有多少任务在跑，哪些任务耗时长，哪些任务已经完成，并
weixin_33766805·2020-08-14 11:25

如何用SQL对MaxCompute数据进行修改和删除

MaxComputeSQL不支持对数据的Update和Delete操作，但是实际工作中可能确实有一些场景需要这样处理，怎么办呢？实际上，MaxComputeSQL的Insert语法支持InsertInto/Overwrite两种数据导入的方式。分别对应数据导入的追加写入和覆盖写入两种场景。追加写入比较容易理解，覆盖写入是指，如果覆盖写入的表是非分区表，那就清空这个表的内容然后用新的结果覆盖进去。如
weixin_33736649·2020-08-14 11:53

MaxCompute Console 实用小命令

摘要：MaxComputeConsole可以从这里下载。在阿里云官网可以查看帮助文档。这里跟大家分享一些MaxComputeConsole中实用的小命令。MaxComputeConsole可以从这里下载。在阿里云官网可以查看帮助文档。这里跟大家分享一些MaxComputeConsole中实用的小命令。嗯，一般人我不告诉他～1odpscmd-v查看odpscmd版本/Users/zhenhong/t
weixin_33708432·2020-08-14 11:50

MaxCompute SQL的SELECT语法

MaxComputeSQL支持使用正则表达式select_expr选列。使用正则表达式select_expr：SELECT`abc.*`FROMt;选出t表中所有列名以abc开头的列。SELECT`(ds)?+.+`FROMt;选出t表中列名不为ds的所有列。SELECT`(ds|pt)?+.+`FROMt;选出t表中排除ds和pt两列的其它列。SELECT`(d.*)?+.+`FROMt;选出t
SZn_Xin·2020-08-14 11:28

为了让开发者写MaxCompute SQL更爽，DataWorks 增强SQL 编辑器功能

原文链接：点击打开链接摘要：众所周知，数据开发和分析的同学每天都要花大量时间写MaxComputeSQL；Dataworks作为数据开发的IDE直接影响着大家的开发效率，这次新上线的Dataworks我们在编辑体验上做了很多工作，在前端实现MaxComputeSQL和编辑器参数等扩展语法的AST解析，并实现更好更智能的代众所周知，数据开发和分析的同学每天都要花大量时间写MaxComputeSQL；
qq_40954115·2020-08-14 11:41

MaxComputeSQL-列转行和行转列

阅读原文请点击摘要：1.假设我们在MaxCompute中有两张表，其中一张表是存用户基本信息，另一张表是存用户的地址信息等，表数据假设如下：user_basic_info:idname1a2b3c大数据计算服务
qq_35267530·2020-08-14 11:03

MaxCompute（原ODPS）使用总结-初级篇

转载自jiyi引言本文面向的读者是要使用ODPSsql进行一些数据查询和挖掘，或者要使用ODPSudf自定义函数的用户。本文试图达到三个目标：（1）针对应用管理者来讲，看完本文后可以比较清晰的去管理自己的应用；（2）针对ODPSsql使用者来讲，本文在sql语句的内建函数使用以及sql语句加速方面，给出了一些例子；（3）针对ODPSUDF使用者和开发者来讲，本文提供了一个UDF函数创建的完整例子并
weixin_33862041·2020-08-14 09:10

MaxCompute Studio使用心得系列2——编译SQL脚本

摘要：Console客户端、大数据开发套件的SQL编辑器目前都没有脚本编译功能，每次需要执行SQL脚本，只能提交执行后若有语法错误，执行结果失败返回失败信息才发现，影响开发效率又浪费资源。今天我就来分享在MaxComputeSQL提交运行前就可以进行脚本编译的方法。开发人员写好代码，对代码进行语法编译是很常见的操作，但是目前常用的MaxComputesql开发工具（大数据开发套件和console客
qq_35267530·2020-08-14 09:13

SQL优化器原理－Shuffle优化

这是MaxCompute有关SQL优化器原理的系列文章之一。我们会陆续推出SQL优化器有关优化规则和框架的其他文章。添加钉钉群“关系代数优化技术”（群号11719083）可以获取最新文章发布动态。
weixin_33806509·2020-08-14 08:06
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他