MaxCompute

基于MaxCompute构建企业用户画像

基于MaxCompute构建企业用户画像（用户标签的制作）日志string数据同步CreateMaxCompute用户标签摘要：在数据化营销时代，数据的价值越发显得更为珍贵。
weixin_33978016·2020-08-16 16:53

MaxCompute在高德大数据上的应用

摘要：2019年1月18日，由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，高德数据技术专家苗翌辰为大家分享了高德如何应用
weixin_33975951·2020-08-15 20:28

DataX简单上手

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
小伙伴00·2020-08-14 22:08

学习 Python3 使用 DataX 读取 csv 文件，写入另一个 csv 文件

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
王图思睿·2020-08-14 21:52

Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南

这样用户的hadoop数据可以通过MR任务批量上传到MaxCompute、RDS等，不需要用户提前安装和部署DataX软件包，也不需要另外为DataX准备执行集群。
weixin_34252090·2020-08-14 21:34

离线数据同步神器：DataX，支持几乎所有异构数据源的离线同步到MaxCompute

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
weixin_33856370·2020-08-14 20:52

离线数据同步神器：DataX，支持几乎所有异构数据源的离线同步到MaxCompute

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
weixin_33688840·2020-08-14 20:04

数据仓库ETL之DataX（一）简介

dataX是阿里巴巴内部被广泛使用的离线数据同步工具，实现包括MySQL，Oracle，SqlServer，PostgreSQL，HDFS，Hive，ADS，HBase，TableStore(OTS)、MaxCompute
那怪大尾巴狼咯·2020-08-14 20:58

初识数据源同步利器--DataX

DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
zhengqiangtan·2020-08-14 20:10

DataX原理及安装

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
Rudolf_liu·2020-08-14 19:20

datax_web搭建

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
qq_33752493·2020-08-14 18:51

DataX操作指南

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
一世一生命·2020-08-14 18:26

DataX 3.0初体验

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
胡晗-·2020-08-14 18:16

如何用DataX自定义KuduWriter插件

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
山间浓雾有路灯，风雨漂泊有归舟·2020-08-14 18:54

DataX自定义transformer编写指南

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
陆上溪流·2020-08-14 17:02

通过java调用datax,返回任务执行详情

DATAXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
沉梦杨志·2020-08-14 17:42

【大数据】DataX介绍

DataX入门1.DataX1.1介绍DataX是阿里巴巴集团内被广泛使用的异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原
binggetong·2020-08-14 16:34

datax使用小记

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
HYESC·2020-08-14 16:08

DataX 实战使用说明

DataX是阿里巴巴集团内部被广泛使用的离线数据同步工具/平台，实现包括MySQL，Oracle，SqlServer，Postgre，HDFS，Hive，ADS，HBase，TableStore（OTS），MaxCompute
白夜行"·2020-08-14 15:12

离线数据同步神器：DataX，支持几乎所有异构数据源的离线同步到MaxCompute

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
weixin_33713707·2020-08-14 15:19

DataX 定制数据传输: 使用DataX Transformer

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
东海陈光剑·2020-08-14 15:09

dataX使用指南

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
一个不靠谱的程序员·2020-08-14 15:34

DataX安装部署-Reader插件二次开发

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
凉城的夜·2020-08-14 15:46

MaxCompute 最新特性介绍 | 2019大数据技术公开课第三季

摘要：距离上一次MaxCompute新功能的线上发布已经过去了大约一个季度的时间，而在这一段时间里，MaxCompute不断地在增加新的功能和特性，比如参数化视图、UDF支持动态参数、支持分区裁剪、生成建表
zhaowei121·2020-08-14 12:59

阿里云MaxCompute（ODPS）如何使用SQL同步数据（SQLTask模式）

ODPS默认都是通过TableTunnel来获取数据，支持分区、续传等。但TableTunnel只支持单表，有时需要联表过滤数据就不能支持了。官方提供了SQLTask模式来进行一些扩展。思路ODPS提供了两种方式来执行SQL：直接使用SQLTask查询数据，但每次不支持超过10000行；未尝试能否通过多次执行task、每次task限定分页条件实现获取全部数据通过SQLTask创建临时表，通过Tab
王大锤砸·2020-08-14 12:50

MaxCompute SQL中select语句使用详情

SELECT语法介绍本文介绍MaxComputeSELECT语法格式及使用SELECT语法执行嵌套查询、排序操作、分组查询等操作的注意事项。在进行操作之前构建操作示例表sale_detail以及insert测试数据：---------------------------------------数据表和数据准备---------------------------------------CREATE
一天_pika·2020-08-14 12:53

为了让开发者写MaxCompute SQL更爽，DataWorks 增强SQL 编辑器功能

众所周知，数据开发和分析的同学每天都要花大量时间写MaxComputeSQL；Dataworks作为数据开发的IDE直接影响着大家的开发效率，这次新上线的Dataworks我们在编辑体验上做了很多工作，在前端实现MaxComputeSQL和编辑器参数等扩展语法的AST解析，并实现更好更智能的代码提示，更快速的响应，帮助大家提升开发效率； 首先show几张美图：看起来如何?是不是很像本地编辑器，很C
weixin_34400525·2020-08-14 12:14

MaxCompute SQL 使用正则表达式选列

编辑MaxComputeSQL时，经常会需要在某个表N个列中指定一些列。若需要指定的列比较少，编写SQL时一个个输入既可。当遇到列多的时候，一个个输入就会非常费劲。本文将介绍如何在编写MaxComputeSQL时通过正则表达式表达列（column），从而提升编码效率。首先用一个简单的示例介绍正则表达式的使用方法：SELECT`abc.*`FROMt;--查询t表中所有名字以'abc'开头的列。复制
weixin_34344677·2020-08-14 12:07

MaxCompute 存储优化技巧

原文链接：http://click.aliyun.com/m/14004/本文主要介绍一些ODPS表操作的优化技巧，通过这些技巧，可以有效节省ODPS存储空间和计算量。合理设置分区表ODPS支持分区表的概念，分区表指的是在创建表时指定的partition的分区空间，即指定表内的某几个字段作为分区列。在大多数情况下，用户可以将分区类比为文件系统下的目录。ODPS将分区列的每个值作为一个分区(目录)。
weixin_34315189·2020-08-14 12:05

MaxCompute Studio使用心得系列3——可视化分析作业运行

上一篇写分享了通过MaxComputeStudio编写sql脚本时“编译”功能带来的便捷，这次分享脚本编译好提交运行后，自助查看作业的执行情况。我们很熟悉的是通过logview，去分析作业的执行情况，logview上有很详细的执行日志，而Studio不仅仅提供可视化的信息，还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。比如我写完一个sql脚本，编译成功接着执行脚本，Studio自动打开
weixin_34288121·2020-08-14 12:34

使用MaxCompute快速实现企业数据化运营

随着人类社会从IT时代进入到DT时代，现在越来越多的企业开始重视数据的价值，但是并不是所有的企业都能够去挖掘出数据的价值。因此，企业需要通过使用大数据相关的技术对数据进行分析，并通过数据可视化技术将分析结果展现出来，这样才能够让企业负责人快速了解企业自身发展的情况。以我们的一个客户为例，来看一下如何快速地实现企业数据化运营。我们有一个客户，他们的网站系统部署在阿里云上，其系统架构如下所示：随着业务
???Sir·2020-08-14 12:02

MaxCompute基础与MaxCompute SQL优化

总论：大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
weixin_34066347·2020-08-14 12:14

MaxCompute参数调优

1背景及目的对于ODPS上的运行时间长的任务来说，针对不同的问题有不同的优化方法（详见其他章节）。但是对于一些特殊场景的任务来说，除了从业务上可以进行优化之外，还需要通过一些辅助的参数设置才能达到比较好的优化效果。因此，ODPS提供了很多性能参数供开发人员使用。2参数介绍2.1资源参数ODPS处理一个任务主要分为三个阶段：Map、Reduce、Join。如果处理的数据量比较大，导致各个阶段的每个I
weixin_33974433·2020-08-14 12:10

MaxCompute 学习计划(三)

MapReduce/Graph当业务逻辑实在是复杂的时候，用SQL配合UDF(包括UDAF和UDTF)也无法实现的时候，可以使用MapReduce或Graph来实现。作业MapReduceMapReduce文档里的十多个示例程序每个都很重要，务必每个都看懂每行代码的作用。参考链接文档。使用Eclipse/InteliJIDEA配置开发环境，可以修改warehouse里的数据然后观察任务的运行结果的
weixin_33816946·2020-08-14 11:58

MaxCompute的任务状态和多任务执行

我们在使用MaxCompute的时候，我们其实非常期望知道当前有多少任务在跑，哪些任务耗时长，哪些任务已经完成，并
weixin_33766805·2020-08-14 11:25

如何用SQL对MaxCompute数据进行修改和删除

MaxComputeSQL不支持对数据的Update和Delete操作，但是实际工作中可能确实有一些场景需要这样处理，怎么办呢？实际上，MaxComputeSQL的Insert语法支持InsertInto/Overwrite两种数据导入的方式。分别对应数据导入的追加写入和覆盖写入两种场景。追加写入比较容易理解，覆盖写入是指，如果覆盖写入的表是非分区表，那就清空这个表的内容然后用新的结果覆盖进去。如
weixin_33736649·2020-08-14 11:53

MaxCompute Console 实用小命令

摘要：MaxComputeConsole可以从这里下载。在阿里云官网可以查看帮助文档。这里跟大家分享一些MaxComputeConsole中实用的小命令。MaxComputeConsole可以从这里下载。在阿里云官网可以查看帮助文档。这里跟大家分享一些MaxComputeConsole中实用的小命令。嗯，一般人我不告诉他～1odpscmd-v查看odpscmd版本/Users/zhenhong/t
weixin_33708432·2020-08-14 11:50

MaxCompute SQL的SELECT语法

MaxComputeSQL支持使用正则表达式select_expr选列。使用正则表达式select_expr：SELECT`abc.*`FROMt;选出t表中所有列名以abc开头的列。SELECT`(ds)?+.+`FROMt;选出t表中列名不为ds的所有列。SELECT`(ds|pt)?+.+`FROMt;选出t表中排除ds和pt两列的其它列。SELECT`(d.*)?+.+`FROMt;选出t
SZn_Xin·2020-08-14 11:28

为了让开发者写MaxCompute SQL更爽，DataWorks 增强SQL 编辑器功能

原文链接：点击打开链接摘要：众所周知，数据开发和分析的同学每天都要花大量时间写MaxComputeSQL；Dataworks作为数据开发的IDE直接影响着大家的开发效率，这次新上线的Dataworks我们在编辑体验上做了很多工作，在前端实现MaxComputeSQL和编辑器参数等扩展语法的AST解析，并实现更好更智能的代众所周知，数据开发和分析的同学每天都要花大量时间写MaxComputeSQL；
qq_40954115·2020-08-14 11:41

MaxComputeSQL-列转行和行转列

阅读原文请点击摘要：1.假设我们在MaxCompute中有两张表，其中一张表是存用户基本信息，另一张表是存用户的地址信息等，表数据假设如下：user_basic_info:idname1a2b3c大数据计算服务
qq_35267530·2020-08-14 11:03

MaxCompute（原ODPS）使用总结-初级篇

转载自jiyi引言本文面向的读者是要使用ODPSsql进行一些数据查询和挖掘，或者要使用ODPSudf自定义函数的用户。本文试图达到三个目标：（1）针对应用管理者来讲，看完本文后可以比较清晰的去管理自己的应用；（2）针对ODPSsql使用者来讲，本文在sql语句的内建函数使用以及sql语句加速方面，给出了一些例子；（3）针对ODPSUDF使用者和开发者来讲，本文提供了一个UDF函数创建的完整例子并
weixin_33862041·2020-08-14 09:10

MaxCompute Studio使用心得系列2——编译SQL脚本

摘要：Console客户端、大数据开发套件的SQL编辑器目前都没有脚本编译功能，每次需要执行SQL脚本，只能提交执行后若有语法错误，执行结果失败返回失败信息才发现，影响开发效率又浪费资源。今天我就来分享在MaxComputeSQL提交运行前就可以进行脚本编译的方法。开发人员写好代码，对代码进行语法编译是很常见的操作，但是目前常用的MaxComputesql开发工具（大数据开发套件和console客
qq_35267530·2020-08-14 09:13

SQL优化器原理－Shuffle优化

这是MaxCompute有关SQL优化器原理的系列文章之一。我们会陆续推出SQL优化器有关优化规则和框架的其他文章。添加钉钉群“关系代数优化技术”（群号11719083）可以获取最新文章发布动态。
weixin_33806509·2020-08-14 08:06

连载：阿里巴巴大数据实践—数据开发平台

简介：介绍MaxCompute和阿里巴巴内部基于MaxCompute的大数据开发套件，并对在数据开发过程中经常遇到的问题和相关解决方案进行介绍。
阿里技术官方号·2020-08-14 04:01

架构从零搭建003-golang架构规划

restful风格的API登陆token验证，本打算使用JWT，但我还是喜欢自建数据库操作使用ORM缓存使用redis日志服务使用elaticsearch数据缓冲kafka消息推送：米推短信推送：阿里云数据仓库：maxcompute
人月神话·2020-08-14 04:20

MaxCompute 实现增量数据推送(全量比对增量逻辑)

简介：MaxCompute（ODPS2.0）-试用新的集合操作命令EXCEPT&增量识别ODPS2.0支持了很多新的集合命令(专有云升级到3版本后陆续支持)，简化了日常工作中求集合操作的繁琐程度。
南笙5539·2020-08-13 20:51

灵活运用DataWorks参数配置

阅读全文请点击数据工场DataWorks(原大数据开发套件DataIDE)是基于MaxCompute作为计算和存储引擎的，并用于工作流可视化开发和托管调度运维的海量数据离线分析平台。
a52654·2020-08-12 10:59

用Spark分析Amazon的8000万商品评价（内含数据集、代码、论文）

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com
weixin_34232744·2020-08-11 23:19

连载：阿里巴巴大数据实践—数据开发平台

阿里数据人都在用的内部技术经验关注数智化转型俱乐部，数智化不迷路摘要介绍MaxCompute和阿里巴巴内部基于MaxCompute的大数据开发套件，并对在数据开发过程中经常遇到的问题和相关解决方案进行介绍
数据社·2020-08-11 20:54

连载：阿里巴巴大数据实践—数据开发平台

面对海量的数据和复杂的计算，阿里巴巴的数据计算层包括两大体系：数据存储及计算平台（离线计算平台MaxCompute和实时计算平台StreamCompute）、数据整合及管理体系（OneData）。
阿里云云栖号·2020-08-11 19:45
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他