maxcompute

初识数据源同步利器--DataX

DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
zhengqiangtan·2020-08-14 20:10

DataX原理及安装

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
Rudolf_liu·2020-08-14 19:20

datax_web搭建

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
qq_33752493·2020-08-14 18:51

DataX操作指南

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
一世一生命·2020-08-14 18:26

DataX 3.0初体验

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
胡晗-·2020-08-14 18:16

如何用DataX自定义KuduWriter插件

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
山间浓雾有路灯，风雨漂泊有归舟·2020-08-14 18:54

DataX自定义transformer编写指南

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
陆上溪流·2020-08-14 17:02

通过java调用datax,返回任务执行详情

DATAXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
沉梦杨志·2020-08-14 17:42

【大数据】DataX介绍

DataX入门1.DataX1.1介绍DataX是阿里巴巴集团内被广泛使用的异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原
binggetong·2020-08-14 16:34

datax使用小记

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
HYESC·2020-08-14 16:08

DataX 实战使用说明

DataX是阿里巴巴集团内部被广泛使用的离线数据同步工具/平台，实现包括MySQL，Oracle，SqlServer，Postgre，HDFS，Hive，ADS，HBase，TableStore（OTS），MaxCompute
白夜行"·2020-08-14 15:12

离线数据同步神器：DataX，支持几乎所有异构数据源的离线同步到MaxCompute

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
weixin_33713707·2020-08-14 15:19

DataX 定制数据传输: 使用DataX Transformer

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
东海陈光剑·2020-08-14 15:09

dataX使用指南

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
一个不靠谱的程序员·2020-08-14 15:34

DataX安装部署-Reader插件二次开发

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute
凉城的夜·2020-08-14 15:46

MaxCompute 最新特性介绍 | 2019大数据技术公开课第三季

摘要：距离上一次MaxCompute新功能的线上发布已经过去了大约一个季度的时间，而在这一段时间里，MaxCompute不断地在增加新的功能和特性，比如参数化视图、UDF支持动态参数、支持分区裁剪、生成建表
zhaowei121·2020-08-14 12:59

阿里云MaxCompute（ODPS）如何使用SQL同步数据（SQLTask模式）

ODPS默认都是通过TableTunnel来获取数据，支持分区、续传等。但TableTunnel只支持单表，有时需要联表过滤数据就不能支持了。官方提供了SQLTask模式来进行一些扩展。思路ODPS提供了两种方式来执行SQL：直接使用SQLTask查询数据，但每次不支持超过10000行；未尝试能否通过多次执行task、每次task限定分页条件实现获取全部数据通过SQLTask创建临时表，通过Tab
王大锤砸·2020-08-14 12:50

MaxCompute SQL中select语句使用详情

SELECT语法介绍本文介绍MaxComputeSELECT语法格式及使用SELECT语法执行嵌套查询、排序操作、分组查询等操作的注意事项。在进行操作之前构建操作示例表sale_detail以及insert测试数据：---------------------------------------数据表和数据准备---------------------------------------CREATE
一天_pika·2020-08-14 12:53

为了让开发者写MaxCompute SQL更爽，DataWorks 增强SQL 编辑器功能

众所周知，数据开发和分析的同学每天都要花大量时间写MaxComputeSQL；Dataworks作为数据开发的IDE直接影响着大家的开发效率，这次新上线的Dataworks我们在编辑体验上做了很多工作，在前端实现MaxComputeSQL和编辑器参数等扩展语法的AST解析，并实现更好更智能的代码提示，更快速的响应，帮助大家提升开发效率； 首先show几张美图：看起来如何?是不是很像本地编辑器，很C
weixin_34400525·2020-08-14 12:14

MaxCompute SQL 使用正则表达式选列

编辑MaxComputeSQL时，经常会需要在某个表N个列中指定一些列。若需要指定的列比较少，编写SQL时一个个输入既可。当遇到列多的时候，一个个输入就会非常费劲。本文将介绍如何在编写MaxComputeSQL时通过正则表达式表达列（column），从而提升编码效率。首先用一个简单的示例介绍正则表达式的使用方法：SELECT`abc.*`FROMt;--查询t表中所有名字以'abc'开头的列。复制
weixin_34344677·2020-08-14 12:07

MaxCompute 存储优化技巧

原文链接：http://click.aliyun.com/m/14004/本文主要介绍一些ODPS表操作的优化技巧，通过这些技巧，可以有效节省ODPS存储空间和计算量。合理设置分区表ODPS支持分区表的概念，分区表指的是在创建表时指定的partition的分区空间，即指定表内的某几个字段作为分区列。在大多数情况下，用户可以将分区类比为文件系统下的目录。ODPS将分区列的每个值作为一个分区(目录)。
weixin_34315189·2020-08-14 12:05

MaxCompute Studio使用心得系列3——可视化分析作业运行

上一篇写分享了通过MaxComputeStudio编写sql脚本时“编译”功能带来的便捷，这次分享脚本编译好提交运行后，自助查看作业的执行情况。我们很熟悉的是通过logview，去分析作业的执行情况，logview上有很详细的执行日志，而Studio不仅仅提供可视化的信息，还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。比如我写完一个sql脚本，编译成功接着执行脚本，Studio自动打开
weixin_34288121·2020-08-14 12:34

使用MaxCompute快速实现企业数据化运营

随着人类社会从IT时代进入到DT时代，现在越来越多的企业开始重视数据的价值，但是并不是所有的企业都能够去挖掘出数据的价值。因此，企业需要通过使用大数据相关的技术对数据进行分析，并通过数据可视化技术将分析结果展现出来，这样才能够让企业负责人快速了解企业自身发展的情况。以我们的一个客户为例，来看一下如何快速地实现企业数据化运营。我们有一个客户，他们的网站系统部署在阿里云上，其系统架构如下所示：随着业务
???Sir·2020-08-14 12:02

MaxCompute基础与MaxCompute SQL优化

总论：大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
weixin_34066347·2020-08-14 12:14

MaxCompute参数调优

1背景及目的对于ODPS上的运行时间长的任务来说，针对不同的问题有不同的优化方法（详见其他章节）。但是对于一些特殊场景的任务来说，除了从业务上可以进行优化之外，还需要通过一些辅助的参数设置才能达到比较好的优化效果。因此，ODPS提供了很多性能参数供开发人员使用。2参数介绍2.1资源参数ODPS处理一个任务主要分为三个阶段：Map、Reduce、Join。如果处理的数据量比较大，导致各个阶段的每个I
weixin_33974433·2020-08-14 12:10

MaxCompute 学习计划(三)

MapReduce/Graph当业务逻辑实在是复杂的时候，用SQL配合UDF(包括UDAF和UDTF)也无法实现的时候，可以使用MapReduce或Graph来实现。作业MapReduceMapReduce文档里的十多个示例程序每个都很重要，务必每个都看懂每行代码的作用。参考链接文档。使用Eclipse/InteliJIDEA配置开发环境，可以修改warehouse里的数据然后观察任务的运行结果的
weixin_33816946·2020-08-14 11:58

MaxCompute的任务状态和多任务执行

我们在使用MaxCompute的时候，我们其实非常期望知道当前有多少任务在跑，哪些任务耗时长，哪些任务已经完成，并
weixin_33766805·2020-08-14 11:25

如何用SQL对MaxCompute数据进行修改和删除

MaxComputeSQL不支持对数据的Update和Delete操作，但是实际工作中可能确实有一些场景需要这样处理，怎么办呢？实际上，MaxComputeSQL的Insert语法支持InsertInto/Overwrite两种数据导入的方式。分别对应数据导入的追加写入和覆盖写入两种场景。追加写入比较容易理解，覆盖写入是指，如果覆盖写入的表是非分区表，那就清空这个表的内容然后用新的结果覆盖进去。如
weixin_33736649·2020-08-14 11:53

MaxCompute Console 实用小命令

摘要：MaxComputeConsole可以从这里下载。在阿里云官网可以查看帮助文档。这里跟大家分享一些MaxComputeConsole中实用的小命令。MaxComputeConsole可以从这里下载。在阿里云官网可以查看帮助文档。这里跟大家分享一些MaxComputeConsole中实用的小命令。嗯，一般人我不告诉他～1odpscmd-v查看odpscmd版本/Users/zhenhong/t
weixin_33708432·2020-08-14 11:50

MaxCompute SQL的SELECT语法

MaxComputeSQL支持使用正则表达式select_expr选列。使用正则表达式select_expr：SELECT`abc.*`FROMt;选出t表中所有列名以abc开头的列。SELECT`(ds)?+.+`FROMt;选出t表中列名不为ds的所有列。SELECT`(ds|pt)?+.+`FROMt;选出t表中排除ds和pt两列的其它列。SELECT`(d.*)?+.+`FROMt;选出t
SZn_Xin·2020-08-14 11:28

为了让开发者写MaxCompute SQL更爽，DataWorks 增强SQL 编辑器功能

原文链接：点击打开链接摘要：众所周知，数据开发和分析的同学每天都要花大量时间写MaxComputeSQL；Dataworks作为数据开发的IDE直接影响着大家的开发效率，这次新上线的Dataworks我们在编辑体验上做了很多工作，在前端实现MaxComputeSQL和编辑器参数等扩展语法的AST解析，并实现更好更智能的代众所周知，数据开发和分析的同学每天都要花大量时间写MaxComputeSQL；
qq_40954115·2020-08-14 11:41

MaxComputeSQL-列转行和行转列

阅读原文请点击摘要：1.假设我们在MaxCompute中有两张表，其中一张表是存用户基本信息，另一张表是存用户的地址信息等，表数据假设如下：user_basic_info:idname1a2b3c大数据计算服务
qq_35267530·2020-08-14 11:03

MaxCompute（原ODPS）使用总结-初级篇

转载自jiyi引言本文面向的读者是要使用ODPSsql进行一些数据查询和挖掘，或者要使用ODPSudf自定义函数的用户。本文试图达到三个目标：（1）针对应用管理者来讲，看完本文后可以比较清晰的去管理自己的应用；（2）针对ODPSsql使用者来讲，本文在sql语句的内建函数使用以及sql语句加速方面，给出了一些例子；（3）针对ODPSUDF使用者和开发者来讲，本文提供了一个UDF函数创建的完整例子并
weixin_33862041·2020-08-14 09:10

MaxCompute Studio使用心得系列2——编译SQL脚本

摘要：Console客户端、大数据开发套件的SQL编辑器目前都没有脚本编译功能，每次需要执行SQL脚本，只能提交执行后若有语法错误，执行结果失败返回失败信息才发现，影响开发效率又浪费资源。今天我就来分享在MaxComputeSQL提交运行前就可以进行脚本编译的方法。开发人员写好代码，对代码进行语法编译是很常见的操作，但是目前常用的MaxComputesql开发工具（大数据开发套件和console客
qq_35267530·2020-08-14 09:13

SQL优化器原理－Shuffle优化

这是MaxCompute有关SQL优化器原理的系列文章之一。我们会陆续推出SQL优化器有关优化规则和框架的其他文章。添加钉钉群“关系代数优化技术”（群号11719083）可以获取最新文章发布动态。
weixin_33806509·2020-08-14 08:06

连载：阿里巴巴大数据实践—数据开发平台

简介：介绍MaxCompute和阿里巴巴内部基于MaxCompute的大数据开发套件，并对在数据开发过程中经常遇到的问题和相关解决方案进行介绍。
阿里技术官方号·2020-08-14 04:01

架构从零搭建003-golang架构规划

restful风格的API登陆token验证，本打算使用JWT，但我还是喜欢自建数据库操作使用ORM缓存使用redis日志服务使用elaticsearch数据缓冲kafka消息推送：米推短信推送：阿里云数据仓库：maxcompute
人月神话·2020-08-14 04:20

MaxCompute 实现增量数据推送(全量比对增量逻辑)

简介：MaxCompute（ODPS2.0）-试用新的集合操作命令EXCEPT&增量识别ODPS2.0支持了很多新的集合命令(专有云升级到3版本后陆续支持)，简化了日常工作中求集合操作的繁琐程度。
南笙5539·2020-08-13 20:51

灵活运用DataWorks参数配置

阅读全文请点击数据工场DataWorks(原大数据开发套件DataIDE)是基于MaxCompute作为计算和存储引擎的，并用于工作流可视化开发和托管调度运维的海量数据离线分析平台。
a52654·2020-08-12 10:59

用Spark分析Amazon的8000万商品评价（内含数据集、代码、论文）

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com
weixin_34232744·2020-08-11 23:19

连载：阿里巴巴大数据实践—数据开发平台

阿里数据人都在用的内部技术经验关注数智化转型俱乐部，数智化不迷路摘要介绍MaxCompute和阿里巴巴内部基于MaxCompute的大数据开发套件，并对在数据开发过程中经常遇到的问题和相关解决方案进行介绍
数据社·2020-08-11 20:54

连载：阿里巴巴大数据实践—数据开发平台

面对海量的数据和复杂的计算，阿里巴巴的数据计算层包括两大体系：数据存储及计算平台（离线计算平台MaxCompute和实时计算平台StreamCompute）、数据整合及管理体系（OneData）。
阿里云云栖号·2020-08-11 19:45

阿里云数据工厂DataWorks

DataWorks（数据工场）基于MaxCompute作为核心的计算、存储引擎，提供了海量数据的离线加工分析、数据挖掘的能力。DataWorks和MaxCompute关系紧密，DataWorks为M
云特快·2020-08-10 04:33

数加：从数据工程师到CDO的七次升职路

本文引入一个数据工程师到首席数据官的七次升职过程，阐述了阿里大数据的进化史，其中包括QuickBI、DataV、PAI、公众趋势分析、MaxCompute&DataIDE以及推荐引擎等都进行了详细的解析
weixin_34204057·2020-08-10 03:05

关于从MongoDB读取数据到MaxCompute的一些注意点

从MongoDB读取数据到MaxCompute的实践主要步骤请参考以下几篇阿里云的操作手册，这里主要突出一些容易翻车的地方。
渊云·2020-08-09 11:23

SaaS 模式云数据仓库 MaxCompute 数据安全最佳实践

简介：MaxCompute作为企业级SaaS模式云数据仓库，正在为客户业务及其数据提供持续的安全保护。
阿里技术官方号·2020-08-06 10:11

SaaS 模式云数据仓库 MaxCompute 数据安全最佳实践

简介：MaxCompute作为企业级SaaS模式云数据仓库，正在为客户业务及其数据提供持续的安全保护。
阿里技术·2020-08-06 00:57

阿里云大数据ACP认证学习笔记之——————Dataworks

基本概念产品服务数据集成数据开发数据地图数据质量数据服务计算和存储引擎服务离线计算MaxCompute开源大数据引擎E-MapReduce实时计算（基于Flink）机器学习PAI图计算服务GraphCompute
江凌·2020-08-05 17:51

SaaS 模式云数据仓库 MaxCompute 数据安全最佳实践

什么是MaxCompute?MaxCompute是一款云原生、高效能的SaaS模式企业级数据仓库服务，被广泛用于构建现代化企业数据平台，开展BI分析、数据化运营、画像及推荐、智能预测等应用场景。
我是代码派·2020-08-05 12:53

SaaS模式云数据仓库 MaxCompute 安全能力升级—持续定义云原生，有效提升企业数据安全管理

当数字化转型成为企业的必经之路，大数据已然成为业务发展的重要驱动力，数据成为资产的同时正在面临诸多风险。近年来不乏和数据安全有关的用户隐私数据泄露、环境和数据受到网络威胁以及核心数据遭到恶意破坏等重大事件，企业大数据的安全能力正在面临挑战。大数据平台正在往基于云实现服务化交付的模式演进，全托管大数据平台内建完善的安全管理能力，将有效提升企业安全管理水平。2020年8月5日，SaaS模式云数据仓库M
我是代码派·2020-08-05 11:32
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他