ODPS

DataX编译笔记

DataX编译笔记DataX简介获取源码DataX编译和使用环境本文编译环境编译DataX常见问题Maven仓库配置问题tablestore-streamclient版本问题odpsreader里odps-sdk-core
火玄子·2020-09-17 04:12

大数据同步组件Datax5分钟快速入门

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
王傲旗的大数据之路·2020-09-15 20:00

埋点治理-埋点SQL监控

========================================================================背景：SQL监控接入dpc，日期为云自带的函数，但在本地odps
东方陨·2020-09-15 09:45

MySQL规约（转自福报五百强 Java 开发手册）

【强制】表达是与否概念的字段，必须使用is_xxx的方式命名，数据类型是unsignedtinyint（1表示是，0表示否），此规则同样适用于odps建表。
一筐大白菜啊·2020-09-15 05:29

DataX源码打包编译采坑记

实现包括MySQL，SQLServer，Oracle，PostgreSQL，HDFS，Hive，HBase，OTS，ODPS等各种异构数据源之间高效的数据同步功能。
灬点点·2020-09-14 09:04

the number of input partition columns (1) doesn‘t equal to table‘s partition columns (2)

今天在使用MaxCompute时，遇到了如下报错：FAILED:ODPS-0130071:[73,24]Semanticanalysisexception-thenumberofinputpartitioncolumns
王大锤砸·2020-09-14 05:20

阿里云MaxCompute（ODPS）常见使用问题（持续更新中）

`SQL使用了系统参数`${bizdate}`，但是运行报错：`FAILED:ODPS-0130161:[20,12]Parseexception-in
王大锤砸·2020-09-14 05:19

Blink中时间函数(FROM_UNIXTIME/UNIX_TIMESTAMP/TO_TIMESTAMP等)

1.背景blink处理后一般输出到DWD层DataHub，再同步到ODPS中。
魂斗罗不打架·2020-09-13 23:43

dataworks/odps上传资源，注册函数，下载资源

1查资源listresource;/查资源列表listfunctions;/查函数如果是迁移UDF函数，可以在dataworks或odpscmd利用上述两条命令，查出包名和注册函数时的参数2."
魂斗罗不打架·2020-09-13 23:42

【DataX 增量同步】Mysql 同步数据到 es（Elasticsearch）

简介：阿里云开源离线同步工具DataX3.0介绍一.DataX3.0概览DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase
Zsigner·2020-09-13 21:43

linux环境下oracle数据库创建一个只有查询权限的用户

nologconn/assysdba(sysdba为管理员)查看当前登录数据库用户showuser二、创建新用户createuseruser1identifiedbyglobaldefaulttablespaceODPStemporarytablespacetempprofiledefault
DeedWang·2020-09-13 08:08

datax入门

datax简单入门概述什么是dataxDataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
dalianpai·2020-09-11 15:00

TDW VS 飞天5K

这让我想起前段时间看到的另外一篇文章:飞天5K于是翻出来，仔细对比了下1.离线数据平台TDW（TencentdistributedDataWarehouse）是腾讯最大的离线数据处理平台ODPS(OpenDataProcessingService
cuidiwhere·2020-09-11 12:21

ubuntu 12.4 close the touchpad sudo rmmod psmouse

ubuntu12.4closethetouchpadremovesudormmodpsmouseaddsudomodprobepsmouse
lingzhi007·2020-09-11 09:26

禁用触摸板

sudormmodpsmouse这个是禁用的sudomodprobepsmouse这个是启用的
iteye_10231·2020-09-11 08:19

MaxCompute 实现增量数据推送(全量比对增量逻辑)

ODPS2.0支持了很多新的集合命令(专有云升级到3版本后陆续支持)，简化了日常工作中求集合操作的繁琐程度。
阿里云云栖号·2020-08-25 14:04

MaxCompute 实现增量数据推送(全量比对增量逻辑)

ODPS2.0支持了很多新的集合命令(专有云升级到3版本后陆续支持)，简化了日常工作中求集合操作的繁琐程度。
阿里云云栖号·2020-08-25 13:56

MaxCompute复杂数据类型

原文：http://click.aliyun.com/m/40034/MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU
zhoushuntian·2020-08-24 20:56

MaxCompute管家详解--管家助力，轻松玩转MaxCompute

一、背景速览MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案，使用户可以经济并高效的分析处理海量数据。
阿里云云栖号·2020-08-24 20:11

MaxCompute介绍

spm=a2c4e.11153940.blogcont78108.17.46c53af60mplZf一什么是MaxCompute大数据计算服务（MaxCompute，原名ODPSopendataprocessingservice
有石为玉·2020-08-24 20:04

MaxCompute SQL原理解析及性能调优

分享内容介绍了MaxCompute（原ODPS）SQL的基于mapreduce是如何实现的及一些使用小技巧，回顾了mapreduce各个阶段可能产生的问题及相应的处理方法，同时介绍了一些应对数据倾斜的处理方法
weixin_34302798·2020-08-24 20:48

MaxCompute基础与MaxCompute_SQL优化

总论：大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
chengli1824·2020-08-24 19:43

【大数据】MaxCompute概述

什么是MaxCompute大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。
binggetong·2020-08-24 19:03

阿里云大数据计算服务 - MaxCompute (原名 ODPS)

MaxCompute是阿里EB级计算平台，经过十年磨砺，它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute做了哪些工作，这些工作背后的原因是什么？大数据市场进入普惠+红海的新阶段，如何与生态发展共赢？人工智能进入井喷阶段，如何支持与借力？本文从过去一年的总结，核心技术概览，以及每条技术线路未来展望等几个方面做一个概述。BigData概念在上世纪90年代被提出，随
weixin_30550081·2020-08-24 18:02

superset使用odps

superset使用odpssuperset是基于flask+sqlalchemy,对odps并没有支持.可是odps支持了postgresql协议,我们便可以通过postgresql协议添加数据源.配置
JhonSmith·2020-08-24 16:48

R可视化：用Shiny实现类Excel数据透视图

通常而言，数据或存放在MySQL数据库，或存放在Hadoop集群，或存放在阿里云的ODPS上。分析师根据业务需求写SQL语句从数据平台上提取出需要的数据，随后就面临着本文要重点讨论的
丹追兵·2020-08-24 13:55

《阿里巴巴Java开发手册（正式版）》--MySQL规约

【强制】表达是与否概念的字段，必须使用is_xxx的方式命名，数据类型是unsignedtinyint（1表示是，0表示否），此规则同样适用于odps建表。
衣舞晨风·2020-08-24 04:53

使用MaxCompute进行数据质量核查

数据质量顾名思义就是数据的质量数据质量是数据分析结论有效性和准确性的基础，也是最重要的前提和保障数据质量是数据分析应用的基础，为了获得可靠的数据，企业必须密切关注数据质量，数据质量将是直接影响系统应用成功的关键大数据计算服务(MaxCompute,原ODPS
xmvip01·2020-08-24 01:52

数据库开发规范

【强制】表达是与否概念的字段，必须使用is_xxx的方式命名，数据类型是unsignedtinyint（1表示是，0表示否），此规则同样适用于odps建表。
Jalen备忘录·2020-08-23 23:47

阿里云大数据计算服务MaxCompute使用教程

阿里云大学：阿里云大数据计算服务MaxCompute使用教程MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案，使您可以经济并高效的分析处理海量数据。
阿里云大学百科·2020-08-23 21:04

阿里云大数据计算服务MaxCompute使用教程

关于阿里云大数据计算服务MaxCompute的详细内容：阿里云大数据计算服务MaxCompute使用教程（MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案
阿里云大学百科·2020-08-23 00:10

浅谈PyODPS

摘要：在我看来，PyODPS就是阿里云上的Python。值得注意的是，这里的定语“阿里云上的”一定不能精简掉，因为PyODPS不等于单机版的Python！
猫耳呀·2020-08-22 21:50

第九弹 - 脚本模式与参数视图

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。
阿里云云栖号·2020-08-22 14:27

MaxCompute客户端在windows命令行下查询中文乱码怎么办？

但有用户会碰到在Windows下的命令行中执行odpscmd后，查询包含中文字符的表数据时出现乱码的情况，本文将给出问题分析和解决方法，帮助大家快速处理这样的问题。问题描述：Windows用户下载
阿里云云栖号·2020-08-22 14:13

ODPS技术架构及应用实践

初识ODPSODPS是分布式的海量数据处理平台，提供了丰富的数据处理功能和灵活的编程框架，主要的功能组件有如下几个。
CSDN·2020-08-22 01:51

从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL

摘要：SQL基础有这些操作（按照执行顺序来排列）：fromjoin(leftjoin,rightjoin,innerjoin,outerjoin,semijoin)wheregroupbyselectsumdistinctcountorderby如果我们能理解mapreduce是怎么实现这些SQL中的基本操作的，那么我们将很容易理解怎么优化SQL写法。点此查看原文：http://click.ali
猫耳呀·2020-08-21 11:30

为什么不用hadoop，要用Maxcompute？

阿里云数加MaxCompute(原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。与传统Hadoop相比，MaxCompute向
有石为玉·2020-08-21 06:06

《阿里巴巴Java开发手册（正式版）》--MySQL规约

文章出处：原文地址(一)建表规约【强制】表达是与否概念的字段，必须使用is_xxx的方式命名，数据类型是unsignedtinyint（1表示是，0表示否），此规则同样适用于odps建表。
善良死神·2020-08-21 04:47

数据源管理 | 基于DataX组件，同步数据和源码分析

本文源码：GitHub·点这里||GitEE·点这里一、DataX工具简介1、设计理念DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS
知了一笑·2020-08-21 01:58

数据源管理 | 基于DataX组件，同步数据和源码分析

本文源码：GitHub·点这里||GitEE·点这里一、DataX工具简介1、设计理念DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS
知了一笑·2020-08-21 01:58

第九弹 - 脚本模式与参数视图

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。
阿里云云栖号·2020-08-21 00:03

第九弹 - 脚本模式与参数视图

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。
阿里云云栖号·2020-08-21 00:03

python：从阿里ODPS（maxcomputer）读取数据写入Excel

0.背景及目标在使用阿里maxcomputer进行数据库查询过程中，当查询结果超过一万行时无法直接导出csv文件，解决方法比较多：1、MaxComputeStudio的基础平台IntelliJIDEA，将查询结果写入临时表中，在客户端进行导出（阿里教程：https://help.aliyun.com/document_detail/50891.html?spm=5176.10695662.1996
????? ⃢?-?⃢ .·2020-08-19 10:34

【ODPS】UDF基础

ODPS提供了很多内建函数来满足用户的计算需求，同时用户还可以通过创建自定义函数来满足不同的计算需求。
蒙奇娣龙·2020-08-19 10:52

ODPS核心接口

转载自：http://www.aiwanba.net/plugin/odps-doc/prddoc/odps_security/index.htmlODPSSDK介绍ODPS，阿里云开放数据处理服务，是构建在飞天系统上的大规模分布式数据处理服务
班得瑞的猫·2020-08-19 10:57

阿里云ODPS（现名MaxCompute，原名ODPS）介绍

什么是ODPS（一）阿里云开放数据处理服务(OpenDataProcessingService，简称ODPS)是构建在飞天系统上的大规模分布式数据处理服务。
weixin_36607803·2020-08-19 07:30

用odps中的tunnel下载hive表

/bin/odpscmd-e'tunneldownloadtable_name/partitioncsv_file.csv-htrue'其中“-htrue”表示下载表头。
shanghai_in_summer·2020-08-19 04:37

mysql odps oracle sqlserver 分页

privatestaticfinalStringMYSQL_LIMIT_SQL_DIRTY="select*from%swhere%slimit%s,%s";privatestaticfinalStringHIVE_LIMIT_SQL_DIRTY="select*from%swhere%slimit%s";privatestaticfinalStringORACLE_LIMIT_SQL_DIRTY
hgx2014·2020-08-19 02:01

webuploader上传文件夹

1背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器
Mr_Zang666·2020-08-17 18:07

java-怎样在main方法中调用action

java中spring框架中的action操作(extendsActionSupport)一般配置在struts中通过浏览器通过链接形式访问例如:我的action和配置文件如下:RapToDpsProjectRaw.javapackagecom.action.rap
张小凡vip·2020-08-17 08:40
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他