Odps

Datax实现odps和mysql之间数据传输

一、mysql的数据加载到odps的表中{“job”:{“setting”:{“speed”:{“byte”:1048576}},“content”:[{“reader”:{“name”:“mysqlreader
向往的BigData·2020-07-28 22:33

搜索场景个数统计

importcom.alibaba.fastjson.JSONObject;importcom.alibaba.newcpw.xx.utils.JsonAnalysis;importcom.alibaba.newcpw.xx.utils.OdpsUtil
东方陨·2020-07-28 21:52

ODPS开发模式自测注意点

最近，ODPS从简单模型更新成开发/生成模式。差异比较大，特别对开发完成后的自测造成很大影响。将需要注意的点总结如下。
有石为玉·2020-07-28 20:11

阿里云ODPS使用总结

从阿里云官网下载ODPS的客户端odpscmd_public.zip，该客户端在linux和windows环境上都可用。
weixin_36607803·2020-07-28 19:19

使用 odps-jdbc 接入 ODPS，不再从零开始

想借助ODPS的分布计算能力？但是你又不想学习官方的SDK？如果你恰好在老项目中用了JDBC访问Oracle或MySQL？那么你可能对这篇文章感兴趣。
weixin_34409703·2020-07-28 19:48

增量同步ODPS数据解决方法

解决方法目前ODPS到分析型数据库之间的数据同步是离线批量同步的，不支持实时同步增量的情况。
weixin_34381687·2020-07-28 19:55

ODPS 权限管理命令集合

项目空间的安全配置语句说明showSecurityConfiguration查看项目空间的安全配置setCheckPermissionUsingACL=true/false激活/冻结ACL授权机制setCheckPermissionUsingPolicy=true/false激活/冻结Policy授权机制setObjectCreatorHasAccessPermission=true/false允
weixin_34381666·2020-07-28 19:23

大批量处理excel文件到ODPS中方案

大批量处理excel文件到ODPS中方案前言最近所做的项目需要将近五千个excel文件导入到ODPS，并且excel文件内容格式全部不一样。
weixin_34378969·2020-07-28 19:22

MaxComputer-Pyodps之使用pyodps实现sql的循环

使用这一方法主要考虑到以下两点：MaxComputer是支持PythonSDK，PyODPS
weixin_34310127·2020-07-28 19:52

阿里云大数据MaxCompute计算资源分布以及LogView分析优化

MaxCompute(原ODPS）的概念大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的PB/EB级数据仓库解决方案，具备万台服务器扩展能力和跨地域容灾能力，是阿里巴巴内部核心大数据平台
weixin_34293902·2020-07-28 19:39

基于大数据开发套件定时调度带资源文件的MapReduce作业

如果需要周期性调度，目前MaxCompute（原名ODPS）只提供了计算引擎，任务调度可以使用大数据开发套件来实现。这篇帖子从基础开始，介绍了3种周期性调度的方法。同时还介绍了如何使用资源文件。
weixin_34211761·2020-07-28 19:19

MaxComputeSql性能调优

转载自xiaorui部分用户(尤其对外输出)使用MaxCompute(原Odps)时，由于对产品的使用层面和执行层面了解程度不同，导致提交的任务执行时间过长、占用了较多集群资源；严重的会导致失败、不仅需要投入支持同学精力协助解决
weixin_34128839·2020-07-28 18:45

MaxCompute( 原ODPS）下的表分区解释

大数据计算服务（MaxCompute，原名ODPS，https://www.aliyun.com/product/odps）是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。
weixin_34128237·2020-07-28 18:14

MaxCompute - ODPS重装上阵　第五弹 - SELECT TRANSFORM

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。
weixin_34120274·2020-07-28 18:35

ODPS JOB 长尾问题调优

引言上篇JOBlogview查看问题提到长尾问题，本文深入探讨下长尾调优的方法概述因为数据分布不均，导致各个节点的工作量不同，整个任务就需要等最慢的节点完成才能完成。这种问题就是长尾问题，是分布式计算里最常见的问题之一，也是典型的疑难杂症。处理这类问题的思路就是把工作分给多个Worker去执行，而不是一个Worker单独抗下最重的那份工作。本文分享平时工作中遇到的一些典型的长尾问题的场景及其解决方
weixin_34121304·2020-07-28 18:05

odps下的表分区解释

在odps中最多支持六级分区。也就是说partitionby里面可以有六个字
weixin_34107739·2020-07-28 18:24

OSS文件上传及OSS与ODPS之间数据连通

某一天用户了解到阿里云的OSS服务存储性价比高(嘿嘿，颜值高)，于是想将CSV数据迁移到云上OSS中，并且未来还想对这些数据做一些离线分析，挖掘其中存在价值，因此需要将OSS中文件再通过一种方式同步到ODPS
weixin_34101229·2020-07-28 18:52

odps是什么?

ODPS（OpenDataProcessingService），是阿里巴巴通用计算平台提供的一种快速、完全托管的GB/TB/PB级数据仓库解决方案，现在已更名为MaxCompute，MaxCompute
weixin_34101229·2020-07-28 18:52

MaxCompute平台非标准日期和气象数据处理方法--以电力AI赛为例

平台支持的日期格式通常是对齐的日期格式诸如20170725或2017/07/25这种，而本次电力AI赛提供的日期格式却是未对齐的非标准（相对MaxCompute平台来说）的日期格式2016/1/1这种，使得无法直接使用ODPSSQL
weixin_34090562·2020-07-28 18:17

【大数据干货】数据进入阿里云数加-分析型数据库AnalyticDB（原ADS）的N种方法...

免费开通大数据服务：https://www.aliyun.com/product/odps数据进入AnalyticDB（原ADS）的N种方法分析型数据库（AnalyticDB）是阿里巴巴自主研发的海量数据实时高并发在线分析
weixin_34029680·2020-07-28 18:37

ODPS功能介绍之数据导入

在使用ODPS强大的数据处理能力之前，大家最关心的是自己的数据如何导入到ODPS中。下面介绍一款向ODPS导入数据的工具-Fluentd。
weixin_34026276·2020-07-28 18:35

如何理解maxcompute常见报错信息？【阿里云MVP月度分享】

ODPS-0130252:Cartesianproductisnotallowed“不允许笛卡尔积”主要是为了防止用户误操作，不小心漏了关联条件，造成大量的资源的耗费。
weixin_34014277·2020-07-28 18:25

Oracle存储过程迁移ODPS-01（专有云）：支持DML(delete/update/merge)SQL

--关系型数据库支持的delete/update/mergeSQL，在ODPS该如何写--上日全量表table1(key1string,key2string,col1string,col2string)
weixin_33971977·2020-07-28 18:27

jdbc连接odps

2019独角兽企业重金招聘Python工程师标准>>>packagecn.zlh.odps;importjava.sql.Connection;importjava.sql.DatabaseMetaData
weixin_33968104·2020-07-28 18:26

ODPS通过SQL删除数据的方法

>>>ODPS不支持直接通过delete语句删除数据。对于非分区表通过“TRUNCATETABLEtable_name;”语句清空表数据，也可以用覆盖写的功能实现类似的功能。
weixin_33801856·2020-07-28 17:24

MaxCompute命令行工具——odpscmd的操作使用

在本文中，阿里巴巴计算平台产品专家曲宁将通过一个完整简单的小例子为大家介绍MaxCompute命令行工具odpscmd的使用以及其所具有的各种能力。直播视频回看，戳这里！
weixin_33797791·2020-07-28 17:52

【Spark Summit EU 2016】使用Java Agent扩展Spark

https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps
weixin_33772645·2020-07-28 17:11

Oracle存储过程迁移ODPS-00（专有云）：Oracle - ODPS数据类型转换

ODPS数据类型：类型描述取值范围Bigint8字节有符号整型。请不要使用整型的最小值(-9223372036854775808)，这是系统保留值。
helloxielan·2020-07-28 17:42

odps函数

常用函数系统自带函数coalesce()：返回列表中第一个非NULL的值，如果列表中所有的值都是NULL则返回NULL;eg:concat()：字符串连接函数;eg:least()：返回输入参数中最小的一个greatest()：返回输入参数中最大的一个(var1，var2可以为bigint，double，datetime或者string。若所有值都为NULL则返回NULL。返回值:输入参数中的最大
weixin_33716941·2020-07-28 17:21

阿里云odps基本语法

odpssql：与hivesql语法基本一致odpscmd.batSQL语句不分大小写，使用“–”进行注释，使用分号作为语句结束符号数据定义语言（DDL），数据操作语言（DML）,数据控制语言（DCL）
weixin_33711641·2020-07-28 17:16

ODPS到ODPS数据迁移指南

1.工具选择与方案确定目前,有两种方式可用于专有云环境下的从MaxCompute到MaxCompute整体数据迁移。（1）使用DataX工具进行迁移，迁移所需的作业配置文件及运行脚本，可用DataX批量配置工具来生成；（2）通过大数据开发套件（DataIDE）-数据开发进行迁移，这种方式可选择界面向导模式逐步配置，操作简单容易上手；2.具体实施2.1使用DataX工具这种场景需要先从源MaxCom
weixin_33691817·2020-07-28 17:01

MaxCompute常见错误汇总（更新ing）

十大常见错误码No1.FAILED:ODPS-0130131报错信息：FAILED:ODPS-0130131:[1,15]Tablenotfound-tabletest0517.dualcannotberesolved
weixin_33691598·2020-07-28 17:59

MaxCompute Console 实用小命令

嗯，一般人我不告诉他～1odpscmd-v查看odpscmd版本/Users/zhenhong/tool/odps_clt.
weixin_33690963·2020-07-28 17:59

ODPS SQL

基本操作：查询：SELECT[ALL|DISTINCT]select_expr,select_expr,...FROMtable_reference[WHEREwhere_condition][GROUPBYcol_list][ORDERBYorder_condition][DISTRIBUTEBYdistribute_condition[SORTBYsort_condition]][LIMITn
Claire_ljy·2020-07-28 16:03

大数据-一站式内容画像数据处理（pyodps+odps）

文章目录背景数据流原理实战演示数据集成数据开发（odpssql）数据开发（pyodps）pyodps实战演示在dataworks中使用在本机使用在dsw的helloworld在dsw中进行埋点分析（时间序列分析
感性企鹅·2020-07-28 15:09

将本地mysql数据库表格导入到odps大数据计算服务项目中

将本地mysql数据库表格导入到odps大数据计算服务项目中一、工具下载以及部署方法一、直接下载DataX工具包(如果仅是使用，推荐直接下载)：1.1.下载DataX:wgethttp://datax-opensource.oss-cn-hangzhou.aliyuncs.com
keilson·2020-07-28 15:21

ODPS字符串函数

CHAR_MATCHCOUNT命令格式bigintchar_matchcount(stringstr1,stringstr2)命令说明该函数用于计算str1中有多少个字符出现在str2中。参数说明str1、str2：STRING类型，必须为有效的UTF-8字符串。如果对比中发现有无效字符，则函数返回负值。返回值说明返回BIGINT类型。如果任一输入参数为NULL，则返回NULL。示例char_ma
SZn_Xin·2020-07-28 13:08

ODPS随笔记---内建函数TO_CHAR、TO_DATE、INSERT INTO

1.TO_CHAR:将日期类型date按照format指定的格式转成字符串。SELECTTO_CHAR('2018-10-2722:17:55','yyyymmddhhmiss')asstg_rksjFROMtable1；返回201810272217552.TO_DATE:将一个format格式的字符串date转成日期值，返回Datetime类型，格式为yyyy-mm-ddhh:mi:ss。若任意
魂斗罗不打架·2020-07-28 13:35

阿里推荐大赛：ODPS SQL 入门

看文档的过程中，又是ODPSSQL、MapReduce、XLab/XLib、Tunnel、ODPSSDK什么的，相信很多人都跟我一样看的眼花，茫然不知所措，更别提对MR不熟悉、SQL忘
mishidemudong·2020-07-28 13:42

将本地mysql数据库表格导入到odps

将本地mysql数据库表格导入到odps大数据计算服务项目中将本地mysql数据库表格导入到odps大数据计算服务项目中（还有一种方式是通过odpstunnel的方式：https://help.aliyun.com
tony286186·2020-07-28 12:59

常用ODPS命令

odps命令行客户端工具可以通过官方下载odpscmd-0.24.1-1.noarch.rpm安装以后的配置修改配置文件vimodpscmd/conf/odps_config.iniproject_name
sunny05296·2020-07-28 12:20

读取odps表数据

问题由于需要从odps表中读取数据，所以我一开始使用的是spark自带DataSource的API方式进行数据读取，具体代码如下：valdf=spark.read.format("org.apache.s
qq_42901339·2020-07-28 09:16

数据集成工具Kettle、Sqoop、DataX的比较

1、阿里开源软件：DataXDataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
czl---·2020-07-28 08:27

记录我的一次基于dataworks大数据平台的关于多栏位SUM求和的ODPS SQL优化

记录我的一次基于dataworks大数据平台的关于多栏位SUM求和的ODPSSQL优化背景在我所需要做的需求中，有这样一个场景，简化描述即是，基于阿里云dataworks平台用ODPSSQL脚本统计出商品订单表
摇铃唤白鹿·2020-07-28 07:59

阿里云大数据计算服务MaxCompute（下篇）

关于阿里云大数据计算服务MaxCompute的详细内容：阿里云大数据计算服务MaxCompute使用教程（MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案
云计算小百科·2020-07-28 05:40

阿里云产品ODPS的简介和使用方法

在大数据云时代来临之际，掌握了完美的数据处理工具，譬如hadoop，oracle，ogg这些必将会给你带来不错的收益，而今天我们着重讲一下阿里的两大产品dataX和ODPS。
江楼月美人·2020-07-28 03:37

ODPS技术架构及应用实践

摘要：ODPS是分布式的海量数据处理平台，提供了丰富的数据处理功能和灵活的编程框架。
miller_lover·2020-07-28 03:09

Hive Odps数据去重及row_number()窗口函数

distinct会整条数据去重，有一项是不同的整条数据就算不同的，不会去掉，按照某一个字段去重需要如下方法hive数据去重，并根据需求取其中一条数据案例：nameadxtran_idcosttsck5125.168.10.033.001407234660ck5187.18.99.0033.321407234661ck5125.168.10.033.241407234661只需要前两行的记录，因为第
这瓜保熟么·2020-07-28 03:00

使用阿里云ODPS UDF实现ORACLE lpad函数与rpad函数

lpad函数lpad函数是Oracle数据库函数，lpad函数从左边对字符串使用指定的字符进行填充。语法格式如下：lpad(string,padded_length,[pad_string])string准备被填充的字符串；padded_length填充之后的字符串长度，也就是该函数返回的字符串长度，如果这个数量比原字符串的长度要短，lpad函数将会把字符串截取成从左到右的n个字符;pad_str
鱼谷·2020-07-28 02:42

ODPS之Tunnel上传下载

上传目录 Tunnelhelpupload查看上传命令参数设置 本地目录结构 ODPS项目表结构 尝试整个目录上传 查看上传结果可以确定的是本地downloadSample文件夹中的文件并没有被追加进表中多线程上传
geekcug·2020-07-28 02:07
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他