ODPS

用阿里云平台dataworks创建表三种方式

用阿里云平台dataworks创建表三种方式：1.在临时查询中用odpssql如下2.在数据开发中先新建数据流程再新建表，然后可以一个一个写字段再提交到生产环境也可以ddl模式3.在手动业务流程中新建节点
大数据小理·2022-08-31 21:10

阿里云dataworks中业务流程中问题（odps2）

bigdate形式的数据在odps的2.0版本中无法隐式转换，应将一个参数改为false如下setprojectodps.sql.type.system.odps2=false;上面的语句应该与insert
大数据小理·2022-08-31 21:10

SpringBoot整合dataworks的实现过程

脚本包含两部分1、开发的odps脚本(通过OpenApi获取)2、建表语句脚本(通过dataworks信息去连接maxCompute获取建立语
·2022-08-12 14:51

SpringBoot集成MaxCompute的示例代码

目录1、SDK方式集成1.1、依赖引入odps-sdk-core1.2、编写连接工具类1.2.1、重要类和方法说明1.2.2工具类测试1.2.3为什么要开启全表扫描2、JDBC方式集成2.2、编写连接工具类
·2022-08-12 14:50

SpringBoot集成MaxCompute

1、SDK方式集成使用odps-sdk-core集成,官方文档地址MaxComputeJavaSDK介绍1.1、依赖引入odps-sdk-core1.80.40.8-publiccom.aliyun.odpsodps-sdk-core
IT_DLin·2022-08-11 21:45

SpringBoot整合dataworks

脚本包含两部分1、开发的odps脚本(通过OpenApi获取)2、建表语句脚本(通过dataworks信息去连接maxCompute获取建立语句)阿里云Dataworks的openApi分页查询限制，一次最多查询
IT_DLin·2022-08-11 21:41

智能算法集成测试平台V0.1实战开发

文章目录前言版权2022.7.4集成算法项目结构基本粒子群算法SPSO数据结构相关配置实现代码目标函数参数优化（单种群）PSO系列算法LPSODPSONPSO自适应PSO（VCAPSO)参数配置核心代码综合粒子群算法
Huterox·2022-08-03 07:42

Hive/MaxCompute SQL性能优化(一)：什么是数据倾斜

对于MaxCompute/ODPS来说，定位是否倾斜，
王义凯_Rick·2022-07-15 14:05

Maxcompute-UNION数据类型对齐的方法

在ODPS某些模式中在union两侧对应列如果类型不同时会尝试隐式类型转
·2022-06-28 18:21

DataWorks开发ODPS SQL开发生产环境自动补全ProjectName

简介：DataWorks标准模式下，支持开发环境和生产环境隔离，开发环境和生产环境的数据库表命名有所区别，如果需要在开发环境访问生产环境的数据库表或者跨项目空间访问其他项目空间的表，需要根据projectA.tablename命名规范严格区分数据库表名，避免误操作生产环境。开发环境SQL任务中需要使用【开发环境空间.表名】来使用表，发布到生产环境时，需要手动把开发环境空间改成生产环境空间名称才能发
·2022-06-24 17:02

阿里云全链路数据治理

配置ODPSSQL节点提交业务流程运行
简明编程·2022-06-23 10:32

阿里云大数据ACP认证学习笔记

阿里云大数据ACP认证学习笔记1.大数据基础2.大数据计算服务Maxcompute2.1基础知识2.1.1购买Maxcompute并创建项目增加子用户2.1.2创建ODPS2.1.3maxcompute
dzdzdzdzdzdzdz·2022-06-10 16:36

pyodps中的apply用法及groupby取分组排序第一条数据

目录1、apply用法2、取分组排序后的第一条数据1、apply用法apply在pandas里非常好用的，那在pyodps里如何去使用，还是有一些区别的，在pyodps中要对一行数据使用自定义函数，可以使用
·2022-05-31 10:55

Linux常用命令复习

目录netstatlsoflspwdcatcut文件四件套tailchmodpskillfindgrepdfdupingifconfigtopwget平时光顾着用了，也没仔细总结过。
fhzmWJ·2022-05-14 07:30

DataWorks-ODPS数据导出的几种方式

数据量10000行以下DataStudio页面下载(对应工作空间需开启下载设置)java-SDKSQLTask接口importjava.util.List;importcom.aliyun.odps.Instance
Victor_bigdata·2022-03-07 10:09

大数据测试场景科普 -- 离线造数场景

不知道大家有没有接触过大数据平台产品，这类产品以TOB公司居多，当然也有一些大厂内部也会有大数据平台去支撑业务线，比如阿里的好像叫odps吧（有点
TesterHome·2022-03-01 00:14

大数据测试场景科普 -- 离线造数场景

不知道大家有没有接触过大数据平台产品，这类产品以TOB公司居多，当然也有一些大厂内部也会有大数据平台去支撑业务线，比如阿里的好像叫odps吧（有点
·2022-02-28 19:10

阿里云maxcompute(原odps)历险记

1.MAXCOMPUTE（原odps）踩坑：1、在使用split_part(info,‘|’,1)函数切分数据时，要格外注意分隔符’|’，尤其是涉及有非字母、数字的数据，其中可能会夹杂’|’，这样就导致取出的数据不一致
Michael_zmh·2022-02-19 16:07

阿里开源数据同步工具——DataX源码揭秘

2.介绍DataX是一个开源异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
来杯熊酱不加糖·2022-02-15 14:03

面向B端算法实时业务支撑的工程实践

我们在这一段时间支持了多个实时业务场景，比如出价策略的实时化预估、关键词批量服务同步、实时特征等场景，了解到业务侧同学来说，针对ODPS场景来说大部分可以灵活使用，但对于Blink使用还有不足，我们这里针对场景积累了一些经验
·2022-02-15 10:08

datax实现mysql数据同步

前言DataX是阿里内部广泛使用的离线数据同步工具/平台，可以实现包括MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
小码农叔叔·2022-02-05 06:04

机器学习-阿里机器学习pai走读（1-源/目标）

背景公司较多的使用了阿里的产品，特别是云数据库rds和大数据maxcompute（原odps），那么，使用机器学习pai进行机器学习和数据挖掘，理论上来说是首选（因为pai和maxcompute的数据是互通的
感性企鹅·2022-02-04 17:50

阿里巴巴超大规模 Kubernetes 基础设施运维体系揭秘

2021年天猫双十一，对于ASI来说又是难忘的一年，今年我们又完成了很多“第一次”：第一次全面统一调度：电商、搜索、odps离线和蚂蚁业务全面上ASI
·2021-12-30 21:18

重试机制！

1、try-catch-redo简单重试模式try{result=uploadToOdps(paramMap);if(!
·2021-12-07 16:35

redis的RDB和AOF两种持久化机制

每个数据文件都代表了某一个时刻中redis的数据，这种多个数据文件的方式，非常适合做冷备，可以将这种完整的数据文件发送到一些远程的安全存储上去，比如说Amazon的S3云服务上去，在国内可以是阿里云的ODPS
三号小玩家·2021-12-01 23:00

Apache doris Datax DorisWriter扩展使用方法

DataX实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres
·2021-09-15 14:25

外部工具连接SaaS模式云数仓MaxCompute—ETL工具篇

01走进MaxCompute生态02开源ETL工具03客户端简介04PyODPS简介05实操展示一、走进MaxCompute生态首先来看下MaxCompute产品能支持的外部工具，大概可以分为商业智能、
·2021-08-11 12:29

MaxCompute跨境访问加速解决方案

背景信息MaxCompute的大量出海客户，由于开发人员所在地和数据源地域不一致，经常需要进行跨境互访，在使用IDEA/ODPSCMD/SDK进行管控类作业提交、数据下载等请求时，网络抖动比较大，可能会出现被
·2021-08-05 12:58

2019-08-08工作进展

setodps.sql.mapper.split.size=1;昨天工作：重新处理数据集，给一些重要的关键词，如含有季节，性别等关键信息的词更多的权重。使用新的数据集重新对dssm模型进行训练测试。
Songger·2021-06-19 02:38

20190707工作进展

pai-namepytorch-projectalgo_public_dev-Dpython=3.6-Dscript="file:///apsarapangu/disk1/hengsong.lhs/origin_deep_cluster_odps
Songger·2021-05-16 03:22

如何把odps上的表同步到es并将结果修改

首先，需要三个脚本1.cleaner.js2.schema.json3.manual.shCleaner.js上图如图1.有些表需要timestamp这个字段。但是对于一些维表。这个字段是不存在的。，所以依赖自身的dt。但dt是依赖父类的。所以在这里添加2.这里是和4处对应的。3.设置id4.处理映射schema.json就是结构体如图manual.sh
起个什么呢称呢·2021-05-10 13:46

DataX 3.0简介 安装及使用

DataX3.0离线同步工具介绍一.DataX3.0概览DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP
香山上的麻雀·2021-05-09 13:14

DataX使用

预备DataX介绍DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
小白的自述·2021-05-06 15:16

关于MaxCompute的基本了解

大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。
云计算小百科·2021-05-01 16:41

阿里云大数据计算服务MaxCompute（下篇）

关于阿里云大数据计算服务MaxCompute的详细内容：阿里云大数据计算服务MaxCompute使用教程（MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案
云计算小百科·2021-04-30 17:41

Oracle - ODPS数据类型转换

阅读原文请点击摘要：oracle数据类型转到ODPS，映射关系ODPS数据类型：类型描述取值范围Bigint8字节有符号整型。
阿里云_云栖社区·2021-04-25 10:10

公司数据库逻辑

pro库drds库通道库查询库pg库bi库tidb库odps查询pro库和drds库是线上数据库通道库属于枢纽用户同步pro和drds的数据，查询库用于对通道库数据二次同步，用于程序员查看线上问题，oss
eric_fun·2021-04-23 11:42

DataX在数据迁移中的应用

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
阿里云云栖号·2021-04-13 00:28

ODPS double类型转型精度问题总结

简介：ODPSdouble类型转型精度问题总结从相差0.0000000000001说起，本文主要是对odps的Double和Decimal的精度使用问题做一个总结。
·2021-03-25 16:54

ODPS double类型转型精度问题总结

简介：ODPSdouble类型转型精度问题总结从相差0.0000000000001说起，本文主要是对odps的Double和Decimal的精度使用问题做一个总结。
·2021-03-24 19:16

DataX在数据迁移中的应用

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
阿里云开发者·2021-02-23 10:59

pyspark 特征工程

后来进入阿里工作，特征处理基本上使用PAI可视化特征工程组件+ODPSSQL，复杂的话才会自己写python处理。最近重新学习了下pyspark，笔记下如何使用pyspark做特征工程。
卓寿杰_SoulJoy·2021-02-10 12:09

DataX在数据迁移中的应用

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
·2021-02-07 14:54

DataX在数据迁移中的应用

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
·2021-02-07 14:53

DataX在数据迁移中的应用

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
阿里云云栖号·2021-02-07 10:14

MaxCompute Tunnel 技术原理及开发实战

简介：MaxCompute（原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案,致力于批量结构化数据的存储和计算，为用户提供数据仓库的解决方案及分析建模服务。
·2021-02-03 10:43

详解python模块pychartdir安装及导入问题

以下是报错内容：[modps@LGJF-ZYC5-MMSC-WEB02~]$python/opt/aspire/product/modps/mopps/shell/dayreport_linux.py/
·2021-01-18 16:45

Python3 读取odps数据库数据

Python3读取odps数据库数据pyodps安装如果未安装pyodps包，则需要先安装：pipinstallpyodpsODPS常用包导入fromodpsimportODPSfromodpsimportDataFrameimportpandasaspdfromcollectionsimportdefaultdict
dengdengwb·2021-01-05 16:29

Python3 读取odps数据库数据

Python3读取odps数据库数据pyodps安装如果未安装pyodps包，则需要先安装：pipinstallpyodpsODPS常用包导入fromodpsimportODPSfromodpsimportDataFrameimportpandasaspdfromcollectionsimportdefaultdict
uuddoop·2021-01-05 16:04

基于OGG Datahub插件将Oracle数据同步上云

本文用到的阿里云数加－大数据计算服务MaxCompute产品地址：https://www.aliyun.com/product/odps一、背景介绍随着数据规模的不断扩大，传统的RDBMS难以满足OLAP
weixin_34381666·2020-09-17 05:43
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他