odps

java启动脚本

/bin/bash##javaenvexportJAVA_HOME=$JAVA_HOMEexportJRE_HOME=$JAVA_HOME/jre##servicenameAPP_NAME=odps-pluginVERSION
sspa·2020-04-21 20:09

Datax(1)-读写MySQL-To-MySQL-(Win10安装)

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
小山丘·2020-04-19 21:20

MaxCompute - ODPS重装上阵　第四弹 - CTE，VALUES，SEMIJOIN

摘要：MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。
猫耳呀·2020-04-14 12:29

配置ODPS上的自定义函数（UDF）

发现官网上的介绍已经跟不上ODPS发展的步伐了，如果之前不是对Maven还有点了解，感觉配置一个UDF都不容易。
yfwz100·2020-04-10 05:16

纳米镜系列文章|使闲鱼各种业务“雨露均沾”

纳米镜的分析算法，输入输出是固定的，要求输入是一个固定的标准ODPS数据集，字段包含userid/分桶id/人群切面1/人群切面2/指标1/指标2等，但实际业务场景中，每个业务关注的人群切面与数据指标都是大相径庭的
喜欢吃狗不理·2020-04-06 18:33

Spark在MaxCompute上是如何运行的

二、Spark运行在客户端的配置和使用2.1打开链接下载客户端到本地http://odps-repo.oss-cn-hangzhou.aliyuncs.com/spark/2.3.0-odps0.30.
阿里云云栖号·2020-04-06 18:05

ODPS中令人困惑的"\N"

在使用ODPS上的表时，很可能这个表中的数据是采用某些同步工具从其他的数据源中同步而来的，而当你想过滤某个字段field_name中值为null的数据时，往往会在where条件中按照wherefield_nameisnotnull
suixinsuoyuwjm·2020-04-03 19:32

odps 表数据同步到hive仓库

1.复制建表语句。做适当修改，把字段类型换成hive支持的类型。启动hive，粘贴建表分区表例子CREATETABLEdw_ft_barrage_record(pstring'fromos:1,2,5,9',roomidstring'房间号',uidstring'用户id',categoryidstring'类目id',sendtimeDATETIME'发言时间',isarmyint'是否水军',
起个什么呢称呢·2020-04-03 02:06

使用MaxCompute进行数据质量核查

数据质量顾名思义就是数据的质量数据质量是数据分析结论有效性和准确性的基础，也是最重要的前提和保障数据质量是数据分析应用的基础，为了获得可靠的数据，企业必须密切关注数据质量，数据质量将是直接影响系统应用成功的关键大数据计算服务(MaxCompute,原ODPS
xmvip01·2020-03-24 07:24

大数据全攻略：10年老兵带你看尽MaxCompute大数据运算挑战与实践（上）

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
阿里云云栖号·2020-03-23 12:52

让流动的数据结构化

阿里云的数据流变换和机器学习的web化都依赖于Odps结构化支持。
祝威廉·2020-03-21 12:57

Welcome Back，DataX 3.0 ！

DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
Qiqi1·2020-03-20 23:11

什么是 MaxCompute

大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。
云计算小百科·2020-03-20 16:32

年度技术总结-MachineLearning篇

碰到的问题痛点1.实验平台和环境不熟ODPS和御膳房是天池比赛标配，目前通过SQL/XLab/PAI尚能适应，Datacastle外部赛数据量较小，可以使用任何单机版工具，就面临工具选择问题。
日番谷冬狮郎·2020-03-20 02:52

阿里云开源离线数据同步工具DataX3.0介绍

一.DataX3.0概览DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
承诺一时的华丽·2020-03-14 14:36

ODPS的注意点

Author：杜七Date：2015.12.91，语法where里面不能使用开窗函数，比如，wheresum()>1000，这个是不允许的；时间函数：to_char(datetime,'yyyymmdd')datediff(endtime,begintime,'dd')--按照天数来相减，hh,mi分别为小时和分钟2，上传和下载使用Tunnel，比如：下载：konge>downloadt_dq_t
杜七·2020-03-13 05:06

PyODPS 安装常见问题解决

摘要：本文将用户安装PyODPS时遇到的常见问题列举如下，希望在遇到类似问题时可供借鉴。在参考下列步骤之前，请首先尝试卸载并重装PyODPS。卸载的步骤为执行“pipuninstallpyodps”。
猫耳呀·2020-03-11 05:37

Datax 自定义函数 dx_groovy

DataX是阿里云开源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
Skye_kh·2020-03-08 15:36

20190710工作进展

pai-namepytorch-projectalgo_public_dev-Dpython=3.6-Dscript="file:///apsarapangu/disk1/hengsong.lhs/origin_deep_cluster_odps
Songger·2020-03-07 03:11

MaxCompute与OSS非结构化数据读写互通（及图像处理实例）

在这样的背景下，MaxCompute（ODPS）计算框架持续演化，而原来主要面对内部特殊格式数据的强大计算能力，也正在一步步的通过新增的非结构化数据处理框架，开放给不同的外部数据。
猫耳呀·2020-03-05 07:35

如何使用ARMS配置tengine的日志监控

在未来，ARMS将很好的和ODPS为公司监控形成互补方案，tengine日志日后可同时投递到ARMS和MaxCompute中:ARMS响应第一时间的多维度报警；MaxCompute来做深层次分析，例如接口的请求数
阿里云云栖号·2020-03-01 11:29

基础操作

/origin_deep_cluster_odps_5.tar.gztar-cvzf../..
Songger·2020-03-01 08:46

20190722工作进展

/origin_deep_cluster_odps_8.tar.gztar-cvzf../..
Songger·2020-02-27 04:59

20190709工作进展

pai-namepytorch-projectalgo_public_dev-Dpython=3.6-Dscript="file:///apsarapangu/disk1/hengsong.lhs/origin_deep_cluster_odps
Songger·2020-02-26 12:40

20190723工作进展

/origin_deep_cluster_odps_8.tar.gztar-cvzf../..
Songger·2020-02-25 19:49

使用MaxCompute进行数据质量核查

数据质量顾名思义就是数据的质量数据质量是数据分析结论有效性和准确性的基础，也是最重要的前提和保障数据质量是数据分析应用的基础，为了获得可靠的数据，企业必须密切关注数据质量，数据质量将是直接影响系统应用成功的关键大数据计算服务(MaxCompute,原ODPS
xmvip01·2020-02-23 02:20

20190705进展

pai-namepytorch-projectalgo_public_dev-Dpython=3.6-Dscript="file:///apsarapangu/disk1/hengsong.lhs/origin_deep_cluster_odps
Songger·2020-02-19 23:51

你的课大数据营销培训班为你详解数加平台生态的组成

你的课大数据营销培训班讲师觉得，可以用如下几个层面来描述整个数加生态体系：你的课大数据营销培训1、数加底层技术平台主要包括：Maxcompute(原名ODPS)是“数加”底层的计算引擎。
你的课张立·2020-02-08 22:57

在PyODPS DataFrame自定义函数中使用pandas、scipy和scikit-learn

背景PyODPSDataFrame提供了类似pandas的接口，来操作ODPS数据，同时也支持在本地使用pandas，和使用数据库来执行。
猫耳呀·2020-02-06 17:27

DataWorks支持PyODPS类型任务

摘要：昨天，DataWorks推出了PYODPS任务类型，集成了Maxcompute的PythonSDK，可在DataWorks的PYODPS节点上直接编辑Python代码操作Maxcompute，也可以设置调度任务来处理数据
猫耳呀·2020-02-06 07:30

基于centos6.5 环境下 odps同步数据至elasticsearch

上一次搭建odpscmd是yum源安装的。
起个什么呢称呢·2020-02-01 03:20

高德地图发布高速出行大数据，描绘中国人高速出行图谱

《报告》基于高德地图交通大数据发布平台、大数据开放平台、阿里云ODPS及相关数据挖掘支持，描绘了2017上半年中国人的高速出行图谱。《报告》描述了2
新网·2020-01-08 03:01

logstash 实时增量同步oracle 到datahub streamcompute odps maxcompute

配置文件：stdin{}jdbc{jdbc_connection_string=>"jdbc:oracle:thin:scott/tiger@//127.0.0.1:1521/orcl"#jdbc数据库连接jdbc_user=>"ncbs"jdbc_password=>"ncbs"jdbc_driver_library=>"D:\logstash-5.6.10\bin\logstash_jdbc_
Crazy_Rabbit·2020-01-07 22:52

海量数据实时在线分析QuickBI

教学课程：QuickBI入门教程（课程主要介绍QuickBI的基础用法）QuickBI支持众多种类的数据源，既可以连接MaxCompute（ODPS）、RDS、AnalyticDB、HybridDB（Greenplum
xmvip01·2020-01-07 18:57

ODPS结合R进行大数据分析环境搭建

一、简介R语言的弱点在于不能操作海量的数据，ODPS是阿里云大数据平台，通过SQL语句处理TB级、PB级数据毫无压力。ODPS的存储基础是表，与R的数据框对应，都是结构化的数据，因此可以很好衔接。
童乐瑶·2020-01-07 10:46

海量数据实时在线分析Quick BI入门

教学课程：QuickBI入门教程（课程主要介绍QuickBI的基础用法）QuickBI支持众多种类的数据源，既可以连接MaxCompute（ODPS）、RDS、AnalyticDB、HybridDB（Greenplum
云计算小百科·2020-01-07 09:43

MySQL/RDS数据如何同步到MaxCompute之实践讲解

摘要：大数据计算服务（MaxCompute，原名ODPS）是阿里云提供的一种快速、完全托管的EB级数据仓库解决方案。
阿里云官网·2020-01-04 11:25

海量数据实时在线分析Quick BI入门

QuickBI支持众多种类的数据源，既可以连接MaxCompute（ODPS）、RDS、AnalyticDB、HybridDB（Greenplum）等云数据源，也支持连接ECS上您自有的MySQL数据库
云计算小百科·2020-01-03 20:33

Fuxi2.0—飞天大数据平台调度系统全面升级，首次亮相2019双十一

伏羲（Fuxi）是十年前创立飞天平台时的三大服务之一（分布式存储Pangu，分布式计算ODPS，分布式调度Fuxi），当时的设计初衷是为了解决大规模分布式资源的调度问题（本质上是多目标的最优匹配问题）。
zhaowei121·2020-01-02 15:00

怎么实现web端上传文件夹,保留层级结构

1背景用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器
Xproer-松鼠·2020-01-02 10:00

2.0 运行阿里云ODPS

解压下载的文件，解压后可以看到如下4个文件夹：bin/conf/lib/plugins/配置客户端：编辑conf文件夹中的odps_config.ini文件，对客户端进行配置，如下所示：access_i
旺达哒哒哒·2020-01-02 01:30

海量数据实时在线分析Quick BI入门

教学课程：QuickBI入门教程（课程主要介绍QuickBI的基础用法）QuickBI支持众多种类的数据源，既可以连接MaxCompute（ODPS）、RDS、AnalyticDB、HybridDB（Greenplum
云计算小百科·2020-01-01 13:35

2.3 阿里云ODPS常用SQL操作

1.SQL查询语句关键字SQL语句查询时，可使用的关键字：%&&&()*+-./;=>>=?ADDALLALTERANDASASCBETWEENBIGINTBOOLEANBYCASECASTCOLUMNCOMMENTCREATEDESCDISTINCTDISTRIBUTEDOUBLEDROPELSEFALSEFROMFULLGROUPIFININSERTINTOISJOINLEFTLIFECYCL
旺达哒哒哒·2020-01-01 13:15

Week08_day07（DataX从mysql上读取数据传输到HDFS上）

简介DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
BigData_code·2019-12-29 21:00

海量数据实时在线分析Quick BI入门

教学课程：QuickBI入门教程（课程主要介绍QuickBI的基础用法）QuickBI支持众多种类的数据源，既可以连接MaxCompute（ODPS）、RDS、AnalyticDB、HybridDB（Greenplum
云计算小百科·2019-12-29 15:50

Fuxi2.0—飞天大数据平台调度系统全面升级，首次亮相2019双十一

伏羲（Fuxi）是十年前创立飞天平台时的三大服务之一（分布式存储Pangu，分布式计算ODPS，分布式调度Fuxi），当时的设计初衷是为了解决大规模分布式资源的调度问题（本质上是多目标的最优匹配问题）。
阿里云云栖号·2019-12-28 16:12

2.1 阿里云ODPS数据上传与下载

1.Tunnel命令操作输入helptable;可以得到与table操作相关的命令提示，如下所示：odps@odps>helptable;Usage:altertablemergesmallfilesUsage
旺达哒哒哒·2019-12-28 03:50

海量数据实时在线分析QuickBI

教学课程：QuickBI入门教程（课程主要介绍QuickBI的基础用法）QuickBI支持众多种类的数据源，既可以连接MaxCompute（ODPS）、RDS、AnalyticDB、HybridDB（Greenplum
xmvip01·2019-12-26 02:41

IDEA启动失败，报空指针错误

Internalerror.Pleasereporttohttp://jb.gg/ide/critical-startup-errorsjava.lang.NullPointerExceptionatcom.aliyun.odps.studio.intellij.ide.I
叶子的翅膀·2019-12-24 16:12

大数据全攻略：10年老兵带你看尽MaxCompute大数据运算挑战与实践（下）

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
阿里云云栖号·2019-12-22 21:39
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他