阅读更多
全文连接 http://click.aliyun.com/m/22750/
MaxCompute(原ODPS)开发入门指南——数据上云篇
写在最前面
>>>进入了解更多>>>阿里云数加·MaxCompute大数据计算服务.
根据《MaxCompute(原ODPS)开发入门指南——计量计费篇》的了解,大家清楚了MaxCompute可以做什么,计费模式如何,想必大家也开通了MaxCompute想进行一次POC,但是大家遇到第一个问题一定是我的数据如何上云?
SQL Cost
可通过多种方式数据流入MaxCompute
MaxCompute(原ODPS)提供了多种通道数据可以流入MaxCompute,包括MaxCompute原生的Tunnel,以及阿里云体系内的Log、DataX和数据集成,以及开源生态中的Flume、Logstash和Fluentd。以下为大家一一道来,大家视各自情况进行选择。
① MaxCompute Tunnel命令
直接在MaxCompute客户端中使用Tunnel命令进行数据上传,数据在传输过程中都是加密传输的,适用于一次性批量数据导入。
注意的是每一次上传只支持数据上传到一个表或表的一个分区,有分区的表一定要指定上传的分区。
数据上传命令如下:
tunnel upload log.txt test_project.test_table/p1="b1",p2="b2";
如何配置客户端和使用命令:
下载并配置客户端
Tunnel 命令导入数据
更多关于Tunnel upload命令
SQL Cost
② MaxCompute Tunnel SDK
通过 TUNNEL 提供的 SDK 自行编写 Java 工具。
关于如何利用 tunnel SDK 进行上传数据,下面也将通过场景介绍。场景描述:上传数据到 MaxCompute,其中,项目空间为”odps_public_dev”,表名为”tunnel_sample_test”,分区为”pt=20150801,dt=hangzhou”。
详细的Tunnel SDK案例教学
③ LOG(阿里云日志分析产品)
了解更多关于日志分析产品。
日志服务(Log Service,简称 Log)是针对日志类数据的一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集(Logtail)、消费、投递(LogShipper)以及查询分析(LogSearch)等功能,提升运维、运营效率,建立 DT 时代海量日志处理能力。
全文连接 http://click.aliyun.com/m/22750/