python在ODPS上的深度应用

前言

对于需要在ODPS上进行数据管理，且要用到python进行数据分析的童鞋来说，这篇总结是绝对的干货。

链接：阿里云官网pyodps

PyODPS提供了DataFrame的接口来处理 MaxCompute对象，也可以转换成为pandas进行数据操作。下面是数据管理中的几个常用场景：数据查询、数据写入、表删除，都是基于pandas dataframe的操作过程。

需要注意的是在dataworks中目前使用的版本是2.7，会有不少坑，譬如乱序、乱码等。

下文附代码

文中自定义函数均返回dataframe：

pyodps安装

> pip install pyodps

ODPS配置及常用包导入

from odps import ODPS
from odps import DataFrame
from odps.models import Schema, Column, Partition
import pandas as pd
from collections import defaultdict

o = ODPS('**your-access-id**', '**your-secret-access-key**', '**your-default-project**',
            endpoint='**your-end-point**')

数据查询

如SDK中所述，查询表的方式有两种，一种是通过get_table方法直接获取表，另外一种是通过执行sql获取数据

get_table方法

def get_odps_table(tb_name):
    data = DataFrame(o.get_table(tb_name))
    data['ds'] = data['ds'].astype('int')
    return data

通过sql获取数据

def exe_sql(sql):
    data = []
    with o.execute_sql(sql).open_reader() as reader:
        d = defaultdict(list)  # collection默认一个dict
        for record in reader:
            for res in record:
                d[res[0]].append(res[1])  # 解析record中的每一个元组，存储方式为(k,v)，以k作为key，存储每一列的内容；
        data = pd.DataFrame.from_dict(d, orient='index').T  # 转换为数据框，并转置，不转置的话是横条数据
    return data

如果是在dataworks中创建的PyODPS脚本，数据会有1万条的限制，此时需要对查询数据创建临时表，再通过get_table的方式获取。上述代码做如下调整

def exe_dataworks_sql(sql):
    data = []
    sql_new = 'create table xisuo_tmp as %s' % (sql)
    o.execute_sql(sql_new)
    with o.get_table('xiatian_tmp').open_reader() as reader:
        d = defaultdict(list)  # collection默认一个dict
        # record一行数据，res一个元组
        for record in reader:
            for res in record:
                d[res[0]].append(res[1])  # 解析record中的每一个元组，存储方式为(k,v)，以k作为key，存储每一列的内容；
        data = pd.DataFrame.from_dict(d, orient='index').T  # 转换为数据框，并转置，不转置的话是横条数据
    o.delete_table('xisuo_tmp', if_exists=True)
    if o.exist_table('xisuo_tmp'):
        print('请删除临时表')
    else:
        print('临时表已清除')
    return data

通过dataframe创建表

两种创建表的方式，一种是已知数据结构即字段、类型、备注，直接创建。

# 创建表
def create_odps_table(tb_name, schema):
    try:
        table = o.create_table(tb_name, schema=schema, if_not_exists=True)
        return True
    except:
        return False

另外一种是直接通过dataframe来创建，通过程序自动对dataframe的字段进行判断，生成schema。

# 创建表
def gmt_table(tb_name, df, schema_name=None, schema_type=None, schema_comment=None):
    if schema_name is None:
        schema_name = df.columns.values.tolist()
    if schema_type is None:
        schema_type = ['string'] * len(schema_name)
    if schema_comment is None:
        schema_comment = [''] * len(schema_name)

    df_schema = pd.DataFrame({'name': schema_name, 'type': schema_type, 'comment': schema_comment})
    df_schema = df_schema[['name', 'type', 'comment']]
    df_columns = df_schema.apply(lambda x: [Column(name=x[0], type=x[1], comment=x[2])], axis=1)

    columns = []
    for col in df_columns:
        columns = columns + col

    partitions = [Partition(name='ds', type='string', comment='')]
    schema = Schema(columns=columns, partitions=partitions)
    table = o.create_table(tb_name, schema=schema, if_not_exists=True)
    return True

dataframe写入表

# 写入表
def gmt_table(tb_name, df, schema_name=None, schema_type=None, schema_comment=None):
    if schema_name is None:
        schema_name = df.columns.values.tolist()
    if schema_type is None:
        schema_type = ['string'] * len(schema_name)
    if schema_comment is None:
        schema_comment = [''] * len(schema_name)

    df_schema = pd.DataFrame({'name': schema_name, 'type': schema_type, 'comment': schema_comment})
    df_schema = df_schema[['name', 'type', 'comment']]
    df_columns = df_schema.apply(lambda x: [Column(name=x[0], type=x[1], comment=x[2])], axis=1)

    columns = []
    for col in df_columns:
        columns = columns + col

    partitions = [Partition(name='ds', type='string', comment='')]
    schema = Schema(columns=columns, partitions=partitions)
    table = o.create_table(tb_name, schema=schema, if_not_exists=True)
    return True

删除表

def drop_odps_tabel(tb_name):
    table = o.delete_table(tb_name, if_exists=True)
    staus = o.exist_table(tb_name)
    return staus

数据集读出转换成pandas的dataframe之后，就是常规的分析过程了。

对于线上数据流的处理，后续慢慢补充。