【20181205】阿里云函数计算使用体验

image

环境安装

• 在此案例中，使用阿里云服务器。（Linux）

• 使用官方安装脚本自动安装

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

• 安装fun

npm install @alicloud/fun -g

• 配置fun，按提示输入信息

fun config

基础：创建Helloworld文件

1\. 创建一个文件夹，如image_crawler
2\. 创建一个文件template.yml，内容
ROSTemplateFormatVersion: '2015-09-01'
Transform: 'Aliyun::Serverless-2018-04-03'
Resources:
  localdemo:
    Type: 'Aliyun::Serverless::Service'
    Properties:
      Description: 'local invoke demo'
    image-crawler:
      Type: 'Aliyun::Serverless::Function'
      Properties:
        Handler: index.handler
        CodeUri: code/
        Description: 'Hello world with python2.7!'
        Runtime: python2.7
3\. 创建一个code文件夹，在文件夹中编写helloworld代码
def handler(event, context):
    return 'hello world!'
4\. 运行函数
fun local invoke image-crawler

image

进阶：设置oss转存任务，如一个image_crawler

• 获取网页源代码，按上述语句运行image-crawler，可看到变化。

import logging
import json
import urllib

logger = logging.getLogger()

def handler(event, context):
    logger.info("event: " + event)
    evt = json.loads(event)
    url = evt['url']

    html = get_html(url)

    logger.info("html content length: " + str(len(html)))
    return 'Done!'

def get_html(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

• 运行以下语句可看到变化

echo '{"url":"http://huaban.com/search/?q=%e5%a3%81%e7%ba%b8"}' | fun local invoke image-crawler

• 添加函数，从源代码中抽取图片路径

def get_img(html):
    reg = r'https:\/\/[^\s,"]*\.jpg'
    imgre = re.compile(reg)
    return re.findall(imgre, html)

• 调整替换原先的handler函数，使之从“获取网页源代码”功能转变为“获取图片路径功能”。

def handler(event, context):
    logger.info("event: " + event)
    evt = json.loads(event)
    url = evt['url']

    html = get_html(url)

    img_list = get_img(html)
    logger.info(img_list)

    return 'Done!'

• 将图片上传到OSS中，在 template 中配置环境变量(需提前创建好 oss bucket）:

EnvironmentVariables:
    OSSEndpoint: oss-cn-hangzhou.aliyuncs.com
    BucketName: fun-local-test

• 然后就可以直接在函数中获取到这两个环境变量了：

endpoint = os.environ['OSSEndpoint']
bucket_name = os.environ['BucketName']

• 设置OSS的STS权限控制，参考如下代码

creds = context.credentials

if (local):
    auth = oss2.Auth(creds.access_key_id,
                     creds.access_key_secret)
else:
    auth = oss2.StsAuth(creds.access_key_id,
                        creds.access_key_secret,
                        creds.security_token)

bucket = oss2.Bucket(auth, endpoint, bucket_name)

• 遍历所有图片文件，并且转存到OSS中

count = 0
for item in img_list:
    count += 1
    logging.info(item)
    # Get each picture
    pic = urllib.urlopen(item)
    # Store all the pictures in oss bucket, keyed by timestamp in microsecond unit
    bucket.put_object(str(datetime.datetime.now().microsecond) + '.png', pic)  

• 完整的代码

import logging,datetime
import json,re,oss2
import requests,urllib,os

logger = logging.getLogger()
endpoint = os.environ['OSSEndpoint']
bucket_name = os.environ['BucketName']
local = 1

def handler(event, context):
    logger.info("event: " + event)
    evt = json.loads(event)
    url = evt['url']
    print(url)
    creds = context.credentials

    if (local):
        auth = oss2.Auth(creds.access_key_id,creds.access_key_secret)
    else:
        auth = oss2.StsAuth(creds.access_key_id,creds.access_key_secret,creds.security_token)

    bucket = oss2.Bucket(auth, endpoint, bucket_name)

    html = get_html(url)
    img_list = get_img(html)
    logger.info(img_list)
    iii(img_list,bucket)
    return 'Done!'

def iii(img_list,bucket):
    count = 0
    for item in img_list:
        count += 1
        logging.info(item)
        pic = urllib.urlopen(item)
        if pic != None:
            bucket.put_object(str(datetime.datetime.now().microsecond) + '.jpg', pic)

def get_img(html):
    reg = r'http:\/\/[^,"]*\.jpg'
    imgre =re.compile(reg)
    return re.findall(imgre,html)

def get_html(url):
    page = requests.get(url)
    html = page.content
    return html

• 此时运行如下命令可看到成功效果。

  echo '{"url":"http://huaban.com/search/?q=%e5%a3%81%e7%ba%b8"}' | fun local invoke image-crawler
  
  

部署

• 添加OSS权限到yaml中，此次是添加了policies：AliyunOSSFullAccess。注意localdemo这个函数计算项目及image-crawler这个函数，fun-local-test这个OSS项目bucket需要事先在阿里云官网后台配置过。

ROSTemplateFormatVersion: '2015-09-01'
Transform: 'Aliyun::Serverless-2018-04-03'
Resources:
  localdemo:
    Type: 'Aliyun::Serverless::Service'
    Properties:
      Description: 'local invoke demo'
      Policies: AliyunOSSFullAccess
    image-crawler:
      Type: 'Aliyun::Serverless::Function'
      Properties:
        Handler: index.handler
        CodeUri: code/
        Description: 'Hello world with python2.7!'
        Runtime: python2.7
        EnvironmentVariables:
          OSSEndpoint: oss-cn-hangzhou.aliyuncs.com
          BucketName: fun-local-test

• 使用fun deploy 即看到运行成功。

image

• 登录台阿里云函数计算后台，可以看到这个项目代码，可以线上修改配置。

思考：函数计算适合做什么用途？

• 定时任务，如爬虫类。（图片转存、文字转存等）

• pipeline类别，如接受A信息，转存到B信息及格式。根据if，else等来分类的任务。

• 微信，钉钉等公众号的后端（Flask），免去搭建服务器。

• 可以一个函数就解决的任务与项目，特别简单的项目。

• 阿里云官方函数计算后台提供Flask-web类型的函数计算模块，可以快速搭建外网api可访问的接口与页面。

参考资料

• https://github.com/aliyun/fun/blob/master/README-zh.md

• https://help.aliyun.com/product/50980.html