使用 Amazon Elasticsearch分析SES邮件传递情况

1.概述

用户通过Amazon Simple Email Serivce（SES）发送邮件时，希望能详细查询每封邮件的传递情况。而SES只提供基于Metric的统计数据。本文就通过SES提供SNS通知的功能，结合Lambda将通知存入AmazonElasticsearch，方便用户查询和统计。

架构如下图：

2.准备工作

为方便部署和创建，建议您使用具有Admin权限的AWS用户来完成部署。

如果您同时使用多个Region的SES服务，您需要在各个Region部署Lambda程序，但您可以只使用一个AmazonElasticsearch实例。

3.为SES配置SNS

此场景为不使用ConfigurationSet（配置集）的情况，在SES的控制台上，对于Domain或者Email来配置SNS，具体可以参考文档： https://docs.aws.amazon.com/ses/latest/DeveloperGuide/configure-sns-notifications.html

这里建议将选中包括邮件头，这样在后续Elasticsearch分析查询时可以方便看到邮件标题等信息。

4.创建Elasticsearch

为简化网络环境，我们将Amazon Elasticsearch配置通过公共IP来访问。此Elasticsearch建议部署在与SES同一Region，以便快速插入数据和减少网络流量费用；但如果需要，也可以部署在其他Region。

打开SES控制台，创建Elasticsearch域：

请根据数据量来选择实例类型和EBS存储，建议可以先选择小的机型，后续

选择允许公有访问权限，并启用精细访问控制，创建主用户：

访问策略先设置为公开访问：

创建过程需要数分钟，创建完成后请记录下终端节点和Kibana地址：

5.部署Lambda

在SES所在Region，进入到Lambda控制台，填写函数名aws-ses-to-elasticsearch，运行时为Nodejs12.x，让Lambda自动创建角色：

创建完成后上传zip包的代码：（https://betashare.s3.cn-north-1.amazonaws.com.cn/nodejs/aws-ses-to-elasticsearch/lambda-bundle.zip）

编辑环境变量，填入：

BASE_URL: Elasticsearch的终端节点

USER和PASSWORD:创建Elasticsearch设置的用户名和密码

PREFIX：创建Elasticsearch索引的前缀。

调整超时时间为1分钟。

配置触发器为SES配置的SNS主题：

6.发送测试邮件

在SES控制台发送一个测试邮件，也可以通过现有客户端来发送测试。

请检查CloudWatch的日志组中对应Lambda函数的日志，确认执行成功：

7.创建Elasticsearch索引

打开Kibana控制台，登录之后进入Management，创建一个indexpattern: ses*。

8.使用Elasticsearch

转到Discover界面，可以搜索内容：

创建Visual来方便统计：

9.设置报警

创建一个SNS，并订阅通知邮件。

创建一个Role用以ElasticSearch来触发SNS，Role的信任关系如下：

{

  "Version": "2012-10-17",

  "Statement": [{

    "Effect": "Allow",

    "Principal": {

      "Service": "es.amazonaws.com"

    },

    "Action": "sts:AssumeRole"

  }]

}

权限如下：

{

  "Version": "2012-10-17",

  "Statement": [{

    "Effect": "Allow",

    "Action": "sns:Publish",

    "Resource": "sns-topic-arn"

  }]

}

进入Alerts界面

创建monitor，根据frommail来计算：

创建触发器

添加目标：

10.    预估成本

此处以每月发送50万封邮件来计算，使用t3.small的Elasticsearch（AES）单节点和10G存储：（不包含数据传输费，CloudWatch日志费用以及其他可能产生的费用。）

每月发送邮件数   Lambda费用      AES计算费用      AES存储          总计

500000                  $ 1.00                 $  41.66              $  8.10              $   50.76