OPENSSL自定义证书验证

OPENSSL的TLS有两种证书验证方式，本文主要对使用callback的方式进行探讨。

验证方式

指定CA文件：SSL_load_client_CA_file
通过callback：SSL_CTX_set_cert_verify_callback

在客户端通过指定CA文件的方式进行验证，有很多安全隐患，比如：文件可以被篡改，无法读取，或者文件内容没有及时刷新。因此我们主要讨论第二种方案，即：通过callback来验证证书。在 callback里面获取证书内容，然后调用OS相关API进行验证。

获取证书内容

这里以iOS举例里说明如何进行验证。

我们看下callback的方法原型：int (*cb) (X509_STORE_CTX *ctxstore, void *arg)，我们能处理的数据在 ctxstore参数里面。而在iOS 上验证证书，我们可以通过API SecCertificateCreateWithData 创建证书对象进行后续的验证操作。注意这个API从一个opaque buffer 创建证书。那么对于 X509_STORE_CTX ，哪些字段是用于证书验证的呢？

struct x509_store_ctx_st {      /* X509_STORE_CTX */
    ......
    /* The cert to check */
    X509 *cert;
    /* chain of X509s - untrusted - passed in */
    STACK_OF(X509) *untrusted;
    ......
};

注意 SecCertificateCreateWithData 的参数需要 "DER encoded X.509 certificate. "，而X509_STORE_CTX.cert和 X509_STORE_CTX.untrusted是一个X509的struct，需要转换成一个DER encoded X.509 的buffer才能使用。

同时，我们需要校验的是证书链，而不是单个证书，因此我们需要用到的是 X509_STORE_CTX.untrusted 参数。不要被X509_STORE_CTX.cert和 X509_STORE_CTX.untrusted 迷惑，X509_STORE_CTX.cert 就是X509_STORE_CTX.untrusted[0]。

验证证书

iOS上系统定义了验证证书的3种策略：

SecPolicyRef SecPolicyCreateBasicX509(void)，

SecPolicyRef SecPolicyCreateSSL(Boolean server, CFStringRef __nullable hostname)

SecPolicyRef SecPolicyCreateRevocation(CFOptionFlags revocationFlags)

并定义了一个自定义策略

SecPolicyRef SecPolicyCreateWithProperties(CFTypeRef policyIdentifier,CFDictionaryRef __nullable properties)

其中 SecPolicyCreateBasicX509 缺少域名校验，不建议在TLS中使用。

SecPolicyCreateRevocation 检查域名是否吊销，不建议使用，除非你需要改变默认的证书验证行为。

这里我们只需要跟系统默认行为保持一致，因此我们选择 SecPolicyCreateSSL作为我们的policy.

验证证书有效性

iOS 上验证证书比较简单：先创建证书对象 SecCertificateCreateWithData ，然后创建验证策略 SecPolicyCreateSSL，最后调用 SecTrustEvaluate 验证证书即可。

验证域名有效性

ANDROID 上需要额外验证域名是否有效，虽然系统有接口 javax.net.ssl.HostnameVerifier，但在我们的场景中是无法使用的，因为我们自己接管了SSL的握手过程，没有verify接口所需的SSLSession 对象。因此我们需要自己解析证书里面的SAN(subject alternative names)列表和DN名称，然后校验域名是否匹配SAN和DN。

遇到的问题及解决思路

SecTrustEvaluate 返回错误码 kSecTrustResultRecoverableTrustFailure

返回这个错误码的原因很多：证书过期，域名不匹配等等。可以先用浏览器打开对应URL，查看证书详情。如果浏览器上证书正常，那么多半是因为SVR多域名的问题。具体原因是：如果SVR配置了多个域名，那么对应的就会有多个证书。而如果CLIENT握手的时候没有指定域名，则SVR返回的证书，里面的域名和CLIENT请求的可能不一致，从而导致这个问题。举个例子，假设SVR有两个域名 www.host1.com, www.host2.com。如果CLIENT请求的时候，连接的SVR域名为 www.host1.com，并且握手时没有指定域名，那么SVR有可能返回www.host2.com 的证书，从而导致域名校验失败。这里建议无论SVR是否是多域名，都在SSLConnect之前，调用 SSL_set_tlsext_host_name 设置握手过程的域名。

代码片段

// openssl tls handleshake    
    struct context{
        ......;
        char szhost[256];   // max hostname len is 255
    };
    context verifyctx;
    strncpy(verifyctx.szhost, _svr_host.c_str(), 255);
    verifyctx.szhost[255] = '\0';
    
//callback
    auto verifycb = [](X509_STORE_CTX *ctx, void *arg) -> int{
        context* verifyctx = reinterpret_cast(arg);
        //
        std::vector certschain;
        for(int i = 0; i < sk_X509_num(ctx->untrusted); i++){
            unsigned char* certout = nullptr;
            int certsize = i2d_X509(sk_X509_value(ctx->untrusted, i), &certout);
            xassert2(certsize > 0);
            certschain.push_back(std::string((const char*)certout, certsize));
            OPENSSL_free(certout);
        }
        
        ctx->error = doCertificateVerify(std::string(verifyctx->szhost), certschain);
        return X509_V_OK == ctx->error ? 1 : 0;
    };
    
    SSL_CTX_set_cert_verify_callback(ssl_ctx_, verifycb, &verifyctx);
    .........
    SSL_Connect(...);

// certificate verify
    int doCertificateVerify(const std::string& hostname, const std::vector& certschain){
#if __APPLE__
        CFMutableArrayRef certlist = CFArrayCreateMutable(kCFAllocatorDefault, 0, &kCFTypeArrayCallBacks);
        for(int i = 0; i < certschain.size(); i++){
            CFDataRef dataref = CFDataCreateWithBytesNoCopy(kCFAllocatorDefault, (const uint8_t*)certschain[i].data(), certschain[i].size(), kCFAllocatorNull);
            CFArrayAppendValue(certlist, SecCertificateCreateWithData(nullptr, dataref));
        }
        
        CFStringRef label = CFStringCreateWithCString(NULL, hostname.c_str(), kCFStringEncodingUTF8);
        SecPolicyRef policy = SecPolicyCreateSSL(true, label);
        CFRelease(label);
        
        SecTrustRef trustref;
        OSStatus status = SecTrustCreateWithCertificates(certlist, policy, &trustref);
        if (0 != status){
            CFRelease(certlist);
            CFRelease(policy);     
            return X509_V_ERR_OUT_OF_MEM;
        }
        
        SecTrustResultType result = kSecTrustResultInvalid;
        status = SecTrustEvaluate(trustref, &result);
        CFRelease(certlist);
        CFRelease(policy);
        CFRelease(trustref);

        int rv = X509_V_ERR_UNSPECIFIED;
        if (0 == status){
            rv = (kSecTrustResultUnspecified == result || kSecTrustResultProceed == result) ? X509_V_OK : X509_V_ERR_UNSPECIFIED;
        }
        return rv;
#else
#error not impl 
#endif
        
        return X509_V_ERR_INVALID_CA;
    }