Cheetah: 精简快速的安全两方DNN推理

整个卷积层的安全协议完整版如下图11.Cheetah: Lean and Fast Secure Two-Party Deep Neural Network Inference

• 摘要

• 技术概览

• 预备知识

  • 威胁模型

  • 符号约定

  • 基于格的同态加密

  • 不经意传输

• 线性层的2PC协议

  • 全联接层(FC层)

  • 卷积层(CONV层)

  • 批标准化层(BN层)

• 非线性函数的2PC优化协议

  • 百万富翁协议

  • 近似截断

• 优化

  • 计算优化

  • 通信优化

• 实验

• 总结

• 参考文献

摘要

2PC-NN安全推理与实际应用之间仍存在较大性能差距, 因此只适用于小数据集或简单模型. 本文通过仔细设计DNN, 基于格的同态加密、VOLE类型的不经意传输和秘密共享, 提出了一个2PC-NN推理系统Cheetah, 比CCS'20的CrypTFlow2技术开销小的多, 计算效率更快, 通信效率更高. 主要贡献有两点:

• 基于格的同态加密的协议可在不进行任何昂贵同态rotation操作的情况下评估线性层;

• 提出了非线性函数的几个精简且通信高效的原语.

本文的方案在ResNet50神经网络下在WAN进行端到端安全推理需要不到2.5分钟和2.3G通信量, 分别优于CrypTFlow2约5.6倍和12.9倍.

具体代码已在Github开源: 

https://github.com/Alibaba-Gemini-Lab/OpenCheetah.

技术概览

Cheetah与最先进的2PC协议复杂度比较如表1.

 

预备知识

威胁模型

Cheetah是半诚实两方计算设定下构造的. 两方分别为Alice(作为Server)和Bob(作为Client). 在安全推理中, Alice持有DNN, Bob持有神经网络的输入, 如图像. 协议允许Bob获得神经网络架构信息和推理输出, 而Alice根据应用场景的不同要么没有输出, 要么得到安全推理结果.

不经意传输

Cheetah的协议非线性计算依赖于Boyle等人于CCS'19提出的VOLE类型OT协议——Silent OT extension[^2], 它通过低通信量、与输入无关的设定以及纯本地计算两个阶段生成大量Random OT correlation, 而Ferret[^3]和Silver[^4]是Silent OT extension的两个更高效的变种.

 

 

 

 

整个卷积层的安全协议完整版如下图11.

 

 

 

非线性函数的2PC优化协议

 百万富翁协议

 

 

CryptFlow2：实用两方安全推理

x

 

近似截断

在定点数计算中, 截断是乘法计算后的必要步骤.

一比特近似截断

 

已知符号位的近似截断

通信复杂度分析: 比起CrypTFlow2, Cheetah通信开销更小, 如下表所示.

 

实验

本文的协议可以使用任意VOLE类型的OT扩展协议实现, 本文代码使用的是Ferret的方案[3]. 涉及的开源库有: SEAL, HEXL acceleration, EMP-toolkit. 具体代码已在Github开源: https://github.com/Alibaba-Gemini-Lab/OpenCheetah.

实验环境: 阿里云ecs.c7.2xlarge, 2.70GHz处理器, 16GB RAM.

线性协议对比: 计算快约1.3~20倍, 通信开销低1.5~2倍.

 

 

非线性函数对比: 单线程下, 本文的所有非线性协议通信开销低10倍以上.

 

 

 

总结

Cheetah提供了一个高度优化的2PC-NN推理架构, WAN设定下, 在不到2.5分钟的时间内对ResNet50模型进行安全推理, 消耗2.3GB的通信量, 非常高效, 适合大规模神经网络训练推理, 是目前最好的2PC-NN工作之一.

总体而言, 本文的亮点有以下几点:

 

参考文献

[1]Deevashwer Rathee, Mayank Rathee, Nishant Kumar, Nishanth Chandran, Divya Gupta, Aseem Rastogi, and Rahul Sharma. CrypTFlow2: Practical 2-party secure inference. In CCS, pages 325–342. ACM, 2020. 

[2]Elette Boyle,Geoffroy Couteau,Niv Gilboa,Yuval Ishai, Lisa Kohl, Peter Rindal, and Peter Scholl. Efficient two-round OT extension and silent non-interactive secure computation. In CCS, pages 291–308, 2019. 

[3]Kang Yang, Chenkai Weng, Xiao Lan, Jiang Zhang, and Xiao Wang. Ferret: Fast extension for correlated OT with small communication. In CCS, pages 1607–1626, 2020. 

[4]Geoffroy Couteau, Peter Rindal, and Srinivasan Raghuraman. Silver: Silent VOLE and oblivious transfer from hardness of decoding structured LDPC codes. In CRYPTO, pages 502–534, 2021. 

[5]Pratyush Mishra, Ryan Lehmkuhl, Akshayaram Srini- vasan, Wenting Zheng, and Raluca Ada Popa. DELPHI: A cryptographic inference service for neural networks. In USENIX, pages 2505–2522, 2020. 

[6]Anders P. K. Dalskov, Daniel Escudero, and Marcel Keller. Secure evaluation of quantized neural networks. Proc. Priv. Enhancing Technol., 2020(4):355–375, 2020.

译者简介：

魏伟明, 应用数学硕士, 目前在广州大学数学与信息科学学院攻读博士学位, 主要研究方向为: 安全多方计算在隐私保护机器学习领域中的应用. 知乎: @云中雨雾.