AI对抗初识

1、AI安全的定义：
2、AI安全涉及的方面：
（1）数据安全：包括人工智能系统中的训练数据偏差、非法授权篡改、以及人工智能引发的个人隐私数据的泄露等安全问题。
（2）网络安全：主要包括网络设施和学习框架的漏洞，后门安全问题，以及恶意技术等
（3）算法安全：算法的设计以及决策相关的安全问题
3、人工智能应用面临的安全风险：
（1）逃避攻击：欺骗人工智能应用，例如扰乱网络流量的分类器、对图片加噪以扰乱图片分割分类器
（2）模型推断攻击：对人工智能模型、算法和数据安全进行攻击
（3）拒绝服务攻击：干扰人工智能正常服务
（4）传感器缺陷攻击：对人工智能的输入系统进行攻击
4、AI现在的研究方向：
自动驾驶、人脸识别、语音识别、语音助手、智慧医疗等等各方面中。
5、AI的基本框架：（基础架构是人工智能的基础）
TensorFlow(谷歌的)、CNTK（微软）、PyTorch、Caffe、KubeFlow、Theano、Keras等等
* TensorFlow：使用python语言；采用计算图形的抽象；软件库运行速度不快；缺乏预先训练好的模型；并非完全开源；
* CNTK：微软的计算机网络工具包：非常灵活；可实现分布式训练；可视化不足；是使用一种新的语言NDL来实现的
* Theano：是TensorFLow的强有力的竞争对手，是一个功能强大的python库。高效的数字任务处理能力；对GPU和CPU的使用进行了很好的优化；
* Caffe：是一个强大的深度学习框架。能够实现快速和有效的深度学习。速度极快；运行性能极佳；无需编写代码；与新架构协同性不好；
* Keras：并不服务于端对端的机器学习框架，而是一个接口提供高层次的抽象；

6、AI平台的搭建：
需要包含很多的GPU等硬件的服务器
7、目前AI安全的发展前景：
人工智能安全现在在网络空间安全方面仍处于前期积累阶段。
（人工智能的高速发展时期：从打败世界围棋冠军的AlphaGo开始）
8、人工智能、深度学期的几个关键点：
（1）需要海量而又优质的数据作为训练集进行特征提取；
9、人工智能知识点：
（1）人工智能目前属于弱智能阶段，只要是面向特定领域的专用智能；
10、人工智能对抗（AI对抗）：
（1）什么是AI对抗：
是指用来寻找图片或者数据的样本，这些样本能够在机器学习分类器上随机的运行而不被发现，但是最终的结果是可以制作成任何期望输出类。
（2）什么是对抗样本：
是指将原图片添加一些干扰信息而产生的图片在分类器中被分类成指定类别，这种图片就是对抗样本。
（3）为什么能够找到对抗样本：
数据在高纬度上的线性可分。
（4）AI对抗的实例：
①2017年3月使用“基于生成性对抗网络算法”生成的对抗样本能够绕过基于机器学习的检测系统；
②推荐系统的广泛使用可能导致非法人员使用人工智能方法生成定制化的钓鱼网站；
11、AI安全刚入门如何选择测试数据集：
强烈建议使用常见的数据集进行测试，便于快速入门
（1）AI安全常用的数据集：
KDD 99数据集（数据集仍然是网络入侵检测领域的权威测试集）、
SEA数据集（主要是针对外部伪装者威胁检测研究）、
ADFA-LD数据集（是入侵检测系统的数据集合）、
Movie Review Data（主要用于文本分类，特别是恶意评论的识别方面）、
Enron数据集（用于正常邮件和垃圾邮件的分类）、
12、AI对抗（对抗攻击）的本质：
使用机器学习的方法攻击机器学习模型，来检测模型的鲁棒性。
对抗攻击即对抗样本的生成，可以将生成模型迁移到该领域中。
13、AI对抗想在的研究情况：

14、AI对抗的两个趋势：
（1）不断寻找新的应用场景；
* 计算机视觉（图像分类）：对抗攻击的局限在于：攻击没有方向，只能通过深度学习去生成对抗样本去破坏目标的学习。下一步的任务是：如何定向的去欺骗深度学习网络。
* 语义分割：
* Graph(图结构)：例如可以通过攻击知识图谱。以后对GCN的攻击可能是一个方向
* QA问答系统：欺骗问答系统，使得错误率下降；
* …
（2）不断使用新的算法；
15、对抗攻击的传统模型：
FGSN、GAN（对抗生成网络）
16、生成对抗样本的方法：
（1）基于分层强化学习的方法：
17、和对抗相关的防御问题的解决方法：【目前研究的人很少】
现阶段主要是通过在原始数据中添加对抗样本一起训练来达到防御攻击的目的。