ChinaSoft 论坛巡礼 | 人工智能安全

2022年CCF中国软件大会（CCF ChinaSoft 2022）将于2022年11月25-27日在上海国际会议中心举行。预期将有林惠民、陈左宁、邬江兴、何积丰、梅宏、吕建、柴洪峰、王怀民、郑纬民、蒋昌俊等10余位院士莅临。

本次大会主题是“聚焦产教研用协同创新，提升关键软件供给能力”，包括学术、工业、教育等论坛活动40余场，期待您的参与！

目前大会火热报名中！

点击文末“阅读原文”进入官方注册通道(可预订住宿)：

https://conf.ccf.org.cn/chinasoft2022

✦  +

+

论坛巡礼

本文特别介绍将于11月25日举办的【人工智能安全】技术论坛。

论坛名称：人工智能安全

时间: 2022年11月25日8:30-12:10

论坛简介：

    随着人工智能技术在社会、经济和生活领域的不断渗透和应用，人工智能的安全问题也得到研究人员的广泛关注。以深度学习为代表的人工智能技术存在鲁棒性、模型后门、公平性和隐私等问题，并且由于神经网络模型的高复杂性和难解释性，导致这些安全隐患无法得到有效的检测和防御。特别在航空航天、智慧医疗、无人驾驶等安全攸关领域对人工智能的可信、可靠和可解释上提出更高的要求，因此如何保障人工智能的安全成为国内外研究的趋势及热点。ChinaSoft 2022人工智能安全Track将围绕人工智能安全的基础理论、攻防技术、原型系统以及产业实践等展开，征集国内外有关人工智能安全的高水平研究成果，并探讨和总结未来人工智能安全的发展趋势和应用前景。

日程安排

Schedule

论坛组织者

Forum Organizer

 

孟国柱

中国科学院信息工程研究所副研究员

   2017年博士毕业于新加坡南洋理工大学，曾获北京科技新星、ACM SIGSAC中国科技新星。主要研究领域包括人工智能安全与隐私、移动安全分析和测试，在USENIX Security、CCS、ICSE等国际会议和期刊发表论文30余篇。主持和参与了多项国家和省部级项目，如科技部重点研发、中科院重点部署项目、CCF科研基金等。

 

陈恺

中国科学院信息工程研究所研究员，中国科学院大学教授/博士生导师，信息安全国家重点实验室副主任

   主要研究领域包括系统安全、人工智能安全。在IEEE S&P、USENIX Security、ACM CCS等发表论文100余篇；曾主持国家自然科学基金（重点项目）等国家、部委课题40余项。担任S&P、USENIX Security、CCS等A类会议程序委员会成员。获得国家高层次人才计划领军人才、中国科学院青年科学家奖、CCF-IEEE CS青年科学家奖、北京市“杰出青年”基金、北京市智源青年科学家、CCF杰出演讲者、中国科学院青年创新促进会（优秀会员）等。

 

卜磊

南京大学软件学院教授，博导

   主要研究领域是软件工程与形式化方法，包括模型检验技术，实时混成系统，信息物理融合系统等方向。2010年在南京大学获取计算机博士学位。曾在CMU、MSRA等科研机构进行访学与合作研究。相关工作发表于领域重要期刊与会议如TCAD、TC、TDSC、TCPS、TPDS、RTSS、HSCC等。入选国家级青年人才计划，NASAC青年软件创新奖，高校计算机专业优秀教师奖励计划，CCF青年科技奖等。

 

蒲戈光

华东师范大学教授博导，上海工业控制安全创新科科技有限公司总经理

   研究聚焦形式化方法与软件工程领域，在软件验证理论与算法，与工业级验证工具研发等方面做出了创新贡献。目前担任科技部重点研发计划专项“人工智能安全可信理论及验证平台”首席科学家。研究成果曾获ACM 杰出论文奖，上海市科技进步特等奖，北京市科技进步一等奖等奖项。主导研发的多种创新验证与测试算法对发现真实软件缺陷非常有效，其中研发的两款工业级软件验证工具服务了30余家企业，有效提升了企业软件开发的质量与效率，并成功支撑嫦娥五号飞行器、北斗二号卫星、上海无人驾驶17号线等重大工程的顺利实施。

论坛嘉宾

Forum Guests

 

张民

华东师范大学软件工程学院教授，博士生导师

   主要研究方向为可信软件理论、可信人工智能和分布式系统。研究受到国家自然基金委、华为全球创新研究计划、国家留学基金委以及法国高等教育署等国家级和国际合作项目的资助，2019年入选中法“蔡元培”人才培养计划，2019-2020年入选法国尼斯大学高级访问教授计划。代表性成果发表在CAV、TCS、OOPSLA、ASE、AAAI等权威会议和期刊上。获得第26届IEEE亚太软件工程会议APSEC唯一最佳论文奖，FSE2020和RE2019会议最佳论文提名奖。中国计算机学会形式化方法专委会、系统软件专委会委员。

特邀报告题目

一种基于抽象的构造正确性深度强化学习技术

摘要

    深度强化学习系统由于其系统状态的无限连续性、深度神经网络的难以解释性以及系统行为的非线性特征，系统的安全性难以被严格的形式化验证，因此系统难以被用于那些对安全性要求较高的领域。本报告将介绍一种将验证引入训练环节的构造正确性深度强化学习技术。为了保证验证的准确性与高效性，我们在训练中即对系统进行抽象，并在抽象状态上完成训练，训练后的系统可以在抽象状态上建模成为一个有限状态的迁移系统，进而可通过已有的模型检查技术和工具验证系统的安全性。基于验证结果对抽象状态不断精化，直至系统满足所有预设的安全需求。我们设计并开发了原型工具Trainify，并应用于强化学习中六个经典的控制问题以说明方法的有效性。

 

孙猛

北京大学数学科学学院信息与计算科学系教授，博士生导师

  中国计算机学会形式化方法专委会委员，中国工业与应用数学学会区块链专委会委员，曾任职于荷兰数学与计算机科学研究中心（CWI）、新加坡国立大学、联合国大学国际软件技术研究所（UNU-IIST），主要研究领域为程序理论、软件形式化方法。主持及作为主要成员参加国家及省部级项目十余项，在IEEE Transactions on Software Engineering、ICSE、ESEC/FSE、AAAI、FM等期刊及会议发表论文百余篇，获TASE 2015、SBMF 2017等多个国际会议最佳论文奖，任ICFEM 2018、TASE 2023等国际会议程序委员会主席，FM 2019、TACAS 2019等多个国际会议程序委员会委员。

特邀报告题目

强化学习系统的变异测试

摘要

    强化学习（RL）是近年来人工智能中的热点研究领域，在诸多方面发挥着重要作用，其安全问题也受到越来越多的关注。本次报告将介绍一种可用于RL系统安全保障的变异测试方法。我们提出了一系列变异算子，用于模拟RL系统可能遇到的错误，并展示如何使用这些算子对RL系统进行综合变异。此外，我们还提供测试环境以揭示RL系统中可能的问题，定义RL系统专用的变异分数用于分析潜在故障的程度和评估测试环境的质量。实验结果验证了这一技术的实用性。