| 防御性蒸馏网络抗梯度攻击的鲁棒性分析 |
| |
| 引用本文： | 李哲民,王红霞,许志钦.防御性蒸馏网络抗梯度攻击的鲁棒性分析[J].系统科学与数学,2022(8):1929-1945. |
| |
| 作者姓名： | 李哲民 王红霞 许志钦 |
| |
| 作者单位： | 1. 国防科技大学数学系;2. 上海交通大学数学科学学院和自然科学研究所 |
| |
| 基金项目： | 国家自然科学基金(61977065)资助课题； |
| |
| 摘 要： | 防御性蒸馏自提出后,由于其对梯度攻击有很好的防御效果,已被广泛用于提高神经网络的鲁棒性.但是原始蒸馏过程需要对教师和学生网络进行共两次训练,即需要双倍的算力.目前许多工作仍然基于原始的防御性蒸馏方法来增强模型的鲁棒性.文章指出,防御性蒸馏应对梯度攻击的鲁棒性仅与最大的两个logits的差值有关,而logits值与温度和损失函数值有关.学生网络向教师网络学习这一蒸馏过程并非防御性蒸馏起作用的根本原因,只需在训练时增大最大两个logits值之差即可达到防御对抗攻击的作用.文章理论推导并实验验证了上述结论,并基于logits值与温度的正相关关系设计了最佳温度的估计算法,该算法可显著减少寻找最佳温度所消耗的算力.在数据集MNIST和CIFAR-10上,文章提出的快速防御性蒸馏对梯度攻击的鲁棒性与原始防御性蒸馏相同,算法时间消耗和测试集成功率均优于原始防御性蒸馏.文章研究对于防御性蒸馏原理的理解具有理论意义,对防御性蒸馏在实际部署中算力的节省具有实际意义.
|
| 关 键 词： | 对抗样本 梯度攻击 防御性蒸馏 多分类网络 网络鲁棒性 |
|
|
