本项目测试YOLOv3模型鲁棒性，利用PaddleDetection库，在COCO2017数据集上训练模型，其对dog.jpg检测精确率达98%。通过添加椒盐噪声生成对抗样本dog2.png，再次检测时，正确率大幅下降，部分目标甚至消失，以此展示对抗样本对模型检测能力的攻击效果。

背景

1. 对抗样本是各种机器学习系统需要克服的一大障碍。对抗样本的存在表明模型倾向于依赖不可靠的特征来最大化性能，如果特征受到干扰，那么将造成模型误分类，可能导致灾难性的后果。对抗样本的非正式定义：以人类不可感知的方式对输入进行修改，使得修改后的输入能够被机器学习系统误分类，尽管原始输入是被正确分类的。
2. 本项目旨在测试目标检测最受欢迎的模型之一YOLOv3的鲁棒性，通过设计对抗样本达到对模型攻击使其降低检测能力。

1.基本介绍

本项目主要展示PaddleDetection的一键式训练、预测以及python端通过Paddle预测库预测图像和视频的示例。 根据大佬提供的对抗样本生成经验应用到目标检测的实验环境中

1. 实验模型：YOLOv3
2. 原始图片：dog.jpg
3. 对抗样本：dog2.png

2.环境准备

PaddleDetection下载

可以通过如下git clone命令下载PaddleDetection目标检测库，由于在AIStudio上通过git clone下载比较慢，本项目在work目录下提供下载好的PaddleDetection压缩包，也可直接解压使用。

5.对抗样本生成

1.定义添加椒盐噪声的函数。

import cv2import numpy as npfrom matplotlib import pyplot as plt%matplotlib inline## [Load an image from a file]img = cv2.imread(”/home/aistudio/dog.jpg“)img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)登录后复制 ? ?In [6]

import numpy as npimport numpy.random as randomnp.random.seed(2020)def addsalt_pepper(src,percetage): NoiseImg=src NoiseNum=int(percetage*src.shape[0]*src.shape[1]) for i in range(NoiseNum): randX=random.random_integers(0,src.shape[0]-1) randY=random.random_integers(0,src.shape[1]-1) if random.random_integers(0,1)<=0.5: NoiseImg[randX,randY]=0 else: NoiseImg[randX,randY]=255 return NoiseImgimg2 = addsalt_pepper(img, 0.1)img2 = cv2.cvtColor(img2, cv2.COLOR_BGR2RGB)plt.imshow(img)## 输出效果图cv2.imwrite(”/home/aistudio/dog2.png“, img2, [int(cv2.IMWRITE_PNG_COMPRESSION), 0])登录后复制 ? ? ? ?

/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/ipykernel_launcher.py:8: DeprecationWarning: This function is deprecated. Please call randint(0, 575 + 1) instead /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/ipykernel_launcher.py:9: DeprecationWarning: This function is deprecated. Please call randint(0, 767 + 1) instead if __name__ == '__main__':/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/ipykernel_launcher.py:10: DeprecationWarning: This function is deprecated. Please call randint(0, 1 + 1) instead # Remove the CWD from sys.path while we load stuff.登录后复制 ? ? ? ?

True登录后复制 ? ? ? ? ? ? ? ?

<Figure size 432x288 with 1 Axes>登录后复制 ? ? ? ? ? ? ? ?

6.当我们再次使用YOLOv3模型进行目标检测时，可以发现正确率由原先的0.98,0.96,0.85下降到0.63,0.51，自行车直接消失

! python tools/infer.py -c ../../work/yolov3_darknet.yml --infer_img=../../dog2.png -o weights=https://paddlemodels.bj.bcebos.com/object_detection/yolov3_darknet.tar登录后复制 ? ?In [34]

%matplotlib inlineimport matplotlib.pyplot as plt import cv2infer_img = cv2.imread(”output/dog2.png“)plt.figure(figsize=(15,10))plt.imshow(cv2.cvtColor(infer_img, cv2.COLOR_BGR2RGB))plt.show()登录后复制 ? ? ? ?

<Figure size 1080x720 with 1 Axes>登录后复制登录后复制 ? ? ? ? ? ? ? ?