Как найти и закрыть гос. номер на фото автомобиля и помешать копированию контента c помощью adversarial attack

1.

Как найти и закрыть гос. номер на
фото автомобиля и помешать
копированию контента c
помощью adversarial attack
Сергеев Илья

2.

@sergeevii123
Senior DS in Avito
команда: DS as a service
что я делаю – computer vision
что вообще делаем:
CV
OCR
NLP

3.

4.

204 лайка (топ 1 в блоге
Авито)
> 40 k просмотров
69 лайков
> 50 k просмотров
181 комментарий
(из них ~10 технические)

5.

6.

7.

Зачем?
1. По гос. номеру можно найти
много дополнительной
информации о машине

8.

9.

bot в телеграме

10.

Зачем?
1. По гос. номеру можно найти много
дополнительной информации о
машине
2. Некоторые пользователи Авито
сами закрывают гос. номер

11.

12.

13.

14.

Зачем скрывать гос. номер на фото авто?
1. По гос. номеру можно найти много
дополнительной информации о
машине
2. Некоторые пользователи Авито
сами закрывают гос. номер
3. Наши конкуренты уже это сделали

15.

Масштаб проблемы
В день 20 000 новых объявлений в Авто
За 2018 год было продано 2,5 миллиона
автомобилей ~7000 в день

16.

17.

Object detection
Двухэтапные модели
Faster RCNN, Mask
RCNN
Одноэтапные модели
SSD, YOLO, RetinaNet

18.

Двухэтапные детекторы

19.

Двухэтапные детекторы

20.

21.

Изменить bbox regressor

22.

Нужна ли тяжелая сеть?
1. Бинарная классификация

23.

Нужна ли тяжелая сеть?
1. Бинарная классификация
2. На фото один номерной знак

24.

Нужна ли тяжелая сеть?
1. Бинарная классификация
2. На фото один номерной знак
3. Производительность

25.

Нужна ли тяжелая сеть?

26.

Regression 8 coordinates
Resnet18
Binary Classification

27.

Данные

28.

29.

Настройка толоки
1. Правила против ботов
2. Honey-поты

30.

Сколько стоит?
4000 картинок
перекрытие 3
всего 28$

31.

Обучение

32.

Прод!
nvidia-docker
веса в git lfs
kubernetes

33.

accuracy на тестовой выборке 0.98
95-й перцентиль 250 мс

34.

35.

36.

Что происходит?

37.

Что с картинками?

38.

Что с картинками?

39.

40.

41.

Adversarial Examples

42.

Examples

43.

Examples

44.

Visualization, Deep Dream, Neural Style,
Adversarial Examples
CS231n youtube lecture

45.

Visualization, Deep Dream, Neural Style,
Adversarial Examples
CS231n youtube lecture

46.

Visualization, Deep Dream, Neural Style,
Adversarial Examples
CS231n youtube lecture

47.

Visualization, Deep Dream, Neural Style,
Adversarial Examples
CS231n youtube lecture

48.

Итеративный метод

49.

Итеративный метод

50.

Fast gradient sign method (FGSM)

51.

52.

Targeted fast gradient sign method (T-FGSM)

53.

54.

55.

White box vs Black box
Архитектура сети известна
Гиперпараметры известны
Можно получить предсказания и
градиент
Архитектура сети неизвестна
Гиперпараметры неизвестны
Можно получить предсказания (с
ограничениями)

56.

57.

ShapeShifter: Robust Physical Adversarial Attack
on Faster R-CNN Object Detector
https://arxiv.org/abs/1804.05810

58.

ShapeShifter: Robust Physical Adversarial Attack
on Faster R-CNN Object Detector
https://arxiv.org/abs/1804.05810

59.

Насколько переобучена сеть автору?

60.

Насколько переобучена сеть автору?

61.

Насколько переобучена сеть автору?

62.

63.

64.

65.

66.

67.

68.

69.

70.

71.

1st adversarial attack in prod

72.

Imagenet-trained CNNs are biased towards texture