Искусственный интеллект iNaturalist. Компьютерное зрение. Глубокое обучение (лекция 5)

1.

Полевая биология для небиолога: среда iNaturalist для документации
биоразнообразия
Field biology for a non-biologist: iNaturalist environment for biodiversity
documentation
Осенний семестр 2023/2024 гг.
Серегин Алексей Петрович, доктор биологических наук,
кафедра экологии и географии растений биологического факультета МГУ, [email protected]
Дудова Ксения Вячеславовна, кандидат биологических наук,
кафедра экологии и географии растений биологического факультета МГУ, [email protected]

2.

Полевая биология для небиолога: среда iNaturalist для документации
биоразнообразия
Field biology for a non-biologist: iNaturalist environment for biodiversity
documentation
Лекция 5. Искусственный интеллект iNaturalist. Компьютерное зрение. Глубокое обучение.
Серегин Алексей Петрович, доктор биологических наук,
кафедра экологии и географии растений биологического факультета МГУ, [email protected]

3.

1. Искусственный интеллект?
Глубокое обучение. Машинное обучение. Нейронные сети. Компьютерное
зрение. Модели с обучением.

4.

Искусственный интеллект
Машинное обучение
Глубокое обучение

5.

6.

7.

8.

9.

10.

11.

12.

2. Модели iNaturalist
Прошлое, настоящее и недалёкое будущее

13.

14.

15.

Van Horn G. et al. The iNaturalist species classification and detection dataset //
Proceedings of the IEEE conference on computer vision and pattern recognition. – 2018. – С. 8769-8778.

16.

17.

18.

19.

20.

8.10.2021

21.

SPECIES MODEL
LEAF MODEL

22.

8.10.2021

23.

2,5 месяца
16.07.2021

24.

25.

26.

27.

28.

29.

30.

31.

32.

33.

Параметры проекта по флоре России и
двух моделей
Релиз июля 2021 г. (#6)
Обсчёт октября 2021 г.
(релиз весной 2022 г.) (#7)
Проект:
• 7 407 видов флоры России
• 1 225 000 наблюдений
Проект:
• 7 560 видов флоры России
• 1 515 817 наблюдений
Модель:
• Покрывает 2 680 видов (36%)
• Покрывает 94,5% наблюдений
Модель:
• Покрывает 3 149 видов (42%)
• Покрывает 96,1% наблюдений
7.10.2021

34.

Первые 1500 наблюдений каждого лета
по флоре России
21.05.2023

35.

Релиз
Дата релиза
Число видов (фото)
Last old model
12.04.2022
Ca. 55 000 (27M pics)
1.1
19.08.2022
Ca. 60 000 (30M pics)
1.2
13.09.2022
Ca. 65 000
1.3
14.10.2022
66 214
1.4
19.11.2022
67 553
1.5
16.12.2022
68 853
1.6
20.01.2023
69 966
2.1
23.02.2023
71 286
2.2
31.03.2023
72 511
2.3
13.05.2023
74 135
2.4
23.06.2023
76 129
2.5
20.07.2023
77 276
2.6
23.08.2023
78 387
2.7
22.09.2023
79 797
2.8
20.10.2023
80 962

36.

Критерии включения видов в модель
Вот все формальные пороги для новых видов:
• ранг вида (гибриды, подвиды и разновидности не включаются)
• минимум 100 фото
• 50% фото имеют определение сообщества
• не более 5 фото из одного наблюдения

37.

38.

Компьютерное зрение iNaturalist: виды
21.05.2023

39.

Компьютерное зрение iNaturalist:
наблюдения
21.05.2023

40.

41.

42.

3. Автоматическое определение:
как это работает
Прошлое, настоящее и недалёкое будущее

43.

44.

Май
Июнь
-
«увиденные
поблизости»
Июль
Находки
Август
Находки
Сентябрь
Октябрь
Ноябрь
Находки
«увиденные
поблизости»
-

45.

46.

58° с.ш.
-
-
-
-
57°
-
«увиденные
поблизости»
«увиденные
поблизости»
«увиденные
поблизости»
56°
-
«увиденные
поблизости»
находки
«увиденные
поблизости»
55°
-
«увиденные
поблизости»
«увиденные
поблизости»
«увиденные
поблизости»
54°
-
35°
-
36°
-
37°
-
38°
-
39° в.д.
53°

47.

47
6.02.2019

48.

48

49.

49
6.02.2019

50.

16.10.2021

51.

16.10.2021

52.

16.10.2021

53.

Вариант 1. Точка указана.
Убраны виды, не отмеченные
Рядом (по умолчанию).
Вариант 2. Точка указана.
Показаны все виды, в т.ч.
не отмеченные рядом.
Вариант 3. Точка не указана.
16.10.2021

54.

55.

Вариант 1. Точка указана.
Убраны виды, не отмеченные рядом
(по умолчанию).
Вариант 2. Точка указана.
Показаны все виды, в т.ч.
не отмеченные рядом.
Вариант 3. Точка не указана.
20.11.2021

56.

Matteuccia struthiopteris
Страусник обыкновенный
6.02.2019
56

57.

Вариант 1. Точка указана.
Убраны виды, не отмеченные рядом
(по умолчанию).
Вариант 2. Точка указана.
Показаны все виды, в т.ч.
не отмеченные рядом.
Вариант 3. Точка не указана.
20.11.2021

58.

59.

4. Ошибки пользователей
Что можно, но не надо делать на iNaturalist
На опыте участников проекта «Кибер-МФК МГУ»

60.

Юг Приморья: что это за семейство?
Фото А. Серегин (iNat 178483765), 2023 г.

61.

Юг Приморья:
Tillaea aquatica

62.

26.10.2021

63.

64.

65.

66.

67.

68.

69.

70.

71.

72.

73.

74.

75.

76.

77.

78.

Полевая биология для небиолога: среда iNaturalist для документации
биоразнообразия
Field biology for a non-biologist: iNaturalist environment for biodiversity
documentation
Лекция 5. Искусственный интеллект iNaturalist. Компьютерное зрение. Глубинное обучение.
Серегин Алексей Петрович, доктор биологических наук,
кафедра экологии и географии растений биологического факультета МГУ, [email protected]