1-Роль ИИ в-МО

1. Роль цифровых технологий и искусственного интеллекта в мировом сообществе: Машинное обучение

Московский ПОЛИТЕХ
Кафедра инфокогнитивных технологий
Дисциплина «Машинное обучение и методы анализа данных»
ЛЕКЦИЯ 1
Роль цифровых технологий и искусственного
интеллекта в мировом сообществе: Машинное
обучение
Лектор:
Перепелкина Юлиана Вячеславовна – к.ф.-м.н.,
доцент ккафедры инфокогнитивных технологий
1

2.

Цель дисциплины – изучение интеллектуальных моделей обработки
больших данных.
Задачи дисциплины:
■ изучение принципов сбора данных;
■ изучение методов и инструментов разметки данных;
■ изучение принципов подбора алгоритмов машинного обучения;
■ изучение инструментов обучения модели искусственного интеллекта;
■ изучение методов оценки модели искусственного интеллекта.
2

3.

Результаты обучения по дисциплине:
– понимание процесса разработки оригинальных
алгоритмов и программных средств, в том числе с
использованием современных интеллектуальных
технологий, для решения профессиональных задач;
– освоение процесса использования существующих методов
и алгоритмов решения задач машинного обучения и
обработки больших данных.
3

4. ИИ – центральное звено прорывных высоких технологий

Квантовые
технологии
Робототехника
VR/AR
ИИ – ядро цифровой
трансформации
экономики и общества
ИИ формирует
технологическую базу
для развития и
распространения других
цифровых технологий (в
т.ч. робототехники,
интернета вещей, VR/AR и
др.)
Масштабы и темпы
внедрения ИИ
различаются по
отраслям (более 70%
спроса на ИИ приходится
на финансы, транспорт и
образование)*
Технологии
распределённого
реестра
Искусственный
интеллект
Новые
производственные
технологии
Интернет вещей
Технологии
беспроводной связи
Искусственный интеллект
Новые производственные технологии
Виртуальная и дополненная реальность (VR/AR)
Интернет вещей
Технологии распределенного реестра
Робототехника
Технологии беспроводной связи
Квантовые технологии
Источник: Система интеллектуального анализа больших данных iFORA (правообладатель - ИСИЭЗ НИУ ВШЭ)
4
*Расчеты ИСИЭЗ НИУ ВШЭ
2

5. Тематика ИИ включает почти 1900 направлений

Вклад стран в глобальную
повестку AI исследований
Глобальный научно-технологический ландшафт (1882 направления)
Нейрокомпьютерные
интерфейсы (166)
Компьютерное зрение (174)
Искусственные
нейросети (172)
Алгоритмы и методы
искусственного
интеллекта (183)
Обработка
естественного
языка (195)
Нейроинженерные
технологии (131)
Интеллектуальные
системы (222)
Машинное обучение (269)
Распознавание
речи (151)
Источник: Система интеллектуального анализа больших данных iFORA (правообладатель - ИСИЭЗ НИУ ВШЭ)
Распознавание
образов (219)
0%
США
Китай
Великобритания
Индия
Испания
Германия
Канада
Италия
Австралия
Франция
Япония
Иран
Южная Корея
Бразилия
Россия
2,4%
Турция
Тайвань
Польша
Малайзия
Нидерланды
Румыния
Сингапур
Швейцария
Саудовская Аравия
Швеция
Португалия
Греция
Мексика
Пакистан
Австрия
Чехия
Вьетнам
Бельгия
Египет
Финляндия
ЮАР
Норвегия
Индонезия
Дания
Колумбия
Израиль
Алжир
ОАЭ
Новая Зеландия
Словакия
5% 10% 15% 20%
5
3

6. В России представлен весь портфель базовых технологий и продуктов ИИ

Структура направления
Кривая технологической зрелости
Физическая основа для технологий ИИ – вычислительная база, ЭКБ. Развитие всех входящих в нее технологий влияет на индустрию в целом
Перспективные методы и лежащая в их основе математика опираются на архитектуру вычислительной базы
Прогресс в перспективных методах ложится в основу успеха в прикладных областях: рекомендательных системах и системах поддержки принятия решений, распознавании
и синтезе речи и др.
Перспективные методы ИИ как наиболее прорывные области отличаются наименьшей зрелостью
Ввиду высокой скорости изменений научные публикации в области перспективных методов ИИ устаревают в течение 0,5-2 лет
Источник: ИСИЭЗ НИУ ВШЭ
6
4

7. Вклад России в исследования и разработки по группам технологий практически одинаков

Вклад российских ученых в
общемировой корпус научных
публикаций по базовым технологиям
(компьютерное зрение, обработка
естественного языка, распознавание
и синтез речи и др.) в среднем по
годам соответствует общей доле
российских публикаций по ИИ
Заметен двукратный перевес
патентов в области обработки
естественного языка над
остальными базовыми технологиями
Все направления мировой
научно- технической повестки в
той или иной
степени представлены в
российской науке
Источник: ИСИЭЗ НИУ ВШЭ
Основными драйверами развития
ИИ- индустрии в России остаются
вузы, выпускающие специалистов
высокого уровня, ведущие центры
исследований и крупные компании
(МФТИ, НИУ ВШЭ, Сколтех, НИУ
ИТМО, МГУ им. М. В. Ломоносова),
создающие базис для роста компаний
(ПАО «Сбербанк», Яндекс, МТС, VK,
ПАО «Газпром нефть», ABBYY и др.),
ряд компаний среднего бизнеса 7
6

8.

Как искусственный интеллект меняет разработку программного обеспечения?
■
■
■
■
■
■
Автоматизация разработки программного обеспечения: ИИ добился огромного прогресса в автоматизации многочисленных работ,
обычно выполняемых программистами. Одной из наиболее перспективных тем является автоматизация разработки программного
обеспечения. Например, системы на базе искусственного интеллекта могут создавать код, удовлетворяющий набору требований.
Этот метод известен как автоматическое программирование, и он становится все более популярным.
Улучшение тестирования программного обеспечения: ИИ изменяет способ тестирования программного обеспечения. Алгоритмы,
основанные на искусственном интеллекте, могут использоваться для автоматизации тестирования, обнаружения и диагностики
ошибок и оптимизации ситуаций тестирования. Эта стратегия может значительно повысить качество программного обеспечения при
одновременном сокращении времени и затрат на тестирование.
Улучшение обслуживания программного обеспечения: ИИ может помочь в обслуживании программного обеспечения. Системы ИИ
могут анализировать огромные объемы данных, связанных с программным обеспечением, и давать рекомендации по обновлениям
и усовершенствованиям с использованием машинного обучения. Этот метод может помочь разработчикам программного
обеспечения поддерживать программные системы в актуальном состоянии и повышать их общее качество.
Поддержка интеллектуальных систем: Искусственный интеллект также позволяет создавать интеллектуальные программные
системы. Эти системы способны извлекать уроки из данных и адаптироваться к изменяющимся условиям. Чат-боты на базе
искусственного интеллекта, например, могут извлекать уроки из предыдущих обсуждений и со временем улучшать свои ответы.
Аналогичным образом, системы рекомендаций могут улучшать свои рекомендации, изучая поведение пользователей.
Повышение безопасности программного обеспечения: Искусственный интеллект может помочь улучшить безопасность
программного обеспечения. Например, алгоритмы искусственного интеллекта могут обнаруживать недостатки безопасности в
программных системах и предлагать исправления. Они также могут распознавать возможные риски и предпринимать превентивные
шаги.
Решение проблемы нехватки талантов: ИИ может помочь в преодолении проблемы с навыками разработки программного
обеспечения. Инструменты и системы на базе ИИ могут помочь разработчикам программного обеспечения быть более
продуктивными, действенными и результативными. Это может помочь организациям в достижении их целей по разработке
программного обеспечения при меньшем использовании ресурсов.
8

9.

Направления использования ИИ в области разработки ПО
Связь между ИИ и разработкой программного обеспечения превратилась в
двустороннее взаимовыгодное сотрудничество. Это означает, что искусственный
интеллект имеет два основных уровня взаимодействия с разработкой
программного обеспечения:
Инструмент для обработки большого объема данных: ИИ помогает
разработчикам решать многочисленные задачи. ИИ в сочетании с большой
вычислительной мощностью и возможностями хранения данных легко
превосходит человеческие способности.
Объект труда разработчиков программного обеспечения: Инженерампрограммистам часто поручают создать ИИ для конкретных целей или
интегрировать существующий ИИ в разрабатываемое решение.
9

10.

Преимущества искусственного интеллекта в автоматизации тестирования (1)
Увеличение охвата тестированием: Автоматизация тестирования на базе искусственного интеллекта
может улучшить охват тестированием за счет обнаружения и запуска тестовых примеров, которые было
бы трудно или невозможно запустить вручную. Он может моделировать сложные ситуации
пользователей и создавать тестовые данные для широкого спектра комбинаций тестовых примеров и
перестановок. Системы искусственного интеллекта также могут анализировать результаты тестов, чтобы
указать области, требующие дальнейшего внимания, тем самым увеличивая общий охват
тестированием.
Повышение производительности и эффективности: автоматизация тестирования на базе искусственного
интеллекта может значительно сократить время и усилия на тестирование. Автоматизация позволяет
проводить тесты 24 часа в сутки, семь дней в неделю и выполнять работу намного быстрее, чем люди,
что приводит к повышению эффективности и производительности. Алгоритмы искусственного интеллекта
также могут извлекать уроки из результатов прошлых тестов и оптимизировать наборы тестов, сокращая
количество повторяющихся тестов и повышая общую эффективность тестирования.
Раннее обнаружение дефектов: Автоматизация тестирования на базе искусственного интеллекта может
выявлять ошибки на ранних этапах цикла разработки, повышая качество программного обеспечения и
снижая общие затраты на тестирование. Он может обнаруживать возможные недостатки, анализируя
модификации кода и предвидя, как они повлияют на программное обеспечение. Системы
искусственного интеллекта также могут проводить пробное тестирование, имитируя поведение
пользователя и обнаруживая ошибки, которые традиционные методы тестирования могут не замечать.
10

11.

Преимущества искусственного интеллекта в автоматизации тестирования (2)
Повышенная точность и согласованность: Устраняя человеческие ошибки и
отклонения, автоматизация тестирования на базе искусственного интеллекта может
повысить точность и согласованность тестирования. Автоматизированные тесты могут
выполняться часто и корректно, подтверждая, что программа работает должным образом.
Системы искусственного интеллекта также могут извлекать уроки из предыдущих
результатов и изменять тестовые примеры по мере необходимости, снижая опасность
ложноположительных и ложноотрицательных результатов.
Экономия на расходах: Автоматизация тестирования на базе искусственного интеллекта
может значительно сократить затраты на тестирование за счет сокращения времени и
усилий на тестирование. Автоматизированное тестирование может выполняться
непрерывно, устраняя необходимость вмешательства человека и снижая трудозатраты.
Алгоритмы искусственного интеллекта также могут оптимизировать наборы тестов и
выделять области, требующие дополнительного внимания, снижая общие затраты на
тестирование.
11

12.

Применение искусственного интеллекта в разработке ПО
Разработчики программного обеспечения овладели искусством обучения и
настройки ИИ для различных целей. В целом современный искусственный
интеллект обладает беспрецедентными способностями к интеллектуальному
анализу, анализу и классификации данных. Эти способности также делают
искусственный интеллект отличным помощником, способным понимать запросы
и находить решения. Вот несколько примеров использования технологий ИИ в
разработке программного обеспечения:
• Генерация кода
• Сбор требований к будущему ПО
• Планирование, оценка и проектирование
• Контроль качества и управление обратной связью
12

13.

Генерация кода
Современный ИИ может писать код на основе заданных параметров. Результаты,
в среднем, вполне удовлетворительные, но недостаточные, чтобы заменить
опытного программиста. Однако специализированные ИИ и модели обучения
постоянно совершенствуются. Это лишь вопрос времени, когда они станут
наравне с младшими специалистами. Такой темп прогресса должен быть четким
сигналом для разработчиков программного обеспечения, чтобы они продолжали
совершенствовать свои навыки.
Машинописный код по-прежнему требует всесторонней проверки со стороны
опытных специалистов, особенно в части его безопасности. В ближайшем
будущем эта тенденция может изменить роль разработчиков программного
обеспечения. Не исключено, что «написание» будет выполнять ИИ, а
разработчики переключатся на «редактирование» кода. Таким образом,
искусственный интеллект будет выполнять большую часть тяжелой и рутинной
работы, а инженеры-программисты будут контролировать этот процесс.
13

14.

Сбор требований к будущему ПО
Разработчики часто используют искусственный интеллект для составления
набора требований к будущему программному продукту. Это оптимизирует
рабочий процесс и уменьшает поток документов, связанных с этой задачей. ИИ
оказывается чрезвычайно полезным в сложных проектах со сложными
требованиями.
Например, Watson AI, разработанный IBM, особенно полезен для управления
требованиями. Кроме того, он эффективно помогает на других этапах
жизненного цикла разработки программного обеспечения. Использование
искусственного интеллекта устраняет или, по крайней мере, уменьшает
потребность в ручном просмотре большого количества бумажной и цифровой
документации.
14

15.

Планирование, оценка и проектирование
Основываясь на собранных требованиях, ИИ может взять на себя остальную
часть процесса разработки программного обеспечения. Он более эффективен в
задачах, требующих расчетов, таких как оценка затрат и планирование сроков.
ИИ также может определить состав команды разработчиков и количество
необходимых специалистов для соблюдения сроков в рамках установленного
бюджета.
Разумеется, этот процесс находится под пристальным контролем менеджеров.
Таким образом, роль ИИ здесь заключается в том, чтобы делать черновые
наброски, а не окончательные планы. ИИ также может вносить предложения
по оптимизации рабочего процесса. Тем не менее, люди по-прежнему имеют
последнее слово в отношении рекомендаций ИИ.
15

16.

Контроль качества и управление обратной связью
ИИ может помочь разработчикам, выполняя сканирование ошибок и уязвимостей в
коде. Инженеры-программисты могут обучать ИИ, используя существующие
руководства и контрольные списки для обеспечения безопасности программного
обеспечения. Затем любая конкретная компания-разработчик может индивидуально
настраивать и улучшать полученные модели машинного обучения. Специалисты могут
превратить эти модели в интеллектуальную собственность, обучая их работе с каждым
программным продуктом, созданным этой компанией.
ИИ способен эффективно собирать отзывы пользователей и тестировщиков в удобной
автоматизированной форме. Он может анализировать отчеты и разделять их на
категории в зависимости от характера обратной связи
(положительные/отрицательные), серьезности сообщаемой ошибки
(критическая/серьезная/незначительная) и других параметров. Полученные
структурированные данные будут гораздо полезнее для целей контроля качества, чем
масса разрозненных отчетов.
16

17.

Проблемы использования ИИ в разработке программного обеспечения
Повышение требований к квалификации специалистов. AI — это сложный инструмент,
способный выполнять множество задач. Однако, чтобы полностью использовать его потенциал,
им должен управлять специалист, обладающий достаточными навыками и опытом. Главное
требование – умение с максимальной точностью сформулировать все входные параметры.
Другими словами, пользователи должны точно сказать, чего они хотят достичь, и подробно
описать это.
Расширенные инструменты требуют больших вычислительных мощностей, места для хранения и
энергоснабжения. Компания-разработчик программного обеспечения, которая в значительной
степени полагается на технологии искусственного интеллекта, должна инвестировать в аппаратное
обеспечение высшего уровня. Лучшее оборудование обычно означает, что ИИ будет выполнять
свои задачи быстрее. В свою очередь, это ускорит работу команды разработчиков и сократит
время выпуска конечного продукта.
Дополнительные расходы на лицензирование. Профессиональные инструменты стоят недешево,
особенно в сфере разработки программного обеспечения. Коммерческое использование
большинства современных решений для искусственного интеллекта и машинного обучения
требует огромных затрат. Тем не менее, затраты разумны и более чем оправданы. Инструменты с
улучшенным AI быстро окупаются, особенно если их используют опытные инженерыпрограммисты.
17

18.

Области применения ИИ в разработке программного обеспечения
18

19.

Направления, подлежащие усовершенствованию при использовании
технологии AI/ML
19

20.

DevSecOps-платформы класса ASOC (концепция DevSecOps)
Реализация функционального модуля для консолидации, хранения и анализа собранных данных
Настройка интеллектуального управления платформой класса ASOC
20

21.

21

22.

22

23.

23

24.

24

25.

Важность корректной обработки данных
25

26.

Машинный сбор данных
26

27.

Машинный сбор данных
27

28.

Машинный сбор данных
28

29.

Машинный сбор данных
29

30.

Машинный сбор данных
30

31.

Машинный сбор данных
31

32.

Машинный сбор данных
32

33.

Ручной ввод данных
33

34.

Моделирование
34

35.

35

36.

Машинное обучение
Сбор данных
Очистка и подготовка данных
Разметка данных
Развертывание данных
Определение ключевых признаков
Подбор алгоритма искусственного интеллекта
Обучение модели искусственного интеллекта
Оценка модели искусственного интеллекта
Развертывание модели искусственного интеллекта
36

37. Список источников

1. Болотова Л.С. Системы искусственного интеллекта: модели и технологии, основанные на знаниях: учебник / ФГБОУ ВПО
РГУИТП, ФГАУ ГНИИ ИТТ «ИНФОРМИКА». – Москва: Финансы и статистика, 2012. – 664 с.: ил. – Режим доступа: по подписке.
– URL: http://biblioclub.ru/index.php?page=book&id=445682. – ISBN 978-5-279- 03530-4. – Текст : электронный.
2. Боровская Е.В. Основы искусственного интеллекта: учебное пособие. – 3-е изд. (эл.). – Москва: Лаборатория знаний, 2016. –
130 с.: схем. – Режим доступа: по подписке. – URL: http://biblioclub.ru/index.php?page=book&id=440877. – ISBN 978-5-00101421-8. – Текст : электронный.
3. Информационный портал статистики научных исследований по областям URL: https://www.scimagojr.com
4. Вишневский К. Доклад центра исследований цифровой экономики ИСИЭЗ НИУ ВШЭ, 2023 URL: http://hse.ru
5. Матвеев М.Г. Модели и методы искусственного интеллекта. Применение в экономике: учебное пособие / М.Г. Матвеев, А.С.
Свиридов, Н.А. Алейникова. – Москва: Финансы и статистика, 2014. – 448 с.: ил. – Режим доступа: по подписке. –
URL: http://biblioclub.ru/index.php?page=book&id=220187. –ISBN 978-5-279-03279-2. – Текст : электронный.
6. Пальмов С.В. Интеллектуальные системы и технологии: учебное пособие. – Самара: Поволжский государственный
университет телекоммуникаций и информатики, 2017. – 195 c. – Режим доступа: по подписке. – URL:
http://www.iprbookshop.ru/75375.html. – ISBN 2227-8397.
7. Ясницкий Л.Н. Интеллектуальные системы: учебник – Москва: Лаборатория знаний, 2016. – 224 с. : схем., табл., ил. –
(Учебник для высшей школы). – Режим доступа: по подписке. – URL: http://biblioclub.ru/index.php?page=book&id=445114. – ISBN
978-5-00101- 417-1. – Текст : электронный.