-

1. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ

Санкт-Петербургский политехнический университет Петра Великого
Институт компьютерных наук и кибербезопасности
ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА
ОБЩЕСТВЕННОГО МНЕНИЯ ПО КОММЕНТАРИЯМ В
СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ
МАШИННОГО ОБУЧЕНИЯ
Выполнил студент гр. 5130903/00302
Небылицын Павел Алексеевич
Научный руководитель к.т.н., доцент ВШ ПИ
Туральчук Константин Анатольевич

2. Актуальность

В 2021 году исследования Всероссийского центра изучения
общественного мнения были процитированы в СМИ 80000
раз.
Количество переходов на веб-ресурсы ВЦИОМ превысило
миллион.
2/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

3. Актуальность

Формирование выборки для анализа мнений возможно на
основе комментариев в соцсетях: на 2020 год пользователи
ВКонтакте оставляли порядка 27 миллионов комментариев
ежедневно.
Важный аспект проведения анализа – выделение групп
респондентов по полу, возрасту, роду деятельности и т.д.,
что также может быть реализовано в контексте социальных
сетей.
3/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

4.

Цель работы – проектирование и разработка системы анализа общественного
мнения с целью проведения социологических исследований на заданную тему на
основе комментариев в социальных сетях.
Задачи:
• исследовать применимость машинного обучения в контексте анализа
общественного мнения и рассмотреть существующие реализации;
• описать существующие алгоритмы из областей обработки естественного языка, а
также машинного и глубокого обучения, применимые при разработке системы;
• провести сравнение подходящих алгоритмов и инструментов для реализации вебсервиса, проектирование его архитектуры и программную реализацию;
• провести тестирование разработанного сервиса, его точности работы при
различных задаваемых темах и исходных данных.
4/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

5. Машинное обучение в анализе общественного мнения

Поиск интересующих
общественность тем –
тематическое моделирование
5/25
Определение сформированного в
комментарии мнения на тему –
анализ тональности
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

6.

Существующие реализации
Сервис
Формат данных Выявление тем
Анализ мнений
Ориентирован
на
Группировка
авторов по
признакам
Web Topic Miner
Текстовые
документы
Тематическое
моделирование
Анализ
тональности
Соц.
исследования
нет
SemanticForce
Данные из
заданных вебресурсов (в т.ч.
соцсетей)
−
Анализ
тональности
Бизнесаналитика
нет
Lexalytics
Текстовые
документы (в
т.ч. через API)
Извлечение
именованных
сущностей
Анализ
тональности
Соц.
исследования и
бизнесаналитика
нет
6/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

7. Алгоритмы для анализа общественного мнения

Тематическое моделирование – латентное размещение Дирихле
(LDA)
Анализ тональности – подходы к обработке естественных языков и
классификации
• Наивный байесовский классификатор
• Логистическая регрессия
• Машина опорных векторов
7/25
• Многослойный перцептрон
• Различные модификации рекуррентной
нейронной сети (SimpleRNN, LSTM, GRU)
• Сверточная нейронная сеть
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

8. Обработка комментариев как задача NLP

• Предобработка: приведение текста к одному регистру,
удаление знаков препинания и стоп-слов
• Нормализация слов: стемминг (стеммер Портера) /
лемматизация (MyStem от Яндекса)
• Векторизация: Bag of Words/TF-IDF для машинного обучения,
словарь индексов для нейронных сетей
• Для многослойного перцептрона – обучаемый Embedding слой и
Word2Vec
8/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

9. Формирование тренировочной выборки для моделей

1. RuSentiment – вручную размеченный корпус комментариев
из ВК. После фильтрации – 23000 комментариев
2. Набор комментариев, полученный через VKApi и
размеченный в полуручном режиме при помощи VADER и
dostoevsky – 9000 комментариев
9/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

10.

10/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

11.

11/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

12. Случаи использования системы

12/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

13. Архитектура приложения

13/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

14. Стек технологий

+
Backend-составляющая,
MVC-паттерн,
генерация
представлений – Razor
14/25
+
Выполнение
тематического
моделирования,
классификация данных
на готовых моделях
+
Построение
моделей
нейронных сетей
Построение моделей
классического
машинного обучения
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

15. Импорт моделей в ML.NET

15/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

16.

wall.get()
(посты на стене
конкретного пользователя
или сообщества)
newsfeed.search()
(посты на заданную тему, как
во вкладке «Поиск»)
16/25
users.get()
(информация об авторе:
пол, возраст)
wall.getComments()
(комментарии к
конкретному посту)
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

17. Стартовая страница

17/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

18.

Работа сервиса при поиске тем
18/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

19.

Работа сервиса при парсинге
19/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

20.

Работа сервиса при анализе комментариев
20/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

21.

Результат анализа
21/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

22.

Анализ мнений пользователей ВК о
законопроекте об отмене ЕГЭ
22/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

23. Анализ мнений пользователей ВК о законопроекте об отмене ЕГЭ

Возраст респондентов: 18-24 лет
Веб-сервис, комментарии
Негативные
Опрос ВЦИОМ, 2023 г.
Позитивные
Против отмены ЕГЭ
23/25
За отмену ЕГЭ
Затрудняюсь ответить
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

24. Заключение

В результате выполнения работы была разработана система анализа
общественного мнения на заданную тему на основе комментариев в
социальных сетях.
Исследована применимость машинного обучения, рассмотрены
существующие аналоги.
Описаны алгоритмы, применимые при разработке системы.
Выполнено сравнение алгоритмов и инструментов, применимых при
разработке, спроектирована архитектура и осуществлена программная
реализация сервиса.
Проведено тестирование разработанного сервиса
24/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024

25.

Заключение
Разработанный веб-сервис позволяет:
• выявлять популярные среди пользователей соцсети темы для
дальнейшего анализа;
• проводить анализ общественного мнения пользователей социальной сети
на основе оставленных ими постов и комментариев при помощи анализа
их тональности;
• определять темы, затрагиваемые в комментариях при проведении
анализа;
• группировать результаты в соответствии с полом и возрастом автора, что
позволяет приблизить формат результатов к соцопросам;
• дообучать модели на основе примеров, полученных от пользователей;
25/25
Небылицын П.А. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ АНАЛИЗА ОБЩЕСТВЕННОГО МНЕНИЯ ПО
КОММЕНТАРИЯМ В СОЦИАЛЬНЫХ СЕТЯХ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ
СПбПУ, ИКНК, 2024