Доклад_экстремизм_Telegram_v3

1.

АВТОМАТИЧЕСКОЕ ВЫЯВЛЕНИЕ · АНАЛИЗ TELEGRAM
Распространение экстремистских
материалов в Telegram
Сравнение методов автоматического выявления: лексика, смысловые
векторы, готовая и собственная модель
[ФИО, группа] · научный руководитель [ФИО]
Корпус: 53 300 постов из 60 каналов · 18.09–18.10.2026

2.

ЦЕЛЬ И ЗАДАЧИ
Цель и задачи работы
Цель: автоматически отбирать посты, которые поддерживают насилие, и отличать их от новостей
о насилии.
1
Собрать корпус постов и эталон, где у каждого текста есть правильный ответ
2
Сравнить на эталоне 11 методов выявления, от словарей до своей модели
3
Отделить поддержку насилия от новостей о нём по позиции автора
4
Построить граф каналов и посмотреть, как и когда расходятся публикации

3.

ЗАДАЧА 1 · ДАННЫЕ
Корпус из Telegram и эталон с ответами
Корпус для работы конвейера
Эталон для оценки качества
53 300 постов
1 050 текстов
60 публичных каналов, 18.09–18.10.2026
комментарии форумов и новости Lenta.ru; 147 с признаком
насилия
Что считаю распространением
Признак насилия
призыв, вовлечение или одобрение
+
Позиция «поддержка»
автор одобряет то, о чём пишет
=
Распространение
91 текст эталона

4.

ЗАДАЧА 2 · МЕТОДЫ
11 методов: на какой сигнал опирается каждый
Семья методов
Что использует как сигнал
Чего не видит
Словарные правила ×2
Ключевые слова и выражения
Перефразирование, эвфемизмы
TF-IDF + LR ×4
Словесные и символьные n-граммы
Смысл; другой язык и формы
Векторы E5 / BGE-M3 + LR ×2
Смысловые представления текста
Позицию автора
Ансамбль TF-IDF + BGE-M3 ×1
Слова и смысл вместе
Позицию автора; в 460 раз медленнее
Готовая rubert-tiny-toxicity ×1
Токсичность, угрозы, неуместность
Разницу «новость / призыв»
Своя (rubert-base-cased) ×1
Экстремизм, насилие, токсичность
Контекст вне текста поста
Как сравнивал
Один эталон
PR-AUC
Полнота, F1, время
1 050 текстов и 5 фолдов кроссвалидации, одинаковых для всех
методов
главная метрика: насколько хорошо
метод ранжирует тексты, от порога
не зависит
сколько находит, баланс с точностью
и миллисекунды на текст

5.

ЗАДАЧА 2 · РЕЗУЛЬТАТЫ НА ЭТАЛОНЕ
Ансамбль точнее всех, но и медленнее всех
Метод
PR-AUC (выше — лучше)
мс на текст
полнота на неявных
232
0.28
0.583
Ансамбль: лексика + смысл
Смысловые векторы bge-m3
0.522
231
0.53
Смысловые векторы e5
0.520
61
0.64
Лексика TF-IDF (слова+символы)
0.508
0.5
0.14
3.4
0.89
61
0.69
Готовая rubert-tiny-toxicity
Своя модель (rubert-base-cased)
0.232
0.204

6.

ЗАДАЧА 2 · СВОЯ МОДЕЛЬ
Своя модель против готовой
Показатель
Своя
Готовая
Полнота (Recall)
0.830
0.837
Точность (Precision)
0.215
0.180
F1 — баланс
0.341
0.296
PR-AUC — ранжирование
0.204
0.232
Полнота: явные / неявные
0.87 / 0.69
0.82 / 0.89
Помечено из 3 000 постов
19.9%
41.3%
61
3.4
Скорость, мс на текст

7.

ЗАДАЧА 3 · ПОЗИЦИЯ АВТОРА
Новость — это ещё не пропаганда
Без проверки позиции 34% срабатываний лучшего метода — это новости, осуждение или цитаты, а вовсе не
распространение.
F1 без проверки позиции
F1 с правилами позиции
0.33
0.41
Из чего состоят 154 срабатывания лучшего метода (эталон)
распространение · 27%
новости · 31%
34% — новости, осуждение, цитаты

8.

НЕЯВНАЯ ПРОПАГАНДА
Эвфемизмы и ирония — самое трудное
0.89
Готовая rubert-tiny-toxicity
0.69
Своя (rubert-base-cased)
0.64
Смысловые векторы e5
0.28
Ансамбль лексики и смысла
Словарные правила
0.11

9.

ЗАДАЧА 5 · ГРАФ КАНАЛОВ
Как устроен граф каналов
Узлы — каналы
1 617 каналов, из них 60 собраны целиком;
остальные — те, на кого они ссылаются
Рёбра четырёх типов
пересылка поста 631 пара
упоминание канала или ссылка 2 498
совпадение текста или материала 329
смысловое сходство постов 509
Чем считал
NetworkX: сообщества — алгоритм Louvain, важность
канала — PageRank.
Связь помеченности с соседями — перестановочный
тест, 300 повторов.
Полный граф выгружен в Gephi (channels.gexf).
Каналы корпуса: цвет — сообщество, размер — число постов

10.

ЗАДАЧА 5 · ЧТО ДАЛ ГРАФ
Граф помогает найти источник публикации
19 сообществ
137 эпизодов
47 из 59
модулярность 0.80: каналы плотно
связаны внутри своих групп
распространения; 93 из них прошли
через три канала и больше
пересылок между каналами корпуса
идут внутри правой группы графа
Что граф даёт
Крупнейший эпизод: одна новость → 23 канала
Помогает найти первоисточник публикации: качество поиска
12 каналов за 5 мин · 19 за 15 мин · 23 за 1 ч 48 мин
и связей.
Чего граф не даёт
Помеченность не передаётся по связям: корреляция −0.003
при p = 0.21. Связь каналов не говорит об их содержании.
каналов
(MRR) растёт с 0.373 (только текст) до 0.396 с учётом времени
25
20
15
10
5
0
0
20
40
60
80
минут от первой публикации
100
120

11.

ЗАДАЧА 5 · ВРЕМЯ ПУБЛИКАЦИИ
Помеченное выходит по графику новостей
Доля постов по часам, МСК
Все посты (выборка 3 000)
12%
Помеченные (535)
13:00 — 10.8%
87%
помеченного выходит в будни; у всех
постов — 74%
18 мин
9%
медианный лаг пересылки; у помеченных ≈
6 мин, наблюдений мало
6%
4.7 ч
3%
медианная длительность эпизода (137
эпизодов)
0%
00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23

12.

ВЫВОДЫ
Что получилось по каждой задаче
1
Данные. Корпус 53 300 постов и эталон на 1 050 текстов с разметкой по признаку и позиции автора.
2
Методы. Лучший по PR-AUC — ансамбль (0.58), но он в 460 раз медленнее TF-IDF; своя модель при той же полноте
срабатывает втрое реже готовой.
3
Позиция автора. Без неё треть срабатываний — новости; правила позиции поднимают F1 с 0.33 до 0.41.
4
Граф и время. Граф улучшает поиск источника (MRR 0.37 → 0.40), публикации расходятся за минуты.