9 Темиржанов

1.

НАО “Карагандинский технический университет имени Абылкаса Сагинова”
Кафедра ИВС
ДИПЛОМНЫЙ
ПРОЕКТ
Разработка приложения для анализа аудиодорожек видеоинтервью в системе
3D-интервьюера: оценка коммуникативных навыков кандидатов с
использованием технологий распознавания речи и эмоций
Выполнен:
Ст. группы ИС-22-3 Темиржанов О.Ж.
Руководитель:
Ст. преподаватель Крицкий А.Б.
Караганда 2026

2.

ПОСТАНОВКА
ЗАДАЧИ
Целью работы является создание интеллектуального серверного ядра для
платформы «AI Talent Genome». Этот программный модуль должен взять на
себя автоматическую расшифровку аудио, детекцию уровня стресса и
формирование готового профессионального профиля кандидата, опираясь
исключительно на мощности локальных нейросетей.
Задачи:
1. Провести анализ предметной области и сформулировать технические требования к
системе.
2. Обосновать выбор программного стека (FastAPI, Faster-Whisper, Llama).
3. Разработать алгоритмы извлечения текста и акустического анализа микростресса.
4. Настроить пайплайн аналитики на базе локальной LLM для генерации отчетов по
hard- и soft-скиллам.
5. Разработать клиентский интерфейс на базе Vue.js и провести тестирование системы.
02

3.

ТРЕБОВАНИЯ К
ДИПЛОМНОМУ ПРОЕКТУ
Значимость - значительно сократить время на сопоставления отчета о
кандидате и облегчить задачи для HR-менеджеров.
Новизна - данной дипломной работы состоит в создании полностью
локального
программного
HR-менеджера,
функционирующего
без
зависимости от общей интернет сети анализируая посторонние звуки и
голос кандидата, опираясь на его поведение на момент вопроса
Актуальность - исследования продиктована двумя факторами. Первое,
необходимостью исключить предвзятость и человеческий фактор на этапе
интервью. Второе, строгими требованиями к защите персональных данных:
вся аудиозапись должна обрабатываться локально, в изолированном ИТконтуре компании.
03

4.

НЕЙРОБИБЛИОТЕКИ
01
FFmpeg
Для предварительной обработки
медиафайлов извлечение чистой
аудиодорожки
.wav
из
видеофайлов соискателя
04
02
Librosa
02
Математический
анализ
физических свойств звуковой
волны (без перевода ее в текст).
04
FASTER - WHISPER
Перевод
аудиодорожек
видеоинтервью в текст.
Llama
Глубокий
анализ
размеченного
текстового
транскрипта,
оценка
профессиональных
компетенций
соискателя и генерация итогового
структурированного HR-отчета.

5.

FFmpeg
05
Минимизация данных - видеоинтервью в 4K весят
гигабайты. FFmpeg извлекает только аудиопоток, сокращая
объем данных на 98%
Нормализация - приведение видео формата (.mp4, .mov, .avi)
к аудио формату WAV, необходимому для STT-моделей
Производительность: Использование нативного с-кода
обеспечивает мгновенную обработку без блокировки
Python-интерпретатора.

6.

06
Faster-Whisper
Ускоренная транскрибация: Использование оптимизированного
движка CTranslate2 вместо базовой библиотеки OpenAI Whisper.
Квантование весов (INT8): Снижение точности вычислений ускоряет
инференс в 4–5 раз при потере точности менее 1%.
Эффективность VRAM: Оптимизация позволяет разворачивать
платформу на бюджетных GPU, снижая пиковое потребление
видеопамяти до 8 ГБ.

7.

07
Librosa
Сублингвистическая метрика: Математический анализ аудиоволны
через библиотеку Librosa без перевода в текст.
RMS Energy: Детекция резких скачков громкости и нестабильности
энергии голоса.
Zero Crossing Rate (ZCR): Оценка частотных флуктуаций для
выявления нестабильности тембра.
Microtremor:
Выявление
скрытого
волнения
микроколебаниям голосовых связок (8-12 Гц).
кандидата
по

8.

Llama 3
Локальная генерация: LLM Llama 3 (8B) работает под управлением
оркестратора Ollama для полной On-premise изоляции.
Semantic Chunking: Метод контекстного дробления длинных
транскриптов обходит ограничения памяти и исключает
«галлюцинации» ИИ.
Dialogue Marker: Эвристический Python-алгоритм разделяет роли
(HR/Кандидат) по синтаксическим маркерам без нагрузки на
VRAM.
Совместимость с Python: Платформа использует последние
возможности языка для обеспечения производительности.
08

9.

Как проходит анализ видео
загружаемого кандидатом
09

10.

Интерфейс программы
10

11.

Диалог который ввелся на интервью
11

12.

Анализ эмоций и вердикт ИИ
менеджера
12

13.

13
ЗАКЛЮЧЕНИЕ
Итогом работы стало создание локального HR-Менеджера «AI Talent
Genome», способной в девять раз ускорить процесс первичного
рекрутингового скрининга. Благодаря внедрению оптимизированных
пайплайнов обработки данных (Faster-Whisper, Llama 3, Librosa), среднее
время оценки одного кандидата было сокращено с 45 до 5 минут.
Разработанное решение полностью исключает зависимость от зарубежных
облачных API и гарантирует правовой суверенитет данных ТОО «Terricon
Valley», являясь готовым инструментом для промышленной эксплуатации.

14.

ДОКЛАД ОКОНЧЕН
СПАСИБО ЗА ВНИМАНИЕ