Визуализация_звука_в_реальном_времени

1.

Визуализация звука в
реальном времени
ЗАКАЗЧИК: ЗАВРИЕВ Н. К. (УЧИТЕЛЬ В ЛИЦЕЕ, МУЗЫКАНТ)
ИСПОЛНИТЕЛИ: ЖУРАВКОВ ДАНИИЛ, ДОЛБИЛКИН МИХАИЛ 10.4

2.

Актуальность
Любое живое выступление подкрепляется видеоматериалом, для красоты
выступления.

3.

Введение

4.

Программная реализация и
архитектура
Языки: C#(библиотеки ), Processing(библиотеки themidibus для передачи данных между
модулями, javax.sound.midi.MidiMessage для обработки нот и ошибок)
Виртуальный
аудиокабель
Источник звука
MIDI команды
Модуль обработки
Модуль
визуализации

5.

Постановка задачи
•Улучшение качества анимаций
•Разнообразие анимаций(добавление новых)
•Добавление новых частотных диапазонов
•Найти решение ввода звукового потока без помех и посторонних шумов
•Создание плейлистов

6.

Постановка задачи, анимации

7.

Постановка задачи, анимации

8.

Обзор аналогов
Vizzy
•Визуализация происходит
не в реальном времени

9.

Обзор аналогов
VVVV
•Не бесплатный
•Сложно запрограммировать
свою анимацию

10.

Обзор аналогов
Resolume
•Высокая стоимость
•Невозможно создать свою
анимацию

11.

Обзор аналогов
Specterr
•Визуализация
происходит не в
реальном времени
•Невозможно создать
свои анимации

12.

Обзор аналогов
Работа со звуком в
реальном времени
Доступность
Возможность создания
новых сценариев
VVVV
+
80$-500$
+-
Vizzy
-
Бесплатно
+
Resolume
+
300$-700$
-
Specterr
-
0$-16$
-
Наш проект
+
Бесплатно
+

13.

Ход работы
Выбор оптимального
приложения, подходящего
под нашу задачу, для ввода
звука.
Soundpad – один из лучших
вариантов(поток звука не
через микрофон, что
позволяет получить чистые
сигналы без внешних
шумов).

14.

Ход работы
Изучение языка
Processing, написание
первых анимаций,
продумывание
дальнейшее
объединения в
сценарии, полное
переделывание части
визуализации.
*объединение по цвету, фигурам, характеру движения и тд.

15.

Ход работы
Создание нового способа
переключения между
анимациями в зависимости
от частотных пиков и
минимального заданного
интервала времени для
проигрывания одной
анимации

16.

Ход работы
Создание новых фильтров частот в
модуле обработки звука. Они
понадобились для более точного
определения «характера» музыки и
выбора проигрываемых анимаций.

17.

Ход работы
Создание новых фильтров частот
открыло возможность точнее
реагировать на перепады в звуке. Как
пример, ориентирование анимации на
нижние частоты

18.

Ход работы
Создание плейлистов позволило
пользователю подбирать свой ряд
анимаций под каждый из треков

19.

Результаты
•Придуманы 13 различных анимаций, визуально более подходящие практическому
применению проекту.
•Добавлены два новых частотных диапазона
•Добавлена возможность выбирать только нужные пользователю анимации, создавая свои
плейлисты
•Сохранена гибкость проекта

20.

Направления дальнейшей разработки
•Плавные переходы из одной анимации в другую
•Автоматизация процесса запуска(не удобно открывать 3 программы подряд)
•Более глубокий анализ звукового потока(выявление определенных группы инструментов,
ориентирование на нижние частоты)