Похожие презентации:
Specializirovannye-uskoriteli-v-noutbukah (1)
1.
Специализированныеускорители в ноутбуках
AI NPU и DSP: назначение и принципы работы
2.
Разгрузка CPU/GPUNPU и DSP освобождают
Повышение
производительности
основные процессоры от AI-
Обработка фото/видео,
задач
шумоподавление, голосовые
помощники
Экономия энергии
Критично для мобильных устройств
3.
Тенденция интеграции AI-ускорителей01
02
03
On-device AI
Снижение задержек
Разгрузка сети
Обеспечение приватности данных
Локальная обработка без облака
Снижение нагрузки на каналы связи
4.
Архитектурные компонентыCPU
GPU
NPU + DSP
Общие вычисления
Параллельная
Специализированные
обработка
AI-задачи
Графика и численные
Обработка сигналов
Управление системой
задачи
5.
DSP: Цифровой сигнальныйпроцессор
SIMD архитектура
Параллельная обработка
Фиксированная
точность
выборок данных
16- или 32-бит для быстрого
выполнения
Низкое
энергопотребление
Непрерывный режим работы
6.
NPU: НейропроцессорМатричные ускорители
Tensor Cores, systolic arrays для тензорных операций
Блоки активации
Специализированные операции нормализации
Низкая точность
INT8, INT4 с адаптацией масштабирования
7.
Принципы работы NPUПараллельность
Тысячи блоков одновременно
Иерархия памяти
Локальные кэши и SRAM
Пайплайнинг
Конвейеризация вычислений
Кастомные инструкции
Ускорение свёрток и матриц
8.
Применения AI-ускорителейОбработка фото/видео
Шумоподавление
Голосовые помощники
Суперразрешение, шумоподавление,
Глубокое акустическое подавление
Локальное распознавание и синтез речи
стабилизация
фонового шума
9.
Энергоэффективность5-20x
30%
Экономия энергии
Время работы
По сравнению с CPU/GPU
Дополнительная автономность
Умная активация и динамическое масштабирование частот
10.
Перспективы развития1
Наращивание производительности
Увеличение мощности NPU и DSP
2
Универсализация
Поддержка большего спектра задач
3
Гибридные архитектуры
Взаимодействие NPU, DSP и GPU