Формирование и обработка цифровых изображений. Занятие №5

1.

Формирование и обработка цифровых изображений
Занятие №5
DSP. Статистики изображения. AE.

2.

Устройство DSP
© 2023 Suretter Software: www.surettersoftware.kz
2

3.

Пример современного imaging DSP
© 2023 Suretter Software: www.surettersoftware.kz
3

4.

Автоалгоритмы
Автоалгоритмы – любой механизм в динамике влияющий на свойства
системы.
Автоматическое настройка параметров:
• Объектива
• Фотодетектора
• ISP
В зависимости от:
• Условий освещения
• Расстояния до объекта съемки
• Особенностей сцены
• Движения камеры в пространстве
• Позиции оптического зума
© 2023 Suretter Software: www.surettersoftware.kz
4

5.

AAA
Aperture
Shutter
time and
gain
Auto
Exposure
Auto
white
balance
А – Auto exposure
A – Auto white balance
A – Auto focus
Other IQ
filters
Auto
Focus
New focus
position
© 2023 Suretter Software: www.surettersoftware.kz
5

6.

ISP. Конвейер обработки изображений.
Auto algorithms
Black
level
correction
CFA
statistics
generation
White
balance
correction
Demosaic
(CFA2RGB)
RGB
statistics
generation
Encoder
Luma &
chroma
processing
RGB2YUV
Gamma &
Color repro.
Noise
reduction
© 2023 Suretter Software: www.surettersoftware.kz
6

7.

Статистики изображения.
Яркость
Контраст (отклик фильтра
высоких частот)
Гистограмма
Сумма пикселей одного цвета (R,
Gr, Gb, B)
140
120
100
80
60
40
20
0
1
12
23
34
45
56
67
78
89
100
111
122
133
144
155
166
177
188
199
210
221
232
243
254
1823 1747 1608 1202 3319 8924 3414 2597 3359 3926 4183 4311 4341 4561 4428 4241 3954 3235 3001 7822 4896 1682 1311 974
1329 1720 2029 1560 3260 8846 8443 3699 4568 5067 5604 5577 5848 5848 5539 5547 5278 4363 5729 10901 7051 2158 1582 1234
1134 1909 2372 1815 3577 9968 8036 4246 5335 5968 6472 6174 6342 6406 6149 6212 5972 4908 6116 11261 6106 2384 1795 1712
605 589 1573 1912 4837 11189 8120 4379 5615 6254 6296 4753 3847 3707 3649 2826 2853 2516 2860 10102 6751 2532 1922 2495
1470 885 1018 1226 4417 10408 7547 4343 5674 6388 6282 2259 1291 1292 1291 1248 1201 1299 1752 9188 6252 2799 1929 1874
630 930 850 1064 4235 10055 7797 4124 5534 6217 6098 2245 1107 1072 1009 1074 907 1042 1589 9011 6025 2072 1370 1080
461 522 619 798 2299 10232 6860 3839 5224 5929 5995 2771 1277 1239 1193 1086 1006 1023 1451 9816 5601 1376 497 356
407 453 516 651 942 4485 3988 3424 4786 5704 5986 2690 1234 1208 1174 1101 1060 1077 1285 4241 3487 1483 419 465
369 408 464 564 705 2109 2446 2993 4221 4956 5168 2530 1121 1121 1075 1047 995 977 1003 2398 2790 1086 429 407
345 375 418 489 570
933 1384 1739 3474 4016 4243 2265 860 841 784 705 679 657 690 1731 1511 1098 416 489
327 353 385 426 470
635 779 717 1014 1150 1199 1131 852 809 670 560 657 953 961 1041 958 816 266 296
315 339 358 377 397
627 733 758 949 934 920 960 904 811 814 709 947 920 3138 1890 1167 720 354 467
299 315 326 342 359
644 811 717 838 846 833 836 828 694 584 678 842 735 854 3126 793 671 686 697
282 291 299 315 335
445 641 648 641 719 711 703 700 578 603 654 709 649 733
725 473 415 244 757
267 269 278 296 324
359 478 519 559 625 651 638 600 557 643 648 646 548 611
396 253 318 215 174
251 255 263 280 316
342 370 407 454 494 507 508 488 502 500 500 492 508 505
488 440 383 239 305
© 2023 Suretter Software: www.surettersoftware.kz
7

8.

AE - цель алгоритма
Не допустить недо и пере
экспонирование?
Выбор интересующей нас
части динамического
диапазона?
Корректное экспонирование
объекта интереса?
Предотвратить смазывание
объектов в движении?
Избежать мерцание источника
света?
Обеспечить плавность
изменения яркости?
Минимизировать шум?
…
© 2023 Suretter Software: www.surettersoftware.kz
8

9.

Выдержка
Короткий затвор
Длинный затвор
Чёткие очертания быстро движущихся объектов
Возможность видеть плохо освещенные объекты
© 2023 Suretter Software: www.surettersoftware.kz
9

10.

Коэффициент усиления и апертура
Sensor gain усиливает шум
пропорционально полезному сигналу.
Влияет на количество пропускаемого света и
ГРИП
© 2023 Suretter Software: www.surettersoftware.kz
10

11.

Основные параметры
Target – итоговая
пропорциональна
параметра.
экспозиция
значению
Convergence speed – скорость
схождения выше, при меньших
значениях параметра.
© 2023 Suretter Software: www.surettersoftware.kz
Convergence delta – допуск, при
котором алгоритм сообщает, что
сошелся к target.
11

12.

ISO, EV step, Exposure error
EV100
Illuminance, lx
−4 0.156
−3 0.313
−2 0.625
−1 1.25
0 2.5
1 5
2 10
3 20
4 40
5 80
6 160
ISO – стандарт регламентирующий светочувствительность
фотодетектора. Был разработан во времена пленочной
фотографии.
7 320
8 640
9 1280
10 2560
11 5120
12 10,240
1 EV step – изменение яркости в 2 раза.
13 20,480
14 40,960
15 81,920
Exposure error – отклонение от target выраженное в EV steps
© 2023 Suretter Software: www.surettersoftware.kz
16 163,840
12

13.

Настройки
Режимы приоритета:
• ISO
• Выдержка
• Апертура
EV bias – смещение AE
target на определенное
количество EV steps
© 2023 Suretter Software: www.surettersoftware.kz
13

14.

Ограничения разных режимов камеры
Максимальное время
затвора ограничено
Драйвером сенсора (условно
неограниченно)
Значением 1 / FPS текущего
видеорежима
Скорость сходимости
Максимальная
Плавная
Slow shutter – выдержка во время
видео кратно увеличивается,
фреймы дублируются.
© 2023 Suretter Software: www.surettersoftware.kz
14

15.

Задержка статистик
1. Алгоритм рассчитывает пару shutter / gain для
очередного кадра, опираясь на статистики
освещённости полученные от IDSP.
2. Прежде чем придут актуальные статистики
для новой пары shutter / gain, проходит
несколько кадров.
© 2023 Suretter Software: www.surettersoftware.kz
15

16.

Перерегулировка
© 2023 Suretter Software: www.surettersoftware.kz
16

17.

Фликеринг
Наблюдается, когда время
затвора не кратно частоте
сети.
Свет от ламп в помещении
почти всегда пульсирует с
частотой сети (50 герц в
России, Европе и Азии; 60
герц в Америке)
Если выбрать shutter time кратным половине длинны
волны, то за время, пока затвор «открыт», всегда
накопится одинаковое количество энергии света.
Существует автоматическое распознавание наличия и
частоты фликеринга
© 2023 Suretter Software: www.surettersoftware.kz
17

18.

Проблемы синхронизации и дискретности
Frame #1
shutter
time
Frame # 2
Frame # 3
sensor
gain
Frame # 4
…
Frame # N
DSP
digital gain
Statistics
f#
AE
f-number - отличаются в 2 раза
shutter time – на коротких выдержках разница может доходить до 2х раз
sensor gain – обычно шаг равен 0.1db или 0.3db
DSP digital gain – обычно шаг меньше 0.001 раза
© 2023 Suretter Software: www.surettersoftware.kz
18

19.

Фотометрия
© 2023 Suretter Software: www.surettersoftware.kz
19

20.

Подстройка топологии статистик
STA
алгоритм
позволяет
различить
небо,
землю
и
слишком темные области и на
основании этой информации
перестроить
фотометрию
динамически.
© 2023 Suretter Software: www.surettersoftware.kz
20

21.

Ambient light sensor and Inertial Measurement Unit
Ускорение схождения алгоритма за счет
использования начального приближения
полученного при помощи ALS датчика.
Выбор лучшего снимка из серии по
критерию минимального движения
камеры в момент съемки
© 2023 Suretter Software: www.surettersoftware.kz
21

22.

HDR
Sensor-side or ISP-side
Linearization
& Blending
© 2023 Suretter Software: www.surettersoftware.kz
22

23.

Global или multi алгоритмы
Два или более независимых “single” алгоритмов рассчитывают
экспозицию, каждый для своего сенсора.
Multi алгоритм получает значения от каждого из single
алгоритмов и находит геометрическое среднее.
Также есть режимы, в которых multi опирается на «мастер»
сенсор, или на самый яркий / тёмный сенсор.
© 2023 Suretter Software: www.surettersoftware.kz
23

24.

Автоматизированная калибровка и симуляция
Автоматизированное тестирование
фотодетекторов
Автоматизированный подбор основных
параметров алгоритма
PC tool для тонкой настройки и симуляции
работы алгоритма
© 2023 Suretter Software: www.surettersoftware.kz
24

25.

The end.
Вопросы?
На следующем занятии:
Auto white balance и auto focus
<- Скачать эту презентацию можно здесь