Информацияның өлшем бірліктері. Информацияның структуралық ж/е статистикалық өлшемі. Энтропия

1.

ИНФОРМАЦИЯНЫҢ ӨЛШЕМ БІРЛІКТЕРІ.
ИНФОРМАЦИЯНЫҢ СТРУКТУРАЛЫҚ Ж/Е
СТАТИСТИКАЛЫҚ ӨЛШЕМІ. ЭНТРОПИЯ

2.

Компьютердегі ақпарат бірлігі бір бит, ол 0 немесе 1 мәндерін қабылдай
алады. Сонда «нөл» немесе «бір» сигналы бит деп аталады. ​Бит – ақпаратты
өлшеудің ең кіші бірлігі.
Яғни :
1 байтта 8 бит
1 килобайтта 1024 Байт (KB)
1 мегабайтта 1024 Кбайт (MB)
1 гигабайтта 1024 Мбайт (GB)
1 террабайтта 1024 Гбайт (TB)

3.

Ақпаратты өлшеудің бірнеше түрі бар олар: структуралық,
статистикалық және семантикалық. Біздің қарастыратынымыз
структуралық және статистикалық.

4.

СТРУКТУРАЛЫҚ ӘДІС

5.

Структуралық әдіс хабарламаны құрайтын ақпараттық элементтердің санын қарапайым
санау арқылы ақпарат көлемін өлшейді. Бұл әдіс жіберілетін хабарламалардың көлемін
анықтау үшін қолданылады.
Бұл әдістің өз ішінде үш түрлі өлшемі болады олар: геометриялық, комбинаторлық және
Хартли өлшемі.

6.

Геометриялық өлшем
Осы өлшемді пайдалана отырып, белгілі бір көлемдегі ақпараттың көлемін есептеуге
болады. Өлшем бірлігі ретінде белгілі бір ақпараттық элемент қолданылады. Мысалы,
сақтау құрылғысының сыйымдылығын өлшеу үшін ақпараттық элемент ретінде минималды бірлік,
бит алынады.

7.

Комбинаторлық өлшем
Бұл өлшемді пайдалана отырып, берілген көлемде берілген ақпараттың элементтерінің әртүрлі
комбинацияларын пайдалана отырып, ақпаратты есептеуге болады. Бұл өлшем элементтердің мүмкін
комбинациялары мен математикалық қатынастарды пайдаланады, сонымен қатар математиканың
комбинаторикада саласында зерттеледі.

8.

Хартли өлшемі
Ақпараттың ұзындығына байланысты ақпарат көлемін бағалайды. Егер ақпарат ішіндегі
элемент жинағы бір болатын болса,онда оның көлемі анықталғаны анық, яғни, ақпарат
жоқ деген сөз. Егер ақпарат екі элементтен тұрса, онда ақпарат көлемі минималды болады.
Бұл жағдайда ақпарат көлемі де минималды болады. Жиынтықтағы ақпарат элементтері
неғұрлым көп болса, ақпарат көлемінің белгісіздігі соғұрлым көп болады, яғни ақпарат көп
болады деген принциппен есептеледі. Арнайы математикалық формулалары бар

9.

СТАТИСТИКАЛЫҚ ӘДІС

10.

Статистикалық тәсіл хабарламалардың пайда болу ықтималдығын есепке алуға
негізделген. Хабарлама ықтималдығы аз болса, ақпараттылығы жоғары болып
саналады. Бұл тәсіл алынған ақпараттың маңыздылығын есептеу үшін қолданылады.

11.

20 ғасырдың 30-жылдарында ғалым Клод Шеннон өз еңбектерінде математикалық өрнекті
пайдалана отырып, белгілі бір хабарлама тасымалдайтын ақпарат көлемін осы хабарламаны
алу ықтималдығымен байланыстырды. Яғни хабаламаның жиілігін анықтауды ойлап тапты.

12.

ЭНТРОПИЯ

13.

ЭНТРОПИЯ - кездейсоқ шамамен байланысты белгісіздік өлшемі. Хабарламада
қамтылған ақпараттың көлемін анықтайды (әдетте бит немесе әр символ бойынша бит).
Ақпаратты беру үшін қажетті хабарламаның ең аз ұзындығын анықтайды сондай-ақ кез
келген хабарламаны ең ықтимал сапасын жоғалтпай сығудың (сжатие) абсолютті шегін
анықтайды.