Количество информации как мера уменьшения неопределенности знания

ЕДИНИЦЫ ИЗМЕРЕНИЯ ИНФОРМАЦИИ ИЗМЕРЕНИЕ ИНФОРМАЦИИ (АЛФАВИТНЫЙ ПОДХОД). Алфавит – множество символов, используемых при записи текста. Мощность алфавита (N)– количество символов в алфавите. i=log2N, где i – информационный вес одного символа. I=K*I, где I – количество информации, K – количество символов в тексте

Практическая работа № 0.1 Измерение информации Задача 3: Каково было количество возможных событий, если после реализации одного из них мы получили количество информации, равное 3 битам? 7 битам?

Практическая работа № 0.1 Измерение информации Задача 2: Какое количество информации получит второй игрок после первого хода первого игрока в игре «крестики-нолики» на поле размером 4х4?

Практическая работа № 0.1 Измерение информации Задача 1: Для следующего хода осталось 63 возможных события. Вероятность второго - I

Практическая работа № 0.1 Измерение информации Задача 1: Имеется доска (поле) 8х8. Рассмотреть вероятность каждого последующего события при игре в «крестики-нолики» 8х8=64 (события) Вероятность первого - I=6 бит

Содержательный подход к измерению информации Подбрасывание монетки События, уменьшающие неопределенность знаний в два раза, несет 1 бит информации. Неопределенность знаний о некотором событии – это количество возможных результатов событий. Решка – орел Грани кубика. Вероятность выпадения одной из граней составляет для каждой 1/6 1/6 1/6 1/6 1/6 1/6 N=6 N = , где i – информативность одного события

Содержательный подход к измерению информации Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений. За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза.

Информативность сообщения Сообщение информативно (содержит ненулевую информацию), если оно понятно и несет новые знания. Сообщения уменьшают неопределенность знания.

Содержательный подход к измерению информации Когда ни один из множества вариантов не имеет преимущества перед другим, тогда говорят, что эти два события равновероятные Для определения количества информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить показательное уравнение: 2 i=N

Количество информации как мера уменьшения неопределенности знания Практическая работ № 0.1 Измерение информации

Информация может быть определена Полностью Частично – решение задачи сводится к доопределению параметров. Не определена – требуется поиск, сбор информации.