Семантическая мера информации

Вычислительные машины обрабатывают и преобразуют информацию разного содержания – от числовых данных до сочинения музыки и стихов. Вся эта информация изображается соответствующими символами. Оценка содержания разнохарактерной информации – весьма сложная проблема.

Среди семантических мер наиболее распространены содержательность, логическое коли-чество, целесообразность и существенность информации.

Содержательность события i выражается через функцию меры m(i) – содержательности его отрицания. Оценка содержательности основана на математической логике, в которой логические функции истинности m(i) и ложности m(0) имеют формальное сходство с функциями вероятностей события p(i) и антисобытия q(i) в теории вероятностей.

Логическое количество информации l_nf, сходное со статистическим количеством информации, вычисляется по выражению

l_nf=log₂[1/m(i)] = – log₂m(i).

Отличие статистической оценки от логической состоит в том, что в первом случае учитываются вероятности реализации тех или иных событий, что приближает к оценке смысла информации.

Если информация используется в системах управления, то ее полезность целесообразно оценивать по тому эффекту, который она оказывает на результат управления.

Мера целесообразностиинформации определяется как изменение вероятности достижения цели при получении дополнительной информации. Полученная информация может быть пустой, т.е. не изменять вероятности достижения цели, и в этом случае ее мера равна нулю. В других случаях полученная информация может изменять положение дела в худшую сторону, т.е. уменьшить вероятность достижения цели, и тогда она будет дезинформацией, измеряющейся отрицательным значением количества информации. Наконец, в благоприятном случае получается добротная информация, которая увеличивает вероятность достижения цели и измеряется положительной величиной количества информации.

Мера целесообразности в общем виде может быть аналитически выражена в виде соотношения:

I_цел = log₂p₁ – log₂p₀ = log₂ p₁/ p₀,

где р₀ и p₁ – начальная (до получения информации) и конечная (после получения информации) вероятности достижения цели.

Следует различать:

- существенность самого события;

- существенность времени совершения события или его наблюдения (рано – поздно – момент);

- существенность координаты совершения события.

Измерение некоторого параметра X можно характеризовать несколькими функциями величи-ны х: вероятностью р(х), погрешностью измерения е(х) и существенностью с(х). Каждой из этих функций можно поставить в соответствие определенную меру информации. Мерой Хартли оцени-вается функция погрешности е при фиксированных значениях функции вероятности (р = const) и существенности (с = const). Мерой Шеннона оценивается функция вероятности (р = var) при фиксированных значениях функций погрешности (е = const) и существенности (с = const). Мера существенности относится к ситуации с фиксированными функциями погрешности (е = const) и вероятности (р = const).

Информация и энтропия

Понятие энтропии исторически использовалось для оценки меры неопределенности состояния любой системы. Чем больше энтропия системы, тем больше неопределенность ее состояния и тем большую информацию получаем, когда эта неопределенность снимается. Энтропия как количественная мера информации обладает следующими свойствами:

- функция энтропии является непрерывной относительно вероятности возникновения событий и для дискретных событий имеет наибольшее значение при равной вероятности их появления. Если возможно появление лишь одного события, то априорной неопределенности нет, поэтому количество информации и энтропия равны нулю;

- при равновероятных событиях функция энтропии возрастает с увеличением числа событий в ансамбле, а поэтому для повышения информативности символов необходимо увеличивать основание системы счисления используемого кода;

- функция энтропии не зависит от пути выбора событий. Это свойство вытекает из аддитивности статической меры информации и, как следствие, аддитивности функции энтропии.

При кодировании важно обеспечить выбор кода, который оптимально согласуется с источником. Это согласование возможно по критерию энтропии источника. Под энтропией источника обычно понимают количество информации, которая в среднем содержится в одном символе кода. Если код имеет основание системы счисления К, то энтропия источника, т.е. среднее количество информации, содержащейся в символе кода, составит

J = M

H(X) = – Σ P(x_j) log₂P(x_j).

J = 1

Содержательно энтропия источника показывает, сколько двоичных единиц информации переносится в среднем в одном символе кода. Для повышения информативности источника необходимо стремиться к равновероятности символов. В этом случае для неизбыточного кода в одном символе передается двоичная единица информации. С введением избыточности информативность символа уменьшается, но появляются возможности, связанные с обнаружением и исправлением ошибок, что обеспечивает требуемую помехоустойчивость передачи сообщений. Среднее количество информации, содержащееся в сообщении, называется энтропией сообщения и определяется в виде

J = M

H(X₀) = – Σ P(x_0j) log₂P(x_0j).

J = 1

Видно, что энтропия сообщения представляет собой математическое ожидание собственной информации, содержащейся в ансамбле сообщений X₀. Таким образом, энтропия является универсальной статистической характеристикой, позволяющей оценить количество информации, которая содержится в любом ансамбле дискретных событий.

Понятие энтропии применимо и к непрерывным событиям. В системах обработки информации и управления значительная доля информации имеет непрерывный характер и выражается в виде не прерывной функции от времени. В этом случае возникает задача передачи непрерывной информации в виде непрерывных сообщений по каналам связи. Непосредственная передача непрерывных сообщений без преобразования возможна лишь на незначительные расстояния. С увеличением расстояний осуществляют операцию дискретизации информации. Для этого вводят квантование по времени и по уровню. Непрерывная функция передается в виде совокупности мгновенных или квантовых отсчетов, выбранных с различными интервалами по времени.

Имеется непрерывная информация, представленная в виде непрерывной функции x(t)
с известной плотностью распределения вероятностей амплитудных значений W(х). Разобьем область значений функции на K уровней с интервалом квантования ∆х, тогда получим уровни
x₁, x₂, …, x_j, ,.., х_k. При достижении функцией x(t) некоторого уровня x_j и передаче этого уровня по каналу связи количество передаваемой информации может быть определено с помощью функции энтропии H(x_j), если известна вероятность возникновения отсчета P(x_j). Для нахождения вероятности P(x_j) построим плотность распределения W(x) и отметим отсчеты функций x₁, x₂, …, x_j (рис. 2.6). Вероятность P(x_j) отображена заштрихованной на рис. 2.6 площадью под кривой W(x). Для упрощения расчетов заменим эту площадь другой площадью эквивалентного прямоугольника с основанием ∆х и высотой W(x_j), тогда вероятность P(x_j) = W(x_j)∆х. Отсюда количество собственной информации, содержащейся в отсчете x_j, составит

H(x_j) = – P(x_j) log₂ P(x_j) = – W(x_j)∆х log₂ [W(x_j)∆х].

Рис. 2.6. Зависимость плотности распределения вероятностей W(х) от уровня амплитуды х

Энтропия отсчета определяет количество информации, которая передается отсчетом функции x_j. С уменьшением шага дискретизации ∆х, т.е. при ∆х → 0, можно найти lim H(x_j), т.е. предварительное значение

H(x_j) = – lim {W(x_j)∆x log₂ [W(x_j)∆х]}.

Таким образом, понятие энтропии применимо и для оценки среднего количества информации, которая содержится в непрерывном сообщении. Однако пользоваться выражением энтропии для непрерывных сообщений следует крайне осторожно, учитывая неопределенность второго слагаемого выражения, особенно при малых значениях шага квантования ∆x.

В целом в отношении энтропии непрерывного сообщения можно сделать следующие выводы:

- дифференциальная энтропия определяется статистикой отсчетов непрерывной функции. Можно показать, что при постоянной дисперсии отсчетов наибольшее количество информации соответствует непрерывным сообщениям, отсчеты которых распределяются по нормальному закону;

- энтропия зависит от амплитуды исходной непрерывной функции х и шага ее квантования ∆x. На практике реализуют системы с равномерным и неравномерным шагом квантования,
с передачей отклонения функции от математического ожидания и др.

Это позволяет в конкретных условиях повысить скорость передачи информации в непре-рывном канале.

Таким образом, статистическая теория позволяет оценить количество информации для такого важного этапа информационного процесса в системе, как передача. По К. Шеннону принципы количественной оценки на основе функции энтропии сохраняют свою значимость до настоящего времени и являются полезными при определении информативности символов и сообщений и при оценке оптимальности построения кода на основе критериев избыточности.

В современных системах обработки информации и управления существенное место занимает подготовка информации для принятия решения и сам процесс принятия решения в системе. Здесь существенную помощь может оказать семантическая теория, позволяющая понять смысл
и содержание информации, выражаемой на естественном языке. С увеличением объема и сложнос-ти производства количество информации, необходимое для принятия безошибочного решения, непрерывно возрастает. В этих условиях необходимо осуществлять отбор информации по некото-рым критериям, т.е. предоставлять руководителю либо лицу, принимающему решение, своевре-менную и полезную информацию. С учетом ошибок, которые могут возникать в информации
в связи с действиями оператора, отказами технических средств и др., избыточность допускается лишь как средство борьбы с ошибками. В этом смысле можно считать, что избыточность способствует сохранению ценности информации, обеспечивая требуемую верность. В рамках семантического подхода ценность информации можно задать через функцию потерь. Если в процессе подготовки информации исходная величина х отображается через величину у, то минимум потерь можно установить как

∏_min = min ∑ ∏(x/y)P(x),

где Р(х) – распределение входной величины х; ∏ (х/у) – потери при преобразовании входной величины х в величину у. Отсюда ценность информации определяется как

Ц = max[∏_min – М{∏(x/y)}],

где М{П(х/у)} – математическое ожидание потерь при отклонении от входной величины х
к величине у.

Следует отметить, что данная интерпретация ценности имеет сугубо технический характер. Конструктивным выходом из нее является такое разбиение входной величины х, при котором удается максимизировать ценность. В общем случае ценность информации, поступающей от материального объекта, является функцией времени. Анализ информации, используемой для принятия решения в реальных системах, позволил найти функции ценности. Эти функции задают предельные временные интервалы, в течение которых имеет смысл использовать данную информацию. При принятии решения обычно используется информация не только о материальном объекте, но и об условных распределениях критериальных оценок последствий различных альтернативных решений. В этом случае резко уменьшается число предпочтительных альтернатив и удается принять решение, базируясь на качественно неполной информации. В ряде практи-ческих случаев решение принимается с использованием субъективных критериев, при этом приходится применять большой объем информации, ужесточать требования к согласованности
и непротиворечивости исходной информации. Принцип принятия решений по своей методологии требует сохранения содержания качественных понятий на всех этапах использования информации при общей оценке альтернативных решений. Кроме того, исключается сложная информация, при работе с которой лицо, принимающее решение, должно иметь дело с громоздкими задачами. Используют замкнутые процедуры выявления предпочтений, т.е. процедуры, в которых имеется возможность проверить предпочтение на непротиворечивость и транзитивность.

Информационные каналы

Информация передается в виде сообщений от некоторого источника информации к ее прием-нику посредством канала связи между ними. Источник посылает передаваемое сообщение, которое кодируется в передаваемый сигнал. Этот сигнал посылается по каналу связи. В результате в приемнике появляется принимаемый сигнал, который декодируется и становится принимаемым сообщением. Передача информации по каналам связи часто сопровождается воздействием помех, вызывающих искажение и потерю информации.

Любое событие или явление может быть выражено по-разному, разными способами, разным алфавитом. Чтобы информацию более точно и экономно передать по каналам связи, ее надо соответственно закодировать.

Информация не может существовать без материального носителя, без передачи энергии. Закодированное сообщение приобретает вид сигналов-носителей информации, которые идут по каналу (рис. 2.7). Выйдя на приемник, сигналы должны обрести вновь общепонятный вид с помощью декодирующего устройства.

Канал связи

Рис. 2.7. Общая схема передачи информации

Совокупность устройств, предметов или объектов, предназначенных для передачи информации от одного из них, именуемого источником, к другому, именуемому приемником, называется каналом информации или информационным каналом.

Примером канала может служить почта. Информация, закодированная в виде текста, помещается в конверт, поступает в почтовый ящик, извлекается оттуда и перевозится в почтовое отделение, где сортируется (вручную или машиной). Далее информация перемещается с помощью поезда (самолета, теплохода и т.п.) в почтовое отделение пункта назначения, сортируется
и доставляется адресату. Таким образом, почтовый канал включает в себя: конверт (предмет), транспорт и сортировочные машины (устройства), почтовых работников (объекты). Информация, помещенная в этот канал, остается неизменной.

Другим примером может служить телефон. При телефонной передаче источник сообщения – говорящий. Кодирующее устройство, изменяющее звуки слов в электрические импульсы, – микрофон. Канал, по которому передается информация, – телефонный провод. Часть трубки, которую мы подносим к уху, выполняет роль декодирующего устройства (электрические сигналы снова преобразуются в звуки). Информация поступает в «принимающее устройство» – ухо человека на другом конце провода. Канал включает в себя телефонные аппараты (устройства), провода (предметы) и аппаратуру АТС (устройства). Особенностью этого информационного канала является то обстоятельство, что при поступлении в него информация, представленная
в виде звуковых волн, преобразуется в электрические колебания и затем передается. Такой канал называется каналом с преобразованием информации.

Еще один пример – компьютер. Отдельные его системы передают одна другой информацию с помощью сигналов. Компьютер – устройство для обработки информации, он не создает из «ничего» информацию, а преобразует то, что в него введено. Компьютер является информа-ционным каналом с преобразованием информации: информация поступает с внешних устройств, преобразуется во внутренний код, и обрабатывается, преобразуется в вид, пригодный для восприятия внешним выходным устройством, и передается на них.

Живой нерв – канал совершенно другой природы. Здесь все сообщения передаются нервным импульсом. Но в технических каналах связи направление передачи информации может меняться,
а по нервной системе передача идет в одном направлении.