Теория информации как самостоятельная дисциплина появилась в процессе решения последующей задачки: обеспечить надежную и эффективную передачу информации от источника к приемнику при условии, что передаче этой препятствуют помехи. Сама формулировка этой задачки нуждается в ряде уточнений:

• «надежную» значит, что в процессе передачи не должно происходить утраты инфы — приемник стопроцентно, без искажений должен получить информацию, отправленную источником;
• «эффективную» значит, что передача должна осуществляться более резвым методом, так как время эксплуатации полосы связи — экономический фактор, который требуется минимизировать;
• помехи находятся в хоть какой реальной полосы связи; таким образом, поставленная выше задачка имеет четкую практическую направленность.

Решение этой задачки ведется по двум фронтам, которые условно можно именовать техническим и математическим. Технический поиск связан с практической разработкой линий связи, в каких передача может идти с большой скоростью; обеспечением защиты от помех либо уменьшения их воздействия; созданием технических устройств, обеспечивающих резвую и надежную связь. Но в базе этих разработок лежат некие общие законы и принципы, применимые не к некий определенной полосы передачи информации, а к хоть каким (во всяком случае, многим) видам связи. Они определяют методы кодировки информации (в том числе такие, которые позволяют найти и поправить ошибку передачи); условия надежной передачи информации; в конце концов, что очень принципиально, вводятся величины, дозволяющие количественно обрисовывать информационные процессы. Конкретно эти способы и составляют содержательную базу теории информации.

Теория информации является математической теорией с высочайшей степенью общности. Она основывается на теории случайных событий, для описания которых используются понятия возможность и энтропия. В рамках самой теории вводится понятие информация и устанавливается ее мера — бит. Строится теория информации подобно другим теориям в арифметике: поначалу аксиоматически определяются начальные понятия, а потом из их методом рассуждений доказывается справедливость новых положений либо теорем — конкретно таким методом шел основатель данной теории Клод Шеннон. В предстоящем изложении большее внимание будет уделено смыслу и значению теорем, ежели их подтверждению. Интересующихся конкретно математическими качествами теории можно адресовать к книжкам A.M. Яглома и И.М. Яглома [49], Л. Бриллюэна [7], Р.Л. Стратоновича [39], А. Файнстейна [42] и, в конце концов, работам самого К. Шеннона [46].

Раздельно следует тормознуть на практической применимости положений и следствий, выводимых в теории. Примеры использования теории информации можно отыскать в информатике, технике, психологии, биологии, физике, педагогике, лингвистике и т.д. Но, как и неважно какая другая математическая теория, теория информации применима для решения определенных задач практики в той мере, в какой описываемые вещественные системы либо процессы удовлетворяют начальным положениям теории. Неприменимость ее в других случаях ни при каких обстоятельствах нельзя считать недочетом теории. Речь, а именно, идет о том, что сам начальный термин — информация — употребляется не только лишь в данной теории; но, если в других дисциплинах (к примеру, философии) ему придается другой смысл, то нельзя добиваться, чтоб теория информации была в их применима. Точно также механика Ньютона является теорией, описывающей движение, но не во всем обилии значений этого термина, а только перемещение тел в пространстве со временем; другие виды движения — развитие растения, эволюция Вселенной, конфигурации в публичном устройстве и т.п. — законами Ньютона, непременно, не описываются, но это не уменьшает значимости последних.

Математическое понятие информации связано с возможностью ее количественного измерения. При всем этом в теории информации обосновывается энтропийный подход, когда количество информации в сообщении определяется тем, как миниатюризируется неопределенность финала случайного действия (к примеру, возникновения определенной буковки в некой последовательности знаков) после получения сообщения. Сообщение несет полную информацию о событии, если оно полностью снимает начальную неопределенность. В технических приложениях употребляется другой метод оценки количества информации, основанный на ординарном подсчете числа символов в сообщении — таковой подход получил заглавие большого. В общем случае эти две меры количества информации не совпадают, а именно, в теории информации показывается, что энтропийная мера не превосходит числа двоичных знаков (бит) в сообщении. Схожим же в обоих подходах оказывается то, что количественная мера информации не привязывается к ее семантической (т.е. смысловой) базе. С бытовой точки зрения информация, лишенная смысла, лишена и какой-нибудь ценности для получателя. Но устройство, созданное для передачи либо хранения информации, оценить смысл передаваемого (либо сохраняемого) не может (ну и не должно!) — в данном случае главной оказывается задачка надежной передачи и хранения информации независимо от ее семантической базы. Чуть ли кого-то устроила бы ситуация, если бы почтальон стал оценивать содержание писем и зависимо от собственного осознания их значимости и ценности решать, какие из их доставлять, а какие нет. Почтальон, будучи средством связи, должен доставить пакет адресату, даже если в нем незапятнанный лист бумаги. При всем этом необходимыми (существенными) для передачи и хранения оказываются количественные свойства информации и методы их оценки — конкретно их теория информации и устанавливает. Таким образом, оказывается, что теория информации применима для решения только тех практических задач, в каких допустимо игнорирование смысловой (содержательной) стороны информации.