Теория информации как самостоятельная дисциплина появилась в процессе решения последующей задачки: обеспечить надежную и эффективную передачу информации от источника к приемнику при условии, что передаче этой препятствуют помехи. Сама формулировка…
При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами. Другими словами, энтропия максимальна в опытах, где все финалы равновероятны. Тут усматривается аналогия (имеющая глубинную первооснову!) с понятием энтропии, применяемой…
Отметим ряд параметров информация: 1. /(α, β) ≥ 0, при этом /(α, β) = 0 и тогда только тогда, когда опыты α и β независимы. Это свойство конкретно вытекает из…
1. Почему в определении энтропии как меры неопределенности выбрана логарифмическая зависимость меж Н и п? Почему избран log2? 2. Какова энтропия последующих опытов: (a) бросок монеты; (b) бросок игральной кости;…
Найдем энтропию сложного опыта α ^ β в этом случае, если опыты не являются независящими, т.е. если на финал β влияет итог опыта α. К примеру, если в ящике всего…
Имеется три тела с схожими наружными размерами, но с различными массами х1, х2 и х3. Нужно найти энтропию, связанную с нахождением более томного из их, если ассоциировать веса тел можно…
Поучительность только-только рассмотренного примера в том, что из него ясно видно как предыдущий опыт (α) может уменьшить количество исходов и, как следует, неопределенность следующего опыта (β). Разность H(β) и Нα(β),…
1) Как надо из (2.4), Н = 0 исключительно в 2-ух случаях: (а) какая-либо из p(Aj) = 1; но, при всем этом из (А.7) следует, что все другие р(Аi) =…
В ящике имеются 2 белоснежных шара и 4 темных. Из ящика извлекают поочередно два шара без возврата. Отыскать энтропию, связанную с первым и вторым извлечениями, также энтропию обоих извлечений. Будем…
В некой местности имеются две близкорасположенные деревни: А и В. Понятно, что обитатели А всегда молвят правду, а обитатели В - всегда врут. Понятно также, что обитатели обеих деревень обожают…
content