Найдем энтропию сложного опыта α ^ β в этом случае, если опыты не являются независящими, т.е. если на финал β влияет итог опыта α. К примеру, если в ящике всего два разноцветных шара и α состоит в извлечении первого, а β — второго из их, то а стопроцентно снимает неопределенность сложного опыта α ^ β, т.е. оказывается Н(α ^ β) = H(α), a не сумме энтропии, как надо из (2.5).
Связь меж α и β заключается в том, что какие-то из исходов A(α) могут влиять на финалы из В(β), т.е. некие пары событий Ai ^ Bj не являются независящими. Но тогда в (2.6) p(Ai ^ Bj) следует подменять не произведением вероятностей, а, согласно (А.14):
где — рAi (Bj) возможность пришествия финала В, при условии, что в первом опыте имел место финал Аi.
Тогда
При подстановке в (2.6) получаем:
В первом слагаемом индекс j имеется только у B; изменив порядок суммирования, получим члены вида:
Но,
так как
образует достоверное событие (какой-нибудь из исходов опыта β все равно реализуется). Как следует, 1-ое слагаемое оказывается равным:
Во 2-м слагаемом члены вида
имеют смысл энтропии опыта β при условии, что в опыте а реализовался финал Аi — будем именовать ее условной энтропией. Если ввести данное понятие и использовать его обозначение, то 2-ое слагаемое будет иметь вид:
где Hα(β) есть средняя условная энтропия опыта β при условии выполнении опыта α. Совсем получаем для энтропии сложного опыта:
Приобретенное выражение представляет собой общепринятое правило нахождения энтропии сложного опыта. Совсем разумеется, что выражение (2.5) является личным случаем (2.10) при условии независимости опытов α и β.
Относительно условной энтропии можно высказать последующие утверждения:
1. Условная энтропия является величиной неотрицательной. Hα(β) = 0 исключительно в том случае, если хоть какой финал а стопроцентно определяет финал β (как в примере с 2-мя шарами), т.е.
В данном случае Н(α ^ β) = Н(α).
2. Если опыты α и β независимы, то Нα(β) = Н(β), при этом это оказывается большим значением условной энтропии. Другими словами, опыт α не может повысить неопределенность опыта β; он может или не оказать никакого воздействия (если опыты независимы), или снизить энтропию β.
Приведенные утверждения можно соединить одним неравенством:
т.е. условная энтропия не превосходит бесспорную.
3. Из соотношений (2.10) и (2.11) следует, что
при этом равенство реализуется исключительно в том случае, если опыты α и β независимы.