При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами. Другими словами, энтропия максимальна в опытах, где все финалы равновероятны. Тут усматривается аналогия (имеющая глубинную первооснову!) с понятием энтропии, применяемой в физике. В первый раз понятие энтропии было введено в 1865 г. германским физиком Рудольфом Клаузиусом как функции состояния термодинамической системы, определяющей направленность самопроизвольных процессов в системе. Клаузиус определил II начало термодинамики. А именно, он показал, что энтропия добивается максимума в состоянии равновесия системы. Позже (в 1872 г.) Людвиг Больцман, развивая статистическую теорию, связал энтропию системы с вероятностью ее состояния, отдал статистическое (вероятностное) истолкование II-му началу термодинамики и, а именно, показал, что возможность максимальна у стопроцентно разупорядоченной (сбалансированной) системы, при этом, энтропия и термодинамическая возможность оказались связанными логарифмической зависимостью. Другими словами, в физике энтропия оказывается мерой кавардака в системе. При всем этом кавардак понимается как отсутствие познания о свойствах объекта (к примеру, координат и скорости молекулы); с ростом энтропии миниатюризируется порядок в системе, т.е. наши познания о ней. Сходство понятий и соотношений меж ними в теории информации и статистической термодинамике, как оказывается позже, совсем не случаем*.

* Подробнее об этом можно причитать в книжках Л.Бриллюэна [7] и Р.Л.Стратоновича [39].