Поучительность только-только рассмотренного примера в том, что из него ясно видно как предыдущий опыт (α) может уменьшить количество исходов и, как следует, неопределенность следующего опыта (β). Разность H(β) и Нα(β), разумеется, указывает, какие новые сведения относительно β получаем, произведя опыт α. Данная величина именуется информацией относительно опыта β, содержащейся в опыте α.
Данное выражение открывает возможность численного измерения количества инфы, так как оценивать энтропию уже умеем. Из него просто получить ряд следствий:
Следствие 1. Так как единицей измерения энтропиив является бит, то в этих же единицах может быть измерено количество информации.
Следствие 2. Пусть опыт α = β, т.е. просто произведен опыт β. Так как он несет полную информацию о для себя самом, неопределенность его финала стопроцентно снимается, т.е. Нβ(β) = 0. Тогда /(β, β) = Н(β), т.е. можно считать, что