Определить энтропию источника вырабатывающего независимые символы а1 и а2, если р(а1) = 0,2. Сравнить полученное значение с вариантом, когда р(а1) = р(а2) = 0,5.

Энтропия источника определяется формулой:

H = - Σ p(ai) * log2(p(ai))

Для первого варианта, когда p(а1) = 0,2 и p(а2) = 0,8:

H = - (0,2 * log2(0,2) + 0,8 * log2(0,8)) ≈ 0,5 бит

Для второго варианта, когда p(а1) = p(а2) = 0,5:

H = - (0,5 * log2(0,5) + 0,5 * log2(0,5)) = - (0,5 * -1 + 0,5 * -1) = 1 бит

Таким образом, энтропия в первом варианте (0,5 бит) меньше, чем во втором варианте (1 бит), что означает, что в первом варианте источник вырабатывает более предсказуемые символы.