Da linha reta à forma

Comece com tudo zerado: a distribuição é uma linha reta, que não sabe nada e não se compromete com nada. Cada λ que você levanta é um fato medido que a curva passa a respeitar — e nada além disso. Repare na barra de entropia: ela sai do máximo assim que você acrescenta o primeiro compromisso.

entropia100% do máximo

O preço de um fato

O mesmo princípio sobre três candidatos. Com o peso em zero, a gramática reparte a probabilidade em partes iguais — entropia máxima, ela não sabe nada. Levante o peso e ela se compromete com quem viola menos, e a entropia desce.

entropia1.58 bits