As barras são os dados — uma contagem que não muda. A linha é o modelo de máxima entropia. Mexa nos λ para dobrá-la sobre as barras, de olho na divergência lá embaixo; ou clique em deixa ajustar e veja a descida fazer o trabalho sozinha.
A surpresa média do modelo diante dos dados é a entropia cruzada. Mas há um piso: a incerteza que os próprios dados carregam, a entropia deles. O que sobra acima do piso é a divergência — a surpresa que vem só de o modelo estar errado. Ajuste, e veja essa parte encolher.