Užití principu maximální entropie ve statistické fyzice

Účelem tohoto článku je demonstrovat použití variačního principu (viz článek Stručné shrnutí variačního počtu) a principu maximální entropie při odvození normálního rozdělení ve statistice a Maxwellova rozdělení ve statistické fyzice.

Princip maximální entropie

Entropie daného náhodného rozdělení se v informačním slova smyslu

$S=-\sum _{i=1}^N(p_i\log p_i).$

Zde suma probíhá přes všechny možné stavy, p_i jsou přitom pravděpodobnosti daných stavů.

Princip maximální entropie říká, že pokud o daném rozdělení máme jen částečnou informaci - známe jen některé jeho charakteristiky (např. střední hodnotu, střední kvadratickou odchylku, poměr pravděpodobností padnutí některých stavů, apod.), potom nejpravděpodobnější tvar daného rozdělení je takový, který splňuje požadavky, které o rozdělení známe a má nejvyšší možnou entropii.

Z tohoto principu můžeme jednoduše odvodit např. proč se v přírodě velmi pravděpodobně realizuje normální rozdělení, nebo proč termodynamika vypadá tak, jak vypadá.

Význačnost normálního rozdělení

Mějme náhodné rozdělení s hustotou pravděpodobnosti danou funkcí f(x) takové, že

${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}xf(x)\mathrm{d}x=⟨f⟩,{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}(x-⟨f⟩{)}^{2}f(x)\mathrm{d}x={\sigma }^2,{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x)\mathrm{d}x=1$

a jinak o něm neměli žádnou informaci.

Funkcionál entropie je

$S={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}-f(x)\log f(x),$

navíc však splňuje vazby výše. Zavedeme tedy trojici lagrangeových multiplikátorů κ, μ, ν a maximalizujeme funkcionál

$S_{\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{.}}={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}[-f(x)\log f(x)+\kappa xf(x)+\mu (x-⟨f⟩{)}^{2}f(x)+\nu f(x)].$

Euler-Lagrangeova rovnice nabývá tvaru

$0=\frac{\partial S_{\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{.}}}{\partial f(x)}=-1-\log f(x)+\kappa x+\mu (x-⟨f⟩{)}^2+\nu =0$

tedy

$f(x)=e^{-1+\kappa x+\mu (x-⟨f⟩{)}^2+\nu }.$

Podmínky tedy nabývají tvaru

${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x)\mathrm{d}x=\frac{\sqrt{\pi }}{\sqrt{-\mu }}{e}^{-1+⟨f⟩\kappa +\nu -\frac{{\kappa }^2}{4\mu }}=1$

${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}xf(x)\mathrm{d}x=\frac{\sqrt{\pi }}{2\sqrt{-{\mu }^3}}|\kappa -2⟨f⟩\mu |e^{-1+⟨f⟩\kappa +\nu -\frac{{\kappa }^2}{4\mu }}=⟨f⟩$

${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}(x-⟨f⟩{)}^{2}f(x)\mathrm{d}x=\frac{\sqrt{-\pi \mu }(2\mu -{\kappa }^2)}{4{\mu }^3}{e}^{-1+⟨f⟩\kappa +\nu -\frac{{\kappa }^2}{4\mu }}={\sigma }^2$

Řešením této soustavy rovnic získáme hodnoty lagrangeových multiplikátorů

$\kappa =0,$

$\nu =1-\log (\sqrt{2\pi }\sigma )$

$\mu =-\frac{1}{2{\sigma }^2}$

Což přesně odpovídá tvaru normálního rozdělení - jde tedy právě o takové rozdělení

$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-⟨f⟩{)}^2}{2\sigma }}$, které maximalizuje entropii při známé hodnotě střední hodnoty a střední kvadratické odchylky.