Zobrazení zdroje stránky Užití principu maximální entropie ve statistické fyzice

Účelem tohoto článku je demonstrovat použití variačního principu (viz článek [[Stručné shrnutí variačního počtu]]) a principu maximální entropie při odvození normálního rozdělení ve statistice a Maxwellova rozdělení ve statistické fyzice.

== Princip maximální entropie ==
[[w:Entropie|Entropie]] daného náhodného rozdělení se v informačním slova smyslu
:<math>S=-\sum_{i=1}^N\left(p_i\log p_i\right).</math>
Zde suma probíhá přes všechny možné stavy, ''p''<sub>i</sub> jsou přitom pravděpodobnosti daných stavů.

'''Princip maximální entropie''' říká, že pokud o daném rozdělení máme jen částečnou informaci - známe jen některé jeho charakteristiky (např. střední hodnotu, střední kvadratickou odchylku, poměr pravděpodobností padnutí některých stavů, apod.), potom nejpravděpodobnější tvar daného rozdělení je takový, který splňuje požadavky, které o rozdělení známe a má nejvyšší možnou entropii.

Z tohoto principu můžeme jednoduše odvodit např. proč se v přírodě velmi pravděpodobně realizuje normální rozdělení, nebo proč termodynamika vypadá tak, jak vypadá.

== Význačnost normálního rozdělení ==
Mějme náhodné rozdělení s hustotou pravděpodobnosti danou funkcí ''f(x)'' takové, že
:<math>\int_{-\infty}^\infty x f(x)\,\mathrm{d}x=\langle f\rangle,\,\,\,\,\int_{-\infty}^\infty (x-\langle f\rangle)^2 f(x)\,\mathrm{d}x=\sigma^2,\,\,\,\,\int_{-\infty}^\infty  f(x)\,\mathrm{d}x=1</math>
a jinak o něm neměli žádnou informaci.

Funkcionál entropie je
:<math>S=\int_{-\infty}^\infty -f(x)\log f(x),</math>
navíc však splňuje vazby výše. Zavedeme tedy trojici lagrangeových multiplikátorů κ, μ, ν a maximalizujeme funkcionál
:<math>S_{\mathrm{mult.}}=\int_{-\infty}^\infty\left[ -f(x)\log f(x)+\kappa
 x f(x)+\mu(x-\langle f\rangle)^2 f(x)+  \nu f(x)
\right].</math>

Euler-Lagrangeova rovnice nabývá tvaru

:<math>0={{\partial S_{\mathrm{mult.}}}\over{\partial f(x)}}=-1-\log f(x)+\kappa x + \mu (x-\langle f\rangle)^2 + \nu=0</math>

tedy

:<math>f(x)=e^{-1+\kappa x + \mu (x-\langle f\rangle)^2 + \nu}.</math>

Podmínky tedy nabývají tvaru

:<math>\int_{-\infty}^\infty  f(x)\,\mathrm{d}x={\sqrt{\pi}\over{\sqrt{-\mu}}}\,e^{-1+\langle f\rangle\kappa+\nu-{{\kappa^2}\over {4\mu}}}=1</math>
:<math>\int_{-\infty}^\infty  x f(x)\,\mathrm{d}x={\sqrt{\pi}\over{2\sqrt{-\mu^3}}}\,\left|\kappa-2\langle f\rangle\mu\right|\,e^{-1+\langle f\rangle\kappa+\nu-{{\kappa^2}\over {4\mu}}}=\langle f\rangle</math>
:<math>\int_{-\infty}^\infty  (x-\langle f\rangle)^2  f(x)\,\mathrm{d}x=
{{\sqrt{-\pi\mu}\left(2\mu-\kappa^2\right)}\over{4\mu^3}}\,

e^{-1+\langle f\rangle\kappa+\nu-{{\kappa^2}\over {4\mu}}}=\sigma^2
</math>

Řešením této soustavy rovnic získáme hodnoty lagrangeových multiplikátorů
:<math>\kappa=0,\,</math>
:<math>\nu=1-\log (\sqrt{2\pi}\sigma)</math>
:<math>\mu=-{{1}\over{2\sigma^2}}</math>

Což přesně odpovídá tvaru normálního rozdělení - jde tedy právě o takové rozdělení

:<math>f(x)={{1}\over{\sqrt{2\pi}\sigma}}\,e^{-\frac{(x-\langle f\rangle)^2}{2\sigma}}</math>, které maximalizuje entropii při známé hodnotě střední hodnoty a střední kvadratické odchylky.

[[Kategorie:Matematické kuchařky]]