Entropi (bilgi teorisi)

Bilgi teorisi'nde entropi bir iletinin içerdiği bilgi miktarıdır.

Tanım

Ayrık bir rassal değişken X'in entropisi

\mathrm {H} (X):=-\sum _{x}\Pr[X=x]\lg \Pr[X=x]

olarak tanımlanır.

Burada bir x için Pr[X=x]=0 ise,

\Pr[X=x]\lg \Pr[X=x]=0

varsayılır. Bu varsayım

\lim _{p\to 0^{+}}p\lg p=0

limiti ile tutarlıdır.

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.