Markov zinciri

Sürekli-zaman Markov sürecinin sürekli bir endeksi bulunur.

Zaman içinde homojen Markov zincirleri zamana göre homojen olan geçiş olasılıkları bulunan Markov zincirleridir ve tüm n değerleri için

${\displaystyle \Pr(X_{n+1}=x|X_{n}=y)=\Pr(X_{n}=x|X_{n-1}=y)\,}$

olan süreçlerdir.

m sonlu bir sayı ise, bir m dereceli bir Markov zinciri (yani m bellekli bir Markov zinciri) için tum n değerleri için şu ifadeler verilebilir:

${\displaystyle \Pr(X_{n}=x_{n}|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{1}=x_{1})}$

${\displaystyle =\Pr(X_{n}=x_{n}|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{n-m}=x_{n-m})}$

'Klasik' Markov özelliği olan (X_n)den yeni bir (Y_n) zincirinin şöyle kurulması mümkündür: Y_n sıralamalı m-boyutlu X değerlerinden şöyle kurulsun:

Y_n = (X_n, X_n-1, ..., X_n-m+1)

O zaman Y_n, durum uzayı S^m olan ve klasik Markov özelliği bulunan bir Markov zinciri olur.

Eğer i durumdan başladığımız bilindiği halde, i durumuna hiçbir zaman dönme imkânı yaratmayan bir sıfıra eşit olamayan olasılık bulunuyorsa i durumu geçiş durum olarak nitelendirilir. Daha matematik biçimle ve notasyonla bir rassal değişken olan T_i i durumuna ilk geri dönüş zamanı (vurma zamanı') olsun; yani

${\displaystyle T_{i}=\inf\{n:X_{n}=i|X_{0}=i\}}$

Bu halde i durumu geçişli olması için ancak ve ancak

${\displaystyle \Pr(T_{i}={\infty })>0.}$

olmalıdır. Eğer bir durum i geçişli değilse (yani 1 olasılıkla bir sonlu olan vurma zamanına sahipse), o halde i durumu yinelenen veya ısrarlı durum olarak adlandırılır. Vurma zamanı sonlu olmakla beraber bir sonlu beklenen değeri bulunması gerekmez. M_i beklenen geri dönüş zamanı, yani

${\displaystyle M_{i}=E[T_{i}].\,}$

olsun. O halde eğer M_i sonlu ise i durumu da pozitif yinelenen olur; aksi halde i durumu sıfır yinelenen olacaktır; bu durumlara aynı sırayla sıfır olmayan ısrarlı veya sıfır ısrarlı durum adları da verilir.

Bir durumun yinelenen olması ancak ve sadece ancak

${\displaystyle \sum _{n=0}^{\infty }p_{ii}^{(n)}=\infty }$

ifadesi gerçekse ortaya çıkacağı ispatlanamıştır.

Eger durum i yi girdikten sonra hiçbir zaman o durumdan çıkmak mümkün değilse, i durumu yutan durum olarak adlandırılır. Bu halde i durumu yutan durum olaması için ancak ve sadece ancak şu koşulu sağlaması gerekir;

${\displaystyle p_{ii}=1}$ and ${\displaystyle p_{ij}=0}$ for ${\displaystyle i\not =j.}$

P geçiş matrisinde tüm durumlar birbirleri arasında geçiş sağlayabiliyorsa bu zincire ergodik markov zinciri denir.

üstteki P matrisi ergodik bir markov zinciridir.

üstteki P matrisi ise ergodik bir markov zinciri değildir. Sebebi ise 4. duruma hiçbir şekilde varılamamaktadır.

Google'in kullandığı internet sayfalarının PageRank'i Markov zinciri ile tanımlanmaktadır.[1] Markov zincirinde durağan dağılımda tüm bilinen internet sayfaları arasından ${\displaystyle i}$ sayfasında bulunma olasılığıdır. Eğer ${\displaystyle N}$ bilinen internet sayfaları ise ve ${\displaystyle i}$ sayfası ${\displaystyle ki}$ bağlantısına sahip ise, o zaman bağlantılı olduğu tüm sayfalar için ${\displaystyle {\frac {1-q}{ki}}+{\frac {q}{N}}}$ ve bağlantısı olmadığı tüm sayfalar için ${\displaystyle {\frac {q}{N}}}$ geçiş olasılığına sahiptir. ${\displaystyle q}$ parametresi yaklaşık 0.15 olarak alınmıştır.

Markov modelleri aynı zamanda kullanıcıların internet gezinti davranışlarını analiz etmek için de kullanılmıştır. Bir kullanıcının bir internet sayfasından web bağlantısı ile geçişi, birincil ya da ikincil Markov modelleri ile modellenebilir ve gelecekteki hareketleri öngörmede ve dolayısıyla internet sayfasını kullanıcı için kişiselleştirme de kullanılabilir.