Les chaînes de Markov

Une chaîne de Markov est un processus stochastique qui vérifie les propriétés suivantes :

1. X($\omega$ ,t) ne change eventuellement de valeurs qu'à des instants déterminés (l'espace des temps étant discret), instants que l'on pourra toujours identifier par leurs indices. Le plus souvent, on note X($\omega$ ,t) simplement $X_t$ .
   

2. L'espace des états S associé à X($\omega$ ,t) est fini et discret pour t fixé. Ainsi, $X_t$ ne peut prendre que l'une des valeurs possibles $x_1$ , $x_2$ , $x_3$ , ..., $x_M$ pour un système à M états.
   

3. X($\omega$ ,t) possède la propriété markovienne: $X_t$ ne dépend que du dernier état connu que l'on peut exprimer par:

   $$Pr[X_t = j / X_{t-1} = i_{t-1} n X_{t-2} = i_{t-2} n ... n X_0 = i_0] = Pr[X_t = j / X_{t-1} = i]$$ (1.2)

   
   
   la probabilité de transition de l'état $i_{t-1}$ à l'état j pour laquelle le dernier état connu l'est à l'instant t-1 (instant sans mémoire).
   

4. Une chaîne de Markov est homogène dans le temps si les probabilités de transition sont indépendantes. Elle est définie par la donnée des probabilités de transition des états:

   $$P_{ij} = P(X_t = j / X_{t-1} = i) , \forall(i,j) \in S^2$$ (1.3)

   
   

On associe à la chaîne de Markov {$X_t$ } un graphe G dont l'ensemble des sommets est une bijection avec l'ensemble des états S, et dont l'ensemble des arcs U orienté dans le sens de transition est défini par:

$$(i,j)\in U <=> P_{ij} = P(X_t = j / X_{t-1} = i) > 0$$ (1.4)

Ainsi, pour un modèle de Markov M présentant une matrice de transition :

$[\indent a\indent b\indent c\indent]$
P = $[\indent d\indent e\indent f\indent]$
$[\indent g\indent h\indent i\indent]$

Le graphe G associé sera de la forme :

Cette modelisation permet de visualiser de manière optimale les probabilités de transition des différents états.