Les processus stochastiques

Un processus stochastique est une fonction, ou plus généralement une application X($\omega$ ,t), définie dans l'ensemble fondamental $\Omega$ à valeurs dans F(t), ensemble des fonctions d'une variable t.
L'évolution d'un processus stochastique est une suite de transitions d'états : $s_{0}s_{1}...s_{T}$ , pour laquelle on note $s_{0}$ l'état du processus à l'instant 0. Sa loi d'évolution est obtenue à l'aide de la probabilité $Pr(s_{0}...s_{T})$ définie successivement de la manière suivante :

$$Pr(s_{0}...s_{T}) = Pr(s_{0}...s_{T-1})\times Pr(s_{T}\vert s_{0}...s_{T-1})$$ (1.1)

$$= Pr(s_{0})\times Pr(s_{1}\vert s_{0})\times Pr(s_{2}\vert s_{0}s_{1})\times ...\times Pr(s_{T}\vert s_{0}...s_{T-1})$$

La caractérisation du processus se résume donc par l'obtention des probabilités initiales $Pr(s_{0})$ et des probabilités des états conditionnés par leurs évolutions antérieures. La loi de probabilité des états, à un instant t, dépend de l'histoire du processus qui garde la mémoire de son passé.

L'espace des états S est l'ensemble dénombrable des valeurs prises par l'ensemble des variables aléatoires du processus stochastique. Ces valeurs, tout comme celles prises dans l'espace du temps T, peuvent être discrêtes ou continues, ce qui permet de les classer respectivement par rapport à $\omega$ et t :

• T et S sont continus: X($\omega$ ,t) est continu, on parle alors de processus de renouvellement ou de diffusion.
  
• T est continu, S est discret: X($\omega$ ,t) discontinu en $\omega$ , pour l'étude des files d'attente.
  
• T est discret, S est continu: X($\omega$ ,t) discontinu en t, pour l'étude des séries temporelles.
  
• T et S sont discrets: X($\omega$ ,t) est discontinu en $\omega$ et en t, ce sont les processus markovien ou chaînes de Markov qui nous intéressent particulièrement.