Chaîne de Markov, distribution

Chaîne de Markov - Distribution invariante

Chaine de Markov – Distribution invariante

 

Les chaines de Markov apparaissent dans divers domaines (Biologie, Physique, Economie, Informatique,…) afin de prévoir le futur et estimer les évolutions possibles à partir d’une situation initiale. 

 

Propriétés :

 

Soit $(X_k)$ une chaine de Markov et $p_{ij}$ la probabilité de passer de l’état $i$ à l’état $j$. On suppose que la chaine contient $n$ états. 

La matrice de transition de cette chaine de Markov est une matrice de dimension $n times n$ qui vaut 

 

$P = left ( begin{array}{cc} p_{1,1} & .. & p_{1,n} \ .&&.\ p_{n,1} & .. & p_{n,n} end{array} right )$.

La probabilité de transition $p_{ij}^{(n)}$ est la probabilité de passer de l’état $i$ à l’état $j$ en $n$ étapes et est le terme $ij$ dans la matrice $P^n$.
Soit $Pi_0$ la matrice de l’état initial, 
A la $n$ieme transition on a $Pi_n$ tel que $Pi_n = Pi_0 times P^n$.

Si $P^n$ converge, alors la distribution de probabilité est stationnaire, notée $Pi$, et vérifie $Pi = Pi P$. Elle ne dépend donc pas de l’état initial.

 

Exemple :

On considère un pays proche de l’équateur dont le temps est à peu près le même quelque que soit le jour de l’année :
s’il pleut un jour alors il repleut le jour suivant avec une probabilité $dfrac{2}{3}$
s’il fait beau, alors il refait beau avec une probabilité $dfrac{3}{4}$.
1-Quelle est la probabilité qu’il fasse beau 7 jours après, en supposant qu’il faisait beau le première jour ?
2-Quelle est la proportion de beaux jours en un an ?

 

Réponses :

1- La première question consiste à déterminer l’état $7$ jours après, c’est à dire en 7 étapes. On cherche donc à connaitre $Pi_7$. 
On considère les états suivants : (Beau temps   Mauvais temps). 
Ainsi l’état initial est donné par $Pi_0 = (begin{array}{cc} 1 & 0 end{array})$.
Si il fait beau, il refait beau avec une probabilité de $dfrac{3}{4}$. Il pleut donc après un jour de beau temps avec une probabilité de $dfrac{1}{4}$
Si il pleut, il pleut à nouveau avec une probabilité de $dfrac{2}{3}$. Il fait donc beau après un jour de pluie avec une probabilité de $dfrac{1}{3}$.
La matrice de transition est donc la suivante $P = left ( begin{array}{cc} dfrac{3}{4} & dfrac{1}{4} \ dfrac{1}{3} & dfrac{2}{3} end{array} right )$.
Ainsi, $Pi_7 = Pi_0 times P^7 approx (begin{array}{cc} 0,57 & 0,43 end{array})$ d’après la calculatrice. La probabilité qu’il fasse beau 7 jours après est de 0,57.

2- Cela revient à déterminer à long terme la proportion de beaux jours. On cherche donc à déterminer l’état stationnaire de $Pi_n$.
On suppose que $P^n$ converge.
Soient $a$ et $b$ deux réels tels que $Pi = (begin{array}{cc} a & b end{array})$
Ainsi $Pi = Pi P iff left { begin{array}{ccc} dfrac{3}{4}a + dfrac{1}{3} b &=& a \ dfrac{1}{4}a + dfrac{2}{3} b &=& b end{array} right.$
Or $a + b = 1$ ou encore $b = 1 – a$.
Finalement, on obtient $left { begin{array}{ccc} a &=& dfrac{4}{7} \ b &=& dfrac{3}{7} end{array} right.$
La probabilité qu’il fasse beau est donc en moyenne de $ dfrac{4}{7}$.

Ainsi, le nombre de jours moyen de beau temps est de $365 times dfrac{4}{7} approx 209$.