Cours Stage - Chaîne de Markov, distribution

Exercice - Chaîne de Markov - Distribution invariante

L'énoncé

Répondre aux questions suivantes


Question 1

Qu'est ce qu'un état stationnaire et comment le définit-on ? 

Un état stationnaire correspond à la limite de la chaine de Markov $\Pi_n$ lorsque $n$ tend vers l'infini dans le cas où $P^n$ converge. 
On définit cet état stationnaire $\Pi$ comme étant la matrice colonne solution de l'équation $\Pi = \Pi P$

On pourra regarder à nouveau le cours. 

Question 2

On dispose de deux boites $A$ et $B$, de deux boules noires et de deux boules rouges. On place initialement deux boules dans chaque boite au hasard.
On répète plusieurs fois la situation suivante : on tire une boule de l’urne $A$, on tire une boule de l’urne $B$ et on place les deux boules dans l’autre urne (on procède ainsi à un échange).

On note $X_n$ le nombre de boules noires présentes dans la boite noire à l'instant $n$.

Combien y a t il de répartitions possibles initialement ? 

La première étape consiste à choisir deux boules parmi les 4 boules en notre possession puis de les placer dans la boîte $A$.

On sait que choisir 2 boules parmi 4 revient à calculer le coefficient binomial suivant : $\left ( \begin{array}{c} 4 \\ 2 \end{array} \right ) = 6$, d'après la calculatrice.

Une autre possibilité consiste à dénombrer l'ensemble des répartitions possibles, en notant à gauche les boules dans la boîte $A$ et à droite les boules dans la boîte $B$.

$RR; NN$
$NR; NR$
$NR; RN$
$RN; NR$
$RN; RN$
$NN; RR$

On remarque qu'il y a donc 6 répartitions différentes. 

On pourra écrire toutes les combinaisons possibles. 

Question 3

Donner $\Pi_0 = \left ( \begin{array}{ccc} P(X_0 = 0) & P(X_0 = 1) & P(X_0 = 2) \end{array} \right )$

On a vu à la question précédente qu'il n'y a qu'un cas possible parmi les 6 où la boite $A$ contient deux boules rouges. Ainsi, $P(X_0 = 0) = \dfrac{1}{6}$.
De même, il n'y a qu'un cas possible parmi les 6 où la boite $A$ contient deux boules noires. Ainsi, $P(X_0 = 2) = \dfrac{1}{6}$.

On en déduit alors que $P(X_0 = 1) = 1 - 2 \times \dfrac{1}{6} = \dfrac{4}{6} = \dfrac{2}{3}$.

Finalement, $\Pi_0 = \left ( \begin{array}{ccc} \dfrac{1}{6} & \dfrac{2}{3} &\dfrac{1}{6} \end{array} \right )$

On s'aidera de la question précédente. 

Question 4

Donner le graphe des états et la matrice de transition de la chaîne de Markov $\Pi_n = \left ( \begin{array}{ccc} P(X_n = 0) & P(X_n = 1) & P(X_n = 2) \end{array} \right )$.  

On note $0$ l'état où la boite $A$ contient $0$ boule noire.
On note $1$ l'état où la boite $A$ contient $1$ boule noire.
On note $2$ l'état où la boite $A$ contient $2$ boules noires.

Supposons que nous soyons dans l'état $0$, c'est à dire que la boîte $A$ ne contient que des boules rouges et la boite $B$ que des boules noires. Ainsi, on échange forcément une boule rouge de $A$ avec une boule noire de $B$. Ainsi, en étant dans l'état $0$,il y a forcément à l'état $n + 1$ une boule noire dans la boite $A$ : on se trouve donc dans l'état $1$. 

De même, supposons que nous soyons dans l'état $2$, c'est à dire que la boîte $A$ ne contient que des boules noires et la boite $B$ que des boules rouges. Ainsi, on échange forcément une boule noire de $A$ avec une boule rouge de $B$. Ainsi, en étant dans l'état $2$, il y a forcément à l'état $n + 1$ qu'une seule boule noire dans la boite $A$ : on se trouve donc dans l'état $1$. 

Enfin, supposons que nous soyons dans l'état $1$, c'est à dire que la boite $A$ contient une boule noire et une boule rouge. Pour que cette boite contienne deux boules noires (et que l'on atteigne le cas $2$), on doit échanger la boule rouge de $A$ et la boule noire de $B$, ce qui arrive avec une probabilité de $\dfrac{1}{4}$. 
De même, pour que cette boite contienne deux boules rouges (et que l'on atteigne le cas $0$), on doit échanger la boule noire de $A$ et la boule rouge de $B$, ce qui arrive avec une probabilité de $\dfrac{1}{4}$. 
Enfin, la probabilité de rester dans le même état est $1 - 2 \times \dfrac{1}{4}$.

Le graphe des états est donc le suivant :

Capture_d’écran_2020-04-15_à_18.29.11_2

De même, la matrice de transition est la suivante :

$P = \left ( \begin{array}{ccc} 0 & 1 & 0 \\ 0,25 & 0,5 & 0,25 \\ 0 & 1 & 0 \end{array} \right )$

On pourra se placer tout d'abord dans le cas où la boite $A$ ne contient que des boules rouges et voir après échange d'une boule de chaque boite la composition de la boite $A$. 

Question 5

Conjecturer la limite de $P^n$ lorsque $n$ tend vers l'infini.

Avec la calculatrice, on conjecture que $\lim \limits _{n\to +\infty} P^n = \left ( \begin{array}{ccc} \dfrac{1}{6} & \dfrac{2}{3} & \dfrac{1}{6} \\ \dfrac{1}{6} & \dfrac{2}{3} & \dfrac{1}{6} \\ \dfrac{1}{6} & \dfrac{2}{3} & \dfrac{1}{6} \end{array} \right )$

On peut montrer que $P^n$ converge effectivement vers cette matrice. 

On pourra s'aider de la calculatrice. 

Question 6

Montrer que $\Pi_n$ converge vers $\Pi$ que l'on déterminera. 

On a montré que $P^n$ converge à la question précédente.
Il existe donc $\Pi$, limite de $\Pi_n$ telle que $\Pi = \Pi P$. 

On pose $\Pi = \left ( \begin{array}{ccc} a & b & c \end{array} \right )$.

On écrit le sytème précédent. 

$\left \{ \begin{array}{lcl} \dfrac{1}{4}b &=& a \\ a + \dfrac{1}{2}b + c &=& b \\ \dfrac{1}{4}b &=& c \end{array} \right. \iff \left \{ \begin{array}{lcl} \dfrac{1}{4}b &=& a \\ \dfrac{1}{4}b + \dfrac{1}{2}b + \dfrac{1}{4}b &=& b \\ a &=& c \end{array} \right. \iff \left \{ \begin{array}{lcl} \dfrac{1}{4}b &=& a \\ b &=& b \\ a &=& c \end{array} \right.$

Or, $a + b + c = 1$. 
En utilisant le fait que $a = c = \dfrac{1}{4}b$ , on trouve que $\dfrac{3}{2}b = 1$ soit $b = \dfrac{2}{3}$.
Enfin, $a = c = \dfrac{2}{3} \times \dfrac{1}{4} = \dfrac{1}{6}$.

Ainsi, $\Pi = \left ( \begin{array}{ccc} \dfrac{1}{6} & \dfrac{2}{3} & \dfrac{1}{6} \end{array} \right )$

Appliquer la propriété de la première question.