STAGE - CHAÎNE DE MARKOV

On considère une maison constituée de $3$ pièces selon le schéma ci-dessous.

Malgré tous les efforts des propriétaires, une souris est rentrée dans la maison et est maintenant dans la pièce $A$. 
On suppose qu'elle change de pièce toutes les minutes selon le processus suivant :
Si elle est dans la pièce $A$, il y a $1$ chance sur $3$ qu'elle y reste.
Lorsqu'elle est dans la pièce $B$, il y a $1$ chance sur $2$ qu'elle y reste. Si elle change de pièce, elle le fait au hasard parmi les pièces accessibles.
Enfin, si elle atteint la pièce $C$, elle y reste car elle y trouve un succulent morceau de fromage ! 

On souhaite modéliser par une chaîne de Markov la position de la souris au cours du temps.

Justifier tout d'abord qu'il est possible de modéliser cette situation par une chaîne de Markov.

On suppose ainsi qu'il y a trois états possibles, correspondants aux trois pièces dans laquelle la souris peut se trouver. 

Donner le graphe des états et la matrice de transition de cette situation. 

On note :
$a_n$ la probabilité que la souris se trouve dans la pièce $A$ au bout de $n$ minutes après son entrée dans la maison,
$b_n$ la probabilité que la souris se trouve dans la pièce $B$ au bout de $n$ minutes,
$c_n$ la probabilité que la souris se trouve dans la pièce $C$ au bout de $n$ minutes
$\Pi_n = ( \begin{array}{ccc} a_n & b_n & c_n \end{array})$ l'état probabiliste correspondant à la position de la souris au bout de $n$ minutes.

Donner $\Pi_0$. 

Donner la relation liant $\Pi_{n+1}$ à $\Pi_n$ puis montrer que $\Pi_1= \left( \begin{array}{ccc} \dfrac{1}{3} & \dfrac{2}{3} & 0 \end{array} \right)$

On sait que $\Pi_n = \Pi_0 \times P^n$.
A l'aide de la calculatrice, donner le nombre de minutes nécessaires pour que la probabilité que la souris soit en train de manger le fromage soit supérieure à $0,99$. 

On pose $D = \left ( \begin{array}{ccc} 0 & 0 & 0 \\ 0 & \dfrac{5}{6} & 0 \\ 0 & 0 & 1 \end{array} \right )$, $Q = \left ( \begin{array}{ccc} -2 & \dfrac{4}{3} & 1 \\ 1 & 1 & 1 \\ 0 & 0 & 1 \end{array} \right )$ et $Q^{-1} = \left ( \begin{array}{ccc} -\dfrac{3}{10} & \dfrac{2}{5} & -\dfrac{1}{10} \\ \dfrac{3}{10}  & \dfrac{3}{5}  & -\dfrac{9}{10}  \\ 0 & 0 & 1 \end{array} \right )$.

On pose aussi $I_3 = \left ( \begin{array}{ccc} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{array} \right )$ l'identité de rang $3$.

On admet que $P = QDQ^{-1}$.

Montrer que $\Pi_n = \Pi_0 QD^nQ^{-1}$ pour tout $n \in \mathbb{N}^*$

Soit $n \in \mathbb{N}^*$, montrer alors que $\Pi_n = \left( \begin{array}{ccc} \dfrac{2}{5}\times \left ( \dfrac{5}{6} \right )^n & \dfrac{4}{5} \left (\dfrac{5}{6}\right )^n & 1 - \left (\dfrac{5}{6}\right )^{n-1}  \end{array} \right)$

Retrouver le résultat de la question 5. 

Quel est l'état limite du système et était-il prévisible ?