Fiche de cours
Chaîne de Markov - Première notion
On se propose à travers un exemple d'illustrer les premières notions d'introduction aux chaînes de Markov : déterminer si une situation est une chaine de Markov, déterminer une matrice de transition et le graphe pondéré des états ainsi que la matrice de l'état initial.
Exemple :
Esope le chat n'a que trois activités chaque jour : Manger, Dormir et Jouer. Ses journées sont semblables et indépendantes. Toutes les minutes il peut soit changer d'activité soit continuer celle en cours mais sans que ses activités précédentes de la journée n'influent sur sa décision.
Quand il dort, il a 9 chances sur 10 de ne pas se réveiller la minute suivante.
Quand il se réveille, il a 1 chance sur 2 qu'il aille manger et 1 sur 2 qu'il aille jouer.
Le repas ne dure qu'une minute.
Après avoir mangé, il a 3 chances sur 10 de jouer et 7 sur 10 de dormir.
Il y a 8 chances sur 10 qu'il dorme la minute après avoir joué.
On suppose qu'Esope dorme initialement.
On souhaite former une chaine de Markov à partir de cette situation et déterminer son état initial, sa matrice de transition et son graphe pondéré.
On commence par donner l'ensemble