
\section{Chaînes de Markov à espaces d'états finis  ($\cite{Br}$ pp. 195-199)}


Quand on considère une chaîne de Markov à espace d'états finis, l'étude du comportement asymptotique de la chaîne se ramène à l'étude de la convergence de la suite $(P^n)_n$ des itérés de la matrice de transition $P$. $P$ est une matrice stochastique, c'est-à-dire à coefficients positifs avec la somme des éléments de chaque ligne valant $1$. Ces matrices ont des propriétés spectrales très particulières que nous allons décrire maintenant.

\begin{deff}
Une matrice $A=\{a_{i,j}\}_{1\leq i,j \leq r}$ à coefficients réels est dite positive (resp. strictement positive) ssi ses coefficients sont positifs (resp. strictement positifs). Une matrice positive est dite stochastique ssi $\sum_{j=1}^{r}a_{i,j}=1$ pour tout $i$ et sous-stochastique si $\sum_{j=1}^{r}a_{i,j}\leq 1$ pour tout $i$ avec une inégalité stricte pour au moins un $i$.
\end{deff}

On notera $A\geq 0$ (resp. $A>0$) pour signifier que $A$ est positive (resp. strictement positive).

\begin{deff}
Le graphe de communictaion d'une matrice positive $A$ est le graphe orienté avec pour espace d'états $E=\{1,\ldots,r\}$ et pour ensemble d'arètes les couples $(i,j)$ tels que $a_{i,j}>0$.
\end{deff}

\begin{deff}
Une matrice positive $A$ est dite irreductible (resp. irréductible aperiodique) ssi elle a meme graphe de communication qu'une matrice stochastique irréductible (resp.aperiodique irréductible). Elle est dite primitive s'il existe un entier $k$ tel que $A^k>0$.
\end{deff}

\begin{propf}
Une matrice est irréductible aperiodique ssi elle est primitive.
\end{propf}

On rappelle que si $M$ est une matrice carrée et $\lambda$ une valeur propre de $M$, la multiplicité algébrique de $M$ est la multiplicité de $\lambda$ dans le polynôme caractéristique de $M$ et la multiplicité géométrique de $\lambda$ est la dimension du sous-espace propre de $M$ associé à $\lambda$.\\

\begin{thf}\textbf{Théorème de Perron-Frobenius}\\
Soit $A$ une matrice primitive de taille $r$. Il existe une valeur propre réelle $\lambda_1>0$ de multiplicité algébrique et géométrique égales à $1$. Les autres valeurs propres $\lambda_2,\ldots,\lambda_r$ de $A$ sont de module strictement inferieurs à $\lambda_1$. D'autre part, le vecteur à gauche $u_1$ (vecteur ligne) et le vecteur à droite $v_1$ (vecteur colonne)associés à $\lambda_1$ peuvent etre choisis strictements positifs et tels que $u_1 v_1 =1$.\\

On suppose que : $\lambda_1 > |\lambda_{2}|\geq \ldots \geq |{\lambda}_r|$\\

Si $|{\lambda}_2|=|{\lambda}_j|$ pour un $j\geq 3$ alors $m_2\geq m_j$ où $m_j$ est la multiplicité algébrique de $\lambda_j$. Aussi, on a :
$$A^n=\lambda_1^n v_1 u_1+ O(n^{m_2 -1}|{\lambda_2}|^n) $$

Si de plus $A$ est stochastique (resp. sous-stochastique) alors ${\lambda_1}=1$ (resp. ${\lambda}_{1}<1$).\\

Si $A$ est stochastique mais non irréductible les multiplicités géométriques et algébriques de la valeur propre ${\lambda}_1=1$ sont égales au nombre de classes de communication.\\

Si la matrice $A$ est stochastique, irréductible avec une periode $d>1$, il y a exactement $d$ valeurs propres distinctes de module $1$, les racines $d$-ièmes de l'unité, et les autres valeurs propres sont de module strictement inferieur à $1$.
\end{thf}

Aussi, si $P$ est la matrice de transition d'une chaîne de Markov irréductible aperiodique sur $E=\{1,\ldots,r\}$ (donc primitive) alors :
$$v_1 = 1, \; \;u_1=\pi$$
où $\pi$ est l'unique probabilité stationnaire. Ainsi,
$$P^n=1\pi+O(n^{m_{2}-1}|\lambda_2|^n)$$

On remarquera que la vitesse de convergence est géométrique. Pour des problèmes de simulations, il est important de disposer de majorants de la seconde plus grande valeur propre (SLEM). C'est l'objet d'une bonne partie du chapitre $6$ de $\cite{Br}$.
 
