\section{ Analyse bibliographique brève} Ce sujet est exposé dans beaucoup de livres
et à des niveaux très différents, avec des longueurs très différentes. Les trois
critères que nous avons retenus sont :

\begin{enumerate}
\item
Formalisation correcte :  formalisation totale des chaînes, construction formelle
correcte, preuve d'existence et preuve propre de la propriété de Markov forte.
\item Longueur d'exposition sous contrôle (les ouvrages  consacrent de 12 à 100 pages
à ce thème.)
\item Exemples applicatifs intéressants et en suffisance.
\item Lien avec les techniques de martingales développé.
\end{enumerate}
En fait, aucun ouvrage ne répond à tous les critères comme le montre la liste
suivante (nous mettons les numéros des critères qui sont respectés).

\begin{itemize}
\item $\cite{GS}$, Grimmett et Stirzaker  Probability and Random Processes  3, 4
\item $\cite{Du}$, Durrett Probability, Theory and Examples 3, 4
\item $\cite{Vi}$, Borkar Probability theory 1, 2
\item $\cite{BZ}$, Brzezniak et Zastawniak (Basic Stochastic Processes) 2, 3
\item $\cite{Fo}$, Foatta et Fuchs (Processus stochastiques) 2, 3
\item $\cite{V}$, Varadhan Probability theory 1, 3, 4
\item $\cite{Bil}$,  Billingsley Probability and Measure : pas de chaînes de Markov
\item $\cite{T}$, Taylor (Introduction to measure and probability) : très peu de chaînes de
Markov
\item $\cite{Du2}$, Durrett Essentials of Stochastic Processes 2, 3. Très bien pour les exemples
\item $\cite{Ba}$, Bauer Probability Theory : 1
\item $\cite{Br}$, Brémaud Markov chains, Gibbs fields, Monte Carlo simulations and queues.
3, 4
\item $\cite{Da}$, Dacunha-Castelle-Duflo Probability and Statistics 1, 2
\item $\cite{BMP}$, Baldi, Mazliak, Priouret Martingales et Chaînes de Markov 1, 2, 4.
\item $\cite{O}$, Ouvrard 1, 3, 4
\end{itemize}
Les ouvrages les plus recommandables pour la correction sont $\cite{BMP}$ et $\cite{O}$. Les ouvrages les meilleurs pour les applications sont $\cite{Du}$, $\cite{Du2}$ et $\cite{Br}$. Pour le cours, nous suivrons $\cite{BMP}$, qui réunit les avantages d'être écrit dans notre langue, d'être formellement correct et très court (20 pages). Il contient des exercices applicatifs en suffisance, mais n'est pas à la hauteur de $\cite{Br}$, $\cite{Du}$ et $\cite{Du2}$ pour un exposé amenant à des applications.

\section{Préliminaires}
\subsection{Théorème de Kolmogorov}

\begin{thf}
Soit $\mu_n$, $n\in {\mathbb N}$ une famille de probabilités sur les espaces produits $(E^{n+1}, \sigma(\EE^{n+1})) $ vérifiant
$$ \forall n,\quad \mu_{n-1}(A_0\times A_1\times\dots \times A_{n-1})=\mu_n(A_0\times A_1\times\dots\times A_{n-1}\times E). \quad \hbox{(T)}$$
Alors il existe une unique probabilité $\Pro$ sur l'espace canonique $(\Omega,\;\FF)$ définie par
\begin{equation}
\label{espacecanonique}
\Omega=E^{{\mathbb N}},\;\;\omega=(\omega_n)_{n\in{\mathbb N}},\;\; X_n(\omega)=\omega_n,\;\; \FF_n=\sigma(X_k,\;k\leq n),\;\; \FF=\sigma(X_k,\;k\geq 0),
\end{equation}
et telle que le processus $(\Omega,\; \FF,\;\FF_n,\;X_n,\; \Pro)$ ait les $\mu_n$ comme lois de répartition finies, c'est-à-dire
$$\mu_n(A_0\times A_1\times\dots\times A_{n-1}\times A_n)=\Pro( X_0\in A_0,\; \dots,\; X_n\in A_n).$$
\end{thf}

Ce théorème est la réciproque de la remarque suivante sur les processus adaptés  :
Soient $X=(\Omega, \;\FF, \;\FF_n,\; X_n,\; \Pro), \; n\in {\mathbb N}$, une filtration
et un processus adapté à valeurs dans $(E, \; \EE).$ Alors on note $\mu_n$ la loi de la variable aléatoire $(X_0, \; X_1,\dots,\; X_n)$ définie sur $(E^{n+1},\;\sigma(\EE^n)).$ Vu que
$$\mu_n(A_0\times A_1\times \dots \times A_n)=\Pro(X_0\in A_0,\; \dots,\; X_n\in A_n),$$
on a bien la relation (T).

\section{Temps d'arrêt et tribu des événements antérieurs}

Soit $(\Omega,\; \FF,\; (\FF_n)_{n\geq 0},\; \Pro)$ une filtration. On pose
$\FF_\infty=\sigma(\cup_{n\geq 0} \FF_n).$
\begin{deff} (i) on appelle temps d'arrêt de la filtration toute application
$\nu:\; \Omega\to \overline{{\mathbb N}} $ telle que pour tout $n\geq 0$, on ait
$$\{\nu\leq n\}\in \FF_n.$$
(ii) On appelle {\rm tribu des événements antérieurs à $\nu$}, notée $\FF_\nu$, la
tribu
$$\FF_\nu=\{A\in \FF_\infty,\; \forall n\geq 0,\; A\cap\{\nu \leq n\}\in \FF_n\}.$$
\end{deff}

Soit $X$ un processus adapté. On veut définir le "processus arrêté à l'instant
$\nu$", i.e. $X_\nu(\omega)=X_{\nu(\omega)}(\omega).$ Comme il y a un problème
lorsque $\nu(\omega)=+\infty,$ une manière de procéder est de poser $X_\nu=\delta$
sur $\{\nu=+\infty\}$, où $\delta$ est un élément isolé adjoint à $E$ que l'on
appelle {\it cimetière}. \newline\newline Avec cette convention, on définit
$X_\nu=X_n$ sur $\{\nu=n\}, \; n\in \overline{{\mathbb N}}.$  Alors $X_\nu$ est
$\FF_\nu$-mesurable car
$$\{X_\nu \in B\}\cap\{\nu=n\}=\{X_n\in B\}\cap \{\nu=n\}\in \FF_n,\; n\in
\overline{{\mathbb N}}.$$ En résumé, "le processus arrêté est mesurable par rapport à la
tribu des événements antérieurs".

La proposition suivante nous sera utile.

\begin{propf} Soient $X$ une v.a. positive ou intégrable et $\nu$ un temps d'arrêt. On
pose pour tout $n\in\overline{{\mathbb N}}$, $X_n=\E(X|\FF_n).$ Alors sur $\{\nu=n\}$, $\E(X|\FF_\nu)=\E(X|\FF_n)$, ce qui veut dire :
\begin{equation}
\label{2.5}
\E(X|\FF_\nu)=X_\nu,\;\; \hbox{p.s.}
\end{equation}
\end{propf}

\begin{demo}
On vérifie (\ref{2.5}) pour $X\geq 0$. Soit $Z\geq 0$ et $\FF_\nu$-mesurable.
Alors $Z\indic_{\nu=n}$ est $\FF_n$-mesurable et on a donc
$$\E(ZX_\nu)=\sum_{n\in\overline{{\mathbb N}}}
\E(ZX_n\indic_{\nu=n})=\sum_{n\in\overline{{\mathbb N}}} \E(Z\indic_{\nu=n}X)=\E(ZX).$$
Remarquer que $\indic_{\nu=+\infty}$ est $\FF_\infty$-mesurable, puisque
$\{\nu=+\infty\}=(\cup_{n\in {\mathbb N}}\{\nu=n\})^c$.
\end{demo}


\begin{remf}
Pour montrer que $Y=\E(X|\FF)$, il faut et il suffit de montrer que $\E(YZ)=\E(XZ)$
pour toute fonction $Z\geq 0$ et $\FF$-mesurable : c'est comme cela que nous venons
de procéder. En effet, par définition de l'espérance conditionnelle,  $Y=\E(X|\FF)$
si et seulement si $\E(YZ)=\E(XZ)$ pour tout  $Z=\indic_A$ avec $A$ $\FF$-mesurable.
Cette dernière relation est encore  vraie  par la machine standard pour tout $Z\geq
0$, $\FF$-mesurable.
\end{remf}

\section{Chaînes de Markov : la construction}

\subsection{Matrices de transition} Dans la suite,
$E$ est un ensemble d'états, fini ou dénombrable et $\EE$ la tribu de toutes les
parties de $E$,  tribu engendrée par les atomes. On note

\begin{itemize}
\item $\EE^+$ : applications $E\to \real^+$. Exemple : les
fonctions caractéristiques de sous-ensembles de $E$, ce sont des
vecteurs colonne. $\indic_E$ est un tel vecteur colonne valant 1
sur les lignes de $x\in E$, 0 ailleurs.)

\item $\MM^+$ : mesures positives sur $E$ notées
$\mu=(\mu(x))_{x\in E}$. Exemple : les lois initiales sur $E$. Ce
sont des vecteurs ligne et on peut faire les produits $\mu.f$ pour
$\mu\in \MM^+$, $f\in \EE^+$.

\item $P$, $Q$, $R$, matrices positives ($P(x,y)\in\overline{{\mathbb R}}^+$), $x,\;y\in
E$. Le produit de deux matrices se définit par $QR(x,y)=\sum_{z\in E}Q(x,z)R(z,y),$
avec la convention importante : $+\infty\times 0=0$.

\item Si $f\in \EE^+$, $(Qf)(x)=\sum_{y\in E} Q(x,y)f(y).$

\item Si $\mu\in \MM^+$, $(\mu Q)(y)=\sum_{x\in E}\mu(x)Q(x,y).$
\end{itemize}

\begin{deff}
On appelle matrice de transition sur $E$ une famille $(P(x,y))_{x,y\in E}$ de réels
telle que pour tous $x, y\in E$,
$$P(x,y)\geq 0,\quad \sum_{y\in E} p(x,y)=1.$$
Ceci implique que $\forall x\in E$, l'application $A\to P(x,A)=\sum_{y\in A}P(x,y)$
est une probabilité sur $E$.
\end{deff}

$P\geq 0$ est une matrice de transition si et seulement si $P1=1$ (où $1:=\indic_E$.)
En conséquence, le produit de deux matrices de transition est une matrice de
transition. Si $\mu $ est une probabilité et $P$ une matrice de transition, $\mu P$
est une probabilité.

\begin{deff} Soient $\mu$ une probabilité et $P$ une matrice de transition sur $E$.
On appelle chaîne de Markov de loi initiale $\mu$ et de matrice de
transition $P$, un processus aléatoire $(\Omega,\; \FF, \; \FF_n,
\; X_n,\; \Pro)$ à valeurs dans $E$ et tel que

\skipaline (i) $\Pro(X_0\in A)=\mu(A),\;\;\forall A\subset E$

\skipaline (ii) $\Pro(X_{n+1}\in A|\FF_n)=P(X_n, A)\;\;\hbox{p.s.},\; \forall
A\subset E, \; n\geq 0.$

\end{deff}
\begin{remf}
La relation (ii) implique en particulier que $\Pro(X_{n+1}\in
A|\FF_n)=\Pro(X_{n+1}\in A|X_n).$ En effet, la v.a. $P(X_n, A)$
est $X_n$-mesurable et par la propriété des tours :
$$\Pro(X_{n+1}\in A|X_n)=\Pro(\Pro(X_{n+1}\in A|\FF_n)|X_n)=\Pro(P(X_n,A)|X_n)=P(X_n, A).$$

\end{remf}
\begin{propf}
Si $\FF_n=\FF_n^0=\sigma(X_0,\; X_1,\;\dots, \; X_n)$ est la "filtration naturelle du
processus",  la tribu $\FF_n^0$ est engendrée par la partition de $\Omega$ en
événements $\{X_0=a_0,\; X_1=a_1,\dots,\; X_n=a_n\}$, $(a_0,\; a_1,\;\dots, \;
a_n)\in E^n.$ Alors (ii) peut être remplacée par
$$\hbox{(ii1)}\quad \Pro(X_{n+1}=b|X_n=a_n,\;X_{n-1}=a_{n-1},\;\dots,
X_0=a_0)=P(a_n,b),$$ pour tous $n\geq 0,$ tous $(a_0,\; a_1,\; \dots, \; a_n,\; b)\in
E^{n+2}$ et tels que $\Pro(X_n=a_n, \dots ,\;X_0=a_0)>0.$
\end{propf}

\begin{demo} Il suffit de se rappeler que quand $\FF$ est engendrée par des événements d'une
partition dénombrable $\Omega_i$, on a
$$\Pro(X\in A|\FF)=\sum_i\Pro(A|\Omega_i)\indic_{\Omega_i},$$
 et comme l'ensemble des valeurs est aussi dénombrable, cela revient à écrire
$$\forall b\in E,\; \Pro(X=b|\FF)=\sum_i \Pro(X=b|\Omega_i)\indic_{\Omega_i}.$$
Par (ii), $\Pro(X_{n+1}\in A|\FF_n)=P(X_n,A)$ p.s.
$\Leftrightarrow$ $\forall b\in E$,
$\Pro(X_{n+1}=b|\FF_n)=P(X_n,b)$ p.s.  En appliquant la relation
précédente avec $\Omega_i=\{(a_0,\; \dots, \; a_n)\}$, cette
dernière relation est équivalente à (ii1).  En effet,
$$(ii)\Leftrightarrow (\forall
b,\;\Pro(X_{n+1}=b|\FF_n)=P(X_n,b))$$
$$\Leftrightarrow
\Sum_i\Pro(X_{n+1}=b|\Omega_i)\indic_{\Omega_i}=P(X_n,b)$$
$$\Leftrightarrow (\forall  b,\;\forall
(a_0,...,\;a_n),\;\Pro(X_{n+1}=b|X_0=a_0,...,\;X_n=a_n)=P(a_n,b)).$$
\end{demo}

\begin{thf}
\label{4.3}
(i) Soit $X=(\Omega,\; \FF,\; \FF_n,\;X_n,\; \Pro)$ une
chaîne de Markov à valeurs dans $E$ de loi initiale $\mu$ et de matrice de transition
$P$. On a, pour tout $(a_0,\; \dots,\; a_n)\in E^{n+1},$
\begin{equation}
\label{4.4}
\Pro(X_0=a_0,\; X_1=a_1,\;\dots,\; X_n=a_n)=\mu(a_0)P(a_0,a_1)\dots
P(a_{n-1},a_n).
\end{equation}
(ii) Réciproquement, si un processus $X=(\Omega,\;\FF, X_n,\;
\Pro)$ à valeurs  dans $E$ vérifie (\ref{4.4}) pour une probabilité $\mu$ et une
matrice de transition $P$ sur $E$, alors $X$ est une chaîne de Markov de loi initiale
$\mu$ et de matrice de transition $P$ par rapport à la filtration naturelle
$(\FF_n^0)_{n\geq 0}.$
\end{thf}

\begin{demo} (i)
\begin{eqnarray*}
  & & \Pro(X_0=a_0,\dots, X_{n-1}=a_{n-1},\; X_n=a_n)=   \\
  & & \E(\indic_{X_0=a_0,\dots,\; X_{n-1}=a_{n-1}}\indic_{X_n=a_n})=
   \hbox{ (définition de l'espérance conditionnelle)} \\
  & & \E(\indic_{X_0=a_0,\dots,\; X_{n-1}=a_{n-1}}\E(\indic_{X_n=a_n}|\FF_{n-1}))=
  \hbox{ (définition chaîne de Markov, (ii))}\\
  & & \E(\indic_{X_0=a_0,\dots,\; X_{n-1}=a_{n-1}}P(X_{n-1},a_n))=\\
  & &\Pro(X_0=a_0,\dots,\; X_{n-1}=a_{n-1})P(a_{n-1},a_n).
\end{eqnarray*}
(ii)   Réciproque. Comme on considère la filtration naturelle $\FF_n^0$, il suffit de
vérifier la "forme simple" de (ii), à savoir (ii1). Or, en utilisant (\ref{4.4}),
\begin{eqnarray*}
\Pro(X_{n+1}=b|X_n=a_n,\dots, X_0=a_0)=\frac{\Pro(X_0=a_0,\dots, X_n = a_n,
X_n=b)}{\Pro(X_0=a_0, \dots, X_n=a_n)} & = & \\ \frac{\mu(a_0)P(a_0,a_1)\dots
P(a_{n-1},a_n)P(a_n,b)}{\mu(a_0)P(a_0,a_1)\dots P(a_{n-1},a_n)}=P(a_n,b).
\end{eqnarray*}
\end{demo}

\subsection{Conséquences de la relation ($\ref{4.4}$)}

\begin{enumerate}
\item Soit $f$ : $E^{n+1}\to {\mathbb R}$ positive ou bornée.  Alors (il suffit de sommer)
\begin{equation}
\label{4.5}
\E(f(X_0,\dots,\; X_n))=\sum_{a_0,\dots,\; a_n\in E}f(a_0,\dots,\;
a_n)\mu(a_0)P(a_0,a_1)\dots P(a_{n-1},a_n)
\end{equation}
\item Si on choisit $f(x_0,\dots,\;x_n)=\indic_{A_0}(x_0)\dots \indic_{A_n}(x_n)$, $A_i\in E$,
\begin{equation}
\label{4.6}
\Pro(X_0\in A_0,\dots,\; X_n\in A_n)=\sum_{a_0\in A_0,\dots, a_n\in
A_n}\mu(a_0)P(a_0,a_1)\dots P(a_{n-1},a_n)
\end{equation}
Si, dans (\ref{4.6}), on choisit $A_i=\{a_i\}$ pour certains indices et $A_j=E$ pour d'autres, on a pour $l_1,\dots,\; l_k\in {\mathbb N}$,
\begin{equation}
\label{4.7} \Pro(X_0=a_0,\; X_{l_1}=a_1,\dots,\; X_{l_1+\dots
+l_k}=a_k)=\mu(a_0)(P^{l_1})(a_0,a_1)\dots (P^{l_k})(a_{k-1},a_k).
\end{equation}

\noindent{\bf Démonstration de (\ref{4.7})}.
Le mieux est de traiter un exemple, le cas général se faisant par récurrence sur le même principe. On a par la relation (\ref{4.6}),
$$\Pro(X_0=\alpha_0,\; X_1\in E,\; X_2\in E,\; X_3=\alpha_3)=\sum_{a_1,a_2\in
E}\mu(\alpha_0)P(\alpha_0, a_1)P(a_1,a_2)P(a_2,\alpha_3)=$$
$$=\mu(\alpha_0)\sum_{a_2\in E}P^2(\alpha_0,a_2)P(a_2,\alpha_3)=\mu(\alpha_0)P^3(\alpha_0,\alpha_3). $$

\item Conséquence de (\ref{4.4}) : si $\Pro(X_0=a_0,\dots,\; X_n=a_n)>0,$
\begin{equation}\label{4.8}
\Pro(X_{n+1}=b_1,\dots,\; X_{n+k}=b_k \; |\; X_0=a_0,\dots,\;
X_n=a_n)=P(a_n,b_1)\dots P(b_{k-1}, b_k).
\end{equation}
\item Par application de (\ref{4.7}),
 $\Pro(X_{n+k}=b\;|\; X_0=a_0,\dots, \; X_n=a_n)=P^k(a_n,b)$.
\end{enumerate}

\section{Construction de l'espace canonique d'une matrice de transition}
\begin{thf}
Soient $\mu$ une probabilité et $P$ une matrice de transition sur
$E$. Alors il existe une chaîne de Markov  à valeurs dans $E$, de
loi initiale $\mu$ et de matrice de transition $P$. Plus
précisément :  $$\Omega=E^{{\mathbb N}},\;\; \omega=(\omega_n)_{n\geq
0},\;\; X_n(\omega)=\omega_n,\;\; \FF_n=\sigma(X_k,\;\; k\leq
n),\;\;\FF=\sigma(X_k,\; k\geq 0)$$ et il existe une unique
probabilité $\Pro$ sur cet espace canonique vérifiant :
\begin{equation}\label{*}
\Pro(X_0=a_0,\; \dots,\; X_n=a_n)=\mu_n(a_0,\dots,\; a_n):=\mu(a_0)P(a_0,a_1)\dots
P(a_{n-1},a_n).
\end{equation}
\end{thf}

\begin{demo} Par le théorème de Kolmogorov, il suffit de vérifier que
\newline (a) $\mu_n$ est une probabilité sur $E^{n+1}$
\newline (b) La condition de compatibilité (T) est vérifiée :
$$\mu_{n-1}(A_0\times A_1\times\dots \times A_{n-1})=\mu_n(A_0\times A_1\times\dots
\times A_{n-1}\times E).$$
{\underbar {Preuve de (a):}} $\mu_n(a_0,\dots,
a_n)=\mu(a_0)P(a_0,a_1)\dots P(a_{n-1},a_n).$ On somme successivement sur $a_n\in E$,
puis $a_{n-1}\in E$, etc. jusqu'à $a_0\in E$ et on trouve que $\sum_{a_0,\dots a_n\in
E^{n+1}} \mu_n(a_0,\dots, a_n)=1$.

\skipaline{\underbar{Preuve de (b)}}. Il suffit de montrer que
$$\mu_{n-1}(a_0,\dots, a_{n-1})=\mu_n(\{a_0\}\times\dots \times\{a_{n-1}\}\times E),$$
et c'est immédiat en reprenant la relation (\ref{*}) et en sommant par rapport à
$a_n$ : on obtient ainsi
$$\mu_n(\{a_0\}\times \dots\times \{a_{n-1}\}\times E)=\mu(a_0)P(a_0,a_1)\dots
P(a_{n-2},a_{n-1})\times 1=\mu_{n-1}(a_0,\dots, a_{n-1}).$$
\end{demo}

\section{La chaîne de Markov canonique associée à une matrice de transition}
Soient $P$ une matrice de transition sur $E$ et  $\mu\in \MM^+$, $\mu.1=1$ une mesure
de probabilité sur $E$. On appelle $\Pro_\mu$ la probabilité construite sur l'espace
canonique $\Omega$ par le théorème de Kolmogorov. Si $\mu=\delta_{x}$, on note
$\Pro_\mu=\Pro_x.$ En utilisant de nouveau (\ref{4.4}), on a
\begin{equation}
\label{4.10} \Pro_\mu(A)=\sum_{x\in E}\mu(x)\Pro_x(A) \hbox{ si }
A=\{X_0=a_0,\dots,\; X_n=a_n\}.
\end{equation}
Par le théorème de la classe monotone, on déduit que (\ref{4.10}) est encore vraie
pour tout $A\in \FF$.

\begin{deff}
Soit $P$ une matrice de transition sur $E$. On appelle {\rm chaîne
de Markov canonique de matrice de transition $P$} le quintuplet
$(\Omega,\; \FF,\; \FF_n,\; X_n,\; (\Pro_x)_{x\in E})$ où
$(\Omega, \; \FF_n, \; \FF, X_n)$ est l'espace canonique associé à
$E$ et, pour chaque $x$, $\Pro_x$ est une probabilité sur
$(\Omega, \;\FF)$ vérifiant pour tout $(a_0,\;\dots a_n),$
\begin{equation}
\Pro_x(X_0=a_0,\dots,\; X_n=a_n)=\indic_{x}(a_0)P(a_0,a_1)\dots P(a_{n-1},a_n).
\end{equation}
\end{deff}

La relation (\ref{4.10}) permet de définir $\Pro_\mu$ et alors $(\Omega, \;\FF,\;
(\FF_n)_{n\geq 0},\; X_n, \; \Pro_\mu)$ est une chaîne de Markov de loi initiale
$\mu$ et de matrice de transition $P$.

\begin{propf}
\begin{equation}\label{4.12}
\Pro_x(X_n=y)=P^n(x,y),\quad \E_x(f(X_n))=(P^nf)(x)
\end{equation}
\begin{equation}\label{4.13}
\E_\mu(f(X_n))=\sum_{x\in E}\mu(x)(P^nf)(x)=\mu(P^nf)=(\mu P^n)f.
\end{equation}
Les derniers produits peuvent être vus comme des produits matriciels. La relation
(\ref{4.13}) veut dire : "Si $\mu$ est la loi de $X_0$, $\mu P^n$ est la loi de
$X_n$".
\end{propf}

\begin{demo} La première  relation de (\ref{4.12}) découle de (\ref{4.7}):
$\Pro_x(X_n=y)=\Pro_x(X_0=x,\; X_n=y)=P^n(x,y).$ Pour la seconde relation, on
applique (\ref{4.5}) :
\begin{eqnarray*}\E_x(f(X_n))& = & \sum_{a_0,\dots,a_n\in
E}f(a_n)\indic_x(a_0)P(a_0,a_1)\dots P(a_{n-1},a_n) \\
& = & \sum_{a_1,\dots a_n\in E}f(a_n)P(x,a_1)\dots P(a_{n-1},a_n)\\
& = & \sum_{a_n\in E} f(a_n) P^n(x,a_n)=(P^nf)(x).
\end{eqnarray*}
La relation (\ref{4.13}) découle de (\ref{4.10}) et de la relation précédente.
\end{demo}


\subsection{Canonisation d'un processus de Markov} Une chaîne de Markov n'est pas en
général définie sur l'espace canonique. Soit $X'=(\Omega',\;
\FF',\; \FF_n',\; X_n',\; \Pro')$ une chaîne de Markov de loi
initiale $\mu$ et de matrice de transition $\Pro$ et soit la
chaîne canonique $X=(\Omega, \; \FF,\; \FF_n,\; X_n,\;
(\Pro_x)_{x\in E})$ associée à $P$. Alors pour tout $(a_0,\; \dots
a_n)\in E^{n+1}$, on a
$$\Pro'(X_0'=a_0,\dots,\; X_n'=a_n)=\mu(a_0)P(a_0,a_1)\dots P(a_{n-1},a_n)$$
$$=\Pro_\mu(X_0=a_0,\dots,\; X_n=a_n).$$
Donc, par le théorème de la classe monotone 2.4, on a pour toute
$\varphi\in b\FF$ ou $\FF^+$,
$$\E'(\varphi(X_0', X_1',\dots,\; X_n',\dots))=\E_\mu(\varphi(X_0,\; X_1,\dots,\;
X_n,\;\dots)).$$ Les deux processus $X$ et $X'$ ont donc même loi.
Donc, tous les calculs d'espérance et de probabilité concernant
$X'$ peuvent se faire avec $X$.

\section{Calculs sur la chaîne canonique et propriété de Markov forte}

\begin{deff}
Sur l'espace canonique $$(\Omega=E^{\mathbb N},\; \omega=(\omega_n)_{n\geq 0},\;
X_n(\omega)=\omega_n,\; \FF_n=\sigma(X_k,\; k\leq n),\; \FF=\sigma(X_k, \; k\geq
0)),$$ on définit l'opérateur de translation $\theta :\; \Omega\to \Omega,$
$\omega=(\omega_n)_{n\geq 0}\to (\omega_{n+1})_{n\geq 0}$. On pose
$\theta_p=\theta^p$ et $\theta_p$ est mesurable de $(\Omega,\; \sigma(X_k,\; k\geq
p))$ dans $(\Omega, \; \FF).$  On a :
$$X_n\circ \theta_p=X_{n+p}.$$
On peut  interpréter $\theta_p$ comme un opérateur  de remise à
zéro des compteurs  à l'instant $p$, i.e. d'oubli de tout ce qui
s'est passé strictement avant $p$.  On considère un temps d'arrêt
$\tau$. On pose $\Omega_\tau=\{\tau<+\infty\}$ et on définit
$\theta_\tau$ sur $\Omega_\tau$ par $\theta_\tau=\theta_n$ sur
$\{\tau=n\}$. On a alors sur $\Omega_\tau$ :
$$\forall n\geq 0,\quad X_n\circ\theta_\tau=X_{n+\tau}.$$
\end{deff}

\begin{lemf} (4.10 page 90) \label{lemme4.10}  On a :
$$\Pro_\mu(X_{n+1}=b_1,\dots,\; X_{n+k}=b_k|\FF_n)=\Pro_{X_n}(X_1=b_1,\dots,\;
X_k=b_k).
$$
(Dans le second membre, $\mu$ disparaît mais la dépendance de
$\mu$ se fait via $X_n$).
\end{lemf}
\begin{remf} Une des notations précédentes peut paraître abusive : il s'agit de
$\Pro_{X_n}(X_1=b_0, \dots, \; X_k=b_k)$. En effet, $X_n$ apparaît
dans cette notation comme le point de départ et aussi comme un
élément de la suite $X_0,\dots,\; X_k$. Il faut comprendre ce
terme comme $\Pro_{X_n(\omega)}(\{\rho\in \Omega,\;
\rho_0=b_0,\dots,\; \rho_k=b_k\})$. On a donc fait un abus de
notation du type $\int_0^x f(x)dx$, où $x$ est utilisée comme
variable explicite et muette à la fois.
\end{remf}


\begin{demo} Par la propriété   (\ref{4.8}),
$$\Pro_\mu(X_{n+1}=b_1,\dots,\; X_{n+k}=b_k|X_0=a_0,\dots,\; X_n=a_n)=
P(a_n,b_1)\dots P(b_{k-1},b_k).$$ Mais, posant
$A=\{X_{n+1}=b_1,\dots,\; X_{n+k}=b_k\},$ on a
$$\Pro_\mu(A|\FF_n)=\sum_{a_0,\dots a_n\in E}\Pro_\mu(A|X_0=a_0,\dots ,\;
X_n=a_n)\indic_{X_0=a_0,\dots, \; X_n=a_n}= $$
$$\sum_{a_0,\dots a_n\in
E}P(a_n,b_1)\dots P(b_{k-1},b_k) \indic_{X_0=a_0,\dots, \; X_n=a_n}$$
$$=P(X_n,b_1)\dots P(b_{k-1},b_k)\sum_{a_0,\dots a_{n-1}\in E}\indic_{X_0=a_0,\dots
X_{n-1}=a_{n-1}}=\Pro_{X_n}(X_1=b_1,\dots, \; X_k=b_k),$$
\end{demo}

\begin{thf}(Propriété de Markov, théorème 4.5) \label{thm4.5}
Soit $X$ une chaîne de Markov canonique. On a pour tout $n\geq 0$, toute $\varphi\in
b\FF$ ou $\FF^+$ et toute loi initiale $\mu$,
\begin{equation}
\label{4.5.1}
\E_\mu(\varphi\circ\theta_n|\FF_n)=\E_{X_n}(\varphi),\hbox{ p.s.,}
\end{equation}
(qui est une fonction de $X_n$) ou, de manière équivalente, pour
tout $n\geq 0$, toute $\varphi\in b\FF$, toute $\psi\in b\FF_n$,
(resp. $\varphi\in \FF^+,$ $\psi\in \FF_n^+$) et toute loi
initiale $\mu$ :
\begin{equation}
\label{4.5.2}
\E_\mu(\psi\varphi\circ \theta_n)=\E_\mu(\psi\E_{X_n}(\varphi)).
\end{equation}
\end{thf}

\begin{demo} Prenons d'abord $\varphi=\indic_{X_0=b_0,\dots,\; X_k=b_k}.$ Alors
$$\E_\mu(\varphi\circ\theta_n|\FF_n)=
\E_\mu(\indic_{X_n=b_0,\dots,\;X_{n+k}=b_k}|\FF_n)=
$$
$$\indic_{X_n=b_0}\Pro_\mu(X_{n+1}=b_1,\dots,\; X_{n+k}=b_k|\FF_n)=
\indic_{X_n=b_0}\Pro_{X_n}(X_1=b_1,\dots, \; X_k=b_k)=\E_{X_n}(\varphi).
$$ La
troisième égalité découle du lemme \ref{lemme4.10}.  Expliquons la dernière égalité.
Comme $\varphi$ est une fonction caractéristique, on a immédiatement
$$\E_{X_n}(\varphi)=\Pro_{X_n}(X_0=b_0,\dots,\; X_k=b_k)=0 \hbox{ si } b_0\neq X_n,
\; =\Pro_{X_n}(X_1=b_1,\dots, X_k=b_k) \hbox{ si } b_0=X_n.$$ Nous avons donc prouvé
(\ref{4.5.1}) quand $\varphi=\indic_{X_0=a_0,\dots,\; X_n=a_n}$ et on peut appliquer
 le théorème de la classe monotone, puisque les ensembles $\{X_0=a_0,\dots,\; X_n=a_n),\;
 n\in{\mathbb N}$ forment un $\pi$-système de $\FF$. (Théorème 2.5 page 19 du Baldi-Mazliak-Priouret).
 Montrons maintenant (\ref{4.5.2}) : c'est juste la définition de l'espérance
 conditionnelle étendue de $\psi=\indic_A$, $A$ $\FF_n$-mesurable à $b\FF_n$ ou à
 $\FF_n^+$ par la machine standard.
\end{demo}


\begin{thf}
\label{thm4.6} (Propriété de Markov forte, théorème 4.6).
Soient $X$ une chaîne de Markov canonique et $\tau $ un temps d'arrêt. On a pour tout $n\geq 0$,
toute $\varphi\in b\FF$ (ou $\FF^+$), toute $\psi\in b\FF_\tau$ (ou $\FF_\tau^+$) et
toute loi initiale $\mu$,
$$\E_\mu(\indic_{\tau<+\infty}\varphi\circ
\theta_\tau|\FF_\tau)=\indic_{\tau<+\infty}\E_{X_\tau}(\varphi)  \hbox{ p.s. },
$$
\begin{equation}
\label{4.19}
\E_\mu(\indic_{\tau<+\infty}\psi\varphi\circ\theta_\tau)=\E_\mu(\indic_{\tau<+\infty}
\psi\E_{X_\tau}(\varphi))
\end{equation}
(Comparer ces relations avec (\ref{4.5.1}) et (\ref{4.5.1})).
\end{thf}

\begin{demo}
On rappelle  (Proposition 2.7 page 21) que si $X\geq 0$  est un
processus, $\nu$ un temps d'arrêt, $X_n=\E(X|\FF_n)$, alors sur
$\{\nu=n\}$, on a par définition,
$$\E(X|\FF_\nu)=\E(X|\FF_n)\quad  \hbox{p.s.}$$
Appliquons cette relation, puis la propriété de Markov (\ref{4.5.1}) :
$$\E_\mu(\varphi\circ\theta_\tau|\FF_\tau)=\E_\mu(\varphi\circ\theta_n|\FF_n)=
\E_{X_n}(\varphi), \quad \Pro_\mu-\hbox{p.s. sur }\{\tau=n\}.$$
Donc
$$\sum_n\indic_{\tau=n}\E_\mu(\varphi\circ \theta_\tau|\FF_\tau)=
\sum_n\indic_{\tau=n}\E_{X_n}(\varphi)=\indic_{\tau<+\infty}\E_{X_\tau}(\varphi),\;
\Pro_\mu-\hbox{p.s.}$$ Mais $\sum_n\indic_{\tau=n}$ est $\FF_\tau$-mesurable et donc
$$\sum_n\indic_{\tau=n}\E_\mu(\varphi\circ \theta_\tau|\FF_\tau)=
\E_\mu(\indic_{\tau<+\infty}\varphi\circ\theta_\tau|\FF_\tau),$$
 ce qui prouve la première relation annoncée. La seconde, (\ref{4.19}) s'en déduit de
la même manière que (\ref{4.5.2}) de (\ref{4.5.1}).
\end{demo}


\section{Première grande application : la probabilité de retour}

\begin{lemf}
Soient $\tau$ et $\sigma$ deux temps d'arrêt. Alors $\rho$ défini par $\rho=
\tau+\sigma\circ \theta_\tau$  sur $\{\tau<\infty\}$ et $\rho=+\infty$ sinon est
aussi un temps d'arrêt. De plus,
$$\{\rho<+\infty\}=\{\tau<+\infty\}\cap\{\sigma\circ\theta_\tau<+\infty\},
\quad X_\rho=X_\sigma\circ \theta_\tau \hbox{ sur }\{\rho<+\infty\}.$$
\end{lemf}
La démonstration est immédiate : un ensemble $\rho=n$ s'exprime en
fonction des ensembles $\tau=k$ et $\sigma\circ \theta_k=l$ pour
de valeurs de $k$ et $l$ inférieures ou égales à $n$. Le lemme
précédent nous permet de définir les {\it temps de passage par $x$
successifs après 0} comme des temps d'arrêt. On pose
$$\sigma_x:=\inf\{n\geq 1,\; X_n=x\}=\sigma^1_x,$$
$$\sigma_x^n:=\sigma_x^{n-1}+\sigma_x\circ \theta_{\sigma_x^{n-1}} \hbox{ si
}\sigma_x^{n-1}<+\infty,$$
$$\sigma_x^n:=\sigma_x^{n-1}=+\infty \hbox{ sinon}.$$

\begin{propf}
Soit $X$ une chaîne de Markov canonique de matrice de transition $P$.
Alors
\begin{equation}
\label{4.34} \Pro_x(\sigma_x^n<+\infty)=\Pro_x(\sigma_x<+\infty)^n.
\end{equation}
\end{propf}

\begin{demo}
$$\Pro_x(\sigma_x^n<+\infty)=\Pro_x(\sigma_x^{n-1}+\sigma_x\circ
\theta_{\sigma_x^{n-1}}<+\infty)
$$
$$=\Pro_x(\sigma_x^{n-1}<+\infty,\; \sigma_x\circ\theta_{\sigma_x^{n-1}<+\infty})$$
$$=\E_x(\indic_{\sigma_x^{n-1}<+\infty}\indic_{\sigma_x<+\infty}\circ
\theta_{\sigma_x^{n-1}}).$$ Mais, dans  ce dernier
terme, on peut appliquer la propriété de Markov forte (\ref{4.19}) avec
$\varphi=\indic_{\sigma_x<+\infty}$, et on obtient

$$\Pro_x(\sigma_x^n<+\infty)=\E_x(\indic_{\sigma_x^{n-1}<+\infty}
\E_{X_{\sigma_x^{n-1}}}(\indic_{\sigma_x<+\infty}))
=\E_x(\indic_{\sigma_x^{n-1}<+\infty}\Pro_x(\sigma_x<+\infty)),$$
 (car $X_{\sigma_x^{n-1}}=x $ sur $\{\sigma_x^{n-1}<+\infty\}$)
$$
=\Pro_x(\sigma_x^{n-1}<+\infty)\Pro_x(\sigma_x<+\infty).$$

\end{demo}
\section{Opérateurs potentiels}

\begin{deff} Soient $P$ une matrice de transition et $X$ la chaîne canonique associée.
On appelle matrice potentielle de $P$ (ou de $X$) la matrice
$$U=I+P+\dots +P^n+\dots= \sum_{k\geq 0}P^k.$$
\end{deff}

\begin{lemf} Si $A\subset E$ et $N_A(\omega)$ désigne le nombre de visites de la
trajectoire $\omega$ à $A$, on a
\begin{equation}
\label{4.23}
N_A=\sum_{k\geq 0} \indic_A(X_k),\quad \E_x(N_A)=U(x,A),\quad E_x(N_y)=U(x,y).
\end{equation}
\end{lemf}

\begin{demo}  La première formule est la définition du nombre de visites de $A$. On rappelle
la formule (4.13) : $\E_x(f(X_n))=(P^nf)(x)$. En appliquant cette
formule à $f=\indic_A$,

$$\E_x(N_A)=\E_x(\sum_{k\geq 0} \indic_A(X_k))=\sum_{k\geq
0}\E_x(\indic_A(X_k))=$$ $$\sum_{k\geq
0}(P^k\indic_A)(x)=(U\indic_A)(x)=\delta_xU\indic_A=U(x,A).$$

 La troisième formule est l'application de la précédente à $A=\{x\}.$
\end{demo}

\section{Récurrence et transience}

\begin{thf}
Soit $x\in E$. On rappelle que $U(x,x)=E_x(N_x)$.
 \newline (i) Si
$U(x,x)=+\infty$, alors $\Pro_x(\sigma_x<+\infty)=1$ et
$\Pro_x(N_x=+\infty)= 1. $ Le point $x$ est dit récurrent.
\newline (ii) Si $U(x,x)<+\infty$, alors $\Pro_x(\sigma_x<+\infty)<1$ et
$\Pro(N_x<+\infty)=1.$ Le point $x$ est dit transitoire (transient).
\end{thf}

On passe donc par ce théorème de l'espérance à la probabilité : si le point est
récurrent, presque toutes les trajectoires passent une infinité de fois par $x$. Si
$x$ est transitoire, presque toutes les trajectoires ne passent qu'un nombre fini de
fois par $x$.

\begin{demo} On vérifie que
\begin{equation}
\label{4.32}
N_x=\indic_{\{x\}}(X_0)+\sum_{n\geq 1}\indic_{\sigma_x^n<+\infty}
\end{equation}

Deux cas sont possibles.
\newline (i) $\Pro_x(\sigma_x<+\infty)=1$. Alors pour tout $n\geq 0$,
$\Pro_x(\sigma_x^n<+\infty)=1$ par (\ref{4.34}). Donc par (\ref{4.32}), $N_x=+\infty$
$\Pro_x$-p.s. et $U(x,x)=\E_x(N_x)=+\infty$.
\newline (ii) $\Pro_x(\sigma_x<\infty)=a<1$.  Alors par (\ref{4.32}),
$U(x,x)=\E_x(N_x)=1+\sum_{n\geq 1}\Pro_x(\sigma_x^n<+\infty)=1+\sum_{n\geq 1}
a^n<+\infty.$  On en déduit que $N_x<+\infty$ $\Pro_x$-p.s.
\end{demo}

\begin{propf}
\label{4.17} Si $x\neq y$, alors
$U(x,y)=\Pro_x(\sigma_y<+\infty)U(y,y).$  En particulier,
$U(y,y)\geq U(x,y).$
\end{propf}

\begin{demo} On va utiliser la propriété de Markov forte, et les relations $X_{\sigma_y}=y$
sur $\{\sigma_y<+\infty\}$,
$N_y=\indic_{\sigma_y<+\infty}N_y\circ\theta_{\sigma_y}$,
$\Pro_x$-p.s. (On a $x\neq y$, donc le compte de $N_y$ commence en
$\sigma_y$).
$$U(x,y)=\E_x(N_y)=\E_x(\indic_{\sigma_y<+\infty}N_y\circ
\theta_{\sigma_y})=\E_x(\indic_{\sigma_y<+\infty}\E_{X_{\sigma_y}}(N_y))=
$$
$$\E_x(\indic_{\sigma_y<+\infty}\E_y(N_y))=\Pro_x(\sigma_y<+\infty)U(y,y),$$
par (\ref{4.23}).

\end{demo}

\begin{remf}\label{18.10.1}
 Si $E$ est fini, il existe au moins un état récurrent. En effet,
$\sum_{y\in E}N_y=N_E=+\infty $ p.s., d'où
$$\sum_{y\in E}U(x,y)=^{(\ref{4.23})}\E_x(\sum_{y\in E} N_y)=\E_x(N_E)=+\infty.$$
Il existe donc $y\in E$ tel que $U(x,y)=+\infty.$ Par la
proposition \ref{4.17}, $U(y,y)\geq U(x,y)=+\infty$ et donc $y$
est récurrent.
\end{remf}

\subsection{Communications entre deux états}

On note $\tau_x=\inf\{n\geq 0,\; X_n=x\}$. (Attention : la chaîne
ne part pas nécessairement de $x$.  Si $X_0=x$, on a appelé
$\sigma_x$ le temps de  premier retour, qui est donc distinct de
$\tau_x=0$. Si la chaîne ne part pas de $x$, on a
$\sigma_x=\tau_x$.) On dit que $x$ conduit à $y$ et on note $x\to
y$ si $\Pro_x(\tau_y<+\infty)>0$. Donc $x\to x$ et pour $y\neq x$,
on a $\Pro_x(\tau_y<+\infty)=\Pro_x(\sigma_y<+\infty)$. Puisque
$\{\sigma_y<+\infty\}=\cup_{n\geq 1}\{X_n=y\},$ les trois
conditions suivantes sont équivalentes : \newline\newline (a)
$\Pro(\sigma_y<+\infty)>0.$ \newline (b) Il existe $n\geq 1$ tel
que $P^n(x,y)>0$ \newline (c) $U(x,y)(=\E_x(N_y))>0$.
\newline
\begin{lemf}
 Si $x\to y$ et $y\to z$, on a $x\to z$
 \end{lemf}

 \begin{demo} En effet, comme il y a moins de chemins allant de $x$ à $z$ en passant par $y$
 que de chemins allant de $x$ à $z$ (par ``moins", on entend une
 inclusion entre deux ensembles de chemins),
 $$
 \Pro_x(\tau_z<+\infty)\geq \Pro_x(\tau_y+\tau_z\circ \theta_{\tau_y}<+\infty)=
$$
$$
\E_x(\indic_{\tau_y<+\infty}\indic_{\tau_z<+\infty}\circ \theta_{\tau_y})=
\E_x(\indic_{\tau_y<+\infty}\Pro_{X_{\tau_y}}(\tau_z<+\infty))=$$
$$\Pro_x(\tau_y<+\infty)\Pro_y(\tau_z<+\infty)>0.$$
 \end{demo}
 \begin{propf} \label{recurrent}  Si $x$ est récurrent et $x\to y$, alors\newline
 (i) $U(y,y)=+\infty$ et $y$ est récurrent
\newline
(ii) $y\to x$
\newline
(iii) $\Pro_x(N_y=+\infty)=1$ et, par symétrie, $\Pro_y(N_x=+\infty)=1$.
 \end{propf}

 \begin{demo} (i) Par l'équivalence des trois propriétés (a), (b) et (c), il existe $n$ tel que
 $P^n(x,y)>0$. Donc en utilisant la proposition \ref{4.17},
 $$U(y,y)\geq U(x,y)=\sum_{k\geq 0} P^k(x,y)\geq \sum_{k\geq 0}P^{n+k}(x,y)\\
 \geq \sum_{k\geq 0} P^k(x,x)P^n(x,y)=U(x,x)P^n(x,y)=+\infty.$$
 Donc $U(y,y)=+\infty $ et $y$ est récurrent.
\newline (ii) Puisque $x$ est récurrent, la chaîne visite $x$ $\Pro_x$-presque
sûrement. Donc, sur $\{\sigma_y<+\infty\}$, on a
$\sigma_x\circ\theta_{\sigma_y}<+\infty$ $\Pro_x$-p.s. et vu que $x\to y$,
$$0<\Pro_x(\sigma_y<+\infty)=\Pro_x(\sigma_y<+\infty,\;
\sigma_x\circ\theta_{\sigma_y}<+\infty)=\\
\Pro_x(\sigma_y<+\infty)\Pro_y(\sigma_x<+\infty). $$ D'où
$\Pro_y(\sigma_x<+\infty)=1$ et $y\to x$. Par symétrie, $\Pro_x(\sigma_y<+\infty)=1$.
\newline (iii) Plus généralement,
$$\Pro_x(\sigma_y^n<+\infty)=\Pro_x(\sigma_y^{n-1}<+\infty,\;\sigma_y\circ
\theta_{\sigma_y^{n-1}}<+\infty)=$$ $$
\Pro_x(\sigma_y^{n-1}<+\infty)\Pro_y(\sigma_y<+\infty)=\Pro_x(\sigma_y^{n-1}<+\infty)\\
=\dots=\Pro_x(\sigma_y<+\infty)=1.$$ D'où $\Pro_x(N_y=+\infty)=1$
et par symétrie $\Pro_y(N_x=+\infty)=1.$

 \end{demo}
\begin{corf} Il existe une partition $(C_i)_{i\in I}$ des états récurrents de $E$
telle que
\newline (i) si $x,y\in C_i$, $U(x,y)=+\infty$ et $\Pro_x(N_y=+\infty)=1$,
\newline (ii) si $x \in C_i$ et $y\in C_j$, $i\neq j$, $U(x,y)=0$ et
$\Pro_x(N_y=0)=1.$

\end{corf}

\begin{demo} On dit que $x$ et $y$ communiquent si $x\to y$ et $y\to x$, ce qu'on écrit
$x\leftrightarrow y$, une relation d'équivalence. Soit $C$ une classe d'équivalence
pour cette relation. Si cette classe $C$ contient un état récurrent, ils le sont tous
par la proposition \ref{recurrent} et ne conduisent à aucun état qui ne soit dans
$C_i$.
\end{demo}

\section{Lien entre martingale et chaîne de Markov}

\begin{deff} Soit $P$ une matrice de transition.
Une fonction $f\in \EE^+$ est dite excessive  si $f\geq Pf$,  et invariante si
$f=Pf$. Une mesure $\mu$ est dite excessive si $\mu P\leq \mu$, invariante si $\mu
P=\mu$.
 (Par exemple, $f=1$ est invariante).
\end{deff}
\begin{propf} Si $f\in \EE^+$ est une fonction excessive (resp. invariante), alors
$Y_n=f(X_n)$ est une surmartingale (resp. une martingale) positive pour toute loi
$\Pro_\mu$ associée à une distribution initiale $\mu$.
\end{propf}\label{proposition4.10}

\begin{demo} Par la propriété de Markov, on a presque sûrement
$$\E_\mu^{\FF_n}(Y_{n+1})=\E_\mu^{\FF_n}(f(X_1)\circ\theta_n)=\E_{X_n}(f(X_1))=
Pf(X_n)\leq f(X_n)=Y_n.$$ (Rappel, $\E_x(f(X_k))=(P^kf)(x)$,
formule (4.13) : la loi de $X_k$ est $\delta_x.P^k.$)
%(\ref{4.13}).
\end{demo}

\section{Chaînes irréductibles récurrentes}

\begin{deff} Soit $P$ une matrice de transition sur $E$. Une partie $F$ de $E$ est
dite close si pour tout $x\in F$, on a $\Pro_x(X_n\in F$ pour tout $n\geq 0)=1$.  Si
$F=\{x\}$, l'état $x$ est dit absorbant. Si $E$ est la seule partie close,
 la chaîne (ou sa matrice de transition)
est dite irréductible.
\end{deff}

ATTENTION : LA PREUVE DE LA PROPOSITION QUI SUIT EST TRES SUCCINCTE DANS $\cite{BMP}$.

\begin{propf}
On a les propriétés suivantes
\begin{enumerate}
\item $F$ est close si et seulement si pour tout $x\in F$, $P(x,F)=1$ ou si et
seulement si, pour tout $x\in F$ et tout $y\notin F$, $U(x,y)=0$.
\item $P$ est irréductible si et seulement si $\forall x,y\in E,\; U(x,y)>0$.
\item Dans une chaîne irréductible, ou bien tous les états sont récurrents (alors
$U(x,y)=+\infty$ pour tous $x,y\in E$), ou bien tous les états sont transitoires
(alors  $0<U(x,y)<+\infty.$). On parle de chaîne récurrente dans le premier cas et de
chaîne transitoire dans le second.
\item Une chaîne irréductible sur un ensemble d'états finis est récurrente.
\item Si $X$ est irréductible et si $X$ possède une probabilité invariante, alors
$X$ est récurrente.
\end{enumerate}
\end{propf}

\begin{demo} On rappelle (\ref{4.23}) : $U(x,y)=\E_x(N_y)=\sum_k\Pro_x(X_k=y)$ en
conséquence, $U(x,y)>0$ si et seulement si $x$ communique avec $y$, i.e. si
$\Pro_x(\sigma_y<+\infty)>0$.
\begin{enumerate}
\item
 ($\forall x\in F,\;P(x,F)=1$)  équivaut à  ($P\indic_F\geq\indic_F$) et donc à
$(\forall n,\; P^n\indic_F\geq\indic_F)$, soit à ($P^n(x,F)=1$ pour $x\in F$), soit
encore à $(\Pro_x(X_n\in F)=1$ pour tout $x\in F)$ et donc à  "$F$ est close".
\newline Si $F$ est close, on a $P^n(x,F)=1$ pour tout $x\in F$. Donc $P^n(x,y)=0$
 si $y\notin F$ et donc $U(x,y)=\sum_n P^n(x,y)=0.$ Réciproquement, si $U(x,y)=0$
 pour $x\in F$ et $y\notin F$, on déduit que $P^n(x,y)=0$ pour tout $x\in F$,
 $y\notin F$. Donc $\forall x\in F,\;P^n(x,F)=1$ et donc $F$ est close.
\item Si $\forall x,y,\; U(x,y)>0$ : s'il existait une partie close $F\subset E$ et
 $x\in F$,  $y\in F^c$ : comme
  $U(x,y)>0$,  par la définition de $U$ il existe $n$ tel que
 $\Pro_x(X_n=y)>0$, et donc $\Pro_x(X_n\in F)<1$, ce qui contredit la clôture de F.
\newline Réciproquement, supposons que $E$ soit irréductible et montrons que
  $U(x,y)>0$ pour tous $x,y\in E$. Remarquons pour commencer que $U(x,y)>0$
  et $U(y,z)>0$ impliquent
  qu'il existe $n$ et $p$ tels que $P^n(x,y)>0$ et $P^p(y,z)>0$ et donc
  $P^{n+p}(x,z)>0$, ce qui donne $U(x,z)>0$.
   Posons $E_x=\{y,\;U(x,y)>0\}.$ Alors si pour un $y\in E_x$ on a
  $U(y,z)>0$, la remarque précédente entraîne que $z\in E_x$. Donc $U(y,z)=0$
  pour tous $y\in E_x$ et $z\notin E_x$, ce qui veut dire par le 1. que $E_x$ est
  close. Comme $E$ est irréductible on déduit que $E=E_x$, et donc on a $U(x,y)>0$
  pour tous $x,y\in E$.
\newline
 \item Dans une chaîne irréductible, tous les états communiquent. Si un état est récurrent, alors tous le sont car
 on a montré que $x\to y$ et $x$ récurrent impliquent $y $ est récurrent. Donc
 l'alternative est : tous les états récurrents ou tous les états transitoires. On
 rappelle la proposition \ref{4.17} : $U(x,y)=\Pro_x(\sigma_y<+\infty)U(y,y).$ On
 rappelle de plus que $y$ est récurrent si et seulement si $U(y,y)=+\infty$. Donc
 si un état $y$ est récurrent, on a $U(x,y)=+\infty$ pour tous $x,y\in F$. Si tous
 les états sont transitoires, on a $U(x,x)<+\infty$ pour tout $x\in F$ et donc
 $U(x,y)<+\infty$ pour tous $x,y\in F$.
 \item Application : si la chaîne irréductible est à états finis, il y a  au moins un état
 récurrent (remarque \ref{18.10.1}) et donc la chaîne est récurrente.
 \item Si $\lambda$ est une probabilité invariante, on a
 $$\lambda(y)=(\lambda P^n)(y)=\sum_{x\in E}\lambda(x) P^n(x,y).$$
 Si la chaîne était transiente, on aurait $U(x,y)<+\infty$ pour tous $x,y\in E$ et donc
 $P^n(x,y)\to 0$ quand $n\to\infty$.  Comme $P^n(x,y)\leq 1$, on peut appliquer le
 théorème de Lebesgue  dans la relation précédente et on obtiendrait $\lambda(y)=0$, ce
 qui est absurde.
\end{enumerate}
\end{demo}
\begin{propf} \label{4.20}
Si $X$ est une chaîne de Markov canonique irréductible et récurrente et si $f$ est
une fonction excessive, alors $f$ est constante.
\end{propf}

\begin{demo}  $f(X_n),$ $n\geq 0$ est une surmartingale positive (Proposition 4) et donc
converge p.s. pour toute loi initiale $\mu$ vers une variable aléatoire $Z$. Soit
$x\neq y$. On a (p.s.) $X_n=x$ pour une infinité de $x$ et $X_n=y$ pour une infinité
de $y$. Donc $Z=f(x)=f(y).$
\end{demo}

\begin{propf} Soit $P$ une chaîne canonique et $\mu$ une mesure invariante telle que
$0<\mu(x)<+\infty$ pour tout $x\in E$. On définit la "chaîne duale" $\hat P$ par
$$\hat P(x,y)=\frac{\mu(y)}{\mu(x)}P(y,x).$$
Alors $\hat P$ est bien une matrice de transition. Si $P$ est récurrente
irréductible, alors la chaîne duale l'est aussi.
\end{propf}

\begin{demo}
$$\sum_{y\in E}\hat P(x,y)=\frac{1}{\mu(x)}\sum_{y\in E}\mu(y)P(y,x)=\frac
1{\mu(x)}(\mu P)(x)=\frac 1{\mu(x)}\mu(x)=1.$$ Donc, $\hat P$ est une matrice de
transition.
$$\hat P^2(x,y)=\sum_z\hat P(x,z)\hat P(z,y)=
\sum_z\frac{\mu(z)}{\mu(x)}P(z,x)
\frac{\mu(y)}{\mu(z)}P(y,z)=\frac{\mu(y)}{\mu(x)}P^2(y,x).$$

De même, on  a $\hat P^n(x,y)=\frac{\mu(y)}{\mu(x)}P^n(y,x)$ et donc
$$\hat U(x,y)=\frac{\mu(y)}{\mu(x)}U(y,x).$$
Donc $\hat U(x,y)=+\infty$ et donc la chaîne duale est aussi récurrente irréductible.
\end{demo}

\begin{thf}
\label{4.21}
Soit $X$ une chaîne irréductible récurrente. Alors $X$ possède une mesure
invariante $\mu$ unique à une constante multiplicative près. De plus, pour tout $y\in
E$, $0<\mu(y)<+\infty$. Enfin, pour $x\in E$, la mesure invariante $\mu_x$ telle que
$\mu_x(x)=1$ est donnée par
$$\mu_x(y)=\E_x\left(\sum_{k=0}^{\sigma_x-1}\indic_{\{y\}}(X_k)\right).$$
\end{thf}

\begin{demo} On fixe $x\in E$ et on pose
$$\mu'_x(y)=\E_x\left(\sum_{k=1}^{\sigma_x}\indic_{\{y\}}(X_k)\right).$$
$\mu'_x(y)$ est donc le nombre moyen de passages par $y$ entre $k=1$ et le retour en
$x$, alors que $\mu_x(y)$ est le nombre moyen de passages par $y$ entre $k=0$ et le
retour en $x$, non compris. Si $y\neq x$, on en déduit immédiatement que
$\mu_x(y)=\mu'_x(y)$. On a aussi $\mu_x(x)=\mu'_x(x)=1$ et donc $\mu_x=\mu'_x$. De plus,
\begin{equation}
\label{4.39}
\mu_x(E)=\mu_x.\indic_E=\E_x(\sigma_x).
\end{equation}
(nombre moyen de passages avant le retour à $x$).
\newline\newline
(i) On montre que $\mu_x$ est invariante. On commence par
calculer, pour $f\in \EE^+$, $\mu_x.f$ :
$$\mu_x.f=\sum_{y\in E}\E_x(\sum_{k=0}^{\sigma_x-1}\indic_{\{y\}}(X_k))f(y)=
\E_x(\sum_{k=0}^{\sigma_x-1}\sum_y\indic_{\{y\}}(X_k)f(y))=
\E_x(\sum_{k=0}^{\sigma_x-1}f(X_k)).$$

On obtient la formule utile

\begin{equation}
\label{esperancedefparrapportalamesureinvariante}
\mu_x.f=\E_x(\sum_{k=0}^{\sigma_x-1}f(X_k))
\end{equation}

On en déduit que
$$\mu_xP.f=\mu_x.Pf=\E_x(\sum_{k=0}^{\sigma_x-1}Pf(X_k))=\E_x(\sum_{k=0}^{\sigma_x-1}\E_{X_k}(f(X_1))) =\sum_{k\geq 0}\E_x(\indic_{\{k<\sigma_x\}}\E_{X_k}(f(X_1)))$$
(En effet,  la relation (4.13), $\E_\mu(f(X_n))=\mu.P^nf$,  donne   $Pf(X_k)=\delta_{X_k}.Pf=\E_{X_k}(f(X_1))$.) Vu que $\{k<\sigma_x\}\in \FF_k$, en appliquant (en sens inverse pour une fois) la propriété de Markov (4.18), on obtient
$$\mu_xP.f=\sum_{k\geq 0}\E_x(\indic_{k<\sigma_x}f(X_{k+1}))=
 \E_x(\sum_{k=1}^{\sigma_x}f(X_k))=\mu'_x.f=\mu_x.f.$$

(ii) On montre que pour tout $y\in E$, on a $0<\mu_x(y)<+\infty$.
\begin{lemf} Soit $P$ irréductible et
 $\lambda$ une mesure telle que $\lambda\geq \lambda.P$. Si, pour un $x\in E$,
$\lambda(x)=0$ (resp. $\lambda(x)<+\infty$), alors pour tout $y$, $\lambda(y)=0$
(resp. $\lambda(y)<+\infty$).
\end{lemf}
En effet, soit $x\neq y$. Il existe $n\geq 1$ tel que $P^n(y,x)>0$. Comme
$\lambda\geq \lambda P^n$, on a
$$\lambda(x)\geq \sum_{z\in E}\lambda(z)P^n(z,x)\geq \lambda(y)P^n(y,x).$$
(iii) On montre l'unicité de la mesure invariante $\mu_x$. Soit $\lambda$ une mesure
excessive (en particulier invariante) avec $\lambda(y)<+\infty$ pour tout $y\in E$.
On pose $f(y)=\frac{\lambda(y)}{\mu_x(y)}.$ Alors $f$ est une fonction excessive pour
la chaîne duale $\hat P$, avec $\mu =\mu_x$. En effet,
$$\hat Pf(y)=\sum_{z\in E} \hat P(y,z)\frac{\lambda(z)}{\mu_x(z)}=
\sum_{z\in E}\frac{\mu_x(z)}{\mu_x(y)}P(z,y)\frac{\lambda(z)}{\mu_x(z)}= \frac
1{\mu_x(y)}\lambda P(z)\leq \frac 1{\mu_x(y)}\lambda(y)=f(y).$$ Par la proposition
\ref{4.20}, cela implique que $f$ est constante.

\end{demo}

\begin{thf}\label{18.12.2}
Soit $X$ une chaîne irréductible récurrente de mesure invariante $\mu$. Il y a deux
cas possibles,

(i) $\mu(E)=+\infty$. Alors, pour tout $x\in E$, $\E_x(\sigma_x)=+\infty$. La chaîne
est dite récurrente nulle.

(ii) $\mu(E)<+\infty$. Alors, pour tout $x\in E$, $\E_x(\sigma_x)<+\infty$. La chaîne
est dite récurrente positive. Dans ce cas l'unique probabilité invariante est donnée
par $$\pi(x)=\frac 1{E_x(\sigma_x)}.$$
\end{thf}

\begin{demo} Soit on a $\mu(E)=+\infty$ pour toute mesure invariante $\mu$, soit
$\mu(E)<\infty$. Mais par (\ref{4.39}), $\mu(E)=\E_x(\sigma_x)$ et donc
$\E_x(\sigma_x)=+\infty.$ pour tout $x$ ou bien $\E_x(\sigma_x)<\infty$ pour tout
$x$. Dans le second cas, il y a une unique mesure invariante
$\pi(y)=\frac{\mu_x(y)}{\mu_x(E)}=\frac{\mu_x(y)}{\E_x(\sigma_x)}$ et en particulier
$\pi(x)=\frac{\mu_x(x)}{\E_x(\sigma_x)}=\frac 1{\E_x(\sigma_x)}.$
\end{demo}

\begin{remf} Un exemple simple et générique de chaîne récurrente nulle.  Si $E$ est infini et si $P$ est une matrice doublement
stochastique, alors $(1,\dots, \; 1, \dots)$ est une mesure
invariante (pourquoi ?).  On en déduit alors que la chaîne est
récurrente nulle.  Prenons comme exemple une marche aléatoire
symétrique sur $\relative^N$.  La matrice de la chaîne de Markov
associée est bistochastique et a donc $(...,1,\; 1,\; ..., 1,...)$
comme mesure invariante.  Or, on sait qu'une telle chaîne est
récurrente si et seulement si $N\leq  2$. Si $N\geq 3$, elle est
transiente, bien qu'ayant une mesure invariante.
\end{remf}

\section{Théorèmes ergodiques}

\begin{thf}
\label{4.24}
Soit $X$ une chaîne irréductible récurrente de mesure invariante $\mu$. Soient $f$,
$g$ $\in L^1(\mu)$ avec $\mu.g\neq 0.$ Alors
$$\frac{\sum_0^nf(X_k)}{\sum_0^ng(X_k)}\to \frac{\mu.f}{\mu.g}, \hbox{ p.s.}$$
\end{thf}


\skipaline {\bf Démonstration du théorème ergodique \ref{4.24}} On fixe $x\in E$ et
on considère $\mu=\mu_x$ la mesure invariante valant 1 en $x$ et
$\sigma_x^p=\sigma^p$ le $p$-ième retour en $x$. Soit $\lambda$ une loi initiale
arbitraire. Soit $f\in L^1(\mu)$, i.e. vérifiant $\sum_{x\in E}|f(x)|\mu(x)<+\infty$,
on pose
$$Z_0=\sum_{k=0}^{\sigma^1-1}f(X_k)$$
$$Z_p=Z_0\circ \theta_{\sigma^p}=\sum_0^{\sigma^1-1}f(X_k)\circ \theta_{\sigma^p}=
\sum_{k=\sigma^p}^{\sigma^{p+1}-1}f(X_k).$$

Par la relation (\ref{esperancedefparrapportalamesureinvariante}), $\E_x(Z_0)=\mu.f$
et par la propriété de Markov,
$$\E_\lambda(Z_p)=\E_\lambda(\E_{X_{\sigma^p}}(Z_0))=\E_x(Z_0)=\mu.f.
$$

Pour la loi $\Pro_\lambda$, les v.a. $Z_1,$..., $Z_p,$... sont indépendantes, de même
loi, d'espérance $\mu.f$ : voir le lemme \ref{quisuit} ci-dessous. Par la loi forte
des grands nombres,
$$\frac 1n  \sum_0^{\sigma^n}f(X_k)=\frac{Z_0}n+\frac
1n(Z_1+...+Z_{n-1})+\frac{f(x)}n\to \mu.f, \; \Pro_\lambda-\hbox{p.s.}$$ A $m\in
{\mathbb N}$ on associe l'unique entier $\nu(m)$ tel que $\sigma^{\nu(m)}\leq m\leq
\sigma^{\nu(m)+1},$ alors $\nu(m)\to +\infty$ et
$$\nu(m)\leq \sum_0^m \indic_x(X_k)=\nu(m)+\indic_x(X_0)\leq \nu(m)+1.$$
Si on suppose $f\geq 0,$

$$\frac{\nu(m)}{\nu(m)+1}\frac{\sum_0^{\sigma^{\nu(m)}}f(X_k)}{\nu(m)}\leq
\frac{\sum_0^m f(X_k)}{\sum_0^m\indic_x(X_k)}\leq
\frac{\nu(m)+1}{\nu(m)}\frac{\sum_0^{\sigma^{\nu(m)+1} }f(X_k)}{\nu(m)+1}$$ et, les
termes latéraux tendant vers $\mu.f$ $\Pro_\lambda$-p.s., on a donc

$$\frac{\sum_0^m f(X_k)}{\sum_0^m \indic_x(X_k)}\to \mu.f,\;
\Pro_\lambda-\hbox{p.s.}$$ En écrivant $f=f^+-f^-,$ on a obtient la relation
précédente pour $f\in L^1(\mu).$ Si de plus $\mu.g\neq 0,$ on peut écrire cette
relation pour $f$ et $g$ et faire le quotient, ce qui prouve le théorème.

\skipaline ATTENTION : LA PREUVE DU LEMME \ref{quisuit} EST LAISSEE EN EXERCICE DANS $\cite{BMP}$.

\begin{lemf} \label{quisuit} Pour la loi $\Pro_\lambda$, les v.a. $Z_1,$..., $Z_p,$...
 sont indépendantes, de même
loi, d'espérance $\mu.f$.
\end{lemf}

\begin{demo} On a $Z_p=Z_0\circ \theta_{\sigma^p}$. Par la propriété forte de Markov on en
déduit pour toute $g$, fonction réelle positive ou bornée  et tout $p\geq 1$ :
$$\E_\lambda(g(Z_p))=\E_\lambda(g\circ Z_0\circ\theta_{\sigma^p})=
\E_\lambda(E_{x_{\sigma^p}}(g(Z_0))) =\E_\lambda(E_x(g(Z_0)))=\E_x(g(Z_0)).$$
(Remarquer que $\sigma^p<+\infty$ p.s. par hypothèse).  Donc les  $Z_p,\; p\geq 1$
ont toutes la même loi. Montrons ensuite que $Z_{k+p}$ et $Z_p$ sont indépendantes
pour $p, \; k\geq 1$. Pour tous $s, \; t\in {\mathbb R}$ on a, en utilisant à la troisième
ligne la propriété de Markov forte et à la quatrième $X_{\sigma^k}=x$ :
\begin{eqnarray*}
\Pro_\lambda(Z_{k+p}\leq s,\; Z_k\leq t) & = &
\E_\lambda(\indic_{Z_{k+p}\leq s}\indic_{Z_k\leq t})\\
& = & \E_\lambda(\indic_{Z_{k}\leq t}\indic_{\{Z_p\leq s\}}\circ
\theta_{\sigma^k})\\
& = & \E_\lambda(\indic_{Z_k\leq t}\E_{X_{\sigma^k}}(\indic_{Z_p\leq s})) \\
& = & \Pro_\lambda(Z_k\leq t)\Pro_x(Z_p\leq s).
\end{eqnarray*}
Pour déduire que $Z_{k+p}$ et $Z_p$ sont indépendantes, il suffit donc de vérifier
que $\Pro_x(Z_p\leq s)=\Pro_\lambda(Z_p\leq s)$. Mais, en utilisant de nouveau la
propriété de Markov forte,
$$\Pro_\lambda(Z_p\leq s)=\E_\lambda(\indic_{Z_p\leq s})=\E_\lambda(\indic_{Z_0\leq
s}\circ \theta_{\sigma^p})=\E_\lambda(\E_{X_{\sigma^p}}(\indic_{Z_p\leq
s}))=\Pro_x(Z_0\leq s).
$$
Donc
$$\Pro_x(Z_p\leq s)=\Pro_x(Z_0\leq s)=\Pro_\lambda(Z_p\leq s).$$

\end{demo}

\section{Conséquences du théorème ergodique}

\begin{propf}
$$\frac{\hbox{nombres de visites de } X \hbox{ en } y \hbox{ avant } n}
{\hbox{nombre de visites de } X \hbox{ en } x \hbox{ avant n}}\to
\frac{\mu(y)}{\mu(x)},\; \hbox{ p.s.}$$
\end{propf}

\begin{demo} Prendre $f=\indic_{\{y\}}$ et $g=\indic_{\{x\}}$.
\end{demo}
\begin{propf} Soit $X$ une chaîne irréductible, récurrente positive, de probabilité
invariante $\pi$. Alors, pour toute $f\in L^1(\pi)$,
$$\frac 1n \sum_0^{n-1}f(X_k)\to \pi.f, \; \hbox{ p.s.}$$

\end{propf}

\begin{demo} Prendre $g=1$ et $\mu=\pi$, la probabilité invariante (on a $\pi.g=1$).
\end{demo}
\begin{propf} \label{4.26}
(i) Si $X$ est une chaîne irréductible, récurrente positive, de probabilité
invariante $\pi$, alors, pour tout $x\in E$,
$$\frac 1n \sum_0^{n-1} \indic_{x}(X_k)\to \pi(x)\hbox{ p.s.}$$
$\pi(x)$ est donc la fréquence de passage de la chaîne par $x$.\newline
 (ii) Si $X$ est une chaîne irréductible récurrente nulle, alors, pour tout $x\in
E$,
$$\frac 1n \sum_0^{n-1} \indic_x(X_k)\to 0, \hbox{ p.s.}$$

\end{propf}

\begin{demo} (i) découle de la proposition antérieure.  Montrons
(ii). Par hypothèse (théorème \ref{18.12.2}) on a
$\mu(E)=+\infty$.
  Pour $F\subset E$ fini, on a par le théorème \ref{4.24}
$$\frac{\sum_0^n\indic_x(X_k)}{n+1}\leq \frac{\sum_0^n \indic_x(X_k)}{\sum_0^n
\indic_F(X_k)}\to \frac{\mu(x)}{\mu(F)}=\frac 1{\mu(F)} \hbox{ p.s.}$$ pour tout $F$
fini, arbitrairement grand. Donc
$$\lim\sup_n \frac{\sum_0^n\indic_x(X_k)}{n+1}\leq \frac 1{\mu(F)} \hbox{
p.s.}$$ Comme  $\mu(E)=+\infty$, on  peut prendre $\mu(F)$
arbitrairement grand.
\end{demo}
\begin{corf} (i) Si $X$ est récurrente positive de probabilité invariante $\pi$,
$$\frac 1n \sum_{k=0}^{n-1}P^k(y,x)\to_{n\to \infty} \pi(x),$$
(ii) si $X$ et récurrente nulle,
$$\frac 1n \sum_{k=0}^{n-1} P^k(y,x)\to_{n\to \infty} 0.$$
\end{corf}

\begin{demo} Appliquer $\E_y$ aux formules de la proposition \ref{4.26}.  Comme le terme de
gauche de ces formules est borné par 1, on peut appliquer le théorème de Lebesgue,
i.e. intervertir $\E_y$ et la sommation en $k$. Mais $\E_y(\indic_{x}(X_k))=P^k(y,x)$
(formule (\ref{4.13})) ce qui donne le résultat.

\end{demo}


\section{Périodicité}
L'exemple suivant montre que la convergence en moyenne de Cesaro de $P^n(y,x)$ vers
$\pi(x)$ n'implique pas une convergence ordinaire. Il suffit de prendre

$$P=\left(\begin{array}{ccc} 0 & 1 & 0 \\0 & 0 & 1\\ 1 & 0 & 0\end{array}\right).
$$
On vérifie aisément que $P^{3n}=I$, $P^{3n+1}=P$, $P^{3n+2}=P^2$ et que la suite
$P^n(1,2)$ vaut $0,\; 1,\; 0,\; 0,\; 1,\; 0,\; 0,\; 1,\dots$, est périodique  et ne
converge pas.
\begin{deff}
Soit $P$ une matrice de transition. Pour $x\in E$, on pose
$$I(x)=\{n>0,\; P^n(x,x)>0.\}$$
Le p.g.c.d. de l'ensemble $I(x)$ s'appelle la période de $x$ et se
note $a(x)$.
\end{deff}
\begin{propf}
Si $X$ est une chaîne irréductible, tous les états ont même période. La chaîne est
dite apériodique si cette période est 1.
\end{propf}

\begin{demo} Soient $x$ et $y$ deux états de périodes $a(x)$ et $a(y)$ respectivement. Comme
$x$ communique avec $y$, il existe $k$ tel que $P^k(x,y)>0$ et de
même il existe $l$ tel que $P^l(y,x)>0$. Donc $k+l\in I(x)$ et de
même $l+k \in I(y)$. On déduit que $a(y)$ divise $k+l$ et aussi
que $l+a(x)+k\in I(y)$. Donc $a(y)$ divise aussi $a(x)$.
Réciproquement, $a(x)$ divise $a(y) $
 et donc les deux périodes sont égales.
\end{demo}


\begin{thf} Soit $X$ une chaîne irréductible, apériodique, récurrente positive de
probabilité invariante $\pi$.  Alors $P^n(x,y)\to \pi(y)$ pour tous $x,\; y\in E$.
\end{thf}

\begin{thf}
Soit $X$ une chaîne irréductible, récurrente positive de probabilité invariante
$\pi$, de période $d$. Alors pour tout $x,\;  y\in E$, il existe $r,\; 0\leq r<d,$
avec $r=0$ si $x=y$, tel que, pour tout $s$, $0\leq s<d,$
$$\lim_{n\to \infty}P^{nd+r}(x,y)=d\pi(y), \quad P^{nd+s}(x,y)=0 \hbox{ pour }s\neq r.$$
\end{thf}

\begin{thf}
Soit $X$ une chaîne irréductible, récurrente nulle. Alors on a $P^n(x,y)\to 0$ quand
$n\to \infty$, pour tout $x,\; y \in E$.
\end{thf}
Ce résultat est vrai que la chaîne soit périodique ou non.
