{\small \noindent L'espace canonique $\Omega=\E^\natural,\;\;
\omega=(\omega_n)_{n\in\natural},\;\; X_n(\omega)=\omega_n,\;\;
\FF_n=\sigma(X_k,\;k\leq n),\;\; \FF=\sigma(X_k,\;k\geq 0)$

\noindent Temps d'arrêt de la filtration   $\nu:\; \Omega\to \overline{\natural} $ t.q. $\forall n,\;\{\nu\leq n\}\in \FF_n.$

\noindent Tribu des événements antérieurs à $\nu$, $\FF_\nu=\{A\in \FF_\infty,\; \forall n\geq 0,\; A\cap\{\nu \leq n\}\in \FF_n\}.$

\noindent Si $X$ une v.a. positive ou intégrable et $\nu$ un temps d'arrêt,
$$\E(X|\FF_\nu)=X_\nu,\;\; \hbox{p.s.}\;\; (\ref{2.5})$$
 \noindent
$E$ est un ensemble d'états, fini ou dénombrable et $\EE$ la tribu
de toutes les parties de $E$.

 \skipaline$\EE^+$ : applications
$E\to \overline{E}^+$, ce sont des vecteurs colonne.

\skipaline $\MM^+$ : mesures positives sur $E$ notées $\mu=(\mu(x))_{x\in E}$.  Ce
sont des vecteurs ligne et on peut faire les produits $\mu.f$ pour $\mu\in \MM^+$,
$f\in \EE^+$.

\skipaline $P$, $Q$, $R$, matrices positives ($P(x,y)\in\overline{\real}^+$),
$x,\;y\in E$. Produit :  $(QR)(x,y)=\sum_{z\in E}Q(x,z)R(z,y),$. Convention :
$+\infty\times 0=0$.

\skipaline Si $f\in \EE^+$, $(Qf)(x)=\sum_{y\in E} Q(x,y)f(y).$ Si $\mu\in \MM^+$,
$(\mu Q)(y)=\sum_{x\in E}\mu(x)Q(x,y).$

\skipaline Matrice de transition sur $E$  : $P(x,y)\geq 0,\quad \sum_{y\in E}
p(x,y)=1.$ $P\geq 0$ est une matrice de transition si et seulement si $P1=1$

\skipaline Une chaîne de Markov de loi initiale $\mu$ et de matrice de transition $P$ est un processus aléatoire $(\Omega,\; \FF, \; \FF_n, \; X_n,\; \Pro)$ à valeurs dans $E$ et tel que
\newline (i) $\Pro(X_0\in A)=\mu(A),\;\;\forall A\subset E$
\newline (ii) $\Pro(X_{n+1}\in A|\FF_n)=P(X_n, A)\;\;\hbox{p.s.},\; \forall A\subset E, \; n\geq 0.$

\skipaline $\FF_n=\FF_n^0=\sigma(X_0,\; X_1,\;\dots, \; X_n)$ est la "filtration naturelle du processus",

\skipaline $\hbox{(ii1)} \quad \mbox{Si}\;  \Pro(X_n=a_n, \dots
,\;X_0=a_0)>0$ alors
$$\Pro(X_{n+1}=b|X_n=a_n,\;X_{n-1}=a_{n-1},\;\dots,
X_0=a_0)=P(a_n,b)$$

$$\Pro(X_0=a_0,\; X_1=a_1,\;\dots,\; X_n=a_n)=\mu(a_0)P(a_0,a_1)\dots P(a_{n-1},a_n),\;\;  (\ref{4.4})$$

$$ \E(f(X_0,\dots,\; X_n))=\sum_{a_0,\dots,\; a_n\in E}f(a_0,\dots,\; a_n)\mu(a_0)P(a_0,a_1)\dots P(a_{n-1},a_n)\quad (\ref{4.5})$$

$$ \Pro(X_0\in A_0,\dots,\; X_n\in A_n)=\sum_{a_0\in A_0,\dots, a_n\in A_n}\mu(a_0)P(a_0,a_1)\dots P(a_{n-1},a_n) \quad (\ref{4.6})$$

$$ \Pro(X_0=a_0,\; X_{l_1}=a_1,\dots,\; X_{l_1+\dots +l_k}=a_k)=\mu(a_0)(P^{l_1})(a_0,a_1)\dots (P^{l_k})(a_{k-1},a_k) \quad (\ref{4.7})$$

$$ \Pro(X_{n+1}=b_1,\dots,\; X_{n+k}=b_k \; |\; X_0=a_0,\dots,\; X_n=a_n)=P(a_n,b_1)\dots P(b_{k-1}, b_k) \quad (\ref{4.8})\quad$$

$$ \Pro(X_0=a_0,\; \dots,\; X_n=a_n)=\mu_n(a_0,\dots,\; a_n):=\mu(a_0)P(a_0,a_1)\dots P(a_{n-1},a_n) \quad (\ref{*})$$

$$ \Pro_\mu(A)=\sum_{x\in E}\mu(x)\Pro_x(A) \hbox{ si } A=\{X_0=a_0,\dots,\; X_n=a_n\} \quad (\ref{4.10})$$

$$ \Pro_x(X_0=a_0,\dots,\; X_n=a_n)=\indic_{x}(a_0)P(a_0,a_1)\dots P(a_{n-1},a_n) $$

$$ \Pro_x(X_n=y)=P^n(x,y),\quad \E_x(f(X_n))=(P^nf)(x) \quad (\ref{4.12})$$

$$ \E_\mu(f(X_n))=\sum_{x\in E}(P^nf)(x)=\mu(P^nf)=(\mu P^n)f. \quad (\ref{4.13} )$$

\skipaline "Si $\mu$ est la loi de $X_0$, $\mu P^n$ est la loi de $X_n$".

\skipaline Opérateur de translation $\theta :\; \Omega\to \Omega,$
$\omega=(\omega_n)_{n\geq 0}\to (\omega_{n+1})_{n\geq 0}$. On pose
$\theta_p=\theta^p$. $X_n\circ \theta_p=X_{n+p}.$

\skipaline  Soit un temps d'arrêt $\tau$. Sur $\{\tau<+\infty\}$ :
$\forall n\geq 0,\quad X_n\circ\theta_\tau=X_{n+\tau}.$

 \skipaline Propriété de Markov. Si $\varphi\in b\FF$ ou $\FF^+$
$\psi\in b\FF_n$ ou $\FF_n^+$,
$$ \E_\mu(\varphi\circ\theta_n|\FF_n)=\E_{X_n}(\varphi),\hbox{ p.s.,} \quad (\ref{4.5.1})$$

$$ \E_\mu(\psi\varphi\circ \theta_n)=\E_\mu(\psi\E_{X_n}(\varphi)). \quad (\ref{4.5.2})$$
 \skipaline Propriété de Markov forte. Pour $\varphi\in b\FF$ (ou
$\FF^+$), toute $\psi\in b\FF_\tau$ (ou $\FF_\tau^+$),
$$\E_\mu(\indic_{\tau<+\infty}\varphi\circ \theta_\tau|\FF_\tau)=\indic_{\tau<+\infty}\E_{X_\tau}(\varphi)  \hbox{ p.s. },$$
$$ \E_\mu(\indic_{\tau<+\infty}\psi\varphi\circ\theta_\tau)=\E_\mu(\indic_{\tau<+\infty} \psi\E_{X_\tau}(\varphi)).\quad(\ref{4.19})$$

\skipaline Temps de passage par $x$ successifs après 0 :
\begin{equation*}
\begin{cases}
\sigma_x:=\inf\{n\geq 1,\; X_n=x\}=\sigma^1_x,\\
\sigma_x^n:=\sigma_x^{n-1}+\sigma_x\circ \theta_{\sigma_x^{n-1}} \hbox{ si }\sigma_x^{n-1}<+\infty,\\
\sigma_x^n:=\sigma_x^{n-1}=+\infty \hbox{ sinon}.
\end{cases}
\end{equation*}

$$  \Pro_x(\sigma_x^n<+\infty)=\Pro_x(\sigma_x<+\infty)^n.\quad(\ref{4.34}) $$

\skipaline Matrice potentielle de $P$ (ou de $X$) : $U=I+P+\dots +P^n+\dots= \sum_{k\geq 0}P^k.$

\skipaline $N_A(\omega)$ désigne le nombre de visites de la trajectoire $\omega$ à $A$.
$$ N_A=\sum_{k\geq 0} \indic_A(X_k),\quad \E_x(N_A)=U(x,A),\quad E_x(N_y)=U(x,y). \quad (\ref{4.23})$$
\skipaline (i) Si $U(x,x)=+\infty$, alors $\Pro_x(\sigma_x<+\infty)=1$ et $\Pro_x(N_x=+\infty)= 1. $ Le point $x$ est dit récurrent.
\newline (ii) Si $U(x,x)<+\infty$, alors $\Pro_x(\sigma_x<+\infty)<1$ et $\Pro(N_x<+\infty)=1.$ Le point $x$ est dit transitoire (transient).



$$ N_x=\indic_{\{x\}}(X_0)+\sum_{n\geq 1}\indic_{\sigma_x^n<+\infty} \quad(\ref{4.32})$$

\skipaline Si $x\neq y$, alors $U(x,y)=\Pro_x(\sigma_y<+\infty)U(y,y).$
\skipaline  On dit que $x$ conduit  à $y$ et on note $x\to y$ si $\Pro_x(\tau_y<+\infty)>0$. Les trois conditions suivantes sont équivalentes :
(1) $\Pro(\sigma_y<+\infty)>0$, (2) $\exists n\geq 1$ tel que $P^n(x,y)>0$ et  (3) $U(x,y)(=\E_x(N_y))>0$.

\begin{enumerate}
\item $F$ est close si et seulement si pour tout $x\in F$, $P(x,F)=1$ ou si et
seulement si, pour tout $x\in F$ et tout $y\notin F$, $U(x,y)=0$.
\item $P$ est irréductible si et seulement si $\forall x,y\in E,\; U(x,y)>0$.
\item Dans une chaîne irréductible, ou bien tous les états sont récurrents, ou bien tous les
états sont transitoires. On parle de chaîne récurrente dans le premier cas et de
chaîne transitoire dans le second. Dans le premier cas $U(x,y)=+\infty$ pour tous
$x,y\in E$ et dans le second, $0<U(x,y)<+\infty.$
 \end{enumerate}






\skipaline Soit $X$ une chaîne irréductible récurrente. Alors $X$ possède une mesure
invariante $\mu$ unique à une constante multiplicative près. De plus, pour tout $y\in
E$, $0<\mu(y)<+\infty$. Enfin, pour $x\in E$, la mesure invariante $\mu_x$ telle que
$\mu_x(x)=1$ est donnée par
$$\mu_x(y)=\E_x(\sum_{k=0}^{\sigma_x-1}\indic_{\{y\}}(X_k)).$$
$$
\mu_x.f=\E_x(\sum_{k=0}^{\sigma_x-1}f(X_k)).
\quad(\ref{esperancedefparrapportalamesureinvariante})$$


\skipaline Soit $X$ une chaîne irréductible récurrente de mesure invariante $\mu$.

(i) $\mu(E)=+\infty$. Alors, pour tout $x\in E$, $\E_x(\sigma_x)=+\infty$. La chaîne
est dite récurrente nulle.

(ii) $\mu(E)<+\infty$. Alors, pour tout $x\in E$,
$\E_x(\sigma_x)<+\infty$. La chaîne est dite récurrente positive.
Dans ce cas l'unique probabilité invariante est donnée par
$$\pi(x)=\frac 1{E_x(\sigma_x)}.$$}
