
\section{TD Probabilit\'es : Cha\^\i nes de Markov I}


\dexer\textbf{Marches al\'eatoires sur $\mathbb Z$ : $\cite{BMP}$, exercice 4.16}\\
On consid\`ere une marche al\'eatoire $X_{0}=0, X_{n}=Z_{1}+\ldots+Z_{n}$ o\`u les $Z_{i}$ sont des variables al\'eatoires de loi de Bernoulli ind\'ependantes \`a valeurs dans $\{-1,1\}$ prenant la valeur $1$ avec probabilit\'e $p\in (0,1)$.

\quest 1) Montrer que $(X_{n})_{n}$ est une cha\^\i ne de Markov dont on pr\'ecisera la matrice de transition.

\quest 2) Montrer que la cha\^\i ne est irr\'eductible et de periode $2$ (\textit{ind. : on pourra montrer que si $P$ est la matrice de transition de la chaîne, $P^{2}(i,i)\geq p(1-p)$})

\quest 3) On suppose $p\neq 1/2$. En utilisant la loi des grands nombres, montrer que la chaîne est transiente.

\quest 4) On suppose $p=1/2$.

\subquest a) On pose $Y_{n}=\cfrac{1}{2}(Z_{n}+1)$ et $T_{n}=\cfrac{1}{2}(X_{n}+n)$. Donner la loi de $Y_{n}$ et de $T_{n}$. En d\'eduire que si $n$ est impair alors $P^{n}(0,0)=0$ et si $n$ est pair alors $P^{n}(0,0)=C_{n}^{n/2}(1/2)^{n}$.

\subquest b) En d\'eduire que la cha\^\i ne est r\'ecurrente.

\subquest c) Trouver une mesure invariante pour la cha\^\i ne de masse infinie et en d\'eduire que la cha\^\i ne est r\'ecurrente nulle.
\fexer

\dexer \textbf{Processus de naissance et de mort discret : $\cite{O}$, p. 502-504}\\
On consid\`ere une population dans laquelle \`a chaque instant $n$ un individu peut dispara\^\i tre ou appara\^\i tre avec une probabilit\'e d\'ependant uniquement de la taille de la population \`a l'instant $n$. La taille de la population \`a l'instant $n$ est not\'ee $X_{n}$. On mod\'elise cette population par une cha\^\i ne de Markov \`a valeurs dans $\mathbb N$ dont la cha\^\i ne canonique est not\'ee $(\Omega, \{{\cal F}_{n}\}_{n},(X_{n})_{n},{\Pro}_{x})$. La matrice de transition $M$ est donn\'ee pour $x\in {\mathbb N}$ par:
$$M(x,x+1)=p_{x}\; ,\; M(x,x-1)=q_{x} \; , \; M(x,x)=r_{x}$$
avec $p_{x},q_{x},r_{x}\geq 0 \; ,\; p_x + q_x +r_x =1$\\
Soit $a,b$ deux entiers tels que $0\leq a <b$. On notera $T_{x}=\inf\{n\geq 1;\; X_n =x\}$ le temps d'entr\'ee en $x$ (\'eventuellement infini).\\
\quest 1) D\'emontrer que pour tout $x$, on a
$$\Pro_{x}(T_{a}<T_{b})=M(x,a)+\sum_{z\neq a,b}\Pro_{z}(T_{a}<T_{b})M(x,z)$$

\quest 2) On suppose que $a=0$ et que $a$ et $b$ sont des barri\`eres, c'est-\`a-dire que $q_{0}=p_{b}=0$ et qu'elles sont \'elastiques dans la mesure o\`u $r_{a},r_{b}>0$. On suppose que $p_{x}>0$ pour tout $x\in (0,b)$. On pose enfin $f(x)=\Pro_{x}(T_{0}<T_{b})$.

\subquest a) En utilisant la question pr\'ec\'edente, montrer que $f$ est solution de l'\'equation du second ordre avec conditions aux limites (\textit{probl\`eme de Dirichlet discret}) :
$$f(x)=p_{x}f(x+1)+q_{x}f(x-1)+r_{x}f(x) \; \mbox{ si $1<x<b$} $$
$$f(1)=p_{1}f(2)+q_{1}+r_{1}f(1)$$
$$f(b-1)=q_{b-1}f(b-2)+r_{b-1}f(b-1)$$

\subquest b) Montrer que si l'on pose $f(0)=1, f(b)=0$ alors 
$$f(x+1)-f(x)=\cfrac{q_{x}}{p_{x}}(f(x)-f(x-1))$$

\subquest c) En posant $a_{0}=1$ et pour $x\in (0,b), a_{x}=\cfrac{q_{1}\ldots q_{x}}{p_{1}\ldots p_{x}}$, montrer que :
$$f(x)=\cfrac{\sum_{y=x}^{b-1}a_{y}}{\sum_{y=0}^{b-1}a_{y}}$$

\quest 3) En supposant que $p_{x}=p$ et $q_{x}=q$ soient constants pour $x\in (0,b)$, étudier le comportement de $f$ selon les valeurs de $p$ et $q$.\fexer

\dexer\textbf{$\cite{BMP}$, exercice 4.13 p. 112}\\
Le but de cet exercice est de classer suivant les valeurs desnombres $p_{k},q_{k}\geq 0$ les \'etats de la cha\^\i ne de Markov sur ${\mathbb N}$ de matrice de transition $Q$ donn\'ee par
\begin{eqnarray*}
&&Q(0,0)=\alpha, \; Q(0,1)=1-\alpha,  \; 0<\alpha<1\\
&&Q(1,2)=\beta, \; Q(1,3)=1-\beta,\;  0<\beta<1\\
&&Q(k,1)=p_{k}, \; Q(k,k+2)=q_{k}=1-p_{k}, \; 0<p_{k}<1, k\geq 2
\end{eqnarray*}

\quest 1) Montrer que $F=\{1,2,\ldots\}$ est une classe close et que $0$ est transient.

\quest 2) Montrer que tous les \'etats de $F$ communiquent entre eux et qu'ils sont donc ou tous transients, ou tous r\'ecurrents. 

\quest 3) On note ${\sigma}_{1}=\inf\{n\geq 1 | X_{n}=1\}$.

\subquest a) Montrer que pour tout $n\geq 2$, on a
$$\Pro_{1}(\sigma_{1}=n)=\beta q_{2}q_{4}\ldots q_{2(n-2)}p_{2(n-1)}+(1-\beta)q_{3}q_{5}\ldots q_{2n-3}p_{2n-1}$$
et $\Pro_{1}(\sigma_{1}=1)=0$.

\subquest b) En d\'eduire que
$$\Pro_{1}(\sigma_{1}<+\infty)=1-\beta\prod_{k=1}^{\infty}q_{2k}-(1-\beta)\prod_{k=1}^{\infty}q_{2k+1}$$
et conclure.
\fexer

\dexer\textbf{$\cite{BMP}$, exercice 4.8 p. 109}\\
Pour mod\'eliser l'\'evolution des configurations g\'en\'etiques dans une population, on est amen\'e \`a consid\'erer la cha\^{\i}ne de Markov suivante. Soit $P$ la matrice de transition sur $E=\{0,1,\ldots,N\}$ d\'efinie par
$$P(i,j)=C_{N}^{j} \left(\cfrac{i}{N}\right)^j \left(1-\cfrac{i}{N}\right)^{N-j}$$
\quest 1) Calculer $P(0,j)$ et $P(N,j)$. La cha\^\i ne est-elle irr\'eductible ? Quels sont les \'etats r\'ecurrents ?

\quest 2) Soit $X=(\Omega, {\cal F}, ({\cal F}_n)_{n\geq 0}, (X_n)_{n\geq 0}, ({\mathbb P}_x)_{x \in E})$ la cha\^\i ne de Markov canonique associ\'ee. Montrer que pour tout $x \in E$, $X$ est une ${\mathbb P}_x$-martingale et que la limite 
$$\lim_{n\rightarrow \infty} X_n = X_{\infty}$$
existe ${\mathbb P}_{x}$-p.s.. D\'eterminer la loi de $X_{\infty}$.
\fexer

\dexer\textbf{Lien entre martingale et chaîne de Markov, $\cite{BMP}$, exercice 4.5}\\
Le lien qui existe entre martingales et chaînes de Markov est beaucoup plus important que celui mis en évidence ici. On pourra consulter le chapitre de $\cite{BMP}$ relatif à ce sujet ou encore $_cite{Br}$.\\
Soit $E$ un ensemble d\'enombrable et $(X_{n})_{n}$ une chaîne de Markov de matrice de transition $P$ sur $E$. On note ${\cal H}$ l'espace vectoriel des fonctions born\'ees sur $E$ et $\{{\cal F}_{n}\}_{n}$ la filtration naturelle associ\'ee. On d\'efinit l'op\'erateur $A$ sur ${\cal H}$ par $A=P-I$. Montrer que pour tout $f\in {\cal H}$,
$$f(X_{n})-\sum_{k=0}^{n-1}Af(X_{k})$$
est une $({\cal F}_n)_{n}$-martingale.
\fexer
 
