\section{TD Probabilit\'es : Un exemple de télécommunication}
\dexer\textbf{Critère de Dynkin, $\cite{BMP}$, ex. 4.35}\\
Il est en général faux que si $X$ est une chaîne de Markov alors $\psi(X)$ est une chaîne de Markov. Le critère suivant donne une condition suffisante pour qu'il en soit ainsi.\\
Soit $((X_n)_n,({\cal F}_n)_n,P)$ une chaîne de Markov sur $E$ de matrice de transition $P$. Soit $\psi : E\rightarrow F$ une application surjective telle que, pour tout $j\in F$, on ait:
$$P(x,\psi^{-1}(j))=P(y,\psi^{-1}(j)) \; \mbox{si $\psi(x)=\psi(y)$}$$
On définit alors pour $i,j \in F$,
$$Q(i,j)=P(x,\psi^{-1}(j)) $$
où $x$ est un état quelconque de $E$ tel que $\psi(x)=i$.

\quest a) Montrer que $Q$ est une matrice de transition et que si $Y_n = \psi(X_n)$ alors $Y$ est une $({\cal F}_n)_n$ chaîne de Markov.

\quest b) Montrer que si $\pi$ est une probabilité stationnaire pour $P$, la loi image $\pi \circ \psi^{-1}$ est une probabilité stationnaire pour $Q$.
\fexer

\dexer\textbf{Produit de chaînes de Markov, $\cite{BMP}$, ex. 4.42}\\
On considère deux chaînes de Markov canoniques
$$X=(\Omega,{\cal F},{\cal F}_{n},(X_{n})_{n},({\mathbb P}_{x})_{x})$$
et
$$X'=(\Omega^{'},{\cal F}^{'},{\cal F}_{n}^{'},(X_{n}^{'})_{n},({\mathbb P}_{x}^{'})_{x})$$
à valeurs dans $E$ et $E'$ de matrices de transitions respectives $Q$ et $Q'$. On pose :
$$\overline{\Omega}={\Omega}\times{\Omega}^{'}, \; \overline{\cal F}={\cal F}\otimes{\cal F}^{'}, \; {\overline X}=(X,X^{'}),\; {\overline{{\mathbb P}}}_{(x,x^{'})}={{\mathbb P}}_{x}\otimes{{\mathbb P}}_{x^{'}}$$

\quest 1) Montrer que $\overline{X}=X\otimes X^{'}=(\overline{\Omega},\overline{\cal F},({\overline X}_{n})_{n}, {\overline{{\mathbb P}}}_{(x,x^{'})})$ est une cha\^ine de Markov \`a valeurs dans ${\overline E}=E\times E^{'}$ et de matrice de transition ${\overline Q}$ d\'efinie par ${\overline Q}((x,x^{'}),(y,y^{'}))=Q(x,y)Q^{'}(x^{'},y^{'})$.\\
\quest 2) Calculer ${\overline Q}^{n}$ pour tout $n$.\\
\quest 3) Montrer que si $\nu$ (resp. $\nu^{'}$) est une mesure invariante pour $X$ (resp. $X^{'}$) alors $\nu \otimes {\nu}^{'}$ en est une pour pour ${\overline X}$.
\fexer

\begin{remf}
On pourra d\'emontrer que si $(a,a^{'})$ est un \'etat r\'ecurrent pour $\overline{X}$ alors $a$ est r\'ecurrent pour $X$ et $a^{'}$ l'est pour $X^{'}$ mais que la r\'eciproque est fausse (considérer des marches aléatoires simples sur ${\mathbb Z}$ et les coupler habilement en mettant à profit le rôle de la dimension dans le caractère transient d'une marche aléatoire simple).
\end{remf}

\dexer\textbf{Un probl\`eme de t\'el\'ecommunications, $\cite{BMP}$, Problème 4.14}\\
Un canal de transmission de donn\'ees peut recevoir des messages \`a partir de $m$ sources ind\'ependantes. Chacune des sources peut \^etre active $(1)$ ou inactive $(0)$. Si on les observe \`a des intervalles de temps fix\'es, chacune d'elles passe de l'état $0$ \`a l'\'etat $1$ avec probabilit\'e $\alpha$ et de $1$ \`a $0$ avec probabilit\'e $\beta$ et persiste dans les \'etats $0$ et $1$ avec probabilit\'es $1-\alpha$ et $1-\beta$ respectivement. On suppose que les comportements des sources sont imd\'ependantes et $0<\alpha,\beta<1$.\\
On mod\'elise le comportement de chaque source par une chaîne de Markov à espace d'\'etats $\{0,1\}$ et de matrice de transition
$$P=\left(
\begin{array}{cc}
1-\alpha&\alpha\\
\beta&1-\beta\\
\end{array}
\right)$$
On note $X$ la chaîne de Markov canonique sur $\{0,1\}$ de matrice de transition $P$.\\

\quest 1) Montrer que l'unique probabilit\'e stationnaire de cette chaîne est donn\'ee par:
$$\mu_{0}=\cfrac{\beta}{\alpha+\beta}, \; \mu_{1}=\cfrac{\alpha}{\alpha+\beta}$$

\quest 2) On consid\`ere l'ensemble $E=\{0,1\}^{m}$ des vecteurs binaires de longueur $m$ et sur $E$ la chaîne produit $Y={\otimes}^{m}X$.

\subquest a) Montrer que $\mu^{{\otimes}^{m}}$ est une probabilit\'e stationnaire pour $Y$.

\subquest b)Montrer que $Y$ est irr\'eductible et en d\'eduire que $Y$ ne poss\`ede qu'une seule probabilit\'e stationnaire.

\subquest c) Montrer que $X$ est aperiodique et en d\'eduire qu'il en est de m\^eme de $Y$.

\quest 3) $Y$ mod\'elise les $m$ sources ind\'ependantes. Soit $Z=Y_{1}+\ldots+Y_{m}$ le nombre de sources actives.

\subquest a) Montrer que $(Y_{n})_{n}$ converge en loi vers $\mu^{{\otimes}^{m}}$.

\subquest b) En d\'eduire que $(Z_{n})_{n}$ converge en loi vers une loi binomiale de param\`etre $(m,(\alpha + \beta)^{-1}\alpha)$.

\subquest c) En d\'eduire que le nombre moyen de sources actives pour $n$ grand est $m(\alpha+\beta)^{-1}\alpha$.
\fexer

\begin{remf}
En utilisant le crit\`ere de Dynkin, on peut montrer que $Y$ est une cha\^ine de Markov, ce qui se comprend facilement puisque les sources sont ind\'ependantes (cf. $\cite{BMP}$).
\end{remf}

L'exercice suivant utilise \`a nouveau le th\'eor\`eme de Foster vu dans le td sur le protocole de transmission Aloha.\\

\dexer\textbf{ : Un mod\`ele de file d'attente, probl\`eme 4.8, $\cite{BMP}$}\\
Soit $(Y_{n},Z_{n})_{n\geq 0}$ une suite de v.a. ind\'ependantes telles que chacune des suites $(Y_{n})_{n}$ et $(Z_{n})_{n}$ soient compos\'ees de variables int\'egrables \`a valeurs dans ${\mathbb N}$ int\'egrables. $Z_{n}$ repr\'esente le nombre de clients servis dans le $n$-i\`eme intervalle intervalle de temps alors que $Y_{n}$ repr\'esente le nombre de clients qui arrivent dans la queue \`a la fin de l'intervalle de temps. On pose ${\cal F}_{n}=\sigma(Y_{i},Z_{i}; i\leq n)$ et on suppose qu'il existe un entier $K>1$ tel que :
$${\mathbb P}(Z_{1}>K)=0, \; {\mathbb P}(Y_{1}\geq K)>0$$
et
$${\mathbb P}(Z_{1}=1)>0, \; {\mathbb P}(Y_{1}=0)>0, {\mathbb E}(Y_{1}),{\mathbb E}(Z_{1})$$
On pose enfin :
$$X_{0}=i\in {\mathbb N}, \; X_{n+1}=(X_{n}-Z_{n+1})^{+}+Y_{n+1}$$

\quest 1) Montrer que $X$ est une $\{{\cal F}\}_{n}$ chaîne de Markov dont la matrice de transition est :
$$P(x,y)={\mathbb P}(Y_{1}+(x-Z_{1})^{+}=y)$$

\quest 2) Montrer que la condition de Foster est satisfaite pour $F=\{0,\ldots,K\}$ et $h(x)=x$.

\quest 3) Montrer que $X$ est irr\'eductible et en d\'eduire qu'elle est r\'ecurrente positive. Pour cela, on montrera que chaque \'etat communique \`a son voisin de gauche et que si $k>K$ est tel que ${\mathbb P}(Y_{1}=k)>0$ alors $x$ communique avec $x+k-1$.
\fexer 
