\section {TD Probabilit\'es : Modes de convergence}
\dexer{lien entre la convergence en probabilit\'e et la convergence en norme ${\mathbb L}^{p}$, $\cite{Brp}$, p. 176 et $\cite{Brpf}$, p. 227}\\
Montrer \`a l'aide de l'in\'egalit\'e de Markov que la convergence ${\mathbb{L}}^{p}$ implique la convergence en probabilit\'e.
\fexer

\dexer Lien entre la convergence en probabilit\'e et la convergence presque s\^ure, $\cite{Brpf}$, pp. 175-176.

\quest 1) Montrer que la convergence presque s\^ure implique la convergence en
probabilit\'e. Indication : si $X_n\to X$ p.s., poser
$B_k=\lim\sup_n\{|X_n-X|\geq\frac 1k\}$. Montrer que si $\omega\notin \bigcup_k B_k$,
on a $\lim X_n(\omega)=X(\omega)$. On pourra aussi appliquer le théorème de convergence dominée.

\quest 2) Montrer que la r\'eciproque est fausse. On pourra consid\'erer une suite
$(X_{n})_{n}$ de Bernoulli ind\'ependantes de param\`etres respectifs $p_{n}=1-q_{n}$
avec $\lim_{n \rightarrow \infty}p_{n}=0$ mais tels que la s\'erie de terme
g\'en\'eral $p_{n}$ soit divergente. (\textit{ind. : Considérer $N=\{X_{n}=1 \; i.o.\}$ et montrer que $\Pro(N)=1$})

\quest 3) Montrer que de toute suite de variables al\'eatoires convergeant en
probabilit\'e, on peut extraire une sous-suite convergeant presque s\^urement.
(\textit{ind.} : Si $(X_{n})_n$ converge en probabilit\'e vers $X$, montrer que l'on peut
construire une sous-suite $(X_{n_{k}})_{k}$ de $(X_{n})_{n}$ telle que
$\Pro(\parallel X_{n_{k}}-X \parallel \geq 1/k)\leq 1/2^{k}$ et conclure par le lemme
de Borel-Cantelli).
\fexer

\dexer {Lien entre la convergence en probabilit\'e et la convergence en loi, $\cite{O}$, p. 315.}\\
Rappel : $X_n\to X$ en loi signifie $\PP_{X_n}\to \PP_X$ étroitement, i.e.
$$\forall f\in C_b(\real),\; \int_{\real} fd\PP_{X_n}\to \int_{\real} fd\PP_X, \;\; (\hbox{ soit }
\mathbb E[f(X_n)]\to \mathbb E [f(X)])$$
Soit $(X_{n})_{n}$ une suite de variables al\'eatoires et
$X$ une variable al\'eatoire d\'efinies sur le m\^eme espace de probabilit\'es
$(\Omega, {\cal F}, \Pro)$.\\

\quest 1) ($\cite{O}$, proposition 10.5) On suppose que les $(X_{n})_{n}$ convergent en probabilit\'e vers $X$. Soit $f$ une fonction continue de $\RR^d$ dans $\RR$.\\
\subquest a) Montrer que pour tout $\epsilon, a>0$, il existe $\eta>0$ tel que
$$\left\{|f(X_n)-f(X)|>\epsilon\right\}\subset \left\{|X|>a\right\}\cup\{|X_{n}-X|>\inf(\eta,a)\}$$
\subquest b) En choisissant convenablement $a$, en d\'eduire que $(f(X_n))_n$ converge en probabilit\'e vers $f(X)$.\\ 

\quest 2) On suppose que les $(X_{n})_{n}$ convergent en probabilit\'e vers $X$.
Montrer que les $(X_{n})_{n}$ convergent en loi vers $X$.\\
\textit{Indication : on montrera que}
$$\forall \varepsilon >0,\;\forall f\in C_b(\real),\; \;
\left |\int_{\real}fd\PP_{X_n}-\int_{\real}fd\PP_X\right|\leq
\varepsilon +2||f||_{\infty}\PP(|f(X_n)-f(X)|>\varepsilon)$$

\quest 3) Montrer que la r\'eciproque est fausse en consid\'erant le contre-exemple
suivant : pour tout $n$, $X_{n}=X$ et $X$ est une Bernoulli de param\`etre $1/2$.
Montrer que $(X_{n})_{n}$ converge en loi vers $(1-X)$ mais que $(X_{n})_{n}$ ne peut
pas converger en probabilit\'e vers $(1-X)$.

\quest 4) Montrer n\'eanmoins que si les $X_{n}$ convergent en loi vers une constante
$a$ alors $X_{n}$ convergent en probabilit\'e vers $a$. (\textit{ind. : remarquer que pour $\epsilon>0$, si $\delta_{a}$ d\'esigne la masse de Dirac en $a$ et $B(a,\epsilon)$ la boule ferm\'ee de centre $a$ et de rayon $\epsilon$,
$\delta_{a}(\partial B(a,\epsilon))=0$. En d\'eduire $\lim_{n \rightarrow
+\infty}\Pro(\parallel X_{n}-a\parallel \leq \epsilon)=\delta_{a}(B(a,
\epsilon))=1$.})
\fexer

\textbf{Conclusion} : On vient de d\'emontrer que la convergence en norme ${\mathbb
L}^{p}$ et la convergence presque s\^ure impliquent la convergence en probabilit\'es
qui implique la convergence en loi. Les r\'eciproques sont fausses et sont
partiellement vraies si on rajoute certaines hypoth\`eses. Regarder en d\'etail le
tableau de la hi\'erarchie des convergences dans $\cite{Brp}$ p. 179 et $\cite{Brpf}$, p.238.

\dexer{$\cite{O}$, Exercice 14.7}\\
Soient sur le m\^eme espace probabilisé $(\O,\cF,\PP)$ deus suites $(X_n)_n$ et $(Y_n)_n$ de variables aléatoires qui convergent en loi respectivement vers $X$ et $Y$.

\quest 1) Montrer que si pour tout $n$, $X_n$ et $Y_n$ sont indépendantes et si $X$ et $Y$ sont indépendantes alors $(X_n , Y_n)_n$ converge en loi vers $(X,Y)$. On utilisera les fonctions caractéristiques et le théorème de Lévy ou bien les fonctions de r\'epartition.

\quest 2) On étudit un contre-exemple dans le cas où l'on supprime l'hypothèse ``pour tout $n$, $X_n$ et $Y_n$ sont indépendantes''. Soit donc $X$ et $Y$ deux variables aléatoires réelles indépendantes de m\^eme loi de Bernoulli de paramètre $1/2$. On pose pour tout $n$.
$$X_n = X+1/n,\;\; Y_n=(1-X)-1/n$$
Etudier la convergence en loi des trois suites $(X_n)_n$, $(Y_n)_n$ et $(X_n +Y_n)_n$ et conclure. 
\fexer

Le lemme de Slutsky donne une alternative à l'indépendance pour assurer la propriété de convergence en loi étudiée à la première question de l'exercice précédent.\\

\dexer{Exercice 14.8, $\cite{O}$, lemme de Slutsky}\\
Soient sur le m\^eme espace probabilisé $(\O,\cF,\PP)$ deus suites $(X_n)_n$ et $(Y_n)_n$ de variables aléatoires qui convergent en loi respectivement vers $X$ et une constante $y_0$.

\quest 1) \subquest a) En utilisant le th\'eor\`eme de Stone-Weierstrass, montrer que l'ensemble 
$${\cal H}=\{(x,y)\rightarrow f(x)g(y) | f,g \in C_0 (\RR)\}$$
est total dans $C_0 (\RR^2)$ ($C_0 (\RR^k)$ est l'espace des fonctions continues sur $\RR^k$ tendant vers $0$ en l'infini).

\subquest b) On rappelle que $(Y_n)_n$ converge en loi vers une constante donc converge en probabilité vers cette même constante (exercice 7.4.3). Soit $f$ et $g$ deux éléments de $C_0 (\RR)$. Montrer que
\begin{eqnarray*}
\left|{\mathbb E}(f(X_n)g(Y_n))-{\mathbb E}(f(X)g(y_0)) \right|&\leq& \|f\|_{\infty}[\epsilon +2\|g\|_{\infty}\PP(|g(Y_n)-g(y_0)|>\epsilon)]\\
&+&\| g\|_{\infty}|{\mathbb E}(f(X_n))-{\mathbb E}(f(X))|
\end{eqnarray*}
\subquest c) Conclure.
\fexer

\dexer{Stabilit\'e du caract\`ere gaussien}\\
Soit $(X_{n})_{n}$ une suite de variables al\'eatoires gaussiennes qui convergent en moyenne quadratique vers une variable al\'eatoire $X$. Montrer que $X$ est une variable gaussienne. (\textit{ind.} : on remarquera que la convergence en moyenne quadratique implique la convergence en loi, on passera aux fonctions caract\'eristiques et utilisera le théorème de convergence de Lévy.)    
\fexer

\dexer{Convergence en loi pour les variables al\'eatoires discr\`etes, $\cite{O}$, page 317.}\\
Soit $(X_{n})_{n}$ une suite de variables al\'eatoires et $X$ une variable al\'eatoire d\'efinies sur le m\^eme espace probabilis\'e et toutes \`a valeurs dans $\mathbb Z$. Montrer que $(X_{n})_{n}$ converge en loi vers $X$ si et seulement si pour tout $r \in \mathbb{Z}$, $\Pro (X_{n}=r) \longrightarrow_{n\rightarrow \infty} \Pro(X=r)$. (\textit{ind.} : pour la condition n\'ecessaire, approcher la fonction indicatrice de $r$ par un \'el\'ement de $C_{K}(\mathbb R)$ à support dans $[r-\frac 12, r+\frac 12],$ et pour la condition suffisante, remarquer que $\E(f(X_{n}))=\sum_{r\in K}f(r)\Pro(X_{n}=r)$ pour toute fonction continue \`a support dans le compact $K$.)
\fexer

\begin{Solution}
\quest Soit $f\in C_K(\real)$, $\hbox{supp}(f)\subset [-r+\frac 12,
r+\frac 12],$ $f(r)\neq 0$.  On a $\int_{\real} fd\Pro_{X_n}\to \int_{\real}
fd\Pro_X$ et donc $f(r)\Pro(X_n=r)\to f(r)\Pro(X=r).$  Réciproquement, par la
relation donnée, on a $\E (f(X_n))\to \E(f(X))$, $\forall f\in C_k(\real)$. Donc $\E
f(X_n)\to \E f(X)$ $\forall f\in C_K(\real)$. Comme sur ${\cal M}'$ les topologies
faibles, vagues et étroites coïncident, on conclut.
\end{Solution}

\dexer{Convergence en loi et fonction de r\'epartition, $\cite{O}$, pp. 318-319}\\
Soit $(X_{n})_{n}$ une suite de variables al\'eatoires et $X$ une variable al\'eatoire d\'efinies sur le m\^eme espace de probabilit\'e $(\Omega, {\cal F}, \Pro)$. On note $F_{n}$ la fonction de r\'epartition de $X_{n}$ et $F$ celle de $X$. On a le crit\`ere suivant :
$$X_{n}\Longrightarrow X \; \mbox{\; ssi \;} \; \lim_{n\rightarrow + \infty}F_{n}(x)=F(x)$$
en tout point de continuit\'e $x$ de $F$.

\quest 1) Pour la condition n\'ecessaire, remarquer que si $x$ est un point de
continuit\'e de $F$ alors $(-\infty;x]$ est un ensemble de ${\Pro}_{X}$-continuit\'e.
(C'est-à-dire que $\Pro_X(\{x\})=0$ et donc $P_X(]-\infty,\; y])\to P_X(]-\infty,
x])$ quand $y\to x$.) Rappel : si $\mu_n$ converge étroitement vers $\mu$, alors
$\lim_n\mu(A_n)=\mu(A)$ pour tout borélien de $\mu$-continuité.

\quest 2) Pour la condition suffisante, on se donne un $f \in C_{0}(\mathbb{R})$ et
$\epsilon >0$.

\subquest a) Se rappeler pourquoi l'ensemble des points de discontinuit\'e de $F$ est
au plus d\'enombrable.

\subquest b) Justifier l'existence d'une fonction $g=\sum_{j=1}^{k}\alpha_{j}1_{]a_{j};b_{j}]}$ o\`u $a_{j}<b_{j}\leq a_{j+1}<b_{j+1}$
et $a_{j}$ et $b_{j}$ sont des points de continuit\'e de $F_{X}$ et telle que
$\parallel f-g \parallel_{\infty} \leq \epsilon$. (\textit{ind.} : on pourra se
servir du fait que $f$ est uniformément continue).

\subquest c) Montrer que $\lim_{n\rightarrow +\infty}\mathbb{E}(g(X_{n}))=\E(g(X))$
et conclure. {\it Indication : $\E g(X_n)=\int_{\mathbb R} gd\Pro_{X_n}=\sum_j
 \alpha_j(F_n(b_j)-F_n(a_j))\to \sum_j \alpha_j(F(b_j)-F(a_j))=\E g(X).$}
\fexer

\dexer {\bf Représentation de Skorokhod d'une fonction de répartition}, $\cite{W}$, p. 34.
\label{exosko}

On va montrer que $F :\; {\mathbb R}\to[0,1]$ est la fonction de répartition d'une variable aléatoire réelle si et seulement si $F$ est croissante, continue à droite et si $\lim_{z\to-\infty}F(z)=0$, $\lim_{z\to +\infty}F(z)=1.$

\quest 1) Dessiner $X^+$ et $X^-$ (cf. qusetion 3 pour la d\'efinition) pour les fonctions $F$ suivantes:
$F=\indic_{\mathbb R^+}$, et $F(z)=0$ pour $z\leq 0$, $F(z)=z/2$ pour $0\leq z\leq 1$,
$F(z)=1/2$ pour $1\leq z<2$, $F(z)=1$ pour $z\geq 2$.

\quest 2) Montrer que ces conditions sont nécessaires.

\quest 3) Supposons que $F$ ait les quatre propriétés précédentes. On pose pour
$\omega\in [0,1]$ muni de la tribu des boréliens et de la mesure de Lebesgue,
$$X^+(\omega)=:\; \inf\{z:\; F(z)>\omega\}=\sup\{y:\; F(y)\leq \omega\},$$
$$X^-(\omega)=:\; \inf\{z:\; F(z)\geq \omega\}=\sup\{y:\; F(y)< \omega\}.$$
Remarquer que $(z>X^-(\omega))\Rightarrow (F(z)\geq \omega)$.  En utilisant la
continuité à droite de $F$ montrer que
$$F(X^-(\omega))\geq \omega\hbox{  et que  } (X^-(\omega)\leq c)\Rightarrow(\omega\leq
F(X^-(\omega))\leq F(c)).$$ Déduire que
$$\Pro(X^-\leq c)=F(c).$$

\quest 4) On va montrer que $X^+$ a aussi pour fonction de répartition $F$ et que
$\Pro(X^+=X^-)=1$.  Expliquer successivement pourquoi $(\omega<F(c))\Rightarrow
(X^+(\omega)\leq c),$ $F(c)\leq \Pro(X^+\leq c)$, $X^-\leq X^+$. En remarquant que
$$\Pro(X^- \neq X^+)=\bigcup_{c\in\rational}\{X^-\leq c<X^+\},$$
déduire en utilisant le 2) que $X^+=X^-$ presque partout. Conclure.
\fexer

\begin{Solution}
\quest 3) $z>X(\omega)\Rightarrow F(z)\geq \omega$ par définition de $X^-(\omega).$
On a donc $\forall z>X^-(\omega),$ $F(z)\geq \omega$ et  comme $F$ est continue à
droite, $F(X^-(\omega))\geq \omega.$ Si $X^-(\omega)\leq c$, on a $F(X^-(\omega))\leq
F(c)$ et donc $\omega \leq F(c)$. En résumé, $X^-(\omega)\leq c\Rightarrow \omega\leq
F(c)$ et réciproquement $\omega\leq F(c)\Rightarrow c\geq X^-(\omega)$ par définition
de $X^-(\omega)$.  Donc $X^-(\omega)\leq c\Leftrightarrow \omega\leq F(c).$ En
conséquence, $\Pro(X^-\leq c)=\Pro(\omega \leq F(c))=F(c)-0=F(c).$

\quest 4) $(\omega<F(c))\Rightarrow (X^+(\omega)\leq c)$ par définition de $X^+$.
$F(c)\leq \Pro(X^+\leq c)$ s'en déduit immédiatement puisque
$\Pro(\omega<F(c))=F(c).$  $X^-\leq X^+$ est évident. On a $\Pro(X^-\leq c\leq X^+)
=$ $ \Pro(\{X^-\leq c\}\setminus \{X^+\leq c\})=$ $\Pro(X^-\leq c)-\Pro(X^+\leq c)$
$\leq F(c)-F(c)=0$. Donc $\Pro(X^-\neq X^+)=0$. On obtient $X^+=X^-$ p.s., ce qui
implique que $X^+$ et $X^-$ ont tous deux $F$ comme fonction de répartition.
\end{Solution}

\begin{remf} Etant donn\'e une fonction de r\'epartition $F$, ce th\'
eor\`eme montre comment simuler une variable al\'eatoire $X^-$ de fonction de r\'epartition $F$. Bien entendu, cette m\'ethode suppose que l'on sache calculer $X^-$ \`a partir de $F$...
\end{remf}

\dexer {\bf La représentation de Skorokhod}, $\cite{W}$, p.182.

\quest 1) Déduire des exercices précédents que si $X_n$, de fonction de répartition $F_n$, tend presque sûrement vers $X$, de fonction de répartition $F$, alors $F_n(x)\to F(x)$ en tout point $x$ de continuité de $F$. Notre but est de montrer une sorte de réciproque :
\begin{thf} 
Si $F_n$ et $F$ sont des fonctions de répartition et si $F_n\to F$ en tout point de continuité de $F$, alors il existe   des v.a. $X_n$ et $X$ sur $([0,1],\; {\cal B},\; \Pro)$ (où $\Pro$ est la mesure de Lebesgue)  telles que $F=F_X$, $F_n=F_{X_n}$ et $X_n\to X$ p.s.
\end{thf}

\quest 2) On pose $X^+=: \inf\{z:\; F(z)>\omega\}, \;\; X^-=:\inf\{z:\; F(z)\geq\omega\}$ et on définit de même $X_n^+$ et $X_n^-$.  On rappelle (exercice $\ref{exosko}$) que $X^+$ et $X^-$ ont pour fonction de répartition $F$ et que $\Pro(X^+=X^-)=1$.  On fixe $\omega\in [0,1]$. Soit $z$ un point non atomique pour $F$ vérifiant $z>X^+(\omega).$ Montrer que $\lim\sup_n X_n^+(\omega)\leq z$ et en déduire que $\lim\sup_n X_n^+(\omega)\leq X^+(\omega).$

\quest 3) Adapter l'argument précédent pour montrer que $\lim\inf_n X_n^-(\omega)\geq X^-(\omega)$ et conclure.
\fexer

\begin{Solution}
\quest 2) Par définition de $X^+$, $F(z)>\omega.$ Donc pour $n$ grand,
$F_n(z)>\omega.$ Par la définition de $X_n^+$, on a alors $X_n^+\leq z$ et donc
$\lim\sup X_n^+(\omega)\leq z$. Comme ceci est vrai $\forall z>X^+(\omega)$, on
obtient $\lim\sup_n X_n^+(\omega)\leq X^+(\omega)$.
\end{Solution}

\dexer\textbf{(Théorème de Helly-Bray)}, $\cite{W}$ pp. 183-184.\\
Soit $(F_n)_n$ une suite de fonctions de répartitions sur $\RR$. Le but de l'exercice est de montrer qu'il existe une fonction croissante continue à droite $F$ à valeurs dans $[0,1]$ et une sous-suite $(F_{n_k})_k$ telle que 
$$\lim_{k} F_{n_k} (x) =F(x) \mbox{   en tout point de continuité $x$ de F }$$

\noindent
\quest 1) En utilisant le principe d'extraction diagonale, montrer qu'il existe une sous-suite $(F_{n_k})_k$ telle que pour tout $q\in \QQ$, il existe un réel $H(q)\in [0,1]$ telle que
$$\lim_{k\rightarrow +\infty} F_{n_k} (q)=H(q)$$

\noindent
\quest 2) Pour $x\in \RR$, on définit $F(x)$ par
$$F(x)=\lim_{\substack{q\in \QQ, q>x\\q\rightarrow x}}H(q)$$
Montrer que $F$ est continue à droite.

\quest 3) Conclure.
\fexer