Dans ce chapitre,  on donne plusieurs variantes de la loi des grands nombres parmi les plus classiques et les plus simples. On joint une photocopie de $\cite{Vi}$, pp. 66-67, avec une preuve synthétique en deux pages de la loi forte des grands nombres. \\


\subsection*{Loi faible des grands nombres}
Le premier théorème important et très simple à montrer est la loi faible des grands nombres. On rappelle d'abord
l'inégalité de Markov
$$\Pro(|f(X)|\geq a)\leq \frac{\mathbb{E}|f(X)|}{a}$$
dont on déduit l'inégalité de Tchebychev, pour tout $\varepsilon>0$,
$$\Pro(|X-\mathbb{E}X|\geq \varepsilon)\leq \frac{\sigma^2(X)}{\varepsilon^2}.$$
La preuve consiste à appliquer l'inégalité  de Markov à $f(X)=|X-\mathbb{E}X|^2.$



\begin{thf} Soit un suite de variables aléatoires indépendantes $X_i$ d'espérance $\E X$, $i=1,\dots, n,\dots$
et $S_n:=\sum_{i=1}^n X_i$.  Alors $\Pro (|\frac{S_n}{n}-EX|\geq\varepsilon)\to 0$ quand $n\to\infty$.
\end{thf}
En effet l'espérance de $S_n$ est $n\E X$ et la variance de $S_n$ est $n\sigma^2(X)$. Donc la moyenne de $\frac {S_n}n$
est $\E X$ et sa variance est $\sigma^2=\frac{p(1-p)}{n}.$ Appliquons l'inégalité de  Tchebytchev. On obtient


$$\Pro(|\frac{S_n}n-\mathbb{E}X|\geq \varepsilon)\leq\frac{\sigma^2(X)}{n\varepsilon}\to 0 \hbox{ quand } n\to\infty.$$



\subsection*{La loi forte}
Le second th\'eor\`eme \`a retenir est le suivant :

\begin{thf}
Soit $X_{1},X_{2},\ldots$ des variables al\'eatoires ind\'ependantes identiquement distribu\'ees et inr\'egrables d'esp\'erance $\mu$. Soit $(S_n)_n$ la suite des sommes partielles des $(X_i)_i$. Alors
$$n^{-1}S_{n} \longrightarrow \mu\;\;\;\;\; \mbox{$\PP$ p.s. et dans ${\mathbb L}^{1}$} $$
\end{thf}

\dexer{Lemme de Kronecker ($\cite{W}$ p. 117)}\\
Soit $(b_{n})_{n}$ une suite de r\'eels strictement positifs croissante et tendant vers l'infini. Soit $(x_{n})_{n}$ une suite de r\'eels et d\'efinissons $s_{n}=x_{1}+\ldots x_{n}$. On a alors :
$$\sum_{n}\cfrac{x_{n}}{b_{n}} \mbox{ \; converge \;} \Rightarrow \cfrac{s_{n}}{b_{n}} \rightarrow 0.$$

\quest 1) Montrer d'abord le lemme de Cesàro : si $b_n$ est comme ci-dessus et $v_n\to v_\infty$, alors (en posant $b_0=0$):
$$\frac 1{b_n}\sum_1^n (b_k-b_{k-1})v_k\to v_\infty.$$
(Marche à suivre : fixer $\varepsilon>0$ et $N$ tel que $v_k\geq v_\infty-\varepsilon$ pour $k\geq N$. Montrer en coupant la somme en deux que $\lim\inf_n \frac 1{b_n}\sum_1^n (b_k-b_{k-1})v_k\geq  0+v_\infty-\varepsilon.$)

\quest 2) Démonstration du Lemme de Kronecker : soit $u_n:=\sum_{k\leq n}(\frac{x_k}{b_k}).$  Par hypothèse, $u_\infty=\lim u_n$ existe et on a $u_n-u_{n-1}=\frac{x_n}{b_n}. $  Ecrire $s_n=\sum_1^nb_k(u_k-u_{k-1})$ et déduire du lemme de Césaro que $\frac{s_n}{b_n}\to 0.$
\fexer

\dexer{Très facile !! Loi faible des grands nombres avec moment d'ordre 4 borné, ($\cite{W}$ p. 72)}\\
Soit $X_{1},X_{2},\ldots$ des variables al\'eatoires ind\'ependantes telles qu'il existe une constante $K>0$ v\'erifiant :
$$\E (X_{k})=0, \; \; \; \E (X_{k}^{4}) \leq K$$
Soit $S_{n}=X_{1}+\ldots X_{n}$. Alors
$$\Pro (n^{-1}S_{n} \longrightarrow 0)=1, \qquad \lim_{n\rightarrow \infty}\cfrac{S_n}{n}=0 \text{   dans ${\mathbb L}^4$}$$

\quest 1)  Vérifier que $\esp X_i^2$ et $\esp X_i^3$ ont un sens. Montrer que
$$ E(S_n^4)=E\left(\sum_k X_k^4+ 6\sum\sum_{i<j}X_i^2X_j^2\right)$$
En utilisant $(E(X_i^2))^2\leq E X_i^4$ (le montrer), en déduire que
$$E(S_n^4)\leq nK+3n(n-1)K\leq 3Kn^2.$$

\quest 2) Montrer que $E(\sum_n(\frac{S_n}n)^4)\leq 3K\sum n^{-2}$ et conclure.
\fexer

\dexer{Très général et pratique : la loi forte des grands nombres avec v.a. non-corr\'elées, pas nécessairement indépendantes, ($\cite{Brp}$, p. 228).}\\
Soit $X_{1},X_{2},\ldots$ des variables al\'eatoires identiquement distribu\'ees. Supposons que leur moyenne $\mu=\E(X_{1})$ soit d\'efinie et qu'elles aient une variance finie $\sigma^{2}$. Supposons de plus qu'elles soient non corr\'el\'ees, c'est-\`a-dire :
$$i\neq j \Longrightarrow \E \left[ (X_{i}-\mu)(X_{j}-\mu)\right]=0$$
Soit $S_{n}=X_{1}+\ldots X_{n}$. Alors
$$\Pro (n^{-1}S_{n} \longrightarrow \mu)=1$$

\quest 1) Montrer que l'on peut se ramener au cas $\mu=0$.

\quest 2) On pose $Z_{m}=\sup_{1 \leq k \leq 2m+1}\left| X_{m^{2}+1}+ \ldots+X_{m^{2}+k}\right|$. Montrer qu'il suffit de montrer
\begin{equation}
\label{LGN1}
\Pro \; p.s., \;\lim_{m\rightarrow +\infty}\cfrac{S_{m^{2}}}{m^{2}}=0,
\end{equation}
\begin{equation}
\label{LGN2}
\Pro \; p.s., \lim_{m\rightarrow +\infty}\cfrac{Z_{m}}{m^{2}}=0
\end{equation}
On considérera l'entier $m(n)$ tel que $m(n)^2\leq n\leq (m(n)+1)^2$ et on remarquera que
$$|\frac{S_n}n|\leq |\frac{S_{m(n)^2}}{m(n)^2}|+|\frac{Z_{m(n)}}{m(n)^2}|.$$

\quest 3) Montrer que $\Pro \left( |S_{m^2}/m^{2}| \geq \epsilon \right)\leq \cfrac{{\sigma}^{2}}{m^{2}\epsilon^{2}}$. En d\'eduire, en utilisant le lemme de Borel-Cantelli, l'assertion ($\ref{LGN1}$).

\quest 4) On d\'efinit $\zeta_{k}^{(m)}= X_{m^{2}+1}+\ldots+X_{m^{2}+k}$. Montrer que
$$\Pro \left( \cfrac{Z_{m}}{m^{2}}\geq \epsilon \right) \leq \sum_{k=1}^{2m+1} \Pro \left( |\zeta_{k}^{m}|\geq m^{2}\epsilon\right).$$
Montrer que $\Pro(|\zeta_k^{(m)}|\geq m^2\varepsilon)\leq \frac{(2m+1)\sigma^2}{m^4\varepsilon^2}.$ En utilisant le lemme de Borel-Cantelli, en d\'eduire l'assertion ($\ref{LGN2}$) et conclure.
\fexer

\begin{remf}
Dans $\cite{Du}$, p. 36,  on trouve un th\'eor\`eme de lgn pour des variables non corrél\'ees qui ressemble \`a celui-ci. Il n'y est cependant prouv\'e que la convergence en probabilit\'e.
\end{remf}

\dexer{In\'egalit\'e de Kolmogorov, ($\cite{F}$, tome 1, p 234-235)}\\
0n reverra cette inégalité quand on traitera les martingales. Soit $X_{1},\ldots, X_{n}$ des variables al\'eatoires ind\'ependantes centr\'ees. On pose $S_{n}=X_{1}+\ldots X_{n}$ et $s_{k}^{2}$ la variance de $S_{k}$.
On a l'in\'egalit\'e suivante :
$$\Pro ( \exists k \in \{1\ldots n\}, |S_{k}|\geq ts_{n}) \leq t^{-2}.$$
On pose pour $\nu \in \{1 \ldots n\}$, $Y_{\nu}=1_{|S_{\nu}|\geq ts_{n}}1_{\left\{|S_{k}|<ts_{n} \mbox {\; pour \;} k=1,\ldots, \nu -1 \right\}}.$

\quest 1) Montrer que $Y_{1}+\ldots Y_{n}=1_{\left\{\exists k \in \{1\ldots n\},\; |S_{k}|\geq ts_{n}\right\}}$.

\quest 2) Montrer que $\sum_{k=1}^{n}\E (Y_{k}S_{n}^{2}) \leq s_{n}^{2}$.

\quest 3) On pose $U_{k}=S_{n}-S_{k}$. En remarquant que $U_{k}$ est ind\'ependant de $Y_{k}S_{k}$, montrer que
$$\E(Y_{k}S_{n}^{2})\geq \E(Y_{k}S_{k}^{2})$$

\quest 4) Montrer que $Y_{k}S_{k}^{2} \geq t^{2}s_{n}^{2}Y_{k}$ et d\'eduire de 2) et 3) le r\'esultat annonc\'e.
\fexer

\begin{Solution}
\quest 1) En effet, les évènements $Y_\nu=1$ sont disjoints et leur union est bien l'évènement qui nous intéresse.

\quest 2) En effet, $\sum_{k=1}^n Y_k\leq 1$. Il suffit de multiplier par $S_n^2$ et de prendre l'espérance.

\quest 3) $\esp(Y_kS_n^2)=\esp(Y_k(S_k+U_k)^2)=\esp(Y_kS_k^2)+2\esp(Y_kS_kU_k)+\esp(Y_kU_k^2).$ Le deuxième terme est nul par l'indépendance mentionnée et le troisième terme est positif.

\quest 4)  L'inégalité demandée est une conséquence immédiate de la définition de $Y_k$. En utilisant successivement cette dernière inégalité, puis celle de 3) et finalement celle de 2), on a
$$\Pro(\exists k\in\{1,\dots,\;n\}\; |S_k|\geq tS_n)=\esp(Y_1+\dots\;+Y_n)\leq \frac 1{t^2s_n^2} \esp(\sum_kY_kS_k^2)$$
$$\leq \frac 1{t^2s_n^2}\esp(\sum_{k=1}^n Y_kS_n^2)\leq t^{-2}.$$
\end{Solution}

\dexer{Loi forte des grands nombres avec une contrainte sur la  variance ($\cite{F}$, tome 2).}\\
Soit $(W_{n})_{n\in \natural}$ une suite de variables ind\'ependantes centr\'ees ayant des variances $\sigma_{n}^{2}=Var(W_{n})$ telles que :
$$\sum_{n}\cfrac{\sigma_{n}^{2}}{n^{2}}<+\infty$$
Alors $\Pro \; p.s. \; \; \lim_{n\rightarrow +\infty}\cfrac{1}{n}\sum_{k=1}^{n}W_{k}=0$

\quest 1) D\'emontrer le th\'eor\`eme de Kronecker.

\quest 2) On pose $X_{n}=W_{n}/n$ qui sont centr\'ees et telles que :
$$\sum_{n}Var(X_{n})<+\infty$$
et $S_{n}=\sum_{k=1}^{n}X_{k}$. On va montrer qu'avec probabilit\'e 1, $\sum_{n}X_{n}$ converge.\\

\medskip 2a) Montrer qu'il suffit de prouver que pour tout $\epsilon > 0$,
$$\lim_{n_{0}\rightarrow +\infty} \Pro ( \exists \; m,n \geq n_{0}, \; |S_{m}-S_{n}|>\epsilon )=0$$

\medskip 2b) Montrer que $$\lim_{m\rightarrow + \infty} \Pro ( \exists \; k \in \{n_{0} \ldots m\}, |S_{n_{0}}-S_{k}|> \epsilon/2)\geq\Pro ( \exists \; m,n \geq n_{0}, |S_{m}-S_{n}|>\epsilon )$$

\quest 3) Utiliser l'in\'egalit\'e de Kolmogorov et conclure.
\fexer

\begin{Solution}
\medskip 2a) Supposons que l'on ait d\'emontr\'e que pour tout $\epsilon >0$
$$\lim_{n_{0}\rightarrow +\infty} \Pro ( \exists \; m,n \geq n_{0}, \; |S_{m}-S_{n}|>\epsilon )=0$$
On a :
$$\Pro (\{\exists \epsilon>0, \; \forall n_{0} \; ,\; \exists m,n \geq n_{0} \; ,\; |S_{m}-S_{n}|>\epsilon\}) \leq \sum_{\epsilon \in {\mathbb Q }^{+}}\Pro (\{\forall n_{0} \; ,\; \exists m,n \geq n_{0} \; ,\; |S_{m}-S_{n}|>\epsilon\})$$
et il suffit donc de montrer que pour $\epsilon>0$ fix\'e,
$$\Pro (\{\forall n_{0} \; ,\; \exists m,n \geq n_{0} \; ,\; |S_{m}-S_{n}|>\epsilon\})=0 $$
Ce dernier terme s'\'ecrit $\Pro(\bigcap_{n_{0}}A_{n_{0}})$ o\`u les $A_{n_{0}}=\{\exists m,n \geq n_{0} \; ,\; |S_{m}-S_{n}|>\epsilon\}$ sont d\'ecroissants. D'o\`u :
$$\Pro (\{\forall n_{0} \; ,\; \exists m,n \geq n_{0} \; , \; |S_{m}-S_{n}|>\epsilon\})
=\lim_{n_{0}\rightarrow +\infty}\Pro(A_{n_{0}})=0 \;\;\; \mbox{par
hypoth\`ese.}$$ \noindent
\medskip 2b) On remarque ais\'ement en utilisant l'in\'egalit\'e triangulaire que :
$$A_{n_{0}} \subset \bigcup_{m\geq n_{0}}\{|S_{m}-S_{n_{0}}|>\epsilon /2\}$$
Or
$$\bigcup_{m\geq n_{0}}\{|S_{m}-S_{n_{0}}|>\epsilon /2\}=\bigcup_{m\geq n_{0}}\bigcup_{m\geq k \geq n_{0}}\{|S_{k}-S_{n_{0}}|>\epsilon /2\}$$
Et les \'ev\'enements $B_{m}=\bigcup_{m\geq k \geq n_{0}}\{|S_{k}-S_{n_{0}}|>\epsilon /2\}$ sont croissants. D'o\`u 2b).\\

\quest 3) En appliquant soigneusement l'in\'egalit\'e de Kolmogorov, on a :
$$ \Pro ( \exists \; k \in \{n_{0} \ldots m\}, |S_{n_{0}}-S_{k}|> \epsilon/2)\leq \cfrac{4 Var(X_{n_{0}+1}+\ldots +X_{m})}{\epsilon^{2}}$$
Le terme de droite s'\'ecrit en raison de l'ind\'ependance des $X_{k}$,
$$\cfrac{4}{\epsilon ^{2}}\sum_{k=n_{0}+1}^{m}Var(X_{k})$$
Prenant la limite quand $m$ tend vers l'infini puis la limite quand $n_{0}$ tend vers l'infini, le r\'esultat tombe.
\end{Solution}

\dexer{Lemme de troncature de Kolmogorov ($\cite{W}$, 12.9 p. 118)}\\
Soit $X_{1},X_{2},\ldots$ des variables al\'eatoires ind\'ependantes identiquement distribu\'ees ayant la m\^eme loi que $X$ et int\'egrables. Soit $\mu={\mathbb E} (X)$. On d\'efinit :
$$Y_{n}=X_{n}\indic_{|X_{n}|\leq n}$$
Alors :\\
i) $\E (Y_n) \rightarrow \mu$ \\
ii) $\Pro (X_{n}=Y_{n} \mbox{ \; \;sauf pour un nombre fini de $n$}\; )=1$\\
iii) $\sum_{n}\left(Var(Y_{n})/n^{2}\right)<+\infty$\\
On pose $Z_{n}=X\indic_{|X|\leq n}$. Montrer que la loi de $Z_{n}$ est la m\^eme que cellle de $Y_{n}$.

\quest 1) D\'emontrer i).\\

\quest 2) Montrer que $\sum_{n}\Pro (X_{n} \neq Y_{n}) < +\infty$ et en d\'eduire ii).\\

\quest 3) Montrer que $\sum_{n}\left(Var(Y_{n})/n^{2}\right)\leq \E (|X|^{2}f(|X|))$ o\`u $f(z)= \sum_{n\geq \sup(1,z)}1/n^{2}$. Prouver que $f(z) \leq 2/\sup(1,z)$ et en d\'eduire iii).
\fexer

\begin{Solution}
\quest 1) On pose $Z_n=1_{\{|X|\leq n\}}X$ qui est majorée en valeur absolue par $|X|$ intégrable et qui tend $\PP$ presque sûrement vers $X$. Le théorème de convergence dominée donne le résultat.

\quest 2) $\sum_{n}\PP(Y_n\neq X_n)=\sum_{n}\PP(|X_n|>n)=\sum_{n}\PP(|X|>n)$. Or on a :
$$\sum_n \PP(|X|>n)={\mathbb E}\left(\sum_n 1_{\{|X|>n\}}\right)={\mathbb E}\left(\sum_{n<|X|}1\right)\leq {\mathbb E}(|X|)<+\infty$$
Par le lemme de Borel-Cantelli 1, on obtient ii).

\quest 3) Il suffit d'écrire que
$$\sum_n \cfrac{Var(Y_n)}{n^2}\leq \sum_n \cfrac{{\mathbb E}\left(|X|^2; |X|<n\right)}{n^2}={\mathbb E}(|X|^2 f(|X|)$$
L'inégalité concernant $f$ se montre facilement et on obtient donc
$$\sum_n \cfrac{Var(Y_n)}{n^2}\leq 2{\mathbb E}(|X|)$$
\end{Solution}

\dexer{Loi forte des grands nombres : d\'emonstration via les troncatures ($\cite{W}$)}\\
Soit $X_{1},X_{2},\ldots$ des variables al\'eatoires ind\'ependantes identiquement distribu\'ees et inr\'egrables d'esp\'erance $\mu$. Alors
$$\Pro (n^{-1}S_{n} \longrightarrow \mu)=1$$
Cette d\'emonstration se fait au moyen de deux ingr\'edients : le lemme de troncature de Kolmogorov et une loi forte sous contrainte de variance. D\'emontrer le th\'eor\`eme.
\fexer

\begin{Solution}
\quest On pose $Y_n=1_{\{|X_n|\leq n\}}X_n$. D'après le ii) du lemme de troncature, $Y_n =X_n$ sauf pour un nombre fini de $n$ d'où, $\PP$ presque sûrement,
$$\lim_{n\rightarrow \infty}\left\{\cfrac{1}{n}\sum_{k=1}^{n}Y_k - \cfrac{1}{n}\sum_{k=1}^{n}X_k\right\}=0$$
Il nous reste donc à montrer que $\PP$ presque sûrement
$$\lim_{n\rightarrow \infty}\cfrac{1}{n}\sum_{k=1}^{n}Y_k=\mu$$
Or
$$\cfrac{1}{n}\sum_{k=1}^{n} Y_k=\cfrac{1}{n}\sum_{k=1}^{n}{\mathbb E}(Y_k)+\cfrac{1}{n}\sum_{k=1}^{n}W_k$$
où $W_k =Y_k-{\mathbb E}(Y_k)$.\\
Mais par le i) du lemme de troncature de Kolmogorov,
$${\mathbb E}(Y_k)\rightarrow \mu$$
et par le théorème de Césaro,
$$\lim_{n\rightarrow \infty}\cfrac{1}{n}\sum_{k=1}^{n}{\mathbb E}(Y_k)=\mu$$
Quant au deuxième terme, $\cfrac{1}{n}\sum_{k=1}^{n}W_k$, il se
traite grâce à la loi forte des grand nombres avec une contrainte
sur la variance. En effet, les $W_k$ sont i.i.d. centrées et leurs
variances sont données par $Var(W_k)=Var(Y_k)$. Par iii) du lemme
de troncature de Kolmogorov et la loi des grands nombres avec
contrainte sur la variance, on conclut.
\end{Solution}

\dexer La démonstration d'Etemadi (1981). Nous donnons cette démonstration sous la forme élégante proposée par $\cite{Vi}$, p. 66-67).

\quest 1) Lire attentivement les sept inégalités et égalités de la page 66 et les justifier.

\quest 2) Lire attentivement. Remarquer que le haut de la page 67 est le lemme de troncature de Kolmogorov.
\fexer

\dexer
On rappelle le th\'eor\`eme de Sheff\'e : \textit{Si une suite de variables al\'eatoires $(X_n)_n \in {\mathbb L}^{1}$ vérifie $X_n\geq 0$, $X_n \to X$ presque s\^urement, $X \in {\mathbb L}^{1}$ et ${\mathbb E} (X_n) \to {\mathbb E}(X)$, alors $X_n\to X$ dans ${\mathbb L}^{1}$}.\\
Soit $(X_n)_n$ une suite i.i.d. de variables al\'eatoires int\'egrables. Montrer que $(S_n)_n=\left(n^{-1}\sum_{k=1}^{n}X_k \right)_n$ converge dans ${\mathbb L}^{1}$ vers ${\mathbb E}(X_1)$.
\fexer

\begin{Solution}
\quest Si $Z$ est une variable al\'eatoire, on note $Z^+=\sup(Z,0)$ sa partie positive et $Z^{-}=\sup(-Z,0)$ sa partie n\'egative si bien que $Z=Z^+ - Z^-$. On consid\`ere les variables al\'eatoires i.i.d. int\'egrables $(X_n^+)_n$ d'esp\'erance ${\mathbb E}(X_1^{+})$ et on forme la suite $(S_{n,+})_{n}$ d\'efinie par
$$S_{n,+}=n^{-1}\left(X_1^+ + \ldots +X_n^+ \right)$$
On sait que $\PP$ p.s., la suite $(S_{n,+})_n$ converge vers ${\mathbb E}(X_{1}^{+})$ et d'autre part, on a ${\mathbb E}(S_{n,+})={\mathbb E}(X_{1}^{+})$ donc par le th\'eor\`eme de Sheff\'e, on a que la convergence de $(S_{n,+})_n$ vers la constante ${\mathbb E}(X_1^+)$ a lieu dans ${\mathbb L}^{1}$. De m\^eme, en consid\'erant $(X_n^{-})_n$, et $S_{n,-}=n^{-1} (X_1^{-}+\ldots +X_{n}^{-})$, on a la convergence de $(S_{n,-})_n$ vers ${\mathbb E}(X_1^{-})$. Vu que $S_n = S_{n,+}-S_{n,-}$ pour tout $n$, on en d\'eduit imm\'ediatement le r\'esultat.
\end{Solution}


\begin {remf}
1. Nous n'avons pas énoncé le théorème des trois séries de Kolmogorov, que l'on pourra trouver dans $\cite{W}$ par exemple. Il est d'usage d'en parler lorsqu'on traite la loi des grands nombres mais il en est indépendant (même si les techniques sont les mêmes).\\
2. On pourra consulter $\cite{F}$, tome 1, pp. 243-263, et surtout les exercices pour des g\'en\'eralisations de la loi des grands nombres. Il sera aussi bon de s'int\'eresser au th\'eor\`eme ergodique qui est une g\'en\'eralisation de la loi des grans nombres pour les processus stationnaires ($\cite{GS}$).\\
3. La loi des grands nombres est énormément utilisé en statistique (pour construire des estimateurs par exemple), d'un point de vue numérique pour estimer des intégrales (méthode de Monte Carlo)...
\end{remf}
