\section{TD Probabilit\'es : Esp\'erance conditionnelle}

\dexer{\bf Les propriétés fondamentales : les lire ($\cite{W}$ p. 88 et la dernière page)}
Soit $(\Omega,\;\FF, \;\Pro)$ un espace de probabilité. On suppose que $X$,
$\FF$-mesurable,  vérifie $\E |X|<\infty.$ $\GG$ et $\HH$ sont des sous-tribus de
$\FF$.  On rappelle qu'il existe une unique v.a. $\GG$-mesurable et sommable, notée
$\E(X|G)$ telle que
\begin{equation}\label{esperanceconditionnelle}
\forall G\in \GG, \; \int_G \E(X|\GG) d\Pro=\int_G Xd\Pro.
\end{equation} (L'unicité est
vraie modulo un ensemble de mesure nulle).  De manière plus condensée :
$$\forall G\in \GG, \; \E(\E(X|\GG); G)= E(X ; \GG),$$
où $E(X ; G)=\int_G Xd\Pro.$

 \pal (a) On pose $Y =\esp(X|\GG)$, alors
$\esp(Y)=\esp(X).$

\pal (b) Si $X$ est $\GG$-mesurable, alors $\esp(X|\GG)=X$ p.p.

\pal (c) {\bf Linéarité} $\esp(aX_1+a_2X_2|\GG)=a_1\esp(X_1|\GG)+a_2\E(X_2|\GG),$
p.p.

\pal (d) {\bf Positivité} Si $X\geq 0$, alors $\esp(X|\GG)\geq 0$, p.p.

\pal (e) {\bf C-Convergence monotone} Si $0\leq X_n\uparrow X$, alors
$\esp(X_n|\GG)\uparrow \esp(X|\GG),$ p.p.

\pal (f) {\bf C-Fatou} Si $X_n\geq 0$, alors $\esp(\lim \inf X_n|\GG)\leq
\lim\inf\esp(X_n|\GG),$ p.p.

\pal (g) {\bf C-Convergence dominée} Si $\forall n\; |X_n(\omega)|\leq V(\omega)$,
$\esp V<\infty$ et $X_n\to X$ p.p., alors
$$\esp(|X_n-X|\; |\GG)\to 0, \;  p.p.$$ (Par Jensen juste après, on déduit que
$\esp(X_n\; |\GG)\to \esp(X\;|\GG), \;  p.p.$

\pal (h) {\bf C-Jensen} Si $c:$ $\real\to \real$ est convexe et $\esp|c(X)|<\infty$,
alors $$\esp(c(X)|\GG)\geq c(\esp(X|\GG)),\;\;\; \hbox{p.p.}$$ Corollaire :
$||\esp(X|\GG)||_p\leq ||X||_p.$

\pal (i) {\bf Emboitement} Si $\HH$ est une sous-tribu de $\GG$, alors

 $$ \esp(\esp(X|\GG)|\HH)=\esp(X|H), \;\; \hbox{p.p.}$$

 \pal (j) {\bf "Sortir ce qui est connu"} Si $Z$ est $\GG$-mesurable et bornée, alors
 $$\esp(ZX|\GG)=Z\esp(X|\GG),\hbox{  p.p. }.$$
Généralisations : encore vrai si $X\in L^p$ et $Z\in L^{p'}$, ou si $X\in (m\FF)^+$,
$Z\in (m\GG)^+$, $\esp(X)<\infty$ et $\esp(ZX)<\infty.$

\pal (k) {\bf Rôle de l'indépendance}  Si $\HH$ est indépendant de $\sigma(\sigma(X),
\GG)$, alors
$$\esp (X|\sigma(\GG, \HH))=\esp(X|\GG), \;\; \hbox{p.p.}$$
En particulier, si $X$ est indépendant de $\HH$, alors $\E(X|\HH)=E(X).$

\fexer

\dexer{\bf Les propriétés fondamentales : les démontrer ($\cite{W}$ p. 89, 90) }

\pal (a) Provient de la relation fondamentale (\ref{esperanceconditionnelle})
appliquée à $G=\Omega$.

\pal (b) Découle de l'unicité de  la fonction $\GG$-mesurable satisfaisant
($\ref{esperanceconditionnelle}$), i.e. de l'unicité de l'espérance conditionnelle.

\pal (c) De même (expliquer !).

\pal (d) Considérer l'ensemble $G=\{ \E(X|\GG)<-\frac 1 n\}$ et appliquer la relation
fondamentale.

\pal (e) Poser $Y=\lim\sup \E(X_n|\GG),$ montrer qu'elle est $\GG$-mesurable, qu'elle
est la limite presque partout des $\E(X_n|\GG)$. Montrer que $\lim_n \E(\E(X_n|\GG) ;
G)=\E(Y ; G)$ et conclure.

\pal (f) Reprendre la démonstration qui dérive le lemme de Fatou du théorème de
converge monotone pour déduire {\bf C-Fatou} de {\bf C-convergence monotone}. (Poser
$Y_n = \E(X_n, \GG)$, puis $Z_n = \inf_{k\geq n} Y_n$ et lui appliquer {\bf
C-monotone}.)

\pal (g)  Reprendre la démonstration qui déduit le théorème de convergence monotone
du lemme de Fatou pour déduire {\bf C-convergence dominée} de {\bf C-Fatou}.

\pal (h)

\subquest (h1) Soit $c : \; \real \to \real$  convexe. Montrer qu'il existe une suite
dénombrable $(a_n, b_n)_n\in \real^2$ telle que
$$c(x)=\sup_n(a_n x +b_n), \; x\in \real.$$ (Remarquer que $c$ est continue,
 d'épigraphe donc
fermé, et utiliser par exemple Hahn-Banach : Il y a un hyperplan séparant tout  point
n'appartenant pas à un convexe fermé de ce convexe).

\subquest (h2)  Déduire que $$\E(c(X)|\GG)\geq a_n \E(X|\GG) +b_n$$ et conclure. Pour
montrer l'extension de (h), prendre $c(x)=|x|^p$.

\pal (i) A vous !

\pal (j) La propriété est linéaire :  Appliquer la "machine standard", c'est-à-dire
montrer que la propriété est vraie quand $Z$ est une fonction indicatrice d'élément
$G$ de $\GG$, puis une fonction en escalier positive, puis une fonction
$\GG$-mesurable positive quelconque, puis une fonction $\GG$-mesurable quelconque
telle que $\E (|ZX|)<\infty.$  Vérifier que la preuve s'applique aux généralisations
indiquées.

\pal (k) Supposer s.p.d.g. que $X\geq 0$ et $\E(X)<\infty$.

\subquest (k1) Montrer que si $G\in \GG$ et $H\in \HH$, alors $$\E(X ; G\cap
H)=E(X\indic_G)\Pro(H).$$

\subquest (k2) Poser $Y=\E(X|\GG).$ Montrer que
$$\E((Y\indic_G)\indic_H)=\E(Y\indic_G)\Pro(H).$$

\subquest (k3) Déduire que les mesures $F\to \E(X;F)$ et $F\to \E(Y;F)$ définies sur
$\sigma(\GG, \HH)$ coïncident sur le $\pi$-système des ensembles de la forme $G\cap
H$ ($G\in \HH)$, $H\in \HH$) et donc sur $\sigma(\GG, \HH)$.  Conclure.
 \fexer

 \dexer{\bf Comprendre de quoi on parle}\\
Soit $(\Omega, \FF, \Pro)$ un espace  de probabilité et $A_1, \ldots, \; A_n$ une partition de $\Omega$ en ensembles
 mesurables et $\GG$ la sous-tribu engendrée par ces ensembles. Décrire cette tribu et calculer $E(X|\GG)$, pour $X$ $\FF$-mesurable.
\fexer

\dexer{\bf Lois de Bernoulli et uniforme ($\cite{O}$ Ex. 11.2 p.171)}\\
Soient $n$ variables aléatoires $X_1,X_2,\ldots,X_n$ indépendantes de même loi de Bernoulli de paramètre $p\in (0,1)$. On note $X$ le vecteur aléatoire $X=(X_1,X_2,\ldots,X_n)$ à valeurs dans $\{0,1\}^n$ et $S_n =\sum_{i=1}^{n} X_i$. Montrer que conditionnellement à $S_n=s$, le vecteur $X$ est réparti selon une loi uniforme sur l'hyperplan $\left\{(k_1,k_2,\ldots,k_n)|\sum_{i=1}^{n} k_i =s\right\}$ pour $0\leq s\leq n$. 
\fexer


\dexer {\bf Application importante}\\
Soient $X_1,\; X_2,\dots X_n$ des variables aléatoires i.i.d. sommables et $S_n=X_1+\dots \;+X_n$. On va montrer que $\E(X_1|S_n)=\dots =\E(X_n|S_n) =\cfrac{S_n}{n}.$
\noindent
On pose
$$\GG_n=\sigma(S_n,\; S_{n+1},\dots)=\sigma(S_n, X_{n+1}, X_{n+2},\dots).$$
\quest 1) Montrer en utilisant (k) que
$$\E(X_1|\GG_n)=\E(X_1|S_n).$$

\quest 2)  Montrer que  $\E(X_1|S_n)=\dots =\E(X_n|S_n).$ \newline (On montrera que
pour tout borélien $B$, $\E(X_1 ; S_n\in B)=\dots =\E(X_n  ; S_n\in B)$.)

\quest 3) En déduire que
$$\E(X_1|S_n)=\dots =\E(X_n|S_n)=\frac 1n  \E(X_1+\dots +X_n|S_n)=\frac 1n S_n.$$
\fexer

\dexer {\bf Densités conditionnelles 1}\\
\begin{thf} ({\bf rappel ($\cite{W}$ p. 87) et application : $\cite{Brpf}$ p. 212}). Soient $X$ et $Z$ deux v.a. qui ont une densité de
probabilité jointe $f_{X, Z}(x,z)$. Alors $f_Z(z)=\int_{\real} f_{X,Z}(x,z)dx$ est
une densité de probabilité pour $Z$. On définit la densité conditionnelle $f_{X|Z}$
de $X$ sachant $Z$ par
$$f_{X|Z}(x|z):= \frac {f_{X,Z}(x,z)}{f_Z(z)} \hbox{ si } f_Z(z)\neq 0,\; =0 \hbox{
sinon.}$$ On pose alors
$$g(z):=\int_{\real}h(x)f_{X|Z}(x|z)dx.$$
Alors  l'espérance conditionnelle de $h(X)$ sachant $\sigma (Z)$ est égale à $g(Z)$:
$$\E(h(X)|\sigma(Z))=g(Z)=\int_{\real}h(x)f_{X|Z}(x|Z)dx.$$
\end{thf}

\noindent
Soient $X,Y,Z$ trois variables aléatoires réelles telles que\\
1) $X$ est uniformément répartie sur $[0,1]$;\\
2) Sachant que $X=x$, $Y$ admet une densité conditionnelle $f_{Y|X}(y|x)$ donnée par
\begin{equation*}
f_{Y|X}(y|x)=
\begin{cases}
(y-x)e^{-(y-x)} \text{ \; si\; } y>x\\
0 \text{\; sinon\;}
\end{cases}
\end{equation*}
3) Sachant que $X=x$ et $Y=y$, $Z$ admet une densité conditionnelle $f_{Z|(X,Y)}(z|(x,y))$ définie par
\begin{equation*}
f_{Z|(X,Y)}(z|(x,y))=
\begin{cases}
(y-x)e^{-z(y-x)} \text{ \; si\; } z>0\\
0 \text{\; sinon\;}
\end{cases}
\end{equation*}
pour $(x,y)\in A=\left\{(x,y)\in \RR^2 | x\in [0,1] \text{\; et \;} y>x \right\}$.\\

\quest 1) Montrer que $(X,Y,Z)$ admet une densité sur $\RR^3$ donnée par
$$f_{(X,Y,Z)}(x,y,z)=(y-x)^2 e^{-(y-x)(z+1)}\indic_B (x,y,z)$$
où $B=\left\{(x,y,z)\in \RR^3 | x\in [0,1],\; y>x,\; z>0 \right\}$.

\quest 2) Montrer que la loi de $Z$ est donnée par la densité
$$f_Z (z) =\cfrac{2}{(z+1)^3} \indic_{z>0}$$

\quest 3) Montrer que la loi conditionnelle de $(X,Y)$ sachant $Z=z$ est donnée par la densité conditionnelle
$$f_{(X,Y)|Z}((x,y)|z)=\cfrac{1}{2} (z+1)^3 (y-x)^2 e^{-(y-x)(z+1)}\indic_{A} (x,y)$$

\quest 4) Calculer ${\mathbb E}(\sqrt{Y-X}|Z=z)$, puis ${\mathbb E}(\sqrt{Y-X})$.

\quest 5) On pose $U=Y-X$ et $V=Z(Y-X)$. Montrer que $(X,U,V)$ admet pour densité
$$f_{(X,U,V)}(x,u,v)=\indic_{[0,1]}(x) ue^{-u}\indic_{u>0,v>0}$$

\quest 6) $X,U,V$ sont-elles indépendantes ?
\fexer


\dexer {\bf Densités conditionnelles 2}\\
\quest Soient $X_1,\dots, X_n$ des variables aléatoires i.i.d. de densité commune $f(x)$ et de
fonction de répartition $F(x)=\int_{-\infty}^x f(u)du.$ On pose
$$Y=\max(X_1,\dots, X_n) \hbox{ et } Z=\min(X_1,\dots, X_n).$$

\quest 1) En remarquant que $F_{Y,Z}(y,z)=\Pro(Y\leq y)-\Pro(Y\leq y, Z>z),$ montrer
que
$$F_{Y,Z}(y,z)= F(y)^n-(F(y)-F(z))^n \hbox{ si } y\geq z,$$
$$\hbox{ et } F_{Y,Z}(y,z)= F(y)^n  \hbox{ si } y< z.$$

\quest 2) En déduire que
$$f_{Y,Z}(y,z)= n(n-1)(F(y)-F(z))^{n-2} f(y)f(z)\indic{y\geq z}.$$

\quest 3) En déduire une formule intégrale pour $\E(Z|Y)$.

\quest 4) Si les $X_n$ sont équiréparties sur $[0,1]$, en déduire que
$$f_{Z|Y}(z,y)=(n-1) \frac{(y-z)^{n-2}}{y^n}\indic_{0\leq z\leq y\leq 1}.$$
\fexer

\dexer
\textbf{Processus de Poisson} ($\cite{O}$ exercice 11.3, pp. 171-177)\\
Soit $(W_n)_{n \in {\mathbb N}^{*}}$ une suite croissante de variables al\'eatoires positives telles que $W_{0}=0$. Soit, pour $n\in {\mathbb N}^{*}$, la variable al\'eatoire $T_{n}=W_{n}-W_{n-1}$. On suppose que les variables al\'eatoires $T_{n}$ forment une famille de variables al\'eatoires ind\'ependantes de m\^eme loi exponentielle $\exp(\lambda)$ o\`u $\lambda$ est un r\'eel strictement positif. On pose $X_{0}=0$ et pour tout $t>0$,
$$X_t=\sum_{n \in {\mathbb N}^*}1_{\{W_{n}\leq t\}}$$
La famille de variables al\'eatoires $(X_{t})_{t \in {\mathbb R}^{+}}$ est appel\'ee processus de Poisson d'intensit\'e $\lambda$.

\quest 1) Montrer que $\Pro$ presque s\^urement $t \rightarrow X_{t}$ est une fonction c\`adl\`ag (continue \`a droite avec des limites \`a gauches) croissante et que les points de discontinuit\'es sont les $W_{n}$.

\quest 2) Soit $s,t$ tels que $0 \leq s <t$. Calculer l'int\'egrale d\'efinie pour tout $n\in {\mathbb N}^{*}$ par
$$I_{n}(s,t)=\int_{\mathbb R}^{n}1_{(s\leq x_{1}\leq \ldots \leq x_{n} \leq t)}dx_{1}\ldots dx_{n} $$
\\
\newline{}
On pourra soit proc\'eder par r\'ecurrence comme Ouvrard, soit remarquer que si ${\cal S}_{n}$ d\'esigne le groupe des permutations sur $\{1,\ldots, n\}$, on a
$$\forall \sigma \in {\cal S}_{n}, \; I_{n}(s,t)=\int_{{\mathbb R}^{n}}1_{(s\leq x_{\sigma(1)}\leq \ldots \leq x_{\sigma(n)} \leq t)}dx_{1}\ldots dx_{n} $$
et
$$\sum_{\sigma \in {\cal S}_{n}} 1_{(s\leq x_{\sigma(1)}\leq \ldots \leq x_{\sigma(n)} \leq t)}=1_{(x_{1},\ldots,x_{n})\in [s,t]^{n}}$$

\quest 3) Calculer pour tout $n\in {\mathbb N}^{*}$ et toute famille $(f_{j})_{j \in \{1,\ldots, n}$ de fonctions positives mesurables born\'ees sur $\mathbb R$ la quantit\'e
$$\E\left[1_{(X_t=n)}\prod_{j=1}^{n}f_{j}(W_{j})\right]$$
En d\'eduire la loi de $X_{t}$ et une loi conditionnelle de $(W_{1},\ldots,W_{n})$ sachant $\{X_{t}=n\}$.
\\
\newline{}
Commencer par remarquer que $\{X_{t}=n\}=\{W_{n}\leq t\}\cap\{W_{n+1}>t\}$ et remplacer dans la quantit\'e \`a calculer les $W_{k}$ par $\sum_{i=1}^{k}T_{i}$.
En utilisant la loi des $T_{i}$ et leur ind\'ependance, montrer que

\begin{eqnarray*}
\E\left[1_{(X_t=n)}\prod_{j=1}^{n}f_{j}(W_{j})\right]
&=&\int_{({\mathbb R}_{+})^{n+1}}\left[1_{(\sum_{i=1}^{n}t_{i}\leq t)\cap (\sum_{i=1}^{n+1}t_{i}>t)} \prod_{j=1}^{n} f_{j} \left(\sum_{i=1}^{j} t_{i}\right)\right]\\
&\times & {\lambda}^{n+1}\exp\left(-\lambda \sum_{i=1}^{n+1}t_{i} \right) dt_{1}\ldots dt_{n+1}
\end{eqnarray*}
Faire le changement de variables $w_1=t_1, w_{2}=t_{1}+t_{2}, \ldots, w_{n+1}=t_{1}+\ldots+t_{n+1}$ et en d\'eduire
\begin{eqnarray*}
\E\left[1_{(X_t=n)}\prod_{j=1}^{n}f_{j}(W_{j})\right]
&=&{\lambda}^{n}\exp(-\lambda t)\\
&\times&\left[\int_{{\mathbb R}^{n}}\prod_{j=1}^{n}f_{j}(w_{j})1_{(0\leq w_{1}\leq w_{2} \ldots \leq w_{n}\leq t)}dw_{1}\ldots dw_{n}\right]
\end{eqnarray*}
En faisant dans cette formule, $f_{j}=1$, montrer que $X_{t}$ suit une loi de Poisson de param\`etre $\lambda t$. En d\'eduire que $(W_{1},\ldots, W_{n})$ admet une densit\'e conditionnelle sachant $(X_{t}=n)$ donn\'ee par
$$f_{(W_{1},\ldots,W_{n})}(w_{1},\ldots, w_{n}|X_{t}=n)=\cfrac{n!}{t^{n}}1_{(0\leq w_{1}\leq w_{2}\ldots \leq w_{n}\leq t)} \; \; \mbox{(loi de Dirichlet)}$$

\quest 4) Montrer que le processus $(X_{t})_{t \in {\mathbb R}_{+}}$ est \`a accroissements ind\'ependants, c'est-\`a-dire que pour toute suite finie de r\'eels positifs ordonn\'es $0=t_{0} \leq t_{1}\leq \ldots \leq t_{k}=t$, $(X_{t_{i+1}}-X_{t_{i}})_{i=0, \ldots, k-1}$ est une famille de variables al\'eatoires ind\'ependantes et donner la loi de $X_{t}-X_{s}$ pour $s\leq t$.
\newline{}
\\
Soient $\alpha_{1}, \alpha_{2},\ldots, \alpha_{k}$ des entiers positifs quelconques. Notons $n$ leur somme. On pose $l_{j}=\alpha_{1}+\ldots +\alpha_{j}$. En utilisant la question pr\'ec\'edente, montrer
$$\Pro\left[\cap_{j=1}^{k}(X_{t_{j}}-X_{t_{j-1}}=\alpha_{j}))\right]=\lambda^{n}\exp(-\lambda t)\psi(t_{1},\ldots, t_{k})$$
o\`u
$$\Psi(t_{1},\ldots, t_{k})=\int_{{\mathbb R}^{n}}\prod_{j=1}^{k-1}1_{(w_{l_{j}}\leq t_{j})\cap (w_{l_{j+1}}>t_{j})}\times 1_{(0\leq w_{1}\leq w_{2}\ldots \leq w_{n}\leq t)}dw_{1}\ldots dw_{n}$$
En d\'eduire
$$\Pro\left[\cap_{j=1}^{k}(X_{t_{j}}-X_{t_{j-1}}=\alpha_{j})\right]=\prod_{j=1}^{k}\exp(-\lambda(t_{j}-t_{j-1}))\cfrac{(\lambda(t_{j}-t_{j-1}))^{\alpha_{j}}}{\alpha_{j}!}$$
Cette formule d\'emontre alors deux choses. D'une part l'ind\'ependance des variables al\'eatoires $(X_{t_{i+1}}-X_{t_{i}})_{i=0, \ldots, k-1}$ et d'autre part que la loi de $X_{t}-X_{s}$ est une loi de Poisson de param\`etre $\lambda(t-s)$.
\fexer
 
