\section{Martingales}

Dans la suite, $(\O,\cal{F},\PP)$ désignera un espace probabilisé.

\subsection{Filtrations et processus adaptés}

\begin{deff}
On dit que $(\O,{\cal F},({\cal F}_n)_n, \PP)$ est un espace filtré sssi:\\
1) $(\O,{\cal F},\PP)$ est un espace probabilisé.\\
2) $({\cal F}_n)_n$ est une suite de sous-tribus de ${\cal F}$, croissante (au sens de l'inclusion).\\
On dit alors que $({\cal F}_n)_n$ est une filtration et on pose
$${\cal F}_{\infty}=\sigma\left(\cup_{n\geq 1} {\cal F}_n\right)\subset {\cal F}$$
\end{deff}

Exemple fondamental : On se donne une suite de variables aléatoires $(W_n)_{n\geq 0}$. On pose alors ${\cal F}_n = \sigma\{W_0,\ldots,W_n\}$. $({\cal F}_n)_n$ est appelée la filtration naturelle associée à la suite de variables aléatoires $(W_n)_{n\geq 0}$.\\

\begin{deff}
Un processus sur $(\O,{\cal F}, \PP)$ est une suite $(W_n)_n$ de variables aléatoires sur $\O$. Un processus sera dit adapté par rapport à une filtration $({\cal F}_n)_n$ ssi pour tout entier $n$, $W_n$ est ${\cal F}_n$-mesurable.
\end{deff}

\begin{remf}
Un procesus $(W_n)_n$ est toujours adapté par rapport à sa filtration naturelle.
\end{remf}

Ces notions sont souvent utilisés pour modéliser un certain nombre de processus physiques, biologiques, économiques... On peut en effet voir $n$ comme le temps (discrétisation du temps mais les notions introduites se généralisent dans un cadre continu). ${\cal F}_n$ est l'information que l'on connaît au temps $n$ (grâce aux observations). Par exemple, si $({\cal F}_n)_n$ est la filtration naturelle associée à un processus $(W_n)_n$ et si l'on peut observer $(W_n)_n$ alors on connaît ${\cal F}_n$ et donc $f(W_0,\ldots,W_n)$ pour toute fonction borélienne $f$. Dire qu'un processus $(X_n)_n$ est adapté par rapport à une filtration $({\cal F}_n)_n$, c'est dire que l'au temps $n$, on connaît la valeur de $X_n$.\\

\noindent
\textbf{Rappel :} $X_n$ est $\sigma(W_0,\ldots,W_n)$-mesurable ssi il existe une fonction $f:\RR^{n+1} \rightarrow \RR$ borélienne telle que $X_n=f(W_0,\ldots,W_n)$.

\begin{deff}
Un processus $(X_n)_n$ sera dit prévisible par rapport à une filtration $({\cal F}_n)_n$ ssi pour tout $n\geq 1$, $X_n$ est ${\cal F}_{n-1}$ mesurable.
\end{deff}

\begin{remf}
A la différence d'un processus adapté, un processus prévisible est un processus que l'on peut prévoir (d'où son nom). En effet, si pour simplifier, on se place dans le cadre d'une filtration naturelle associée à un processus $(W_n)_n$ alors $(X_n)_n$ est prévisible ssi il existe une fonction borélienne $f$ telle que
$$X_n = f(W_0,\ldots,W_{n-1})$$
Autrement dit, on connaît $X_n$ dès que l'on a pris connaissance du passé strict (c'est-à-dire $W_0,\ldots, W_{n-1}$).
\end{remf}

\subsection{Martingale, Sur-martingale, Sous-martingale}

\begin{deff}
Un processus $(X_n)_n$ est une $({\cal F}_n)_n$-martingale ssi:\\
1) $({\cal F}_n)_n$ est une filtration;\\
2) $(X_n)_n$ est adapté.\\
3) $\forall n \in \NN,\; {\mathbb E}(|X_n|)<+\infty$\\
4) $\forall n \in \NN,\; {\mathbb E} (X_{n+1}|{\cal F}_{n})=X_n$.\\
Un processus $X$ sera une sur-martingale par rapport à $({\cal F}_n)_n$ ssi il vérifie 1),2),3) et
$$4')\;\forall n \in \NN,\; {\mathbb E} (X_{n+1}|{\cal F}_{n})\leq X_n$$
Un processus $X$ sera une sous-martingale par rapport à $({\cal F}_n)_n$ ssi il vérifie 1),2),3) et
$$4'')\;\forall n \in \NN,\; {\mathbb E} (X_{n+1}|{\cal F}_{n})\geq X_n$$
\end{deff}

\begin{remf}
1. $X$ est une sur-martingale ssi $-X$ est une sous-martingale.\\
2. $X$ martingale ssi c'est à la fois une sur et une sous-martingale.\\
3. $X$ est une martingale ssi $X_0$ est intégrable et $X-X_0$ est une martingale.\\
4. L'ensemble des martingales a une structure d'espace vectoriel (ce qui est bien entendu faux pour les surmartingales et les sous martingales).
\end{remf}

\begin{propf}
Si $X$ est une martingale (resp. sur-martingale, sous-martingale) alors $({\mathbb E}(X_n))_n$ est une suite constante (resp. décroisssante, resp. croissante).
\end{propf}

\subsection{Exemples}

\noindent
\textit{a) Somme de variables aléatoires indépendantes centrées}\\
Soit $(X_i)_i$ une suite de variables aléatoires indépendantes, intégrables et centrées. On pose $S_0 =0$ et $S_n=X_1+\ldots X_n$. Soit $({\cal F}_n)_n$ la filtration naturelle associée aux $(X_i)_i$ et ${\cal F}_0 =\{0,\emptyset\}$.\\

$(S_n)_n$ est une martingale puisque pour tout $n\geq 1$, on a :
$${\mathbb E} (S_n|{\cal F}_{n-1})={\mathbb E} (S_{n-1}|{\cal F}_{n-1}) + {\mathbb E}( X_n|{\cal F}_{n-1})=S_{n-1}+{\mathbb E}(X_n)=S_{n-1}$$

Bien entendu, si les $X_i$ ne sont pas  centrées mais de moyenne $a$ alors $(S_n - na)_n$ est une martingale.\\

\noindent
\textit{b) Produits de variables aléatoires indépendantes de moyenne 1}\\
Soit $X_1,\ldots, X_n, \ldots$ une  suite de variables aléatoires
indépendantes de moyenne $1$ et soit $X_0=1$. Soit $({\cal
F}_n)_n$ la filtration naturelle associée à $(X_n)_n$. On pose
$$M_n=\prod_{k=0}^n X_k$$
$(M_n)_n$ est une martingale car pour tout $n\geq 1$, on a
$${\mathbb E}(M_n|{\cal F}_{n-1})={\mathbb E}(X_n M_{n-1}|{\cal F}_{n-1})=M_{n-1}{\mathbb E}(X_n)=M_{n-1}$$

Là aussi, dans le cas où les $X_i$ ne sont pas de moyenne $1$ mais de moyenne $a\neq 0$, on considerera $M_n=a^{-n}\prod_{k=0}^n X_k$.\\

\noindent
\textit{c) Martingale obtenue par filtrage}\\
On se donne $\zeta \in \LL^1 (\O,{\cal F}, \PP)$ et une filtration $({\cal F}_n)_n$. Pour tout $n\geq 0$, on pose
$${\mathbb E}(\zeta | {\cal F}_\infty)=\zeta_n$$
$(\zeta_n)_n$ est une martingale.

\vspace{1cm}
\noindent
\textit{Questions :} Soit $(M_n)_n$ une martingale.\\
1) Est-ce qu'il existe une variable al\'eatoire $M_{\infty}$ telle que $\lim_{n\rightarrow +\infty} M_n =M_\infty$ ? Dans quel sens a lieu cette convergence? (presque sûre, en probabilité, en loi, dans $\LL^1,\LL^2,\LL^p$)\\
2) Si on a convergence, a-t-on ${\mathbb E}(M_0)={\mathbb E} (M_\infty)$ ?\\
3) Dans le cas c), est-ce que l'on a
$$\zeta_{\infty}={\mathbb E}(\zeta|{\cal F}_n)\; \; \mbox{si   }\; \lim_{n \rightarrow \infty} \zeta_n =\zeta_\infty$$

\subsection{Illustration}

On rappelle que l'on avait vu qu'une interprétation possible des notions de filtration, processus adaptés... était la suivante : $n$ représente le temps et ${\cal F}_n$ l'information dont on dispose au temps $n$. $(X_n)_n$ est $({\cal F})_n$-adapté signifie qu'au temps $n$, je connais $X_n$ et $(X_n)_n$ est prévisible signifie qu'au temps $n-1$, je connais $X_n$. Avant de passer à l'interprétation de la notion de martingale, faisons un bref rappel sur la notion d'espérance conditionnelle.\\
Si $X$ est dans $\LL^2 (\O, {\cal F}, \PP)$ et $Y$ est une variable aléatoire alors ${\mathbb E} (X|\sigma(Y))$ est la meilleure fonction $f(Y)$ de $Y$ qui approche $X$ au sens $\LL^2$.\\
Supposons donc maintenant que $X_n - X_{n-1}$ représente le profit que l'on fait au temps $n$ en misant $1$ euro dans un jeu de hasard ($X_n$ représente donc le profit cumulé au temps $n$). Il est assez naturel de supposer que $X_n - X_{n-1}$ est ${\cal F}_n$-mesurable (au temps $n$, on a vu le résultat du jeu et l'on sait le profit que l'on a obtenu).\\
Si le jeu est parfaitement équitable, on ne doit rien pouvoir prévoir. On peut traduire cette hypothèse de la manière suivante. L'approximation de $(X_n -X_{n-1})$ au vu de l'information disponible au temps $n-1$, qui compte-tenu de ce qui précède est égale à ${\mathbb E} (X_n -X_{n-1}|{\cal F}_{n-1})$, doit être nulle. Autrement dit, on demande à $(X_n)_n$ d'être une martingale. Si $(X_n)_n$ est une sur-martingale alors le jeu est favorable au casino et si c'est une sous-martingale, le jeu est favorable au joueur.\\
Admettons que le casino se débrouille pour faire de $(X_n)_n$ une martingale (ou une sur-martingale). Est-ce que je peux me débrouiller pour gagner de l'argent en variant à chaque instant la mise (au lieu de mettre un euro à chaque fois)? Appelons $C_n$ la mise placée au temps $n$. L'hypothèse naturelle à faire sur $(C_n)_n$ est de supposer que c'est un processus prévisible : on mise au vu de l'information dont on dispose au temps précédent de celui de la mise. Au temps $n$, on gagne donc
$$Y_n =\sum_{k=1}^{n} C_k (X_k -X_{k-1})$$
On appelle $Y$ la transformée de $X$ par $C$ et l'on note $Y_n =(C\cdot X)_n$ (c'est la version discrétisée de l'intégrale stochastique relativement à une martingale).

\begin{propf}
Supposons pour simplifier que $X$ soit une sur-martingale et $C$ un processus prévisible borné (pour tout $n$, $|C_n (\o)|\leq K$). Alors $C\cdot X$ est une sur-martingale.
\end{propf}

Ainsi, au temps $n$, mon esérance de gain est ${\mathbb E}(Y_n)\leq {\mathbb E}(Y_0)=0$ et l'on est toujours perdant!

\subsection{Temps d'arrêt}

\begin{deff}
Soit $(\O, {\cal F}, ({\cal F}_n)_n,\PP)$ un espace probabilisé. Une application $T$ de $\O$ dans $\bar{\NN}=\{0,1, \ldots, \infty\}$ est un temps d'arrêt ssi
$$\forall n \in \bar{\NN}, \; \{T\leq n\}\in {\cF}_n$$
\end{deff}

\begin{remf}
Un peu de manipulation ensembliste montre que cette condition est équivalente à l'une des conditions suivantes :\\
1) $\forall n \in \bar{\NN}, \; \{T= n\}\in {\cF}_n$.\\
2) $\forall n \in {\NN}, \; \{T\leq n\}\in {\cF}_n$.\\
3) $\forall n \in {\NN}, \; \{T= n\}\in {\cF}_n$.\\
\end{remf}

Si on reprend à nouveau la modélisation précédente, on comprend aisément l'introduction de la notion de temps d'arrêt. On a vu que l'on ne pouvait gagner en variant la mise. Peut-être peut on gagner en s'arrêtant non plus à un temps donné $n$ mais à un temps aléatoire. Cependant on doit faire un certain nombre d'hypothèses sur ce temps aléatoire $T$. En effet, il est réaliste de supposer que je m'arrêterai au temps $n$ au vu de l'information dont je dispose au temps $n$ (et non pas au temps $n+1$ par exemple...). Autrement dit, on doit imposer à $T$ de satisfaire $\{T=n\}\in {\cal F}_n$, c'est-à-dire d'être un temps d'arrêt.\\

\noindent
Exemple : Soit $(A_n)_n$ un processus adapté et $B \in {\cal B}( \RR)$. On définit $T_B=\inf\{n \geq 0; A_n \in B\}$ comme le premier temps d'entrée dans $B$ (éventuellement infini si l'ensemble est vide). $T_B$ est un temps d'arrêt car
$$\{T\leq n\}=\cup_{k \leq n} \{A_k \in B\} \in {\cal F}_n$$
\noindent
Contre-exemple : Le temps de sortie de $B$ noté $L_B=\sup\{n, A_n \in B\}$ n'est pas un temps d'arrêt (en général).

\subsection{Sur-martingales arrêtées}

\begin{thf}
Si $X$ est une martingale (resp. sur-martingale, sous-martingale) et $T$ un temps d'arrêt alors $X^T=(X_{T\wedge n})_{n\geq 0}$ est appelée martingale (resp. sur-martingale, sous-martingale) arrêtée en $T$. C'est une martingale (resp. sur-martingale, sous-martingale). En particulier, on a pour tout entier $n$,
$${\mathbb E}(X_n^T)={\mathbb E}(X_{T\wedge n})={\mathbb E} (X_0),\; \mbox{   (resp. $\leq, \geq$)}$$
\end{thf}

\begin{remf}
Ce théorème dit en outre que pour tout $n \in \NN$, $X_{T\wedge n}$ est dans $\LL^1$. Il ne suppose aucune condition sur le temps d'arrêt.
\end{remf}

\begin{demo}
On a juste à montrer le théorème pour $X$ surmartingale puisque $X$ sous-martingale équivaut à $-X$ sur-martingale et $X$ est une martingale ssi c'est à la fois une sur-martingale et une sous-martingale.\\
1) $X_{T\wedge n}$ est ${\cal F}_n$-mesurable car
$$X_{T\wedge n}(\omega)=\sum_{k=0}^{n-1} X_k (\o)1_{T(\o)=k} + X_n (\o) 1_{\{T(\o)\geq n\}}$$
C'est une somme de variables aléatoires ${\cal F}_n$-mesurables.\\
2) Pour tout $n \in \NN$, $X_{T\wedge n}$ est intégrable car $|X_{T\wedge n}|\leq \left(\sum_{k=0}^{n-1}|X_k|\right)+|X_n|$.\\
3)On a :
\begin{eqnarray*}
{\mathbb E} (X_{T\wedge n} |{\cal F}_{n-1})&=&\sum_{k=0}^{n-1} {\mathbb E} (X_k 1_{T=k} |{\cal F}_{n-1}) + {\mathbb E}(X_n 1_{T\geq n}|{\cal F}_{n-1})\\
&=& \sum_{k=0}^{n-1} 1_{T=k}{\mathbb E} (X_k|{\cal F}_{n-1})+1_{T\geq n}{\mathbb E}(X_n|{\cal F}_{n-1})\\
&\leq& \sum_{k=0}^{n-1} 1_{T=k}X_k +1_{T\geq n}X_{n-1}=X_{T\wedge n-1}
\end{eqnarray*}
\end{demo}

\noindent
Si $(X_n)_n$ est une martingale et si $T$ est un temps d'arrêt alors pour tout entier $n$, on a
$${\mathbb E} (X_{T\wedge n})={\mathbb E} (X_0)$$
A-t-on ${\mathbb E}(X_T)={\mathbb E}(X_0)$ ?
Un contre exemple est le suivant. Soit $(X_n)_n$ une marche aléatoire telle que $X_0 =0$ et ${\mathbb E} (X_{n+1} -X_n)=0$. $(X_n)_n$ est une martingale. Soit $T=\inf\{n\in \NN; \; X_n =1\}$ le temps d'entrée en $1$. On a vu que c'était un temps d'arrêt (par rapport à la filtration naturelle de $X$). Pourtant, on a
$${\mathbb E} (X_T)=1\neq{\mathbb E}(X_0)=0$$

\subsection{Théorème d'arrêt de Doob}
\begin{thf}\textbf{(Théorème d'arrêt de Doob)}\\
a) Soit $T$ un temps d'arrêt et $X$ une sur-martingale. Alors $X_T$ est bien définie et intégrable avec
$${\mathbb E} (X_T)\leq {\mathbb E}( X_0)$$
dans l'une des 3 conditions suivantes :\\
1) $T$ est bornée (i.e. : $\exists N \geq 0,\forall \o \in \O \; |T(\o)|\leq N$).\\
2) $X$ est bornée (i.e. $\exists K\in \RR_+, \forall n\in \NN, \forall \o \in \O, \; |X_n (\o)|\leq K$) et $T$ est $\PP$ p.s. fini.\\
3) ${\mathbb E}(T)<+\infty$ (donc $T$ fini p.s.) et il existe $K\in \RR_+$ tel que
$$\forall n\in \NN, \forall \o \in \O, \; |X_{n+1}(\o)-X_n (\o)|\leq K$$
\noindent
b) En particulier, si $1),2)$ ou $3)$ a lieu et si $X$ est une martingale alors ${\mathbb E} (X_T)={\mathbb E} (X_0)$.
\end{thf}

\begin{demo}
b) est évident compte-tenu du fait que $X$ est une martingale ssi $X$ et $-X$ sont des sur-martingales.\\
a) On sait que $(X_{T\wedge n})_n$ est une sur-martingale donc
$${\mathbb E}(X_{T\wedge n} -X_0)\leq 0$$
Pour 1), on prend $n=N$ et on a le résultat.\\
Pour 2), on utilise le théorème de convergence dominée vu que
$$|X_{T\wedge n}|\leq K\; \mbox{et }\; \lim_{n\rightarrow +\infty} X_{T\wedge n} =X_T \; \mbox{  ($T$ fini)  }$$
Pour 3), on remarque que
$$|X_{T\wedge n} - X_0|\leq \sum_{k=1}^{T\wedge n} |X_k - X_{k-1}|\leq TK$$
et ${\mathbb E}(T)<+\infty$ d'où le résultat par le théorème de convergence dominée.
\end{demo}

\begin{corf}
Soit $M$ une martingale à incréments bornés (i.e. $\forall n\geq 1, \; |M_n-M_{n-1}|\leq K$ pour une constante $K>0$) et soit $C$ un processus prévisible borné par une constante et $T$ un temps d'arrêt intégrable ${\mathbb E}(T)<+\infty$. On a alors
$${\mathbb E} ((C\cdot M)_{T})=0$$
\end{corf}

\begin{demo}
On a vu que $Y_n = (C\cdot M)_{n}$ \'etait une martingale et d'autre part, on a
$$|Y_n - Y_{n-1}|\leq |C_{n} (M_n - M_{n-1})| \leq K_2 K_1$$
On conclut par le cas $3)$ du théorème précédent.
\end{demo}

\begin{propf}
Soit $X$ une sur-martingale positive et $T$ un temps d'arrêt $\PP$ p.s. fini alors
$${\mathbb E} (X_T)\leq {\mathbb E} (X_0)$$
\end{propf}

\begin{demo}
$(X_n)_n$ est une sur-martingale de $\LL_{+}^{1}$ et $x\in \RR_+ \rightarrow x\wedge K$ est concave croissante bornée. Il est facile de montrer que si $(X_n)_n$ est une surmartingale positive et $\phi: \RR_+ \rightarrow \RR_+$ est croissante concave bornée alors $(\phi(X_n))_n$ est une surmartingale positive bornée (utiliser le théorème de Jensen version conditionnelle). On en déduit que $(X_n \wedge K)_n$ surmartingale positive bornée et d'après le théorème de Doob, cas $2)$,
$${\mathbb E} (X_T \wedge K)\leq {\mathbb E}(X_0)$$
On conclut par le théorème de convergence monotone en faisant tendre $K$ vers l'infini.
\end{demo}

\noindent
\textit{Application}\\
Soit $(X_n)_n$ une suite de Bernoulli de paramètre $1/2$ indépendantes : $\PP(X_n =1)=\PP (X_n =-1)=1/2$. On pose $S_0=0$ et $S_n=X_1+\ldots+X_n$ et ${\cal F}_n= \sigma (X_1,\ldots,X_n)=\sigma(S_0,\ldots,S_n)$. Soit enfin $T=\inf\{n\geq 0;\; S_n =1\}$ qui est un temps d'arrêt. On cherche à connaître la distribution de $T$.\\
On montrera aisément que pour tout $\theta$,
$$M_n^\theta= \left(\cfrac{1}{\cosh\theta}\right)^n\exp(\theta S_n)$$
définit une martingale bornée de moyenne 1.\\
Soit $\theta >0$. Pour tout $n\in \NN$, on a
$${\mathbb E} (M_{T\wedge n}^{\theta})=1={\mathbb E}\left(\left(\cfrac{1}{\cosh\theta}\right)^{T\wedge n}\exp(\theta S_{T\wedge n})\right)$$
On remarque que $\PP$ presque sûrement,
$$\lim_{n\rightarrow \infty} M_{T\wedge n}^\theta =1_{\{T<+\infty\}}\cfrac{e^\theta}{(\cosh\theta)^T}$$
donc d'après le théorème de convergence dominée,
$${\mathbb E}\left[1_{\{T<+\infty\}}\cfrac{1}{(\cosh\theta)^T}\right]=e^{-\theta}$$
En faisant tendre $\theta$ vers $0$ et en utilisant le théorème de convergence monotone, on déduit que $\PP (T<+\infty)=1$. On peut donc oublier l'indicatrice dans l'égalité précédente. Effectuant alors le changement de variables $\alpha=1/\cosh(\theta)$, on obtient
$${\mathbb E}(\alpha^T)=\cfrac{1}{\alpha}\left[1-\sqrt{1-\alpha^2}\right]$$
En particulier, on a
$$\PP(T=2m)=0 \mbox{   et    } \PP(T=2m-1)=(-1)^{m+1} C(1/2,m)$$
