cours-m1-eea/451-Signal_Image/Cours/chap1.tex
2019-03-13 10:21:14 +01:00

628 lines
17 KiB
TeX

\documentclass[main.tex]{subfiles}
\begin{document}
\section{Probabilités}
\subsection{Évènement}
\begin{itemize}
\item La réalisation d'une expérience aléatoire (on ne peux pas prédire avec certitude le résultat) est un \textit{évènement} $\omega$, singleton de $\Omega$ ensembles de tous les évènements.
\begin{exemple}[jet de dé]
aux évènements ``Tirer 1, ... ,6 `` on associe $\Omega={\omega_1,...\omega_6}$
\end{exemple}
\item $\mathcal{E} $est une tribu (ou $\sigma$-algèbre) de $\Omega$, tel que:
\begin{itemize}
\item $\Omega \in \mathcal{E}$
\item $\mathcal{E}$ est stable par union , intersection et complémentarité.
\end{itemize}
\end{itemize}
\subsection{Probabilités}
\begin{defin}
On appelle probabilité :
\[
P : \begin{cases}
\mathcal{E} &\to [0,1]\\
E &\mapsto P(E)
\end{cases}
\]
tel que:
\begin{itemize}
\item $ P(\Omega) = 1 $
\item $ \forall E_i , i\in \mathbb{I} \text{ , desév disjoint 2 à 2}, \implies
P\left(\displaystyle\bigcup_{i\in\mathbb{I}}E_i\right) = \displaystyle\sum_{\mathbb{I}} P(E_i)$
\end{itemize}
\end{defin}
\pagebreak
\begin{prop}
\begin{itemize}
\item $ P(\bar{E}) = 1-P(E)$
\item $(P(\emptyset) = 0)$
\item $A \subset B \implies P(A) \leq P(B)$
\item $P(A+B) = P(A)+P(B)-P(A\cap B)$
\end{itemize}
\end{prop}
\subsection{Probabilités conditionnelles}
\begin{defin}
Soit $A$ et $B$ deux évènements. On appelle \emph{probabilité conditionnelle} la probabilité de $A$ sachant que $B$ est réalisé:
\[
P(A|B) = \frac{P(A\cap B)}{P(B)}
\]
\end{defin}
\begin{prop}[Formule de Bayès]
\[
P(A|B) = \frac{P(B|A)P(A)}{P(B)}
\]
\end{prop}
\subsection{Indépendance}
\begin{defin}
Deux évènements $A$ et $B$ sont dits \emph{indépendant} si et seulement si le fait que $A$ est réalisé n'apporte pas d'information sur la réalisaiton de $B$
\begin{align*}
& P(A|B) = P(A)\\
\iff & P(B|A) = P(B)\\
\iff & P(A\cap B) = P(A) .P(B)
\end{align*}
\end{defin}
\begin{defin}
Des évènements $(E_i)_{i\in\mathbb{I}}$ sont dits mutuellement indépendants (ou encore indépendants dans leur ensemble), si et seulement si:
\[
P\left(\displaystyle\bigcap_{i\in\mathbb{I}}E_i\right) = \displaystyle\prod_{\mathbb{I}} P(E_i)
\]
\end{defin}
\begin{prop}
L'indépendance dans son ensemble implique l'indépendance deux à deux. \\
La réciproque n'est pas forcément vraie.
\end{prop}
\section{Variable aléatoire réelle et scalaire}
On se place dans un espace probabilisé $\Omega$ donné.
\subsection{Généralité et exemple}
\begin{defin}
On appelle \emph{Variable aléatoire} (VA) :
\[
X :
\begin{cases}
\Omega \to \R \\
\omega \mapsto X(\omega)=x
\end{cases}
\]
\end{defin}
\begin{exemple}
\begin{itemize}
\item Dé à n faces (discret)
\item distance d'une flèche au centre de la cible.
\end{itemize}
\end{exemple}
\begin{prop}
Pour des variables aléatoires continues,
\[
P(X=x) = 0 , \forall x\in \R
\]
car $x$ est un point de mesure nulle.
\end{prop}
\subsection{Fonction de répartition}
\begin{defin}
On appelle fonction de répatition:
\begin{align*}
F_X(x) &= P(X\leq x) = P(X \in ]-\infty,x])\\
&=P(\{\omega \in \Omega|X(\omega)\le x \})
\end{align*}
\end{defin}
\begin{prop}
\begin{itemize}
\item $0 \le F_X(x) \le1$
\item $P(a\le X\le b) = F_X(b)-F_X(a)$
\item $F_x$ est une fonction :
\begin{itemize}
\item non décroissante
\item continue presque partout
\end{itemize}
\end{itemize}
\end{prop}
Une variable aléatoire est complétement caractérisée par sa f.d.r
\begin{rem}
Dans le cas d'une VAD , $F_X$ est en marche d'escalier.
\end{rem}
\subsection{Densité de probabilité}
\begin{defin}
On appelle \emph{densité de probabilité} la fonction :
\[
f_X(x) \equals_{\mathcal{D}} \deriv[F_X(x)]{x}
\]
Avec la dérivée généralisé au sens des distributions.
\end{defin}
\begin{prop}
\begin{itemize}
\item Les fonction de densité de probabilité et de répartition sont équivalentes pour décrire une variable aléatoire.
\item $f_X(x)\ge 0$
\item $\displaystyle \int_{-\infty}^{+\infty}f_X(x)\d x = 1$
\item $\displaystyle \int_{-\infty}^{x}f_X(\alpha)\d \alpha = F_X(x)$
\end{itemize}
\end{prop}
\begin{rem}
Pour les variables aléatoires discrètes, la ddp est une suite d'impulsion de Dirac :
\[
f_X(x) = \sum_{i\in\mathbb{I}}p_i\delta(x-x_i)
\]
\end{rem}
\begin{exemple}
\begin{itemize}
\item VAC uniforme sur $[a,b]$:
\[
f_X(x) = \frac{1}{b-a} \mathbb{1}_{[a,b]}
\]
\item VAC gaussienne :
\[
f_X(x) = \frac{1}{\sqrt{2\pi}\sigma} exp\left(\frac{-1}{2}\frac{(x-m_x)^2}{\sigma_X^2}\right)
\]
\end{itemize}
\end{exemple}
\subsection{Changement de VA}
\begin{prop}
Soit $g :
\begin{cases}
\R \to \R \\
X \mapsto g(X) = Y
\end{cases}$ une fonction homéomorphique\footnotemark \\
Alors :
\[
f_Y(y) = f_X(x) \left|\deriv[x]{y}\right| = f_X(x) \frac{1}{ \left|\deriv[y]{x}\right|}
\]
Dans le cas ou $g$ n'est pas bijective :
\[
f_Y(y) = \sum_{x_i|g(x_i)=y}^{}f_X(x) \left|\deriv[x]{y}\right|_{x=x_i}
\]
\end{prop}
\footnotetext{continue, bijective continue}
\subsection{Expérance, moment et fonction caractéristique}
\begin{defin}
pour $g \R \to\C^p$
On appelle \emph{espérance} d'une variable aléatoire la grandeur:
\[
E(g(X)) = \int_{\R}^{} g(x)f_X(x)\d x
\]
Dans le cas discret on a:
\[
E(g(X)) = \sum_{\mathbb{I}}^{}g(x_i)P(X=x_i)
\]
\end{defin}
\begin{prop}
L'espérance est linéaire (sous réserve d'existance):
\begin{itemize}
\item $E[c]=c$
\item $E[cg(x)]=cE[g(x)]$
\item $E[g(x)+h(x)] =E[g(x)]+E[h(y)]$
\end{itemize}
\end{prop}
\begin{rem}
On note aussi $E[X]=m_X = m$ ``moyenne de la variable aléatoire''. Si $m$ = 0 on dit que la VA est centrée.
\end{rem}
\begin{defin}
On appelle \emph{momemt d'ordre $k$}:
\[
m_k = E[X^k]
\]
Le \emph{moment centré d'ordre $k$ :}
\[
m_k = E[(X-m_X)^k]
\]
Le moment $\mu_2$ est aussi appelé la \emph{variance}
\end{defin}
\begin{rem}
on note $\sigma_x = \sqrt{v_x}$ l'écart type de X. Il mesure la dispersion autour de $m_x$.
On défini la variable centrée réduite associée à $X$:
\[
X_r = \frac{X-m_X}{\sigma_X}
\]
\end{rem}
\subsection{Fonction caractéristique}
\begin{defin}
On appelle fonction caractéristique:
\[
\phi_X(u) = E[exp(juX)] = \int_{-\infty}^{+\infty}
\]
\end{defin}
\begin{prop}
\begin{itemize}
\item $\phi_X(u)$ existe toujours $|\phi_X(u)|\le\phi_X(0)=1$
\item Symétrie hermitienne
\item $\phi_X(u)$ est continue même pour des VA discrètes
\item On appelle 2ème fonction de répartition $\Psi_X(u)=\ln(\phi_X(u))$
\item \[
m_k = (-j)^k\left.\deriv[^{k}\phi_X(u)]{u^k}\right|_{u=0}
\]
\end{itemize}
\end{prop}
\section{Couple de variable aléatoire réelles}
\subsection{Généralité}
\begin{defin}
Un couple de variable aléatoire est défini comme:
\[
Z
\begin{cases}
\Omega \to \R^2\\
\omega \mapsto Z(\omega) = \vect{X(\omega)\\Y{\omega}}
\end{cases}
\]
On défini également:
\[
Z^{-1} : \mathcal{D} \mapsto Z^{-1}(\mathcal{D}) = E_D \subset \mathcal{E}
\]
\end{defin}
\subsection{Fonction de répartition}
\begin{defin}
\begin{itemize}
\item fonction de répartition conjointe:
\begin{align*}
P(X<x;Y<y) &=F_{XY}(x,y)\\
&=P((x,y)\in \mathcal{D})\\
&=F_Z(z)
\end{align*}
\item fonction de répartition marginale
\begin{align*}
F_{X}(x)=P(X<x) &= F_{XY}(x,+\infty)\\
&=P((x,y)\in\mathcal{D}_X)
\end{align*}
\end{itemize}
\end{defin}
\begin{figure}[H]
\centering
\begin{tikzpicture}
\begin{scope}
\draw[-latex] (-1,0) -- (4.1,0);
\draw[-latex] (0,-1) -- (0,4.1);
\fill[pattern= north east lines] (2,-1) rectangle (4,4);
\fill[pattern= north east lines] (-1,2) rectangle (4,4);
\draw (-1,2) -- (4,2);
\draw (2,-1) -- (2,4);
\node at (1,1) {$\mathcal{D}_{xy}$};
\end{scope}
\begin{scope}[shift={(6,0)}]
\draw[-latex] (-1,0) -- (4.1,0);
\draw[-latex] (0,-1) -- (0,4.1);
\fill[pattern= north east lines] (2,-1) rectangle (4,4);
\draw (2,-1) -- (2,4);
\node at (1,1) {$\mathcal{D}_x$};
\end{scope}
\end{tikzpicture}
\caption{Représentation des domaines d'existence possible pour $X,Y$}
\end{figure}
\subsection{Densité de probabilité}
\begin{defin}
on défini la densité de probabilité conjointe:
\[
f_{XY} = \derivp[^2F_{XY}(x,y)]{x\partial y }
\]
\end{defin}
\begin{prop}
densité de probabilité conjointe et fonction de répartition sont reliées:
\[
\int_{-\infty}^{x^-}\int_{-\infty}^{y^-} f_{XY}(\alpha,\beta)\d \alpha \d \alpha = F_{XY}(x,y)
\]
et :
\[
\int_{-\infty}^{x}\int_{\R}^{}f_{XY}(\alpha,\beta)\d \beta = F_{XY}(x,\infty) =F_X(x)
\]
\end{prop}
\begin{defin}
À partir de la fonction de répartion marginale on peux définir la loi marginale de $X$ :
\[
f_X(x) = \deriv[F_X(x)]{x} =\int_{\R}^{}f_{XY}(x,y)\d y
\]
Et alors la loi conditionelle de $X$ sachant $Y$:
\[
f_{X|Y}(x) = \frac{f_{XY}(x,y)}{f_{Y(y)}}
\]
\end{defin}
\subsection{Indépendance}
\begin{defin}
On dit que $X$ et $Y$ sont indépendant:
\begin{description}
\item[$\iff$] $F_{XY}(x,y)=F_X(x)F_Y(y)$
\item[$\iff$] $f_{XY}(x,y)=f_X(x)f_Y(y)$
\end{description}
\end{defin}
\subsection{Changement de VA}
\begin{prop}
On considère :
\[
g
\begin{cases}
\R^2 \to \R^2\\
Z =(X,Y) \mapsto W =(U,V)=g(X,Y)
\end{cases}
\]
Alors:
\[
f_W(w) = f_Z(z)|J|
\]
où :
\[
J =
\begin{pmatrix}
\displaystyle\derivp[x]{u} & \displaystyle\derivp[x]{v}\\[1em]
\displaystyle\derivp[y]{u} & \displaystyle\derivp[y]{v}
\end{pmatrix}
\]
\end{prop}
\begin{rem}
Il est parfois plus simple de calculer:
\[
|K| =\left|
\begin{array}{cc}
\displaystyle\derivp[x]{u} & \displaystyle\derivp[x]{v}\\[1em]
\displaystyle\derivp[y]{u} & \displaystyle\derivp[y]{v}
\end{array}\right|
\]
Au quel cas on a : $f_W(w) = f_Z(z)\frac{1}{|K|}$
\end{rem}
\subsection{Espérance et moments-fonction caractéristique}
Dans la suite on considère la fonction suivante :
\[
g :
\begin{cases}
\R^2 \to \C^p\\
Z = (X,Y) \mapsto g(Z) = \vect{g_1(X,Y)\\ \vdots \\ g_p(X,Y)}
\end{cases}
\]
\begin{thm}[Théorème de transfert]
On a :
\[
E[g(z)] = \iint_{\R^2} g(X,Y)f_{X,Y}(x,y)\d x\d y
\]
\end{thm}
\begin{prop}
Dans le cas de VA indépendante et pour $g$ séparable on a : $g(X,Y) = g_X(X)g_Y(Y)$ et alors :
\[
E[g(X,Y)]= E[g_X(X)]E[g_Y(Y)]
\]
\end{prop}
\begin{defin}
On peux également définir les moments d'un couple de VA:
\begin{itemize}
\item Moment d'ordre 1
\[
E[Z] = m_Z = \vect{m_X\\m_Y}
\]
\item Moment d'ordre 2 (Matrice de corrélation)
\[
E[ZZ^T] =E \left[\vect{X^2 & XY \\ XY & Y^2}
\right] = \vect{E[X^2] & E[XY] \\ E[XY] & E[Y^2]} = C_{ZZ}
\]
\end{itemize}
\end{defin}
\begin{rem}
$C_{ZZ}$ est symétrique positive: $ C_{ZZ}\in S_n^+(\R)$
\end{rem}
\begin{defin}
On appelle matrice de covaraince la matrice de corrélation des variables centrées:
\[
\Sigma_{ZZ}= E[(X-m_x)(Y-m_Y)^T] = \vect{\sigma_x^2 & \rho_{XY}\sigma_X\sigma_Y \\ \rho_{XY}\sigma_X\sigma_Y & \sigma_Y^2}
\]
$\rho_{XY} = \frac{E[(X-m_X)(Y-m_y)^T]}{\sigma_x\sigma_y} =E[X_rY_r]$ est le \emph{coefficient de corrélation}
\end{defin}
\begin{prop}
\begin{itemize}
\item $\Sigma_{ZZ}\in S_n^+$
\item $ \rho_{XY} < 1$
\item $\rho_{XY}=1$ ssi $\exists a,b,c \neq 0, aX+bY+c =0$. Les variables sont alignées.
\item Si $\rho_{XY}=0$ on dit que les variables sont décoréllées
\end{itemize}
\end{prop}
\begin{thm}
L'indépendance de 2 variables aléatoires implique leur non corrélation.
La réciproque n'est vraie que dans le cas gaussien.
\end{thm}
\subsection{Espérance de loi conditionnelle}
\begin{defin}
On note
\[
E[X|Y=y] = \int_{\R}^{}xf_{X|Y=y}(x)\d x = m_X(y)
\]
\emph{l'espérance conditionnelle} de la VA $X$ sachant $Y=y$
\end{defin}
\begin{prop}
On a :
\[
E[m_x(y)] = E[X]
\]
\end{prop}
\begin{proof}
Directement :
\begin{align*}
E[m_X(y)]&= \int_{\R}^{}m_X(y)f(y)\d y\\
&=\int_\R\int_\R x f_{XY}(x,y)\d x\d y\\
&=\int_{\R^2}^{}x f_{XY}(x,y)\d x\d y\\
&= E[X]
\end{align*}
\end{proof}
\section{Variable aléatoire vectorielle et réelles}
\subsection{Définition}
\begin{defin}
On généralise la notion de variable aléatoire et de couple de variable aléatoire :
\[
X :
\begin{cases}
\Omega \to \R^n\\
\omega \mapsto X(\omega) =\vect{X_1\\ \vdots\\ X_n}
\end{cases}
\]
\end{defin}
\subsection{Fonction de répartition}
\begin{defin}
\begin{itemize}
\item Fonction de répartition conjointe:(toutes les composantes jouent le même rôle)
\[
F_{X_1...X_n}(x_1...x_n) = P \left(\bigcap_{i=1}^nX_i<x_i\right)
\]
\item Fonction de répartition marginale de $X_i$:
\[
F_{X_i}=P(X_i<x_i)= P\left(X_i<x_i ; \bigcap_{j\neq i}X_j< +\infty \right)
\]
\end{itemize}
Les propriétés démontrées dans le cas 2 se généralise au cas vectoriel.
\end{defin}
\subsection{Densité de Probabilité}
\begin{defin}
On défini la densité de probabilité conjointe:
\[
f_X(x) = \derivp[^n]{\vec{x}} F_\vec{X}(\vec{x})
\]
Et alors :
\[
P(X\in\mathcal{D}) = \int_{\mathcal{D}}f_X(x)\d x = \iint_{\mathcal{D}} ... \int f_{\vec{X}}(\vec{x}) \d \vec{x}
\]
\end{defin}
\begin{defin}
On généralise de même les notions de ddp margianle et conditionnelle:
\begin{itemize}
\item ddp marginale:
\[
f_{X_i}(x_i)= \frac{\d^n F_{x_i}(x_i)}{\d x_i} = \int_{\R^{n-1}}f_{\vec{X}}(\vec{x})\d x_1 ... \d x_{i-1}\d x_{i+1} ...\d x_n
\]
\item ddp conditionnelles:
On considère $Y$ et $Z$ de VA vectorielles:
\[
f_{\vec{Y}|\vec{Z}=\vec{z}}(\vec{y}) = \frac{f_{\vec{YZ}}(\vec{y},\vec{z})}{f_{\vec{Z}(z)}}
\]
\end{itemize}
\end{defin}
\subsection{Indépendance}
\begin{thm}
On donne une CNS d'indépencande dans leur ensemble des VA $X_i$:
\[
F_{\vec{X}}(\vec{x})= \prod_{i=1}^{n}F_{X_i}(x_i) \iff f_{\vec{X}}(\vec{x}) = \prod_{i=1}^{n}f_{X_i}(x_i)
\]
L'indépendance dans leur ensemble implique l'indépendance 2à2.
\end{thm}
\subsection{Changement de variable aléatoire}
\begin{prop}
Pour $g
\begin{cases}
\R^n \to \R^n\\
\vec{X} \mapsto g(\vec{X})=\vec{Y}
\end{cases}$ On peux définir le changement de variable:
\[
f_{\vec{Y}(\vec{y}} =f_{\vec{X}}{\vec{x}}|\vec{J}| = f_{\vec{X}}(\vec{x}) \frac{1}{|\vec{K}|}
\]
où :
$\vec{J} = \derivp[\vec{x}]{\vec{y}^T}=x_{i,j}$ et $K = \derivp[\vec{y}]{\vec{x}^T} =y_{j,i}$
\end{prop}
\subsection{Espérance, moments et fonction caractéristique}
\begin{thm}[Théorème de transfert]
\[
E[g(\vec{X})] = \int_{\R^n}^{}g(\vec{X})f_{\vec{X}}(\vec{x})\d\vec{x}
\]
\end{thm}
\begin{defin}
\begin{itemize}
\item Moment d'ordre 1:
\[
\vec{m_x}= E[\vec{X}]
\]
\item Moment d'ordre 2: (matrice de corrélation)
\[
\vec{C_{XX}}=E[\vec{X}\vec{X}^T]\ge 0
\]
\item Moment centrée d'ordre 2: (matrice de covariance)
\[
\vec{\Sigma_{XX}} = E[(\vec{X-m_x})(\vec{Y-m_y})^T]
\]
\item Fonction caractèristique:
\[
\phi_{\vec{X}}(\vec{u})= E[e^{j\vec{u}^T\vec{X}}]
\]
\end{itemize}
\end{defin}
\subsection{Va Gaussienne et réelle}
\begin{defin}
On dit que $X = \vec{X_1\\ \vdots\\ X_n}$ est une VA gaussienne:
\begin{description}
\item[$\iff$] $X_i$ sont gaussiens et indépendants dans leur ensembles
\item[$\iff$] $\sum_{i=1}^{n} \alpha_iX_i$ est une gaussienne.
\end{description}
\end{defin}
\renewcommand{\N}{\quad\mathcal{N}}
\begin{prop}
\begin{itemize}
\item $\vec{X} \N \implies X_i \N$. La réciproque n'est pas vraie (cf ex 9/10 p 14 du fascicule)
\item $\vec{X} \N \implies $ loi conditionnelle gaussienne.
\item $X_i \N$ et indépendantes dans leur ensemble $\implies \vec{X} \N$.
\item $\vec{X} \N$ et $X_i$ indépendants 2à2 $\implies$ indépendant dans leur ensemble.
\item $\vec{X} \N \implies \vec{ Y =AX+B } \N$
\end{itemize}
\end{prop}
\section{Extension aux VA complexes}
\begin{defin}
On généralise \emph{encore}:
\[
\vec{Z}
\begin{cases}
\Omega \to \C^p\\
\omega \mapsto \vec{Z}(\omega) = \vec{X}+j\vec{Y}
\end{cases}
\]
\end{defin}
\paragraph{Notation} : $\vec{Z}^\dagger = (\vec{Z}^{*})^T$ transposé conjugué.
\begin{prop}
\begin{itemize}
\item Fonction de répartition:
\[
f_{\vec{Z}}(\vec{z})= P(\vec{X}<\vec{x} ; \vec{Y}< \vec{y})
\]
\item Matrice de corrélation:
\[
\vec{C_{zz}} = E[\vec{Z}\vec{Z}^\dagger]
\]
\item Matrice de covariance:
\[
\vec{\Sigma_{ZZ}} = E[(\vec{Z-m_z})(\vec{Z-m_z})^\dagger]
\]
\item Fonction caractéristique:
\[
\phi_{\vec{Z}}(\vec{u}) = E[e^{j\vec{u}^\dagger \vec{Z}}]
\]
\item La linéarité de l'espérance donne également:
\[
E[g(\vec{Z})^*]= E[g(\vec{Z})]^*
\]
\end{itemize}
\end{prop}
\end{document}
%%% Local Variables:
%%% mode: latex
%%% TeX-master: "main"
%%% End: