élixir de polycopié

453-Traitement_Image/Cours/chap2.tex

@@ -87,9 +87,36 @@ L'estimateur devient :
 \]
 
 \section{Quelques méthode d'inversion classique}
+\subsection{Le filtre de Wiener}
+
+Le principe du filtre de Wiener consiste à déterminer un filtre donc
+d'appliquer une opéartion liénaire invariante afin de séparer le bruit
+des données. Wiener a démontrer que dans le cas d'un signal
+stationnaire on peux trouver un filtre optimum dans le sens ou c'est
+le meilleur filtre qui sépare le bruit de l'objet si on connait
+l'autocorrélation des données $\gamma_{yy}$ et l'intercorrélation entre les
+données et l'objet que l'on cherche $\gamma_{yx}$.
+\begin{prop}[Relation de Wiener Hopf]
+  Pour $p \in\Z $on a :
+  \[
+\sum_{k\in\Z}^{}g(k)\gamma_{yy}(p-k) = \gamma_{xy}(p)
+\]
+Où $g$ est le filtre disctret optimum permettant d'estimer au mieux
+$x$. LE critère choisi est la minimisation de l'espérance du carré de
+l'erreur de prédiction.
+\end{prop}
+\begin{proof}
+  cf. Poly TR
+\end{proof}
+\begin{prop}
+  De facon pratique on détermine lefiltre dans l'espace de fourier:
+  \[
+    G(\nu) = \frac{\Gamma_{xy}(\nu)}{\Gamma_{yy}}
+  \]
+\end{prop}
 \subsection{Estimateur des moindres carrés}
 \begin{prop}
-  L'estimateur des moindres carré cherche àç minimiser la norme quadratique:
+  L'estimateur des moindres carré cherche à minimiser la norme quadratique:
   \[
 \hat{\vec{x}}_{MC} = \arg\min \| \vec{y-Hx}\|_2^2 = (\vec{H}^T\vec{H})^{-1}\vec{H}^{T}\vec{y}
   \]
@@ -155,7 +182,7 @@ Et sa généralisation vectorielle:
       \addplot[black,domain=0.5:2]{2*0.5*abs(x)-0.25};
     \end{axis}
   \end{tikzpicture}
-  \caption{Fonction convexe et quadratique}
+  \caption{Fonction de Huber (s = 0.5) et quadratique}
 \end{figure}
 Comme précédemment on utilise différente fonction de régularisation.
 \begin{itemize}
@@ -173,41 +200,146 @@ Comme précédemment on utilise différente fonction de régularisation.
   \]
 \end{itemize}
 
+\subsection{Application de ces approches au problème de débruitage}
+On souhaite résoudre le problème suivant:
+\[
+\vec{y} =\vec{x}+\vec{b}
+\]
+Avec $\vec{x}$, blanc de variance $\sigma_x$ et $\vec{b}$ centré de
+variance $\sigma_b$.
+\subsubsection{Wiener}
+On a le filtre de wiener:
+\[
+  G(\nu) = \frac{\Gamma_{xy}(\nu)}{\Gamma_{yy}(\nu)} = \frac{1}{1+\frac{\sigma_b^2}{\sigma_x^2}}
+\]
+Dans le cas ou $x$ a une matrice de covariance $\vec{D^T}\vec{D})^{-1}$ on a :
+\[
+G(\nu) = \frac{\Gamma_{xy}(\nu)}{\Gamma_{yy}(\nu)} = \frac{1}{1+\frac{\sigma_b^2}{\sigma_x^2}|D(\nu)|}    
+\]
+Alors :
+\[
+\boxed{\hat{\vec{x}}_{W} =TF^{-1}[G(\nu)Y(\nu)]}
+\]
+\subsubsection{MC et MCR}
+\paragraph{Moindre carrés} Sans régularisation on a $H= I_n$ donc directement
+\[
+\boxed{\hat{\vec{x}}_{MC} = \vec{y}}
+\]
 
+\paragraph{Moindres carrés régularisé} En prenant en compte une
+régularisation on a:
+\[
+  \boxed{\vec{x}_{MCR} = (\vec{I_d}+\mu\vec{D^tD})^{-1}\vec{y}
+  }
+\]
+En utilisant les propriétés sur les matrices circulantes on retrouve
+dans le donmaine de fourier le filtre de Wiener avec $\mu=\frac{\sigma_b^2}{\sigma_x^2}$
+\[
+\boxed{\hat{\vec{x}}_{MCR} =TF^{-1}\left[\frac{Y(\nu)}{1+\mu D(\nu)}\right]}
+\]
+\subsubsection{Ondelette et parcimonie }
+\emph{cf poly.}
 \section{Caractérisation statistique des estimateurs}
-\emph{cf. UE 451 et poly}
+\subsection{Espérance}
+\begin{defin}
+  soit $x$ une VA de densité de probabilité $f$. On note $E[x]$
+  \emph{l'espérance} de $x$:
+  \[
+    E[x] = \int_{x\in\mathcal{X}}^{}xf(x)\d x
+  \]
+\end{defin}
+\subsection{Biais}
+Le biais caractérise les estimateurs
+\begin{defin}
+  Soit $\hat{x}$ un estimateur de $x$. Alors le \emph{biais} s'écrit :
+  \[
+    b(\hat{x}) = E[\hat{x}]-x
+  \]
+\end{defin}
+
+\subsection{Variance}
+La variance est un autre outils pour caractériser les
+estimateurs. elle donne un intervalle de confiance autour de la valeur
+de l'estimateur.
+\begin{defin}
+  On défini la \emph{variance} d'un estimateur comme:
+  \[
+    Var(\hat{x}) = E[(\hat{x}-E[\hat{x}])^2]
+  \]
+\end{defin}
+
+\subsection{Erreur quadratique moyenne}
+L'EQM est un très bon outils pour comparer les estimateurs
+\begin{defin}
+  L'erreur quadratique est défini comme:
+  \[
+    EQM(\hat{x}) = E[(\hat{x}-x)^2]
+  \]
+\end{defin}
+\begin{prop}
+  On a la relation suivante entre biais, variance et EQM :
+  \begin{align*}
+    EQM(\hat{x}) &= E[(\hat{x}-x)^2] \\
+                 &= Var(\hat{x}) + b(\hat{x})^2
+  \end{align*}
+\end{prop}
+\begin{proof}
+\begin{align*}
+    EQM(\hat{x}) &= E[(\hat{x}-x)^2] \\
+                 &= E[(\hat{x}-E[\hat{x}]+E[\hat{x}-x])] \\
+                 &= E[(\hat{x}-E[\hat{x}])^2]+2E[\hat{x}-E[\hat{x}]]+(E[\hat{x}]-x)^2\\
+                 &= Var(\hat{x}) + b(\hat{x})^2
+  \end{align*}
+\end{proof}
 \section{Interprétation bayésienne}
 
 \subsection{Vraisemblance}
 \begin{defin}
-  En choisissant une ddp pour le bruit on a:
+  En choisissant une ddp gaussienne pour le bruit on a:
   \[
     f(\vec{y}|\vec{x}) =k_0 \exp\left[ \frac{1}{2\sigma_b^2} \|\vec{y-Hx}\|^2\right]
   \]
-  Comme en pratique on connais $\vec{y}$ on a une fonction de $\vec{x}$ et $\sigma_b^2$. Que l'on appelle fonction de vraisemblance.
+  Comme en pratique on connais $\vec{y}$ on a une fonction de $\vec{x}$ et $\sigma_b^2$. Que l'on appelle fonction de \emph{vraisemblance}.
 \end{defin}
+\subsection{Loi \emph{a priori} et a \emph{posteriori}}
+
 \begin{defin}
   \begin{itemize}
   \item \emph{Loi a priori}
   \[
     f(\vec{x}|\sigma_0^2,\sigma_1^2)= k_1 exp\left[\frac{1}{2\sigma_1^2} \|\vec{Dx}\|^2 - \frac{1}{2\sigma_0^2} \|x\|^2\right]
   \]
-  La matrice $D$ correspond à ??
+  La matrice $D^tD$ (covariance de $\vec{x}$) n'est pas de rang plein
+  il  faut   ajouter le deuxième terme pour que la gaussienne soit
+  bien multivariée sur $\R^N$.
 \item \emph{Loi a posteriori}
   À partir de la règle de Bayes:
   \[
-    f(\vec{x}|\vec{y},\sigma_b,\sigma_1,\sigma_0) = \frac{f(\vec{y}|\vec{x})f(\vec{x}|\sigma_0,\sigma_1)}{f(\vec{y}|\sigma_b^2,\sigma_0^2,\sigma_1^2)}
+    f(\vec{x}|\vec{y},\sigma_b,\sigma_1,\sigma_0) = \frac{f(\vec{y}|\vec{x},\sigma_b^2)f(\vec{x}|\sigma_0,\sigma_1)}{f(\vec{y}|\sigma_b^2,\sigma_0^2,\sigma_1^2)}
+    = K f(\vec{y}|\vec{x},\sigma_b^2)f(\vec{x}|\sigma_0,\sigma_1)
   \]
   La loi a posteriori rassemble toute l'information que l'on a  sur $\vec{x}$
 \end{itemize}
 \end{defin}
-\subsection{Vraisemblance gaussienne}
+\subsection{Estimateur du maximum a posteriori}
-
+Dans le cas gaussien la moyenne, la médiane et le maximum sont
-
+confondus.
-\subsection{Vraisemblance laplacienne}
+\begin{defin}
-
+  On défini le maximum a posteriori comme:
-
+  \[
-
+    \hat{\vec{x}}_{MAP} =\arg\max_{x}f(\vec{x}|\vec{y},\sigma_b,\sigma_1,\sigma_0)
+  \]
+\end{defin}
+\begin{prop}[Cas Gaussien]
+  On a :
+  \[
+    \hat{\vec{x}}_{MAP} =\arg\max_{x}K\exp\left[-\frac{1}{2\sigma_b^2}(\|\vec{y-Hx}\|^2+\mu\|\vec{Dx}\|^2+\mu_0\|\vec{x}^2\|)\right]
+  \]
+  Soit encore:
+  \[
+  \hat{\vec{x}}_{MAP} =\arg\min_{x}\|\vec{y-Hx}\|^2+\mu\|\vec{Dx}\|^2+\mu_0\|\vec{x}^2\|
+  \]
+\end{prop}
 \section{Application à un cas simple d'observation multiple}
 \section{Application à la déconvolution problème d'optimisation}
 \section{Application de ma méthodologie bayésienne}
@@ -226,4 +358,3 @@ Comme précédemment on utilise différente fonction de régularisation.
 %%% mode: latex
 %%% TeX-master: "main"
 %%% End:
-