diff --git a/451-Signal_Image/TD/TD1.tex b/451-Signal_Image/TD/TD1.tex new file mode 100644 index 0000000..56d007b --- /dev/null +++ b/451-Signal_Image/TD/TD1.tex @@ -0,0 +1,197 @@ +\documentclass[main.tex]{subfiles} +\begin{document} +\subsection*{Optimisation d'un laminoir} + +\begin{enumerate} +\item Y désigne la longueur de barres perdue, qui est de X (la totalité de la barre) si la barre est trop courte, ou de X-l si la barre est trop longue. +\[ +Y = \left\{ +\begin{array}{ll} +X & \text{ si } X < l \\ +X-l & \text{ si } X >l +\end{array} +\right. +\] + +\item +\begin{align*} +m_Y & = E_Y[Y] = E_X[Y] \\ +& = \int_0^lxf_X(x)dx + \int_l^{\infty} (x-l)f_X(x)dx \\ +& = \int_0^{\infty} xf_X(x)dx - \int_l^{\infty}lf_X(x)dx \\ +m_Y & = m_X - l\int_l^{\infty}f_X(x)dx +\end{align*} + +\item On suppose que X est une variable aléatoire gaussienne, alors \[f_X(x) = \frac{1}{\sigma_X\sqrt{2\pi}}e^{-\frac{(x-m_X)^2}{2\sigma_X^2}} \] +\begin{itemize} +\item $m_X$ représente la moyenne de $X$, c'est-à-dire la valeur sur laquelle la gaussienne est centrée +\item $\sigma_X$ représente la dispersion des valeurs autour de $m_X$. En effet, à $m_X \pm \sigma_X$, on a $f_X(x) = 0.6\frac{1}{\sigma_X\sqrt{2\pi}}$. +\begin{align*} +\int_{m_X-\sigma_X}^{m_X+\sigma_X} f_X(x)dx = 0.68 \\ +\int_{m_X-2\sigma_X}^{m_X+2\sigma_X} f_X(x)dx = 0.95 \\ +\int_{m_X-3\sigma_X}^{m_X+3\sigma_X} f_X(x)dx = 0.99 +\end{align*} +\end{itemize} +Le modèle est valable si la probabilité d'avoir des événements "non-physiques" reste faible, c'est-à-dire si $m_X-3\sigma_X > 0$ de sorte à ce que $P(X<0) < 0.5 \%$. + +\item Sans contrainte sur l'intervalle de variation de $m_X$, une condition nécessaire à l'obtention d'un minimum $m_X^{opt}$ est $\frac{dm_Y}{dm_X} = 0$. +\begin{align*} +\frac{dm_Y}{dm_X} & = 1 - l\int_l^{+\infty} \frac{\partial f_X(x,m_X)}{\partial m_X}dx \\ +&\quad \text{Or, on a ici une gaussienne, donc } \frac{\partial f_X}{\partial m_X} = - \frac{\partial f_X}{\partial x} \\ +\frac{dm_Y}{dm_X} & = 1 + l\int_l^{\infty} \frac{df_X(x,m_X)}{dx}dx \\ +& = 1 + l(f_X(+\infty)-f_X(l)) = 1 - lf_X(l) \\ +\text{Ainsi, } \frac{dm_Y}{dm_X} & = 0 \quad \Leftrightarrow \quad f_X(l) = \frac{1}{l} +\end{align*} + +\begin{align*} +f_X(l) = \frac{1}{l} & \Leftrightarrow 1 = \frac{l}{\sqrt{2\pi}\sigma_X}e^{-\frac{1}{2}(\frac{x-m_X}{\sigma_X})^2} \\ +& \Leftrightarrow m_X = l \pm \sigma_X\sqrt{-2\ln\frac{l}{\sqrt{2\pi}\sigma_X}} \text{ avec } l > \sqrt{2\pi}\sigma_X +\end{align*} + +Pour qu'il s'agisse d'un minimum, il faut que $\frac{d^2m_Y}{d^m_X} > 0$. +\begin{align*} +\frac{d^2m_Y}{d^m_X} & = -l \frac{df_X(l)}{dm_X} \\ +& = \frac{-l}{\sqrt{2\pi}\sigma_X^3}(l-m_X)e^{-\frac{1}{2}(\frac{x-m_X}{\sigma_X})^2} \\ +\text{ et on obtient } \frac{d^2m_Y}{d^m_X}|_{m_X+} & > 0 \text{ et } \frac{d^2m_Y}{d^m_X}|_{m_X-} & < 0 +\end{align*} + +Le minimum de $m_Y$ est donc bien atteint pour $m_{Xopt} = l + \sigma_X\sqrt{-2\ln\frac{l}{\sqrt{2\pi}\sigma_X}}$ + +\item Application numérique : \\ +\[ m_X = 1 + 0,01\sqrt{2\ln\frac{1}{\sqrt{2\pi}0,01}} = 1,027 m \] +Remarque : on obtient $l \approx l + 3\sigma_X$, donc le modèle est valable, en accord avec la question 4. +\end{enumerate} + +\subsection*{Changement de variable aléatoire} +\begin{enumerate} +\item Traçons l'évolution de la VA $Y$ en fonction de $X$ : \\ +\begin{tikzpicture} + +\draw [>=latex,<->] (8,0) node[right]{$x$} -- (0,0) -- (0,5) node[left]{$y$}; + +\draw [dashed] (0,0) -- (2,2); +\draw [dashed] (3,3) -- (5,5) node[right]{$y=x$}; +\draw (2,2)-- (3,3); + +\draw[dashed] (4,1) -- (6,3) node[right]{$y=x-l$}; +\draw (3,0) -- (4,1); + +\draw[dashed] (0,2) node[left]{$l-\Delta$} -- (2,2) -- (2,0) node[below]{$l-\Delta$}; +\draw[dashed] (0,3) node[left]{$l$} -- (3,3) -- (3,0) node[below]{$l$}; +\draw[dashed] (4,1) -- (4,0) node[below]{$l+\Delta$}; + +\draw[dashed,blue] (-0.5,2.6) node[left]{$y\in[l-\Delta,l]$} -- (2.6,2.6) -- (2.6,-0.5) node[below]{$y$}; +\draw[dashed,red] (-0.5,0.3) node[left]{$y\in[0,\Delta]$} -- (3.3,0.3) -- (3.3,-0.5) node[below]{$y+l$}; +\end{tikzpicture} + +Avec l'aide du dessin, on voit immédiatement que : +\begin{itemize} +\item si $y\in[0,\Delta[$, alors $F_Y(y) = P[0 \leq Y < y] = P[l \leq x < y+l] = F_X(y+l) - F_X(l)$ +\item si $y\in[l-\Delta,\Delta]$, alors $F_Y(y) = P[0 \leq Y < y] = F_X(l+\Delta) - F_X(l) + F_X(y) - F_X(l-\Delta)$ +\item sinon, $F_Y(y) = $ cste. +\end{itemize} + +Ainsi, on en déduit la densité de probabilité en dérivant par rapport à $y$ : +\[ +f_Y(y) = \left\{ +\begin{array}{ll} +f_X(y) & \text{ si } y\in[l-\Delta,\Delta] \\ +f_X(y+l) & \text{ si } y\in[0,\Delta[ \\ +0 & \text{ sinon} +\end{array} +\right. +\] + + +\item On a le changement de variable $g: X \Rightarrow Y=g(X)$ où : +\[ +g(X) = \left\{ +\begin{array}{ll} +X+l & \text{ si } Y = X-l \in [0,\Delta] \\ +X & \text{ si }Y = X \in [l-\Delta,\Delta] +\end{array} +\right. +\] +On utilise la formule générale du changement de variables : +\[ f_Y(y) = F_X(x) |\frac{dx}{dy}| |_{x,g(x)=y} \] + +On retrouve ainsi le résultat précédent. + +\item On considère que la variable $X$ est uniformément répartie sur l'intervalle $[l-\Delta,l+\Delta]$. Ainsi, $f_X(x) = C$ (constante) sur cet intervalle et comme on a : +\[ \int_{-\infty}^{+\infty} f_X(x) dx = \int_{l-\Delta}^{l+\Delta} f_X(x) dx = 2\Delta C = 1 \] +alors +\[ f_X(x) = \left\{ +\begin{array}{ll} +\frac{1}{2\Delta} & \text{ si } x \in [l-\Delta,l+\Delta] \\ +0 & \text{ sinon } +\end{array} +\right. +\] +d'où +\[ f_Y(y) = \left\{ +\begin{array}{ll} +\frac{1}{2\Delta} & \text{ si } y \in [0,\Delta]\cup[l-\Delta,l] \\ +0 & \text{ sinon } +\end{array} +\right. +\] + +\textbf{Propriété importante :} Si une densité de probabilité a une symétrie en $x_0$ et que sa moyenne existe, sa moyenne est sur l'axe de symétrie, donc vaut $x_0$.\\ +Preuve : +\begin{align*} +\int_{-\infty}^{+\infty} x f_X(x) dx & = \int_{-\infty}^{+\infty} (y+x_0) f_X(y+x_0) dy \\ +& = x_0 \int_{-\infty}^{+\infty} f_X(y+x_0)dy + \int_{-\infty}^{+\infty} y f_X(y+x_0)dy \\ +& = x_0 \times 1 + 0 = x_0 +\end{align*} + +Ainsi, on obtient $m_Y = \frac{l}{2}$ + +\item On considère le changement de variable : $\Phi \rightarrow Y = \cos(\Phi)$. + +Comme $\cos(\Phi) \in [-1,1]$, on a pour $y < -1, F_Y(y) = 0$ et pour $y \geq 1, F_Y(y) = 1$. + +Pour $y\in[-1,1]$, +\begin{align*} +F_Y(y) & = P(\cos(\Phi) < y) \\ +& = P(-pi \leq \Phi < -\arccos(y)) + P(\arccos(y) \leq \Phi < \pi)\\ +& = F_{\Phi}(-\arccos(y)) - F_{\Phi}(\arccos(y)) + F_{\Phi}(\pi) - F_{\Phi}(-\pi) \\ +& = F_{\Phi}(-\arccos(y)) - F_{\Phi}(\arccos(y)) + 1\\ +f_Y(y) & = \frac{1}{\sqrt{1-y^2}}f_{\Phi}(-\arccos(y)) + \frac{1}{\sqrt{1-y^2}}f_{\Phi}(\arccos(y)) +\end{align*} + +\item On utilise le résultat général sur les changements de VA avec $\phi = \arccos(y)$ si $y>0$ et $\phi = -\arccos(y)$ si $y<0$ +\begin{align*} +f_Y(y) & = f_{\Phi}(\phi) |\frac{d\phi}{dy}||_{\phi,g(\phi)=y} \\ +& = \left\{ +\begin{array}{ll} +0 & \text{ si } y \notin [-1,1] \\ +f_{\Phi}(\phi) |\frac{d\phi}{dy}||_{\phi=\arccos(y)} + f_{\Phi}(\phi) |\frac{d\phi}{dy}||_{\phi=-\arccos(y)}& \text{ si } y\in[-1,1] +\end{array} +\right. \\ +& = \left\{ +\begin{array}{ll} +0 & \text{ si } y \notin [-1,1] \\ +\frac{1}{\sqrt{1-y^2}}f_{\Phi}(-\arccos(y)) + \frac{1}{\sqrt{1-y^2}}f_{\Phi}(\arccos(y))& \text{ si } y\in[-1,1] +\end{array} +\right. +\end{align*} + +\item Si la VA$\Phi$ est uniformément répartie sur $[-\pi,\pi]$, alors on a +\begin{align*} +f_{\Phi}(\phi) & = +\left\{ +\begin{array}{ll} +\frac{1}{2\pi} & \text{si } \phi \in [-\pi,\pi] \\ +0 & \text{ sinon } +\end{array} +\right. \\ +f_Y(y) & = +\left\{ +\begin{array}{ll} +\frac{1}{\pi\sqrt{1-y^2}} & \text{si } y \in [-1,1] \\ +0 & \text{ sinon } +\end{array} +\right. \\ +\end{align*} +\end{enumerate} + +\end{document} diff --git a/451-Signal_Image/TD/TD2.tex b/451-Signal_Image/TD/TD2.tex new file mode 100644 index 0000000..a559095 --- /dev/null +++ b/451-Signal_Image/TD/TD2.tex @@ -0,0 +1,194 @@ +\documentclass[main.tex]{subfiles} +\begin{document} +$(X,Y)$ est un couple de variables aléatoires uniformément réparti sur un disque $D$ centré en 0 et de rayon $R_{max}$. +\begin{enumerate} +\item Donner la densité de probabilité conjointe des VA $X$ et $Y$. + +Les variables aléatoires $X,Y$ sont uniformément réparties sur le disque donc $\forall (x,y) \in D$, $f_{XY}(x,y)=A $ constante. + +Or, $\int\int_{\mathbb{R}^2} f_{XY}(x,y)dxdy = 1$ donc $\int\int_{D} f_{XY}(x,y)dxdy = 1$ d'où $\pi R_{max}^2A=1$ +\[ +f_{XY}(x,y) = +\left\{ +\begin{array}{ll} + \frac{1}{\pi R_{max}^2} & \si (x,y)\in D \\ + 0 & \sinon +\end{array} +\right. +\] + +\item Discuter de l'indépendance de $X$ et $Y$. + \begin{itemize} + \item Est-ce qu'une information sur $X$ implique une information sur $Y$ ? + + Pour la réalisation $x_1$ de $X$, on voit que \[y_1\in[y_1^-,y_1^+]=[-\sqrt{R_m^2-x_1^2},\sqrt{R_m^2-x_1^2}]\] Ainsi, $X$ et $Y$ ne peuvent pas être indépendantes. + + \item On sait que : si $X$ et $Y$ sont indépendantes, alors la ddp est séparable. + \begin{align*} + f_{XY}(x,y) = + \left\{ + \begin{array}{ll} + \frac{1}{\pi R_{max}^2} & \si x^2 + y^2 \leq R_{max}^2 \\ + 0 & \sinon + \end{array} + \right. + \end{align*} + On ne peut pas l'écrire sous la forme (fonction de $x$) x (fonction de $y$) à cause de la condition $x^2 + y^2 \leq R_{max}^2$ donc $X$ et $Y$ ne sont pas indépendantes. + + \item On sait que : si $X$ et $Y$ sont indépendantes, alors $f_{XY}(x,y)=f_X(x)f_Y(y)$. Exhibons un contre-exemple. + + Prenons un point donné par \[ |x|\leq R_{max},|y|\leq R_{max},\text{ tel que } x^2 + y^2 > R_{max}^2\] (Dans le carré mais pas dans le cercle). Ainsi, $f_{XY}(x,y)=0$ alors que $f_X(x)\neq0$ et $f_Y(y)\neq0$, donc $X$ et $Y$ ne sont pas indépendantes. + + \item On sait que : si $X$ et $Y$ sont indépendantes, alors $F_{XY}(x,y)=F_X(x)F_Y(y)$. + + \[F_{XY}(-\frac{R_{max}}{\sqrt{2}},\frac{R_{max}}{\sqrt{2}}) = P(X<-\frac{R_{max}}{\sqrt{2}},Y<\frac{R_{max}}{\sqrt{2}}) = 0\] alors que $F_X(x)\neq0$ et $F_Y(y)\neq0$, donc $X$ et $Y$ ne sont pas indépendantes. + \end{itemize} + + \medskip + + Valeur moyenne de x : on peut voir que par symétrie par rapport à l'axe des ordonnées, $m_X=0$. (Ne pas oublier de vérifier que l'intégrale existe.) + \begin{align*} + m_X=E_X[X]& =\int_{\mathbb{R}}xf_X(x)dx=\int_{\mathbb{R}}x (\int_{\mathbb{R}}f_{XY}(x,y)dy) dx \\ + & = \int\int_{\mathbb{R}^2} x f_{XY}(x,y)dxdy \\ + & = \int\int_D \frac{x}{\pi R_{max}^2} dxdy = 0 + \end{align*} + + Coefficient de corrélation : $\rho_{XY} = \frac{E[(X-m_X)(Y-m_Y)]}{\sigma_X\sigma_Y}$ + + Le coefficient de corrélation détermine le degré de linéarité entre $X$ et $Y$. Ici, il n'y a pas de direction privilégiée, donc $\rho_{XY} = 0$. + + Par le calcul, $\rho_{XY} = \frac{E[XY]}{\sigma_X\sigma_Y}$ car les moyennes sont nulles. + \begin{eqnarray*} + E[XY] & = & \int\int_{\mathbb{R}^2} xyf_{XY}(x,y)dxdy \\ + & = & \int\int_{Q_{++}} xyf_{XY}(x,y)dxdy + \int\int_{Q_{+-}} xyf_{XY}(x,y)dxdy \\ & &+ \int\int_{Q_{-+}} xyf_{XY}(x,y)dxdy + \int\int_{Q_{--}} xyf_{XY}(x,y)dxdy \\ + & = 0 + \end{eqnarray*} + +\item $f_X(x) = \int_{\mathbb{R}}f_{XY}(x,y)dy, \forall x \in \mathbb{R}$ + + \begin{itemize} + \item \[ \forall x / |x| \leq R_{max}, f_X(x) = \int_{-\sqrt{R_{max}^2-x^2}}^{\sqrt{R_{max}^2-x^2}} \frac{1}{\pi R_{max}^2}dy=\frac{2\sqrt{R_{max}^2-x^2}}{\pi R_{max}^2}\] + + \[ + f_X(x) = + \left\{ + \begin{array}{ll} + \frac{2\sqrt{R_{max}^2-x^2}}{\pi R_{max}^2} &\si |x| < R_{max} \\ + 0 &\sinon + \end{array} + \right. + \] + + \item + \begin{align*} + P[x\leq X 2a \\ +? & \si z \in [0,2a] \\ +0 & \si z < 0 +\end{array} +\right.\\ +\intertext{Si $z\in[0,2a[$, l'expression de la fonction de répartition n'est pas immédiate :} +F_Z(z) & = P[Z=latex,->] (-1,0) -- (7,0) node[right]{$x$} ; +\draw [>=latex,->] (0,-1) -- (0,7) node[left]{$y$}; + +\draw (3,0) node[below]{$a$} -- (3,3) -- (0,3) node[left]{$a$}; +\draw [dashed,blue] (-1,2) node[left]{$D_z, z\in[0,a[$} -- (2,-1); +\draw (0,6) node[left]{$2a$} -- (6,0) node[below]{$2a$}; + +\fill [color=blue] (0,1) -- (1,0) -- (0,0); + +\draw [>=latex,->] (9,0) -- (17,0) node[right]{$x$} ; +\draw [>=latex,->] (10,-1) -- (10,7) node[left]{$y$}; + +\draw (13,0) node[below]{$a$} -- (13,3) -- (10,3) node[left]{$a$}; +\draw [dashed,red] (9,5) node[left]{$D_z, z\in[a,2a[$} -- (15,-1); +\draw (10,6) node[left]{$2a$} -- (16,0) node[below]{$2a$}; + +\fill [color=red] (10,3) -- (11,3) -- (13,1) -- (13,0) -- (10,0); + +\end{tikzpicture} +\end{center} + +On peut donc résumer les résultats comme suit : +\begin{multicols}{2} +\[F_Z(z) = +\left\{ +\begin{array}{ll} +0 & \si z < 0 \\ +\frac{z^2/2}{a^2} & \si z\in[0,a] \\ +\frac{a^2-\frac{(2a-z)^2}{2}}{a^2} & \si z\in[a,2a] \\ +1 & \si z > 2a +\end{array} +\right. +\] + +\[f_Z(z) = +\left\{ +\begin{array}{ll} +0 & \si z < 0 \text{ ou } z > 2a \\ +\frac{z}{a^2} & \si z\in[0,a] \\ +\frac{2a-z}{a^2} & \si z\in[a,2a] +\end{array} +\right. +\] +\end{multicols} + +\begin{center} +\begin{tikzpicture}[scale=1] +\draw [>=latex,<->] (5,0) node[right]{$z$} -- (0,0) -- (0,2) node[left]{$f_Z(z)$}; + +\draw (0,0) node[below]{$0$} -- (2,1) -- (4,0) node[below]{$2a$}; +\draw [dashed] (0,1) node[left]{$1/a$} -- (2,1) -- (2,0) node[below]{$a$}; +\end{tikzpicture} +\end{center} + +\item On commence par expliciter $F_Z(z)$ en fonction de $f_{XY}(x,y)$ : +\begin{align*} +F_Z(z) & = P[Z=latex,->] (-2,0) -- (5,0) node[right]{$x$} ; +\draw [>=latex,->] (0,-2) -- (0,3) node[left]{$y$}; + +\draw [dashed] (-1,3) -- (4,-2); + +\draw [>=latex,->,red] (3,-2.5) -- (3,-1.5); +\draw [red] (3,-1.5) -- (3,-1) ; +\draw [dashed, red] (0,-1) node[left]{$y=z-x$} -- (3,-1) -- (3,0) node[above]{$x$}; +\end{tikzpicture} +\end{center} + +On en déduit $f_Z(z)$ +\begin{align*} +f_Z(z) & = \frac{dF_Z(z)}{dz} = \frac{d}{dz} \int_ {-\infty}^{+\infty} ( \int_{-\infty}^{z-x} f_{XY}(x,y)dy)dx \\ +& = \int_ {-\infty}^{+\infty} \frac{\partial}{\partial z} ( \int_{-\infty}^{z-x} f_{XY}(x,y)dy)dx \\ +f_Z(z) & = \int_ {-\infty}^{+\infty} f_{XY}(x,z-x)dx +\end{align*} + +\item Les VA $X$ et $Y$ indépendantes donc la ddp $f_{XY}(x,y)$ est séparable : +\begin{align*} +f_Z(z) & = \int_ {-\infty}^{+\infty} f_{XY}(x,z-x)dx \\ + & = \int_{-\infty}^{+\infty} f_X(x)f_Y(z-x)dx \\ +f_Z(z) & = (f_X * f_Y)(z) +\end{align*} + +\item Par définition de la fonction caractéristique de la VA $Z$ : +\begin{align*} +\phi_Z(u) & = E[e^{juZ}] \\ +& = \int_{\mathbb{R}} f_Z(z) e^{juz} dz \\ +\intertext{Ainsi, on peut réécrire } +\phi_Z(u) & = TF[f_Z(z)]_{f=-\frac{u}{2\pi}} \\ +& = E[e^{ju(X+Y)}] = E[e^{juX}e^{juY}] \\ +\intertext{Et par indépendance de $X$ et $Y$,} +\phi_Z(u) & = \phi_X(u)\phi_Y(u) \\ +f_Z(z) & = TF^{-1}[\phi_Z(u)](z) \\ +& = (TF^{-1}[\phi_X(u)] * TF^{-1}[\phi_Y(u)])(z) \\ +f_Z(z) & =(f_X * f_Y)(z) +\end{align*} + +\item $X_1,...X_n$ indépendantes dans leur ensemble +\begin{eqnarray*} +Y_{12} = & X_1 + X_2 & \rightarrow f_{Y_{12}}(y) = (f_{X_1}*f_{X_2})(y) \\ +Y_{123} = & X_1 + X_2 + X_3 = Y_{12} + X_3 & \rightarrow f_{Y_{123}}(y) = (f_{Y_{12}} * f_{X_3})(y) = (f_{X_1}*f_{X_2}*f_{X_3})(y) +\end{eqnarray*} +Par récurrence, on montre alors que pour $Y = X_1 + ... + X_n$, +\[f_Y(y) = (f_{X_1}* ... * f_{X_n})(y) \] + + +On montre que pour $X_n, n=1,...,N$ VA réelles et scalaires indépendantes et identiquement distribuées, centrées et d'écart-type $\sigma$, +\[Z_N = \frac{\sum_{n=1}^N X_n}{\sqrt{N}} \text{ tend vers une VA gaussienne quand N tend vers } +\infty \] + +\item Par linéarité de l'espérance, et comme les variables $X_N$ sont centrées ($E[X_N] = 0$), +\[ E[Z_N] = E[\frac{\sum_{n=1}^N X_n}{\sqrt{N}}] = \frac{\sum_{n=1}^N E[X_n]}{\sqrt{N}} = 0 \] + +De plus, +\begin{align*} +\sigma_Z^2 & = E[(Z_N - m_{Z_N})^2] = E[Z_N^2] \\ +& = \frac{1}{N} E[(\sum_{n=1}^N X_n)^2] \\ +& = \frac{1}{N} E[ \sum_{n=1}^N X_n^2 + \sum_{i\neq j} X_iX_j] \\ +& = \frac{1}{N} (\sum_ {n=1}^N E[X_n^2] + \sum_{i\neq j} E[X_iX_j]) \\ +& = \frac{1}{N} \sum_{n=1}^N \sigma^2 \\ +& = \sigma^2 +\end{align*} +\newpage +\item Deux personnes se donnent rendez-vous entre 18h et 19h. On associe aux deux instants d'arrivées deux VA X et Y indépendantes, de ddp uniforme sur l'intervalle [18,19]. + +On introduit la VA $\Delta = |Y-X|$. Calculons sa fonction de répartition. +\begin{align*} +F_{\Delta}(\delta) & = P[\Delta \leq \delta] \\ +& = P[ |Y-X| \leq \delta ] \\ +& = P[ Y-X \leq \delta \et X-Y \leq \delta ] \\ +& = P[ Y \leq X + \delta \et Y \geq X - \delta ] +\end{align*} + +\begin{figure}[h!] +\centering +\begin{tikzpicture}[scale=0.8] +\draw [>=latex,->] (-1,0) -- (7,0) node[right]{$x$} ; +\draw [>=latex,->] (0,-1) -- (0,7) node[left]{$y$}; + +\draw [dashed] (1,0) node[below]{$18$} -- (1,7); +\draw [dashed] (5,0) node[below]{$19$} -- (5,7); +\draw [dashed] (0,1) node[left]{$18$} -- (7,1); +\draw [dashed] (0,5) node[left]{$19$} -- (7,5) ; + +\draw [blue] (0,1.5) -- (6,7.5) node[right]{$y=x+\delta$}; +\draw [blue] (1.5,0) -- (7.5,6) node[right]{$y=x-\delta$}; + +\fill [color=blue!20] (1,1) -- (1,2.5) -- (3.5,5) -- (5,5) -- (5,3.5) -- (2.5,1) -- (1,1); + +\draw [dashed] (2.5,-1) -- (2.5,1); +\draw [<->] (1,-1) -- (2.5,-1); +\draw (1.75,-1) node[below]{$\delta$}; +\draw [<->] (5,-1) -- (2.5,-1); +\draw (3.75,-1) node[below]{$1-\delta$}; +\end{tikzpicture} +\end{figure} + +Ainsi, \[F_{\Delta}(\delta) = +\left\{ +\begin{array}{ll} +0 & \si \delta < 0 \\ +1 - (1-\delta)^2 & \si 0 \leq \delta < 1\\ +1 & \si \delta \geq 1 +\end{array} +\right. +\] + +Donc \[f_{\Delta}(\delta) = +\left\{ +\begin{array}{ll} +2 - 2 \delta & \si 0 \leq \delta < 1\\ +0 & \sinon +\end{array} +\right. +\] + +\end{enumerate} +\end{document} diff --git a/451-Signal_Image/TD/TD4.tex b/451-Signal_Image/TD/TD4.tex new file mode 100644 index 0000000..89532ac --- /dev/null +++ b/451-Signal_Image/TD/TD4.tex @@ -0,0 +1,121 @@ +\documentclass[main.tex]{subfiles} +\begin{document} + +On considère une variable aléatoire scalaire et réelle $Y$ de densité de probabilité : +\[ f_Y(y) = \frac{1}{X}e^{-\frac{y}{X}}u(x) \] +où $u(y)$ est la fonction échelon d'Heaviside et X un paramètre réel, inconnu, positif et supposé certain dans un premier temps. + +\begin{enumerate} +\item Calcul de la valeur moyenne et de l'écart type de la VA $Y$ +\begin{multicols}{2} +\begin{align*} +m_Y & = E[Y] = \int_{\mathbb{R}} y f_Y(y) dy \\ +& = \int_0^{\infty} y \frac{1}{X} e^{-\frac{y}{x}} dy \\ +& = [y(-e^{-\frac{y}{X}})]_0^{\infty} - \int_0^{\infty} (-e^{-\frac{y}{X}}) dy \\ +& = \int_0^{\infty} (-e^{-\frac{y}{X}}) dy \\ +& = [-Xe^{-\frac{y}{X}}]_0^{\infty} \\ +& m_Y = X \\ +\intertext{De plus,} +\sigma_Y^2 & = E[(Y-m_Y)^2] \\ +& = E[Y^2] - m_Y^2 \\ +E[Y^2] & = \int_0^{\infty} y^2\frac{1}{X}e^{-\frac{y}{X}}dy \\ +& = [y^2(-e^{-\frac{y}{X}})]_0^{\infty} + 2X\int_0^{\infty}y\frac{1}{X}e^{-\frac{y}{X}}dy \\ +& = 2Xm_Y = 2X^2\\ +\sigma_Y^2 & = 2X^2 - X^2 = X^2 \\ +\sigma_Y & = X +\end{align*} +\end{multicols} +\[ \boxed{m_Y = \sigma_Y = X} \] + +\item On considère $N$ VA $Y_n, n=1..N$ indépendantes et identiquement distribuées. + +On note $(y_1,...y_N)$ les réalisations de $(Y_1,...Y_N)$.\\ + +Grâce au résultat précédent $m_Y = X$, on peut estimer +\[ \hat{x} = \frac{\sum_{n=1}^Ny_n}{N} \] +\[ \hat{X} = \frac{\sum_{n=1}^NY_n}{N} \] + +De plus, l'estimateur est non biaisé car +\[ E[\hat{X}] = \frac{\sum_{n=1}^N E[Y_n]}{X} = X \] + +\item On souhaite exprimer la ddp conjointe des VA $Y_1,...Y_N$ +\begin{align*} +f_\mathbf{Y}(\mathbf{y}) & = f_{Y_1, ... Y_N}(y_1,...y_N) \\ +& = \prod_ {n=1}^N f_{Y_n}(y_n) \text{ par indépendance de } Y_1,...Y_N \\ +& = \frac{1}{X^N} \exp(-\frac{\sum_ {n=1}^N Y_n}{X}) u(y_1)...u(y_N) +\end{align*} + +\item On utilise l'estimateur du maximum de vraisemblance +\[ \hat{x}_{MV} = \arg \max_X f_\mathbf{Y}(\mathbf{y}) \] +$\hat{x}_{MV}$ est la valeur de $x$ qui rend les valeurs $y_1,...y_N$ les plus probables. + +Condition nécessaire (non suffisante) : +\begin{align*} +\frac{d f_{\mathbf{Y}} (\mathbf{y}) }{dX} |_{X = \hat{x}_{MV}} = 0 & \Leftrightarrow ...\\ +& \Leftrightarrow (-\frac{N}{X} + \frac{\sum_{n=1}^N y_n}{X^2}) f_{\mathbf{Y}}(\mathbf{y}) |_{X = \hat{x}_{MV}} = 0 \\ +& \Rightarrow \frac{-N}{\hat{x}_{MV}} + \frac{\sum_{n=1}^N y_n}{\hat{x}_{MV}^2} = 0 \\ +& \Rightarrow \hat{x}_{MV} = \frac{\sum_{n=1}^N y_n}{N} \\ +& \Rightarrow \hat{X}_{MV} = \frac{\sum_{n=1}^N Y_n}{N} +\intertext{Vérifier que c'est un maximum :} +\frac{d^2 f_{\mathbf{Y}} (\mathbf{y}) }{dX^2} > \text{ ou }& < 0 ? \\ +\frac{d f_{\mathbf{Y}} (\mathbf{y}) }{dX} > 0 & \text{ pour } x\rightarrow 0^+ \\ +\end{align*} + +Calculons la moyenne et l'écart type de $\hat{X}_{MV}$ +\begin{align*} +E[\hat{X}_{MV}] & = ... = X \\ +\sigma_{MV}^2 & = E[(\hat{X}_{MV} - X)^2] \\ +& = E[(\frac{\sum_{n=1}^N Y_n}{N} - \frac{NX}{N})^2] \\ +& = E[(\frac{\sum_{n=1}^N (Y_n-X)}{N})^2] \\ +& = \frac{1}{N^2} (\sum_{n=1}^N E[(Y_n-X)^2] + \sum_{i \neq j} E[(Y_i-X)(Y_j-X)] \\ +& = \frac{NX^2}{N^2} \\ +\sigma_{MV} & = \frac{X}{\sqrt{N}} +\end{align*} + +\item On a beaucoup plus d'\textit{a priori} (d'informations sur X sans faire l'expérience) avec $\alpha = 1$ qu'avec $\alpha = 10$. + +\begin{figure}[h!] +\centering +\begin{tikzpicture}[scale=2,samples=50,domain=0:5] + \draw[-stealth] (0,0) -- (5,0) node[right] {$x$}; + \draw[-stealth] (0,0) -- (0,1.5) node[above] {$f_X(x)$}; + \draw plot (\x,{exp(-\x)}); + \draw[dashed] plot (\x,{0.1*exp(-\x*0.1)}); +\end{tikzpicture} +\caption{Tracé de $f_X(x)$ pour $\alpha=1$ (--) et $\alpha=10$ (- -)} +\end{figure} + +La courbe pour $\alpha=10$ est beaucoup plus étalée : \[ \sigma_{X,\alpha = 1} < \sigma_{X,\alpha = 10} \] + + + +\item $\hat{x}_{MAP} = \arg \max_X f_{X/\mathbf{Y} = \mathbf{y}} (x) $ + +Or, +\begin{align*} +f_{X/\mathbf{Y} = \mathbf{y}} (x) & = f_{\mathbf{Y}, X = x} (\mathbf{y}) \frac{f_X(x)}{f_{\mathbf{Y}}(\mathbf{y})} \\ +& = \prod_{n=1}^N f_{Y_i,X=x(y_i)}\frac{f_X(x)}{f_{\mathbf{Y}}(\mathbf{y})} \\ +& = g(x)u(y_1)...u(y_N)\frac{1}{f_{\mathbf{Y}}(\mathbf{y})} +\intertext{Ainsi,} +\hat{x}_{MAP} & = \arg \max_X f_{X/\mathbf{Y} =\mathbf{y}} (x) = \arg \max g(x) +\end{align*} + +Condition nécessaire : +\begin{align*} +\frac{dg(x)}{dx}|_{x=\hat{X}_{MAP}} = 0 & \Leftrightarrow \hat{X}_{MAP} = \frac{-N\alpha + \sqrt{\alpha^2N^2 + 4\alpha \sum_{n=1}^Ny_n}}{2} \\ +& \Leftrightarrow \hat{X}_{MAP} = \frac{-N\alpha + \alpha N \sqrt{1 + \frac{4}{\alpha N^2} \sum_{n=1}^Ny_n}}{2} +\end{align*} + +\item Si $\alpha \rightarrow +\infty$, +\begin{align*} +\hat{X}_{MAP} & \approx \frac{-N\alpha + \alpha N (1 + \frac{1}{2}\frac{4}{\alpha N^2} \sum_{n=1}^Ny_n}){2} \\ +\hat{X}_{MAP} & \approx \frac{\sum_{n=1}^NY_n}{N} = \hat{X}_{MV} +\end{align*} +On n'a pas d'a priori sur X, on n'a que les observations.\\ + + +Si $\alpha \rightarrow 0$, $m_X$ et $\sigma_X \rightarrow 0$ : $\hat{X}_{MAP} \rightarrow 0$. + +L'a priori est fort. +\end{enumerate} +\end{document} diff --git a/451-Signal_Image/TD/TD5.tex b/451-Signal_Image/TD/TD5.tex new file mode 100644 index 0000000..f7b0fb6 --- /dev/null +++ b/451-Signal_Image/TD/TD5.tex @@ -0,0 +1,235 @@ +\documentclass[main.tex]{subfiles} +\begin{document} + +\subsection*{Signal sinusoïdal à phase équirépartie} +On considère le signal aléatoire \[X_t=x(t)=E_0\sin(2\pi f_o t + \Phi) \] + +$\phi$ est une variable aléatoire uniformément répartie sur $[0,2\pi[$ + +$E_0$, $f_0$ sont des grandeurs déterministes strictement positives. + +\begin{enumerate} +\item À $t$ donné, $f_{X,t}(x,t)=f_{Xt}(x)=f_X(x,t)$ + +Méthode : changement de variable +\[ \Phi \rightarrow X_t = x(t) = g(\Phi) = E_0\sin(2\pi f_0t + \Phi) \] + +\[f_{\Phi}(\phi) = +\left\{ +\begin{array}{ll} +\frac{1}{2\pi} & \si \phi \in [0,2\pi[ \\ +0 & \sinon +\end{array} +\right. +\] + +$X_t = x(t) \in [-E_0,E_0]$ donc $f_{Xt}(x) = 0,$ pour tout $x$ tel que $|x| >E_0$. + +Théorème de changement de variables aléatoires. + +Soit $x$ tel que $|x| < E_0$ + +\[f_{Xt}(x) = f_X(x,t) = f_{\Phi}(\phi)|\frac{d\phi}{dx}||_{\phi,g(\phi)=x}\] + + +Pour tout $x\in[-E_0,E_0]$ (sauf les points où la dérivée s'annule, ensemble de mesure nulle), il y a deux points d'intersection $\phi_i\in[0,2\pi[$ + +\[f_X(x,t) = \sum_{i=1}^2 f_{\Phi}(\phi_i)\frac{1}{|\frac{dx}{d\phi}|}|_{\phi_i,g(\phi_i)=x} \] + +\[\frac{dx}{d\phi}=E_0\cos(2\pi f_0t + \phi) \text{ donc } +|\frac{dx}{d\phi}|_{\phi=\phi_1} = |\frac{dx}{d\phi}|_{\phi=\phi_2} +\] +\[\frac{dx}{d\phi}|_{\phi=\phi_i} = \sqrt{E_0^2\cos^2(2\pi f_0t + \phi_i)}=\sqrt{E_0^2(1-\sin^2(2\pi f_0t + \phi_i))}=\sqrt{E_0^2-x^2}\] + +Ainsi, on a +\[f_{X_t}(x) = f_X(x,t) = +\left\{ +\begin{array}{ll} +0 \si |x| \geq E_0 \\ +\frac{1}{\pi \sqrt{E_0^2-x^2}} & \sinon +\end{array} +\right. +\] + +Remarque : $f_X(x,t)$ est finie en $x=\pm E_0$ car $\Phi$ VA continue et g fonction continue $\rightarrow X_t$ est une VA continue. + +Pour conclure quant à la stationnarité à l'ordre un, on regarde si $E[x(t)]$ dépend du temps + +Or, $E[x(t)]=\int_{\mathbb{R}} x_t f_X(x_t,t)dx_t$ et $f_X(x_t,t)$ ne dépend pas de $t$, donc la VA $x(t)$ est stationnaire à l'ordre un. + +Autre méthode : fonction de répartition + +$F_X(x,t = F_{X_t}(x) = P[X_t < x]$ + +\item +\begin{align*} +E[x(t)] & = \int_{\mathbb{R}}xf_X(x,t)dx = ... = 0 \\ +\text{ ou } & = E[E_0\sin(2\pi f_0 t+\phi)] \\ +& = \int_{\mathbb{R}}E_0\sin(2\pi f_0 t + \phi) f_{\phi}(\phi)d\phi \\ +& = E_0 \int_0^{2\pi} \frac{1}{2\pi}\sin(2\pi f_0t + \phi) d\phi = 0 \\ +\intertext{La moyenne statistique ne dépend pas de l'origine des temps : stationnarité du moment d'ordre 1.} +\overline{x(t)} & = \frac{1}{T_0} \int_{[T_0]}E_0\sin(2\pi f_0t + \phi) dt = 0 +\end{align*} + +La moyenne temporelle ne dépend pas de $\phi$ (de la réalisation) : ergodicité du moment d'ordre 1. + + +\item +\begin{align*} +E[x(t)x(t-\tau)] & = \gamma_{xx}(t,t-\tau) \\ +& = E[E_0^2\sin(2\pi f_0 t + \phi) \sin(2\pi f_0 (t-\tau)+\phi) ] \\ +& = \frac{E_0^2}{2} E[\cos(2\pi f_0 \tau) - \cos(4\pi f_0t - 2\pi f_0 \tau + 2\phi) ]\\ +& = \frac{E_0^2}{2} \cos(2\pi f_0 \tau) +\intertext{$E[x(t)x(t-\tau)]$ ne dépend pas de l'origine des temps, donc on a $E[x(t)x(t-\tau)]=\gamma_{xx}(\tau)$ : stationnarité du moment d'ordre 2} +\overline{x(t)x(t-\tau)} & = \frac{E_0^2}{2} (\overline{\cos(2\pi f_0\tau)} - \overline{\cos(4\pi f_0 t - 2\pi f_0 \tau + 2 \phi)}) \\ +& = \frac{E_0^2}{2} \cos(2\pi f_0 \tau) +\intertext{$\overline{x(t)x(t-\tau)}$ ne dépend pas de $\phi$ (de la réalisation) : ergodicité du moment d'ordre 2} +\end{align*} + +On a donc ergodicité et stationnarité, à l'ordre 1 et 2. + +Remarque : on a donc égalité des moments d'ordre 1 et 2 : +\[ \gamma_{xx}(\tau) = \overline{x(t)x(t-\tau)}\] +\[ \gamma_{xx}(0) = P_x = \frac{E_0^2}{2} < \infty \text{ et stationnarité du moment d'ordre 1 et 2} \longrightarrow \text{ stationnaire au sens large}\] + +\item Pour calculer une DSP d'un signal stationnaire au sens large : $\Gamma_{xx}(f) = TF[\gamma_{xx}(\tau)]$ +\begin{align*} +\Gamma_{xx}(f) & = TF[\gamma_{xx}(\tau)] \\ +& = TF[\frac{E_0^2}{2}\cos(2\pi f_0 \tau) ] \\ +& = \frac{1}{2} \frac{E_0^2}{2} (\delta(f_0-f) + \delta(f_0+f)) +\end{align*} + +\end{enumerate} + +\subsection*{Propriétés de la fonction de corrélation} + +On considère $x(t)$ un SA scalaire et stationnaire. + +\begin{enumerate} +\item +\begin{align*} +m_{x(t)} & = m_x \text{ par stationnarité} \\ +& = E[x(t)] \\ +\gamma_{xx}(\tau) & = E[x(t)x^*(t-\tau)] \\ +\Gamma_{xx}(f) & = TF[\gamma_{xx}(\tau)](f) +\end{align*} + +\item +\begin{align*} +P_x & = E[|x(t)|^2] \\ +& = E[x(t)x^*(t)] \\ +& = \gamma_{xx}(0) \\ +\gamma_{xx}(\tau) & = TF^{-1}[\Gamma_{xx}(f)](\tau) \\ +& = \int_{\mathbb{R}} \Gamma_{xx}(f)e^{j2\pi f \tau} df \\ +P_x & = \int_{\mathbb{R}} \Gamma_{xx}(f)df +\end{align*} + +\item +\begin{align*} +\gamma_{xx}(-\tau) & = E[x(t)x^*(t+\tau)] \\ +& = E[x(t)x^*(t+\tau)]^{**} \\ +& = E[x^*(t)x(t+\tau)]^* \\ +& = E[x(t+\tau)x^*(t)]^* \\ +& = \gamma_{xx}(\tau)^* +\intertext{Ainsi,} +\Gamma_{xx}^*(f) & = ( \int_{\R} \gamma_{xx}(\tau)e^{-j2\pi f\tau} d\tau)^* \\ +& = \int_{\R} \gamma_{xx}^*(\tau)e^{j2\pi f\tau} d\tau \\ +& =\int_{\R} \gamma_{xx}(-\tau)e^{j2\pi f\tau} d\tau \\ +& =\int_{\R} \gamma_{xx}(\tau')e^{-j2\pi f\tau'} d\tau' \\ +& = \Gamma_{xx}(f) +\intertext{Donc $\Gamma_{xx}(f) \in \R$} +\end{align*} + + +\item +On suppose que $x(t) \in \mathbb{R}$ +Montrons que $\Gamma_{xx}(\tau)$ est paire : +\begin{align*} +\Gamma_{xx}(-f) &= \int_\mathbb{R} \gamma_{xx}(\tau)e^{-j2\pi(-f)\tau} d\tau\\ +&= \int_\mathbb{R} \gamma_{xx}(-\tau)e^{-j2\pi f\tau} d\tau \text{en posant $\tau = -\tau'$}\\ +&= \int_\mathbb{R} \gamma_{xx}^*(\tau)e^{-j2\pi f\tau} d\tau\\ +&= \int_\mathbb{R} \gamma_{xx}(\tau)e^{-j2\pi f\tau} d\tau \text{ car $x$ est réel} \\ +&=\Gamma_{xx}(f) +\end{align*} +Ainsi, $\Gamma_{xx}(f)$ est bien paire. + +\item +Montrons que $\gamma_{xy}(-\tau)=\gamma_{yx}^*(-\tau)$\\ +\begin{align*} +\forall \tau \in \mathbb{R}\\ +\gamma_{xy}(-\tau) &= E[x(t)y^*(t+\tau)]*^*\\ +&= E[y(t+\tau)x^*(t)]^*\\ +&=\gamma_{xy}(\tau)^* +\end{align*} +Remarque : on retrouve la formule du 3. si y(t) = x(t). + + +\item +\begin{itemize} +\item $\gamma_{xx}(0)$ est le maximum de l'autocorrélation. +\item donc sa dérivée en 0 est nulle. +\item et sa dérivée seconde est négative pour assurer la concavité (car maximum). +\end{itemize} + +Remarque : FL(filtre linéaire) = SL(système linéaire) + temps invariant.\\ +si x(t) est stationnaire alors x'(t) aussi et : +$m_{x'} = E[x'(t)] = E[\frac{dx(t)}{dt}] = \frac{d}{dt}E[x(t)]$ car l'espérance ne dépent pas du temps donc l'interversion est possible.\\ +$\gamma_{xx}'(\tau) = \frac{d}{d\tau}E[x(t)x^*(t-\tau)] = E[x(t)\frac{\partial}{\partial \tau}x^*(t-\tau)] = -\gamma_{xx}(\tau)$\\ + +\item +\begin{align*} +\gamma_{xx}(\tau) &= \int_\mathbb{R} \Gamma_{xx}(f)e^{+j2\pi f\tau}df\\ +\gamma_{xx}'(\tau) &= \frac{d}{d\tau} \gamma_{xx}(\tau) = \int_\mathbb{R}(j2\pi f) \Gamma_{xx}(\tau)e^{+j2\pi f \tau} df\\ +\gamma_{xx}''(\tau) &= \int_\mathbb{R}(j2\pi f)^2 \Gamma_{xx}(\tau)e^{+j2\pi f \tau} df\\ +|\gamma_{xx}(\tau)| &\leq \int_\mathbb{R} |\Gamma_{xx}(f)|df = \int_\mathbb{R} \Gamma_{xx}(f)df = \gamma_{xx}(0)\\ +%|\gamma_{xx}(\tau)| &< + \infty \texte{ si $\Gamma_{xx}(f)$ décroit plus vite que $\frac{1}{f}$ en $\pm \infty$}\\ +|\gamma_{xx}'(\tau)| &\leq \int_\mathbb{R} 2 \pi |f| \Gamma_{xx}(f) df < + \infty \text{ si $\Gamma_{xx}(f)$ décroit plus vite que $\frac{1}{f^2}$ en $\pm \infty$}\\ +\intertext{et ainsi de suite pour des ordres supérieurs} +\gamma_{xx}'(0)&=0 \intertext{ car $f\Gamma_{xx}(f)$ est impaire donc l'intégrale est nulle sur $\mathbb{R}$. Ou alors, $\gamma'$ est réelle et égal à $j$ fois un réel, donc est nulle.} +\end{align*} + +\item +$s(t) = (h*e)(t) = \int_\mathbb{R}h(\theta)e(t-\theta) d\theta$ avec h la réponse impulsionnelle.\\ +\begin{align*} +m_s &= E[s(t)]\\ +&= E[\int_\mathbb{R} h(\theta)e(t-\theta)d\theta]\\ +&= \int_\mathbb{R}h(\theta)E[e(t-\theta)] d\theta\\ +&= m_e \int_\mathbb{R} d\theta\\ +&= H(0) m_e \\ +H(f) &= \int_\mathbb{R}h(t)e^{-j2\pi ft}dt\\ +H(0) &= \int_\mathbb{R}h(t)dt +\end{align*} + +\item +$\Gamma_{ss}(f)$ en fonction de $H(f)$, $\Gamma_{ee}(f)$. Formules des interférences : +\begin{align*} +\Gamma_{ss}(f) &= H(f)H^*(f)\Gamma_{ee}(f)\\ +&= |H(f)|^2\Gamma_{ee}(f)df\\ +P_s &= \int_\mathbb{R} \Gamma_{ss}(f) df = \int_\mathbb{R} |H(f|^2 \Gamma_{ee}(f) df \geq 0 +\end{align*} +On suppose par l'absurde qu'il existe $f_0 \in \mathbb{R}$ tel que $\Gamma_{ee}(f_0) < 0$ + +$\Rightarrow \exists(f_1,f_2) \in \mathbb{R}^2 \avec f_2 > f_0 > f_1$ tel que \[\forall f \in ]f_1,f_2[, \Gamma_{ee}(f) < 0\] +On utilise un filtre passe-bande idéal de gain unitaire et : +\[P_s = \int_\mathbb{R}\Gamma_{ss}(f)df = \int_{f_1}^{f_2}|H(f)|^2 \Gamma_{ee}(f) df < 0\] +Impossible donc $\forall f \in \R, \Gamma_{ee}(f) \geq 0$. + + +\item +On considère deux signaux stationnaires dans leur ensemble. La formule des interférences donne : +\begin{align*} +\Gamma_{s_1s_2}(f) &= H_1(f)H_2^*(f)\Gamma_{e_1e_2}(f)\\ +\intertext{Montrons que : } \gamma_{xx'}(\tau) &= -\gamma_{xx}'(\tau) +\intertext{Avec $H_1(f) = 1$ et $H_2(f) = j2\pi f$ (dérivateur de $x$), on a :} +\Gamma{xx'}(f) &= -j2\pi f \Gamma{xx}(f) +\intertext{Par transformée de Fourier inverse il vient :} +\gamma_{xx'}(\tau) &= -\gamma_{xx}'(\tau)\\ +\intertext{De même, avec $H_1(f) = H_2(f) = j2\pi f$, on a :} +\Gamma{x'x'}(f) &= -(j2\pi f)^2\Gamma{xx}(f) +\intertext{avec la transformée inverse de Fourier il vient :} +\gamma_{x'x'}(\tau) &= -\gamma_{xx}''(\tau)\\ +\end{align*} + +\end{enumerate} + +\end{document} diff --git a/451-Signal_Image/TD/TD6.tex b/451-Signal_Image/TD/TD6.tex new file mode 100644 index 0000000..bd91590 --- /dev/null +++ b/451-Signal_Image/TD/TD6.tex @@ -0,0 +1,100 @@ +\documentclass[main.tex]{subfiles} +\begin{document} + +On envoie un signal x(t) binaire de valeur a de probabilité p et de valeur -a de probabilité 1-p. On reçoit $y(t) = x(t) + b(t)$ avec $x(t)$ la partie utile du signal et $b(t)$ le bruit.\\ + +A chaque instant $t$, $x(t)$ et $b(t)$ sont des VA réelles notées $X_t$ et $B_t$, et indépendantes. +Le bruit $B_t$ suit une loi gaussienne $N(0,\sigma^2)$.\\ + +On observe à l'instant $t_0$, $Y_0 = X_0 +B_0$ que l'on compare au seuil $S$. La détection, c'est le cas particulier de l'estimation mais avec un nombre discret de valeurs possibles.\\ + +\begin{enumerate}\setlength{\itemsep}{5mm} + +\item Avec p = 0.5, les valeurs $+a$ et $-a$ interviennent avec la même probabilité. Le bruit est centré. Le problème est symétrique. Il n'y a pas de raison de privilégier les valeurs strictement positive, ou négative. On pose donc $S = 0$. + +\item $B$ est une VA gaussienne centrée et d'écart type $\sigma$ :\[f_B(b) = \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{b^2}{2\sigma^2})\] + +\item $X$ est certain et $Y=X+B$ avec $B$ : $N(0,\sigma^2)$, donc on peut intuiter que $Y$ suit la loi gaussienne : $N(X,\sigma^2)$. + +Sinon : Théorème de changement de variable : $f_Y(y) = f_B(b)|\frac{db}{dy}|_{b tq y =X+b} = f_{B}(y-X)$ + +\[f_Y(y) = \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{(y-x)^2}{2\sigma^2})\] + +\item +\begin{align*} +F_Y(S) & = Pr[YS \et X = -a)] \\ +& = Pr[(YS \et X = -a)] \\ +& = Pr[(YS / X = -a)]Pr[X=-a] \\ +P_{\epsilon} & = P(\frac{S-a}{\sigma})p+(1-P(\frac{S+a}{\sigma}))(1-p) +\end{align*} + +Remarque : \\ +Si $S\rightarrow+\infty$ (i.e. on reconstruit toujours $-a$), alors on a $P_{\epsilon} \rightarrow p$ (i.e. la probabilité d'erreur correspond à la celle d'envoyer un $a$). + +Si $S\rightarrow-\infty$ (i.e. on reconstruit toujours $a$), alors on a $P_{\epsilon} \rightarrow 1-p$ (i.e. la probabilité d'erreur correspond à la celle d'envoyer un $-a$). + +\item Condition nécessaire pour avoir un optimum (attention à vérifier aux bornes) : + +\[ \frac{dP_{\epsilon}}{dS}|_{S=S_{opt}} =0 \] + +\begin{align*} +\frac{dP_{\epsilon}}{dS}|_{S=S_{opt}} =0 & \leftrightarrow \frac{p}{\sigma}P(\frac{S-a}{\sigma}) - \frac{1-p}{\sigma}P(\frac{S+a}{\sigma}) = 0 \\ +& \leftrightarrow pe^{-\frac{1}{2}(\frac{S-a}{\sigma})^2} - (1-p)e^{-\frac{1}{2}(\frac{S+a}{\sigma})^2} = 0 \\ +& \leftrightarrow S_{opt} = \frac{\sigma^2}{2a}\ln(\frac{1-p}{p}) +\end{align*} + +Pour montrer qu'il s'agit d'un minimum, on peut calculer $\frac{d^2P_{\epsilon}}{dS^2}|_{S=S_{opt}}$ et vérifier que c'est positif, ou vérifier que $\frac{dP_{\epsilon}}{dS}$ change de signe en $S_{opt}$. + +\item Lorsque $p$ tend vers 1, $S_{opt}$ tend vers $-\infty$. En effet, si on envoie toujours un $a$, pour reconstruire uniquement $a$, il faut toujours être au dessus du seuil. + +Lorsque $p$ tend vers 0, alors $S_{opt}$ tend vers $+\infty$. + +\item Lorsque $p=\frac{1}{2}$, $S_{opt} = 0$. + +\begin{align*} +P_{\epsilon} & = \frac{1}{2}P(-\frac{a}{\sigma}) + (1-P(\frac{a}{\sigma}))\frac{1}{2} \\ +& = \frac{1}{2}(1+P(-\frac{a}{\sigma})-P(\frac{a}{\sigma}))\\ +P_{\epsilon} & = P(-\frac{a}{\sigma}) +\end{align*} + +Lorsque $a/\sigma$ "grand" (bon RSB), alors $P_{\epsilon} = P(-\frac{a}{\sigma}) = 1 - P(\frac{a}{\sigma}) \rightarrow 0$. Si le bruit est faible, l'erreur aussi. + +Lorsque $a/\sigma$ "petit", alors $P_{\epsilon} \rightarrow \frac{1}{2}$. Si le bruit est élevée, on a autant de chance d'avoir la bonne valeur que de se tromper.\\ + +$a/\sigma=3$ : $P_{\epsilon} = 1 - P(3) = 0.0013$ + +\item Pour diminuer la probabilité d'erreur, on peut par exemple réaliser deux mesures au lieu d'une sur chaque intervalle de temps : cela permet de "moyenner" l'effet du bruit. En effet, pour deux VA $Y_1$ et $Y_2$ décrites par $N(0,\sigma^2)$, on a pour la VA $Y=\frac{Y_1+Y_2}{2}$ un écart type de $\sigma' = \frac{\sigma}{\sqrt{2}}$. +\end{enumerate} +\end{document} diff --git a/451-Signal_Image/TD/TD7.tex b/451-Signal_Image/TD/TD7.tex new file mode 100644 index 0000000..4f37a4f --- /dev/null +++ b/451-Signal_Image/TD/TD7.tex @@ -0,0 +1,219 @@ +\documentclass[main.tex]{subfiles} + +\begin{document} + +\newcommand{\hth}{\hat{\theta}} +\newcommand{\hx}{\hat{x}} +\newcommand{\bY}{\mathbf{Y}} +\newcommand{\bH}{\mathbf{H}} +\newcommand{\erth}{\tilde{\theta}} +\newcommand{\erx}{\tilde{x}} +\newcommand{\gxx}{\gamma_{xx}} + +\subsection{Introduction} + +\begin{itemize} +\item Grandeur à estimer : VA $\theta = x(t+\Delta t)$, $\Delta t >0$. +\item Information a priori : $x(t)$ SA réel, scalaire, centré ($\forall t \in \R, E[x(t)] = 0$), stationnaire ($E[x(t)] = m_x(t) = m_x$). + +\item Observations / mesures : dans la partie II, $Y=x(t)$ et dans la partie III, $\bY=\vect{ x(t) \\ x'(t) }$ +\item Choix de l'estimateur : estimateur linéaire : $\hth = \bH \bY$ +\begin{itemize} +\item Partie II : $\hth = \hx (t+\Delta t) = Hx(t)$ +\item Partie III : $\hth = \hx (t+\Delta t) = \bH \vect{x(t) \\ x'(t) } = [a \quad b]\vect{ x(t) \\ x'(t)} =ax(t) + bx'(t)$ +\end{itemize} + +\item Calcul des caractéristiques statistiques de l'estimateur +\begin{itemize} +\item $ \erth = \hx(t+\Delta t) - x(t+\Delta t)$ +\item $E[\erth] = $ biais(moyen) +\item $E[\erth^2] = P_{\erth} = E[(\hth-\theta)^2] =$ erreur quadratique moyenne (puissance de l'erreur)\\ +\end{itemize} +\end{itemize} + +Objectif : Minimiser $P_{\erth}$\\ + +\begin{itemize} +\item Variations lentes : $x(t+\Delta t) \approx x(t)$. + +$\hx(t+\Delta t) = x(t) = 1.x(t)$. L'erreur d'estimation vient de celle de $x(t+\Delta t) \approx x(t)$. + +$\hx(t+\Delta t) = 1.x't) + \Delta t x'(t)$ + +\item Fortement corrélé : $\gxx(\Delta t) \approx \gxx(0)$. + +On obtient les mêmes expressions que précédemment pour $\hx(t+\Delta t)$. + +\item Faiblement corrélé : la fonction d'autocorrélation est "plus étroite" : $\gxx(\Delta t) \approx 0$ + +$\hx(t+\Delta t) = 0$ i.e. $a=0,b=0$ + +\item Signal sinusoïdal + +$\hx(t+\Delta t) = \frac{x_1(t+\Delta t) + x_2(t+\Delta t)}{2}$ si on a seulement accès à $x(t)$ + +$\hx(t+\Delta t) = x(t+\Delta t)$ si on a accès à $x(t)$ et $x'(t)$. +\end{itemize} + +\subsection{Estimateur à partir de $x(t)$} + +On utilise l'estimateur suivant : +\[\hx(t+\Delta t) = a.x(t) \] +\begin{enumerate}\setlength{\itemsep}{5mm} +\item Calculons l'erreur moyenne : +\begin{align*} +E[\erx(t+\Delta t)] & = E[\hx(t+\Delta t) - x(t+\Delta t)] \\ +& = E[a.x(t) - x(t+\Delta t)] \\ +& = aE[x(t)] - E[x(t+\Delta t)] \\ +& = 0 \text{ car le signal est centré} +\end{align*} +L'estimateur est non biaisé car la moyenne de l'estimateur est égale à la moyenne du signal. + +\item Calculons l'erreur quadratique : +\begin{align*} +P_{\erth} & = E[\erx(t+\Delta t)^2] \\ +& = E[(ax(t)-x(t+\Delta t))^2] \\ +P_{\erth}(a) & = a^2 \gxx(0) -2a\gxx(\Delta t)+\gxx(0) +\end{align*} + +$P_{\erth}(a)$ est une parabole et $\gxx(a)>0$ donc on a la CNS de maximum : +\[ \frac{dP_{\erth}(a)}{da}|_{a_{opt}} = 0 \Leftrightarrow a_{opt} = \frac{\gxx(\Delta t)}{\gxx(0)} \in [-1,1] \] + +On en déduit l'erreur quadratique minimale : +\[P_{min} = P_{\erth}(a_{opt}) = \gxx(0) - \frac{\gxx^2(\Delta t)}{\gxx(0)} = \gxx(0)(1-(\frac{\gxx(\Delta t)}{\gxx(0)})^2)\] + +Calculons l'erreur moyenne de $\erx(t+\Delta t)x(t)$ : +\begin{align*} +E[\erx(t+\Delta t)x(t)] & = E[(ax(t) - x(t+\Delta t)) x(t)] \\ +& = a \gxx(0) - \gxx(\Delta t) +\intertext{Pour $a = a_{opt}$,} +E[\erx(t+\Delta t)x(t)] & = 0 \text{ (principe d'orthogonalité)} +\intertext{On peut réécrire ce résultat :} +E[\erx(t+\Delta t)x(t)] & = \gamma_{x\erx}(\Delta t) = 0 +\end{align*} +Autrement dit, il ne reste plus d'information commune entre $\erx(t+\Delta)$ et $x(t)$. On a extrait ce qu'on pouvait. Si on ne l'avait pas fait ($\gamma_{x\erx}(\Delta t) \neq 0$), on pourrait trouver un meilleur estimateur. + +\item Dans le cas du bruit blanc $\gxx(\Delta t) = 0$ donc $a_{opt}=0$. + +Dans le cas du faiblement corrélé, $\gxx(\Delta t)=0$. + +Fortement corrélé : $\gxx(\Delta t) \approx \gxx(0)$ donc $a_{opt}\approx 1$ +\end{enumerate} + +\subsection{Estimateur à partir de $x(t)$ et $x'(t)$} + +On considère l'estimateur : +\[ \hx(t+\Delta t) = ax(t) + bx'(t) \] + +Hypothèses : +\begin{itemize} +\item $\tau \rightarrow \gamma_{xx}(\tau)$ est dérivable 2 fois +\item $\gxx'(0)=0$ +\item $\gxx''(0) <0$ +\end{itemize} + +\begin{enumerate}\setlength{\itemsep}{5mm} +\item Biais de l'estimateur ? +\begin{align*} +E[\erx(t+\Delta t)] & = E[(\hx(t+\Delta t) - x(t-\Delta t)] \\ +& = E[ax(t) + bx'(t) - x(t+\Delta t)]\\ +& = a E[x(t)] + bE[x'(t)] - E[x(t+\Delta t)] \\ +& = 0 +\end{align*} +L'estimateur est non biaisé, et e $\forall a,b\in\R^2$. + +\item Erreur quadratique moyenne de l'estimateur ? +\begin{align*} +P_{\erth} &= E[\erx(t+\Delta)^2] \\ +& = E[(ax(t)+bx'(t)-x(t+\Delta t))^2] \\ +& = a^2E[x(t)^2] + b^2E[x'(t)^2]+E[x(t+\Delta t)^2] + 2abE[x(t)x'(t)] \\& \qquad - 2aE[x(t)x(t+\Delta t) - 2bE[x'(t)x(t+\Delta t)] \\ +\intertext{D'après les résultats démontrés au TD précédent (via formule des interférences) : } +P_{\erth} & = a^2\gxx(0) -b^2\gxx''(0)+\gxx(0) -2ab\gxx'(0)-2a\gxx(\Delta t) +2b\gxx'(\Delta t) \\ +& = (1+a^2)\gxx(0) -b^2\gxx''(0) -2a\gxx(\Delta t) +2b\gxx'(\Delta t) +\end{align*} + +Ceci définit sans conteste un fantastique paraboloïde tourné ver le haut ! En effet, les coefficients de vant $a^2$ et $b^2$ ont le bon goût d'être positifs (car $gxx(0)=P_x>0$ et $\gxx''(0)<0$ (puissance maximum en 0)). + +Tout ça pour ne pas minimiser la belle fonction à deux variables, car on a maintenant une CNS de minimum de l'erreur quadratique : +\[ \frac{\partial P_{\erth}}{\partial a}|_{a=a_{opt}} = 0 \quad \et \quad \frac{\partial P_{\erth}}{\partial b}|_{b=b_{opt}} \] + +On en déduit donc : +\[ a_{opt} = \frac{\gxx(\Delta t)}{\gxx(0)} \quad \et \quad b_{opt} = \frac{\gxx'(\Delta t)}{\gxx''(0)} \] +puis +\[P_{\erth}(a_{opt},b_{opt}) = \gxx(0) - \frac{\gxx^2(\Delta t)}{\gxx(0)} + \frac{\gxx'^2(\Delta t)}{\gxx''(0)} \] + +On compare les 2 estimateurs : +\[P_{min,2} = \gxx(0)[1 -(\frac{\gxx(\Delta t)}{\gxx(0)})^2] + \frac{\gxx'^2(\Delta)}{\gxx''(0)} = P_{min,1} + \frac{\gxx'^2(\Delta)}{\gxx''(0)} \] + +Or, $\frac{\gxx'^2(\Delta)}{\gxx''(0)}<0$ donc $P_{min,2} < P_{min,1}$ + +\begin{align*} +E[\erx(t+\Delta t)x(t)] & = E[(ax(t)+bx'(t)-x(t+\Delta t))x(t) \\ +& = a\gxx(0) - b\gxx'(0) - \gxx(\Delta t) \\ +& = a\gxx(0) - \gxx(\Delta t) \\ +& = 0 \avec a=a_{opt} +\end{align*} + +\begin{align*} +E[\erx(t+\Delta t)x(t)] & = E[(ax(t)+bx'(t)-x(t+\Delta t))x'(t)] \\ +& = a\gxx'(0) - b\gxx''(0) +\gxx'(\Delta t) \\ +& = - b\gxx''(0) +\gxx'(\Delta t) \\ +& =0 \avec b = b_{opt} +\end{align*} + +On aurait pu utiliser ce résultat (principe d'orthogonalité) pour trouver les valeurs de $a_{opt}$ et $b_{opt}$.\\ + +\textbf{Résumé : } dans le cadre d'un estimateur linéaire : \[\hth = \hx (t+\Delta t) = \bH \vect{x(t) \\ x'(t) } = [a \quad b]\vect{ x(t) \\ x'(t)} =ax(t) + bx'(t)\] +\begin{itemize} +\item 1ère méthode : exprimer $P_{\erth}=E[\erth^2]$, chercher le $\bH_{opt} = [a_{opt} \quad b_{opt}]$ tel que $P_{\erth}$ est minimale. On en déduit $\hth=\bH_{opt} \bY$. +\item 2ème méthode : Principe d'orthogonalité, revient à chercher $\bH$ tel que $E[\erth\bY^T]=0$. +\end{itemize} + +\[E[\erth\bY^T]=0 \Leftrightarrow \text{Chercher } P_{\erth} min + \text{ estimateur lin. } \] + +\textit{Remarque :} Innovation = l'erreur $\erx(t+\Delta t)$ dans le cas où l'estimateur minimise $P_{\erth}$ +\end{enumerate} + +\subsection{Comparaison} +\begin{enumerate}\setlength{\itemsep}{5mm} +\item \begin{itemize} +\item Les deux estimateurs sont non biaisés. +\item $P_{min,2} \leq P_{min,1}$ : le 2ème est cool ! +\end{itemize} + +\item On suppose $\Delta t$ "petit". Au début du TD, on avait alors intuité que \[\hx(t+\Delta t) = 1.x't) + \Delta t x'(t)\] soit $a_{opt} = 1$ et $b_{opt} =\Delta t$. +\[a_{opt} = \frac{\gxx(\Delta t)}{\gxx(0)} \approx \frac{\gxx(0) + \Delta t \gxx'(0)}{\gxx(0)}=1\] +\[b_{opt} = \frac{\gxx'(\Delta t)}{\gxx''(0)} \approx \frac{\gxx'(0) + \Delta t \gxx''(0)}{\gxx''(0)}=\Delta t\] + +WIRKLICH WUNDERBAR ! + +\end{enumerate} + +\subsection{Application} + +On s'intéresse maintenant au signal : +\[ x(t) = E_0\sin(2\pi f_0 t+\phi) \] où $\Phi$ est une VA uniformément répartie sur $[0,2\pi[$ + +On a montré dans un TD précédent que ce signal est stationnaire et ergodique (à l'ordre 2). + +\begin{enumerate}\setlength{\itemsep}{5mm} +\item $E[x(t)] = 0$ car $\Phi$ est une VA uniforme. Par ergodicité et stationnarité au 1er ordre, $\overline{x(t)} = E[x(t)] = 0$. + +On calcule la fonction d'autocorrélation et comme on l'a déjà vu : +\[ \gxx(\tau) = \frac{E_0^2}{2}\cos(2\pi f_0 t) \] + +\item $\gxx(\tau)=\frac{E_0^2}{2}\cos(2\pi f_0 t)$ a sensiblement l'air périodique, d'amplitude $\frac{E_0^2}{2}$ et de fréquence $f_0$. + +\item 1er estimateur : $\hx_1(t+\Delta t) = a_{opt}x(t)$. + +Or, $a_{opt} = \frac{\gxx(\Delta t)}{\gxx(0)} = \cos(2\pi f_0 \Delta t)$, donc +\[ \hx_1(t+\Delta t)= E_0 \cos(2\pi f_0 \Delta t)x(t) = E_0 \cos(2\pi f_0 \Delta t) \sin(2\pi f_0 t + \phi) \] + +\item 2ème estimateur : $\hx_2(t+\Delta t) = a_{opt}x(t) + b_{opt}x'(t)$. + +Or, $a_{opt} = \frac{\gxx(\Delta t)}{\gxx(0)} = \cos(2\pi f_0 \Delta t)$ et +$b_{opt} = \frac{\gxx'(\Delta t)}{\gxx''(0)} = \frac{\sin(2\pi f_0 \Delta t)}{2\pi f_0}$, donc +\[ \hx_2(t+\Delta t) = E_0 \cos(2\pi f_0 \Delta t) \sin(2\pi f_0 t + \phi) + E_0 \frac{\sin(2\pi f_0 \Delta t)}{2\pi f_0} (2\pi f_0 \cos(2\pi f_0 t + \phi)) \] +\[ \hx_2(t+\Delta t) = E_0\sin(2\pi f_0(t+\Delta t) + \phi) = x(t+\Delta t)\] +\end{enumerate} +\end{document} diff --git a/451-Signal_Image/TD/TD8.tex b/451-Signal_Image/TD/TD8.tex new file mode 100644 index 0000000..1be6a86 --- /dev/null +++ b/451-Signal_Image/TD/TD8.tex @@ -0,0 +1,205 @@ +\documentclass[main.tex]{subfiles} + +\begin{document} +\newcommand{\snn}{\sum_n} +On cherche à estimer $V$ (paramètre constant). + +On relève la position du véhicule le long du rail à des instants $t_n=nT$. + +On considère $Y_n=nTV+B_n$, avec $B_n~N(0,\sigma_B^2)$. + +À $t_n=t_0=0$, le mobile se trouve en 0. + +\section{Expériences} + +\begin{enumerate}\setlength{\itemsep}{10mm} +\item On trace la droite qui passe au mieux par tous les points et l'origine, on trouve une pente d'environ 1 m/s. + +L'hypothèse "bruit blanc" a l'air de marcher mais ne pas faire de conclusion rapide (on n'a que 10 mesures). + +\item La "meilleure droite" ne passe pas par l'origine. Les causes possibles sont : un bruit non centré, ou une position non nulle à $t_0=0$. On a l'impression que le bruit est corrélé, mais on ne peut pas tirer de conclusion. + +\item Pour obtenir la ddp de $\hat{V}$ : +\begin{itemize} +\item Méthode basée sur l'expérience : chaque jeu d'observation donne $\hat{v}_i$ et on trace l'histogramme (voir TP d'initiation à Matlab). +\item Méthode de changement de variable : ddp de $B_n$, puis ddp de $Y_n$ et enfin (passage difficile) ddp de $\hat{V}$. +\end{itemize} + +Remarque : $\hat{V}~N(m_{\hat{v}},\sigma_{\hat{V}}^2)$ +\begin{itemize} +\item 1er estimateur (non biaisé) : $m_{\hat{v}}=1m/s$ et $\sigma_{\hat{V}}=0,08m/s$ +\item 2ème estimateur (non biaisé) : $m_{\hat{v}}=1m/s$ et $\sigma_{\hat{V}}=0,04m/s$, meilleur estimateur car meilleur écart-type. +\end{itemize} + +\end{enumerate} + +\subsection{Estimateur empirique} +Dans cette partie, $Y_n=nTV+B_n$ avec bruit faible, donc $V=\frac{y_n}{nT}$. + +\begin{enumerate}\setlength{\itemsep}{10mm} +\item On mesure $y_n$. \[\hat{V}_{emp}=\frac{Y_n}{nT}\] +\[E[\hat{V}_{emp}] = \frac{E[Y_n]}{nT}=\frac{E[nTV+B_n]}{nT} = V+\frac{E[B_n]}{nT} = V\] +donc l'estimateur est non biaisé. +\[\sigma_{\hat{V}_{emp}}^2 = E[(\hat{V}_{emp}-m_{\hat{V}_{emp}})^2] = E[(\frac{Y_n}{nT}-V)^2] = E[(\frac{nTV+B_n}{nT}-V)^2] = \frac{1}{(nT)^2}E[B_n^2]\] +\[\sigma_{\hat{V}_{emp}}=\frac{\sigma_B}{nT}\] +Ainsi, pour minimiser $\sigma_{\hat{V}_{emp}}$, on prend $n=N$ (la plus grande mesure). + +\item On dispose de $N$ mesures $y_1,...y_N$ +\[\hat{V}_{emp}=\frac{\snn \frac{Y_n}{nT}}{n}\] +L'estimateur n'est pas biaisé car : +\[ E[\hat{V}_{emp}] = \frac{\snn \frac{E[Y_n]}{nT}}{N}=V\] +Écart-type de l'estimateur : +\begin{align*} +\sigma_{\hat{V}_{emp}}^2 & = E[(\hat{V}_{emp}-m_{\hat{V}_{emp}})^2]\\ +& = E[(\hat{V}_{emp}-V)^2] \\ +& = E[(\frac{\snn V+\frac{B_n}{nT}}{N}- \frac{NV}{N})^2] \\ +& = \frac{1}{N^2}E[(\snn\frac{B_n}{nT})^2] \\ +& = \frac{1}{(NT)^2}E[(\snn \frac{B_n}{n})^2] \\ +& = \frac{1}{(NT)^2}(\snn\frac{E[B_n^2]}{n^2}+\sum_{n\neq m}\frac{E[B_nB_m]}{nm}) \\ +\intertext{Le bruit est blanc, donc les $E[B_nB_m]=0$} +\sigma_{\hat{V}_{emp}}^2 & = \frac{\sigma_B^2}{(NT)^2}\snn\frac{1}{n^2} \\ +\sigma_{\hat{V}_{emp}} & = \frac{\sigma_B}{nT}\sqrt{S_1} +\end{align*} + +Or, $\frac{\sigma_B}{nT}\sqrt{S_1} > \frac{\sigma_B}{nT}$. Cela signifie que notre estimateur avec 1 mesure est "meilleur" que celui avec $n$ mesures. On est triste d'avoir considéré les premières mesures qui sont très sensibles, comme nous, mais au bruit. +\end{enumerate} + +\subsection{Préliminaires} +$V$ grandeur certaine mais inconnue, $Y_n=nTV+B_n$ et $B_n=N(0,\sigma_B^2)$. +\begin{enumerate} +\item Moyenne de $Y_n$ : $m_n = E[Y_n] = nTV$. + +Écart-type de $Y_n$ : $\sigma_n^2=E[(Y_n-m_n)^2] = E[B_n^2]$ donc $\sigma_n=\sigma_B$ + +Coefficient de corrélation : \[\rho_{mn} = \frac{E[(Y_n-m_n)(Y_m-m_m)]}{\sigma_n\sigma_m} = \frac{E[B_nB_m]}{\sigma_B^2} = \left\{\begin{array}{cc} 1 & \si m=n \\ 0 & \si m\neq n \end{array}\right. = \delta_{n-m}\] + +\item Par changement de variables aléatoires si ça t'amuse, +\[f_{Y_n}(y_n) = f_{B_n}(y_n-nTV) = \\frac{1}{\sqrt{2\pi \sigma_b^2}}e^{-frac{(y_n-nTV)^2}{2\sigma_b^2}}\] + +Le caractère gaussien se conserve par transformation linéaire, i.e. toute combinaison linéaire de VA suivant une loi gaussienne suit aussi une loi gaussienne. Attention, ne pas sommer les ddp. + +Les $Y_i$ étant indépendants (car les $B_i$ sont indépendants car blancs) : +\[f_{Y_1,...Y_n}(y_1,...y_n)=\prod_{i=1}^N f_{Y_i}(y_i)=\frac{1}{(2\pi)^{N/2}\sigma_B^N}\exp(-\frac{1}{2}\frac{\snn(y_n-nTV)^2}{\sigma_B^2})\] +\[f_{\mathbf{Y}}(\mathbf{y}) =\frac{1}{(2\pi)^{N/2}\sigma_B^N}\exp(-\frac{1}{2}\frac{(\mathbf{y}-E[\mathbf{y}])^T(\mathbf{y}-E[\mathbf{y}])}{\sigma_B^2})\] +\end{enumerate} + +\noindent Rappel : la décorrélation n'implique pas l'indépendance, il faut le caractère "gaussiens dans leur ensemble". + +\subsection{Estimateur des moindres carrés} + +\begin{enumerate}\setlength{\itemsep}{10mm} +\item L'estimateur au sens des moindres carrés de $V$ est : +\[ \hat{v}_{MC} = \arg_V \min \sum_{n=1}^N (y_n-nTV)^2\] + +En posant $J_{MC} : V \rightarrow \sum_{n=1}^N(y_n-nTV)^2$, $J_{MC}$ est une parabole (concavité tournée vers le haut). On a alors une condition nécessaire et suffisante à la minimisation : +\begin{align*} +\frac{dJ_{MC}}{dV}|_{V =\hat{V}_{MC}} = 0 & \Leftrightarrow \sum_{n=1}^N 2(-nT)(y_n-nTV) = 0 \\ +& \Leftrightarrow \sum_{n=1}^N ny_n - \hat{v}_{MC} T \sum_{n=1}^N n^2 = 0 \\ +& \Leftrightarrow \hat{v}_{MC} = \frac{\snn ny_n}{T\sum_{n=1}^N n^2} \\ +& \Leftrightarrow \hat{V}_{MC} = \frac{\snn nY_n}{TS_2} +\end{align*} + +\item Calculons la moyenne de l'estimateur. + +\[m_{MC} = E[\hat{v}_{MC}] = \frac{\snn n E[Y_n]}{T S_2} = \frac{\snn n (nTV)}{T S_2} = V\] +L'estimateur non biaisé.\\ + +On s'intéresse à son écart-type. +\begin{align*} +\sigma_{MC}^2 & = E[(\hat{V}_{MC}-m_{MC})^2]\\ +& = E[(\hat{V}_{MC}-V)^2] \\ +& = E[(\frac{\snn nY_n}{TS_2}-V)^2] \\ +& = E[(\frac{\snn n^2 (TV + nB_n) - TV\snn n^2}{TS_2})^2] \\ +& = E[(\frac{\snn nB_n}{TS_2})^2] +\intertext{Comme les $B_n$ sont décorrélés, les doubles produits sont tous nuls} +\sigma_{MC}^2 & = \frac{\snn n^2 E[B_n^2]}{T^2 S_2^2} \\ +\sigma_{MC} & = \frac{\sigma_B}{T\sqrt{S_2}} +\end{align*} + +Comme $S_2=\snn n^2 > N^2$, on a $\sqrt{S_2} > N$ donc $\sigma_{MC} < \sigma_{emp} = \frac{\sigma_B}{NT}$. + +Notre estimateur est meilleur que l'estimateur empirique. +\end{enumerate} + +\newpage +\subsection{Estimateur du maximum de vraisemblance} + +\begin{enumerate}\setlength{\itemsep}{10mm} +\item L'estimateur du maximum de vraisemblance de $V$ est donné par +\[ \hat{v}_{MV} = \arg_V \max f_{\textbf{Y}}(\mathbf{y}) \] + +Remarque : dans le cas où $V$ est incertain, $\arg_v \max f_{\mathbf{Y}/V=v}(\mathbf{y})$.\\ + +$Y$ suit une loi gaussienne donc : +\[ \hat{v}_{MV} = \arg_V \max f_{\textbf{Y}}(\mathbf{y}) = \arg_V \min \snn (y_n-nTV)^2 = \arg \min J_{MC}(V)\] + +\item Identique à la partie précédente car $\hat{V}_{MV} = \hat{V}_{MC}$. +\end{enumerate} + +\subsection{Estimateur du maximum a posteriori} +\begin{itemize} +\item $V$ suit une loi gaussienne $N(V_0,\sigma_V^2)$ +\item les VA $B_n$ et $V$ sont indépendantes 2 à 2 +\end{itemize} +\medskip +On a 2 types d'informations : +\begin{itemize} +\item celle qui vient des mesures $y_n$ +\item celle qui vient de l'a priori $V$ +\end{itemize} + +\begin{enumerate}\setlength{\itemsep}{10mm} +\item Dans le cas où $V=v$ ($v$ est certain), on ne change pas pour autant le comportement de $B_1,...B_n$, donc de $Y_1...Y_n$ : +\[ f_{\mathbf{Y}/V=v}(\mathbf{y}) = \frac{1}{(2\pi)^{N/2}\sigma_B^N}\exp(-\frac{1}{2}\frac{\snn(y_n-nTv)^2}{\sigma_B^2}) \] + +\item On utilise la règle de Bayes : +\[f_{V/\mathbf{Y}=\mathbf{y}}(v) = \frac{f_{\mathbf{Y}/V=v}(\mathbf{y}) f_V(v)}{f_{\mathbf{Y}}(\mathbf{y})} \] +$f_{\mathbf{Y}}(\mathbf{y})$ ne dépend pas de $v$ car on peut la calculer selon $f_{\mathbf{Y}}(\mathbf{y}) = \int_{\R} f_{\mathbf{Y},V}(\mathbf{y},v)dv$. + +\item L'estimateur du maximum a posteriori de $V$ est donné par : +\[\hat{v }_{MAP} = \arg_v \max f_{V/\mathbf{Y}=\mathbf{y}}(v)\] + +Or \[ f_{V/\mathbf{Y}=\mathbf{y}}(v) = cste \times \exp(-\frac{1}{2}(\frac{\snn (y_n - nvT)^2}{\sigma_B^2} + \frac{(v-V_0)^2}{\sigma_V^2})) \] + +On pose $J_{MAP} = \frac{\snn (y_n - nvT)^2}{\sigma_B^2} + \frac{(v-V_0)^2}{\sigma_V^2}$ et on a alors $\hat{v}_{MAP} = \arg_v \min J_{MAP}(v)$. + +CNS de maximisation : +\begin{align*} +\frac{dJ_{MAp}}{dV}|_{V =\hat{v}_{MAP}} = 0 & \Leftrightarrow -2T \frac{\snn (y_n - nvT)n}{\sigma_B^2} + 2\frac{(v-V_0)}{\sigma_V^2} = 0 \\ +& \Leftrightarrow \hat{v}_{MAP} = \frac{\frac{T\snn ny_n}{\sigma_B^2}+\frac{V_0}{\sigma_V^2}}{\frac{T^2 \snn n^2}{\sigma_B^2} + \frac{1}{\sigma_V^2}} \\ +& \Leftrightarrow \hat{v}_{MAP} = \frac{\frac{\hat{v}_{MV}}{\sigma_{MV}^2} + \frac{V_0}{\sigma_V^2}}{\frac{1}{\sigma_{MV}^2} + \frac{1}{\sigma_V^2}} +\end{align*} + +Donc +\[ \hat{V}_{MAP} = \frac{\frac{\hat{V}_{MV}}{\sigma_{MV}^2} + \frac{V_0}{\sigma_V^2}}{\frac{1}{\sigma_{MV}^2} + \frac{1}{\sigma_V^2}} \] +C'est un barycentre entre les mesures représentées par $\hat{v}_{MV}$ et l'a priori $V_0$. + +\begin{itemize} +\item Si $\sigma_V$ "petit", alors $\hat{V}_{MAP} \approx V_0$ : beaucoup d'a priori donc on n'a pas exploité les mesures. +\item Si $\sigma_V$ "grand", alors $\hat{V}_{MAP} \approx \hat{V}_{MV}$ : l'a priori est tellement pourri qu'on n'en tient pas compte. +\end{itemize} + +\item On forme l'erreur d'estimation +\[ \tilde{V}_{MAP} = \hat{V}_{MAP} - V \] + +\begin{itemize}\setlength{\itemsep}{10mm} +\item Biais ? +\[ E[\tilde{V}_{MAP}] = E[\hat{V}_{MAP}] - E[V] = 0 \] + +\item Variance de l'erreur d'estimation : puissance de l'erreur dans le cas non biaisé. +\begin{align*} +\sigma_{MAP}^2 & = E[ (\tilde{V}_{MAP} - E[\hat{V}_{MAP}])^2] \\ +& = E [(\hat{V}_{MAP} - V)^2] \\ +& = E [ (\frac{\frac{\hat{V}_{MV}-V}{\sigma_{MV}^2} + \frac{V_0-V}{\sigma_V^2}}{\frac{1}{\sigma_{MV}^2} + \frac{1}{\sigma_V^2}})^2]\\ +& = \frac{1}{(\frac{1}{\sigma_{MV}^2} + \frac{1}{\sigma_V^2})^2} E [(\frac{\hat{V}_{MV}-V}{\sigma_{MV}^2} + \frac{V_0-V}{\sigma_V^2})^2] \\ +& = \frac{1}{(\frac{1}{\sigma_{MV}^2} + \frac{1}{\sigma_V^2})^2}( \frac{E[(\hat{V}_{MV}-V)^2]}{\sigma_{MV}^4} + \frac{E[(V_0-V)^2}{\sigma_V^4}) \\ +& = \frac{1}{(\frac{1}{\sigma_{MV}^2} + \frac{1}{\sigma_V^2})^2}( \frac{\sigma_{MV}^2}{\sigma_{MV}^4} + \frac{\sigma_V^2}{\sigma_V^4}) \\ +\sigma_{MAP}^2 & = (\frac{1}{\sigma_{MV}^2} + \frac{1}{\sigma_V^2})^{-1} +\end{align*} +On a donc $ \sigma_{emp} > \sigma_{MV} > \sigma_{MAP}$. +\end{itemize} + +\end{enumerate} + + +\end{document} diff --git a/451-Signal_Image/TD/auto/TD1.elc b/451-Signal_Image/TD/auto/TD1.elc new file mode 100644 index 0000000..ed3fd2a Binary files /dev/null and b/451-Signal_Image/TD/auto/TD1.elc differ diff --git a/451-Signal_Image/TD/auto/TD2.elc b/451-Signal_Image/TD/auto/TD2.elc new file mode 100644 index 0000000..746cc19 Binary files /dev/null and b/451-Signal_Image/TD/auto/TD2.elc differ diff --git a/451-Signal_Image/TD/auto/TD6.elc b/451-Signal_Image/TD/auto/TD6.elc new file mode 100644 index 0000000..1c82295 Binary files /dev/null and b/451-Signal_Image/TD/auto/TD6.elc differ diff --git a/451-Signal_Image/TD/auto/TD8.elc b/451-Signal_Image/TD/auto/TD8.elc new file mode 100644 index 0000000..e363227 Binary files /dev/null and b/451-Signal_Image/TD/auto/TD8.elc differ diff --git a/451-Signal_Image/TD/auto/main.elc b/451-Signal_Image/TD/auto/main.elc new file mode 100644 index 0000000..517c55a Binary files /dev/null and b/451-Signal_Image/TD/auto/main.elc differ diff --git a/451-Signal_Image/TD/main.tex b/451-Signal_Image/TD/main.tex new file mode 100644 index 0000000..85aa27c --- /dev/null +++ b/451-Signal_Image/TD/main.tex @@ -0,0 +1,48 @@ +\documentclass{../../td} +\usepackage{../../raccourcis} +\usepackage{multicol} +% Mise en page +\title{Correction de TD} +\author{Pierre-Antoine Comby (basé sur le travail de ?)} +\teacher{Cécile Durieu} +\module{451} + +\renewcommand{\thesection}{TD\arabic{section}} + +\newcommand{\et}{\quad\text{ et }\quad} +\newcommand{\avec}{\quad\text{ avec }\quad} +\newcommand{\sinon}{\quad\text{ sinon}\quad} +\newcommand{\ou}{\quad\text{ ou}\quad} +\renewcommand{\si}{\quad\text{ si }\quad} +\makeatletter +\def\l@section{\@dottedtocline{1}{1em}{3em}} +\makeatother + +\begin{document} + +\maketitle +\tableofcontents +\section{Variable aléatoire scalaires} +\subfile{TD1.tex} +\section{Étude d'un couple de VA} +\subfile{TD2.tex} +\section{Somme de VA et TCL} +\subfile{TD3.tex} +\section{Lois marginale, loi conditionnelles et estimation} +\subfile{TD4.tex} +\section{Signaux aléatoire} +\subfile{TD5.tex} +\section{Détection} +\subfile{TD6.tex} +\section{Prédiction} +\subfile{TD7.tex} +\section{Estimation de la vitesse d'un véhicule} +\subfile{TD8.tex} +\end{document} + +%%% Local Variables: +%%% mode: latex +%%% TeX-master: t +%%% End: + + diff --git a/td.cls b/td.cls index ecd3bef..523c012 100644 --- a/td.cls +++ b/td.cls @@ -51,6 +51,15 @@ \RequirePackage{mathtools} \RequirePackage{amsfonts} \RequirePackage{mathrsfs} + +\RequirePackage{tikz} +\usetikzlibrary{fit} +\usetikzlibrary{positioning} +\RequirePackage{schemabloc} +\RequirePackage[european,cuteinductors,siunitx,straightvoltages]{circuitikz} +\tikzset{every picture/.style={execute at begin picture={\shorthandoff{:;!?};}}} +\usetikzlibrary{positioning, fit, calc} +\RequirePackage{pgfplots} \RequirePackage{amssymb} \RequirePackage[section]{placeins} % Oblige a placer toutes les figures avant de passer a la section suivante