156 lines
No EOL
4.4 KiB
TeX
156 lines
No EOL
4.4 KiB
TeX
\documentclass{article}
|
|
\input{../../preambule/preambule}
|
|
|
|
\newcommand{\nom}{TD7}
|
|
\renewcommand{\nomentete}{UE455 - \nom}
|
|
|
|
|
|
|
|
\begin{document}
|
|
|
|
\titre{\nom}
|
|
\section*{Exercice I-TD3: Entropie différentielle d'une source Gaussienne}
|
|
|
|
\begin{enumerate}
|
|
\item
|
|
\begin{align*}
|
|
f_X(x) = \frac{1}{\sqrt{2 \pi \sigma^2}} exp(-\frac{(x-\mu)^2}{2\sigma^2}
|
|
\intertext{Montrons que $h(x) = \frac{1}{2} log_2(2\pi e \sigma^2)$}
|
|
h(x) = - \int_{-\infty}^{\infty} f_x(x) log_2(f_x(x)) dx\\
|
|
\end{align*}
|
|
Tout réside dans le log de exp, la définition de la variance et de la densité de probabilité. Trivial donc.
|
|
|
|
\item \begin{align*}
|
|
\int_{-\infty}^{+\infty} f_Y(x) log_2(\frac{f_X(x)}{f_Y(x)}) dx = h(Y) - \int_{-\infty}^{+\infty} f_Y(x) log_2(f_X(x)) dx
|
|
=h(Y) - h(X) \leq 0
|
|
\end{align*}
|
|
D'où le résultat.
|
|
\end{enumerate}
|
|
|
|
|
|
\section*{Exercice III-TD3: Schéma de compression binaire avec pertes}
|
|
|
|
\begin{align*}
|
|
\underline{X} = x_1x_2...x_mX_{m+1}x_{2m}\\
|
|
\underline{Y} = y_1 y_2
|
|
\end{align*}
|
|
On suppose que $n_j = \sum_{i=0}^M x_{(j-1)M+i}$. $n_j$ est le nombre de '1' dans $x_{(j-1)M+i} ... x_{jM}$.
|
|
|
|
\begin{align*}
|
|
y_j &= \acc{0 \text{ si, } M-n_j > \frac{M}{2}}{1 \text{sinon, ie } n_j \geq \frac{M}{2}}\\
|
|
\text{Pour $M = 3$, alors } x_1 &= 001\text{ }000\text{ }100\text{ }110\\
|
|
\text{On a donc: } y_1 = 0 0 0 1
|
|
\end{align*}
|
|
|
|
|
|
\begin{enumerate}
|
|
\item \begin{align*}
|
|
y_2 = (0100) \Rightarrow \hat{x_2} = 000\text{ }111\text{ }000\text{ }000
|
|
\end{align*}
|
|
|
|
\item On a $P(X=0) = 0.8$. Et $R = \frac{j}{Mj} = \frac{1}{M} $ bits/symbole.\\
|
|
Pour M=2, y=0 si $n<\frac{M}{2}$ et 0 sinon, d'où:\\
|
|
\begin{tabular}{|c|c|c|c|c|c|}
|
|
\hline
|
|
$\underline{X}$ & p & n & y & $\hat{\underline{x}}$ & d \\
|
|
\hline
|
|
\hline
|
|
00 & $0.8^2$ & 0 & 0 & 00 & 0 \\
|
|
\hline
|
|
01 & $0.8\times 0.2$ & 1 & 1 & 11 & 1 \\
|
|
\hline
|
|
10 & $0.2 \times 0.8$ & 1 & 1 & 11 & 1 \\
|
|
\hline
|
|
11 & $0.2^2$ & 2 & 1 & 11 & 0 \\
|
|
\hline
|
|
\end{tabular}
|
|
|
|
\begin{align*}
|
|
d(x,\hat{x}) &= \sum x_i \oplus \hat{x_i}\\
|
|
D_2 &= \frac{1}{2}(0*0.8^2+1*0.8*0.2+1*0.8*0.2+0)\\
|
|
\end{align*}
|
|
Pour $M=1$ on a $D_1 = 0$ et $R_1 = 1$ bits/symbole.\\
|
|
Et l'autre qui demande à aller beaucoup plus vite...
|
|
|
|
|
|
n=0,...,M
|
|
$p_n = C_M^n*0.2^n * 0.8^{m-n}$
|
|
Si $n<\frac{M}{2}$ $\hat{x}$ contient M 0 et x N 1, donc $d_n = n$
|
|
Si $n\geq \frac{M}{2} $ $\hat{x}$ contient M bits de 1 et X M-n bits de 0 donc $d_n = M-n$
|
|
|
|
$D_n = \sum_{n=0}^{\lceil\frac{M}{2}\rceil - 1} C_M^n 0.2^n 0.8^{M-n} + \sum_{n = \lceil\frac{M}{2}}^{M} C_M^n 0.2^n 0.8^{M-N} (M-n) = \frac{1}{M}$
|
|
|
|
\item
|
|
\begin{align*}
|
|
x \longrightarrow y \longrightarrow Codeur \\
|
|
1 \longrightarrow \frac{1}{M} \longrightarrow \frac{1}{M} H(Y) = R\\
|
|
P(Y=0) = \sum_{n=0}^{\lceil\frac{M}{2}\rceil - 1} C_M^n 0.8^{M-n} 0.2^n\\
|
|
P(Y=1) = 1-P(Y=0)\\
|
|
H(Y) = -P(Y=0)log_2(P(Y=0)) - P(Y=1) log_2(P(Y=1))
|
|
\end{align*}
|
|
\end{enumerate}
|
|
|
|
|
|
\section*{Exercice I-TD4: Codage prédictif d'une image}
|
|
|
|
\begin{align*}
|
|
\underline{\underline{X}} = [\underline{\underline{X}}(:,1),\underline{\underline{X}}(:,2),...,\underline{\underline{X}}(:,256)]\\
|
|
\underline{X_1} = \begin{pmatrix}
|
|
\underline{\underline{X}}(:,1)\\
|
|
\underline{\underline{X}}(:,2)\\
|
|
\vdots\\
|
|
\underline{\underline{X}}(:,256)
|
|
\end{pmatrix}
|
|
\end{align*}
|
|
|
|
\begin{enumerate}
|
|
\item L'hypothèse gaussienne est fausse, mais permet d'obtenir de bon ordre de grandeurs, $D(R) \leq D_g(R)$\\
|
|
|
|
\item On a $D(R) = \sigma_x^2 * 2^{-2R}$ pour une source gaussienne.\\
|
|
$RSAB_{db} = 10 log_10 \frac{\sigma_x^2}{\sigma_x^2 2^{-2R}} \approx 6R$\\
|
|
$RSAB_{db} \geq 30 dB \Rightarrow R \geq 5$ bits/pixel.
|
|
|
|
\item \begin{align*}
|
|
\hat{x}(n) = [a_1
|
|
r = E(x(n)x_p(n) = \begin{pmatrix}
|
|
\mu_x(1)\\
|
|
\vdots
|
|
\mu_x(p)
|
|
\end{pmatrix}\\
|
|
R = \begin{pmatrix}
|
|
\mu_x(0) & &\\
|
|
\vdots & \mu_x(|i-j|) & \\
|
|
\mu_x(p) & &
|
|
\end{pmatrix}
|
|
\end{align*}
|
|
|
|
Des résultats random :\\
|
|
Par définition : \\
|
|
$\sigma_e^2 = (e^2(n))= E((x(n)-\hat{x(n)})^2)$
|
|
Par minimisation de $\sigma_e^2$ donc en dérivant:
|
|
$a_p = R^{-1} r$ puisque R est inversible.\\
|
|
\begin{align*}
|
|
\sigma_e^2 = \mu_x(0) - 2(R^{-1}r)^Tr + (R^{-1}r)^TR(R^{-1}r)\\
|
|
=\mu_x(0) - r^TR^{-1}r
|
|
\end{align*}
|
|
|
|
\item L'écart entre deux pics est 256. Les ressemblances des pixels d'une même ligne qui sont séparés de 256 pixels dans $\hat{x}$. Les maximums décroissent.
|
|
|
|
\item Pour p=1 r vaut $\mu_x(1)$ et $R = \mu_x(0)$, ainsi $a_p = 0.95$.
|
|
Et $\sigma_e^2 = 255.95$.
|
|
|
|
\item $D_e = \sigma_e^2 2^{-2R}$
|
|
$RSBA_{db} = 10 log_{10} \frac{\sigma_x^2}{D_e} \approx10.4 + 6R = 30.$
|
|
Donc R = 33 bits/symbole
|
|
|
|
\item Gain de codage:
|
|
$RSAB^{(p)} - RSAB = 10.4 db$
|
|
|
|
|
|
|
|
\end{enumerate}
|
|
|
|
|
|
|
|
|
|
\end{document} |