\documentclass{article}
\input{../../preambule/preambule}

\newcommand{\nom}{TD7}
\renewcommand{\nomentete}{UE455 - \nom}



\begin{document}

\titre{\nom}
\section*{Exercice I-TD3: Entropie différentielle d'une source Gaussienne}

\begin{enumerate}
\item 
\begin{align*}
f_X(x) = \frac{1}{\sqrt{2 \pi \sigma^2}} exp(-\frac{(x-\mu)^2}{2\sigma^2}
\intertext{Montrons que $h(x) = \frac{1}{2} log_2(2\pi e \sigma^2)$}
h(x) = - \int_{-\infty}^{\infty} f_x(x) log_2(f_x(x)) dx\\
\end{align*}
Tout réside dans le log de exp, la définition de la variance et de la densité de probabilité. Trivial donc.

\item \begin{align*}
\int_{-\infty}^{+\infty} f_Y(x) log_2(\frac{f_X(x)}{f_Y(x)}) dx = h(Y) - \int_{-\infty}^{+\infty} f_Y(x) log_2(f_X(x)) dx
=h(Y) - h(X) \leq 0
\end{align*}
D'où le résultat.
\end{enumerate}


\section*{Exercice III-TD3: Schéma de compression binaire avec pertes}

\begin{align*}
\underline{X} = x_1x_2...x_mX_{m+1}x_{2m}\\
\underline{Y} = y_1 y_2
\end{align*}
On suppose que $n_j = \sum_{i=0}^M x_{(j-1)M+i}$. $n_j$ est le nombre de '1' dans $x_{(j-1)M+i} ... x_{jM}$.

\begin{align*}
y_j &= \acc{0 \text{ si, } M-n_j > \frac{M}{2}}{1 \text{sinon, ie  } n_j \geq \frac{M}{2}}\\
\text{Pour $M = 3$, alors } x_1 &= 001\text{ }000\text{ }100\text{ }110\\
\text{On a donc: } y_1 = 0 0 0 1
\end{align*}


\begin{enumerate}
\item \begin{align*}
y_2 = (0100) \Rightarrow \hat{x_2} = 000\text{ }111\text{ }000\text{ }000
\end{align*}

\item On a $P(X=0) = 0.8$. Et $R = \frac{j}{Mj} = \frac{1}{M} $ bits/symbole.\\
Pour M=2, y=0 si $n<\frac{M}{2}$ et 0 sinon, d'où:\\
\begin{tabular}{|c|c|c|c|c|c|}
\hline 
$\underline{X}$ & p & n & y & $\hat{\underline{x}}$ & d \\ 
\hline 
\hline
00 & $0.8^2$ & 0 & 0 & 00 & 0 \\ 
\hline 
01 & $0.8\times 0.2$ & 1 & 1 & 11 & 1 \\ 
\hline 
10 & $0.2 \times 0.8$ & 1 & 1 & 11 & 1 \\ 
\hline 
11 & $0.2^2$ & 2 & 1 & 11 & 0 \\ 
\hline 
\end{tabular}

\begin{align*}
d(x,\hat{x}) &= \sum x_i \oplus \hat{x_i}\\
D_2 &= \frac{1}{2}(0*0.8^2+1*0.8*0.2+1*0.8*0.2+0)\\
\end{align*}
Pour $M=1$ on a $D_1 = 0$ et $R_1 = 1$ bits/symbole.\\
Et l'autre qui demande à aller beaucoup plus vite...


n=0,...,M
$p_n  = C_M^n*0.2^n * 0.8^{m-n}$
Si $n<\frac{M}{2}$ $\hat{x}$ contient M 0 et x N 1, donc $d_n = n$
Si $n\geq \frac{M}{2} $ $\hat{x}$ contient M bits de 1 et X M-n bits de 0 donc $d_n = M-n$

$D_n = \sum_{n=0}^{\lceil\frac{M}{2}\rceil - 1} C_M^n 0.2^n 0.8^{M-n} + \sum_{n = \lceil\frac{M}{2}}^{M} C_M^n 0.2^n 0.8^{M-N} (M-n) = \frac{1}{M}$

\item 
\begin{align*}
x \longrightarrow y \longrightarrow Codeur \\
1 \longrightarrow \frac{1}{M} \longrightarrow \frac{1}{M} H(Y) = R\\
P(Y=0) = \sum_{n=0}^{\lceil\frac{M}{2}\rceil - 1}  C_M^n 0.8^{M-n} 0.2^n\\
P(Y=1) = 1-P(Y=0)\\
H(Y) = -P(Y=0)log_2(P(Y=0)) - P(Y=1) log_2(P(Y=1))
\end{align*}
\end{enumerate}


\section*{Exercice I-TD4: Codage prédictif d'une image}

\begin{align*}
\underline{\underline{X}} = [\underline{\underline{X}}(:,1),\underline{\underline{X}}(:,2),...,\underline{\underline{X}}(:,256)]\\
\underline{X_1} = \begin{pmatrix}
\underline{\underline{X}}(:,1)\\
\underline{\underline{X}}(:,2)\\
\vdots\\
\underline{\underline{X}}(:,256)
\end{pmatrix}
\end{align*}

\begin{enumerate}
\item L'hypothèse gaussienne est fausse, mais permet d'obtenir de bon ordre de grandeurs, $D(R) \leq D_g(R)$\\

\item On a $D(R) = \sigma_x^2 * 2^{-2R}$ pour une source gaussienne.\\
$RSAB_{db} = 10 log_10 \frac{\sigma_x^2}{\sigma_x^2 2^{-2R}} \approx 6R$\\
$RSAB_{db} \geq 30 dB \Rightarrow R \geq 5$ bits/pixel.

\item \begin{align*}
\hat{x}(n) = [a_1 
r = E(x(n)x_p(n) = \begin{pmatrix}
\mu_x(1)\\
\vdots
\mu_x(p)
\end{pmatrix}\\
R = \begin{pmatrix}
\mu_x(0) & &\\
\vdots & \mu_x(|i-j|) & \\
\mu_x(p) & & 
\end{pmatrix}
\end{align*}

Des résultats random :\\
Par définition : \\
$\sigma_e^2 = (e^2(n))= E((x(n)-\hat{x(n)})^2)$
Par minimisation de $\sigma_e^2$ donc en dérivant:
$a_p = R^{-1} r$ puisque R est inversible.\\
\begin{align*}
\sigma_e^2 = \mu_x(0) - 2(R^{-1}r)^Tr + (R^{-1}r)^TR(R^{-1}r)\\
=\mu_x(0) - r^TR^{-1}r
\end{align*}

\item L'écart entre deux pics est 256. Les ressemblances des pixels d'une même ligne qui sont séparés de 256 pixels dans $\hat{x}$. Les maximums décroissent.

\item Pour p=1 r vaut $\mu_x(1)$ et $R = \mu_x(0)$, ainsi $a_p = 0.95$.
Et $\sigma_e^2 = 255.95$.

\item $D_e = \sigma_e^2 2^{-2R}$
$RSBA_{db} = 10 log_{10} \frac{\sigma_x^2}{D_e} \approx10.4 + 6R = 30.$
Donc R = 33 bits/symbole

\item Gain de codage:
$RSAB^{(p)} - RSAB = 10.4 db$



\end{enumerate}




\end{document}