Forum de mathématiques - Bibm@th.net

Bonjour,

En premier lieu, quand je parle d'entropie, il s'agit de l'entropie selon Shannon.

De manière succinte, comme le suggère le titre, je cherche une application inversible (ou un algorithme inversible) pour augmenter l'entropie selon la théorie de l'information de Shanon. Mais l'entropie de Renyi convient aussi.

Formellement, on a une source d'information notée $X_m$ définie comme une suite de nombre définie dans $\mathbb{Z}_q$ ( noté aussi $\mathbb{Z}/q\mathbb{Z}$ ); $X_m = \{x_i \in \mathbb{Z}_q, i \in [|1, m|]\}$ avec $m \in \mathbb{N}^*, n \in \mathbb{N}^*, q > 1$.

Il me faudrait alors une application $f$ qui transforme $X_m$ en $Y_n$ que l'on peut définir ainsi $f:
\left|
  \begin{array}{rcl}
    \mathcal{P}(\mathbb{Z}_q) & \longrightarrow & \mathcal{P}(\mathbb{Z}_q) \\
    X_m & \longmapsto & Y_n \\
  \end{array}
\right.$

Avec $Y_n = \{y_i \in \mathbb{Z}_q, i \in [|1, n|]\}$.

Ce n'est pas la peine de me répondre que pour obtenir $Y_n$, il suffit d'ajouter à $X_m$ des éléments issus d'une combinaison linaire (par un produit de matrices par exemple) des éléments de $X_m$, car il faudrait que ces contraintes soient respectées:
$\left\{
\begin{array}{l l}
n \ \geqslant \ \frac{m}{2} \\
Card (\{ E \ | \subset X_m \ et \ E \subset Y_n \}) < \frac{m}{2} \\
H_b(X_m) \ \leqslant \ H_b(Y_n)
\end{array}
\right.$

Pour l'entropie $H_b$ on peut prendre celle de Shannon: $H_b(x) = - \sum_{s\in\mathbb{Z}_q} p_s(x) log_b(p_s(x)) $.

Où $x\in(\mathbb{Z}_q)^r, r\in\mathbb{N}^*$ et où $p_s(x) = \frac{Card(\{i | i \in [|1, r|], x_i = s\})}{r}$

Mais on peut prendre d'autres définitions tant qu'elle qualifie une entropie selon Shannon, et avec le paramètre $b$, avec $b\in\mathbb{N}$ et $b>1$.

Pour l'entropie de Shannon, on admet que $ 0 \times log(0) = 0 $ pour les cas où $s_j \notin X_n$ tel que $j \in [|1, n|]$ alors $p_s(x) = 0$

L'application $f$ que je cherche peut être un codage comme le codage de Hill mais il faut que ce codage puisse respecter les contraintes. Et donc étant un codage, il faut un décodage puisque $f$ est inversible.