Devoir non surveillé 2

Étude de fonction

1. Démontrer que la fonction h est continue sur R.
2. Justifier que pour tout u > 0 on a h(u) ≥ u − 1 avec égalité si et seulement si u = 1.
3. Représenter la courbe de la fonction h ainsi que sa tangeante au point d’abscisse 1.

Entropie d’une variable aléatoire discrète

Si X est une variable aléatoire réelle discrète à valeurs dans X(Ω) = {x₁, …, x_n avec pour tout i ∈ ⟦1, n⟧, p_i = P(X = x_i), alors l’entropie de x est définie par H(X) = − ∑_i=1ⁿ h(p_i) = − ∑_i=1ⁿ p_i ln(p_i).

On remarquera que l’entropie ne dépend que des probabilités et pas des valeurs.

1. Si X suit une loi de Bernoulli de paramètre p ∈ ]0, 1[, rappeler l’ensemble de valeurs X(Ω) et les probabilités associées puis calculer son entropie.
2. Justifier que la fonction φ : t ↦ −t ln(t) + (t − 1) (t + ln(1 − t)) est deux fois dérivable sur ]0, 1[ et calculer sa dérivée seconde. Préciser aussi φ ′(1/2) et en déduire le tableau de variations de φ avec ses limites.
3. En déduire que l’entropie d’une variable de Bernoulli est supérieure à sa variance.
4. Calculer l’entropie d’une variable uniforme sur ⟦1, n⟧ et comparer les valeurs de l’entropie et de la variance.
5. Montrer, en utilisant l’inégalité obtenue dans la première partie, que pour toute variable aléatoire réelle X avec n valeurs, on trouve H(X) ≤ ln(n) avec une inégalité stricte si X n’est pas uniforme.