Télécharger le sujet officiel / Télécharger le corrigé
Ce sujet d’ESSEC 2 est dévolu à des éléments de la théorie de l’information. On y traite notamment de l’entropie (différentielle) qui mesure l’imprévisibilité d’un système aléatoire et d’information mutuelle.
La première partie est dédiée à l’étude de l’entropie différentielle qui est une généralisation de l’entropie de Shannon pour les variables aléatoires à densité. Cette notion est déjà apparue dans un problème de CAPES traité sur ce site qui peut faire un bon complément à cette épreuve.
La deuxième partie est dédiée à la notion d’entropie de Shannon pour les variables aléatoires finies. On y établit notamment une majoration de l’entropie et on démontre que la borne supérieure est atteinte pour la loi uniforme discrète. Cette partie est aussi l’occasion de redémontrer la très classique inégalité de Jensen sur les fonctions convexes.
La troisième et dernière partie s’intéresse aux couples de variables aléatoires finies. On y étudie les concepts d’entropie conditionnelle et d’information mutuelle.
Note : Le corrigé est mis à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 4.0 International.