Champ lexical de théorie de l’information
Concepts fondamentaux 9
Mesures et quantités 10
- entropie
- entropie conditionnelle
- entropie conjointe
- entropie croisée
- entropie différentielle
- taux d'information
- information mutuelle
- divergence de Kullback-Leibler
- divergence de Jensen-Shannon
- capacité de canal
Principes, théorèmes et inégalités 6
- théorème du codage de source
- théorème du codage de canal
- limite de Shannon
- principe du traitement des données
- inégalité de Kraft-McMillan
- borne de Fano
Modèles de sources 4
- source discrète
- source stationnaire
- source ergodique
- chaîne de Markov
Modèles de canaux 4
- canal discret sans mémoire
- canal binaire symétrique
- canal d’effacement binaire
- bruit blanc gaussien additif
Codage de source (compression) 8
- codage de Huffman
- codage arithmétique
- Lempel-Ziv
- codage d’Elias
- codage de Golomb
- compression sans perte
- compression avec perte
- quantification
Codage de canal (correction d’erreurs) 7
- mot de code
- distance de Hamming
- codes linéaires
- codes à blocs
- codes convolutifs
- code LDPC
- turbo-code
Décision / estimation 5
- vraisemblance
- maximum de vraisemblance
- maximum a posteriori
- décodage
- détection
Liens et domaines connexes 6
- théorie des codes
- cryptographie
- compression de données
- statistiques
- télécommunications
- apprentissage automatique