Enseñamos los fundamentos de la Teoría de la Información, que se refiere a la compresión y transmisión de datos en sistemas de comunicación digitales. Los temas tratados en este curso son los siguientes:
1) Las medidas y los conceptos fundamentales en la Teoría de la Información: entropía, divergencia de Kullback-Leibler, información mutua, Jensen's inequality, Fano's inequality, y method of types.
2 ) La compresión de datos sin pérdidas: códigos fuente única descifrables e instantáneos, Kraft's inequality, el análisis de la longitud de códigos óptimos, Huffman codes, compresión de datos universal, arithmetic coding.
3 ) Compresión de datos perdidos: rate-distortion theorem y rate-distortion function.
4) Cuantificación: fixed-rate vs. variable rate, cuantificación con dither, cuantificación escalar y lattice quantization.