Los estudiantes deben tener una base sólida en probabilidad y cálculo, así como que les gusten las matemáticas. Haber cursado una asignatura en Comunicaciones Digitales / Teoría de la Comunicación también es útil.

Enseñamos los fundamentos de la Teoría de la Información. Los estudiantes adquirirán una comprensión profunda de: - Medidas de Teoría de la Información, como la entropía, la divergencia de Kullback-Leibler e información mutua. - Herramientas matemáticas que se utilizan comúnmente en teoría de la información. - Los conceptos y teoremas fundamentales de compresión de datos. - La aplicación de Teoría de la Información en el Aprendizaje Automático.

Enseñamos los fundamentos de la Teoría de la Información. Los temas tratados en este curso son los siguientes: 1) Las medidas y los conceptos fundamentales en la Teoría de la Información: entropía, divergencia de Kullback-Leibler, información mutua y Jensen's inequality. 2) La compresión de datos sin pérdidas: códigos fuente única descifrables e instantáneos, Kraft's inequality, el análisis de la longitud de códigos óptimos, Huffman codes y compresión de datos universal. 3) Teoría de la Información y Aprendizaje Automático: Error de generalización, minimización del error empírico, garantías de generalización tradicionales en aprendizaje estadístico, cotas de error de generalización mediante teoría de la información.

Clases magistrales: Los conceptos básicos se impartirán principalmente en la pizarra. Se usará el libro "Elements of Information Theory" de Cover y Thomas (véase Bibliografía básica). Problemas: Con el fin de profundizar el material que se enseña, cada dos semanas los estudiantes tienen que entregar las soluciones a una serie de problemas que recibirán una calificación entre 1 y 10. El grado promedio durante todo el semestre constituirá parte de la calificación de la evaluación continua.