Los estudiantes deben tener una base sólida en probabilidad y cálculo, así como que les gusten las matemáticas. Haber cursado una asignatura en Comunicaciones Digitales / Teoría de la Comunicación también es útil.

Enseñamos los fundamentos de la Teoría de la Información. Los estudiantes adquirirán una comprensión profunda de: - Medidas de Teoría de la Información, como la entropía, la divergencia de Kullback-Leibler e información mutua. - Herramientas matemáticas que se utilizan comúnmente en Teoría de la Información. - Los conceptos y teoremas fundamentales de compresión de datos. - La aplicación de Teoría de la Información en el Aprendizaje Automático.

Enseñamos los fundamentos de la Teoría de la Información. Los temas tratados en este curso son los siguientes: 1) Las medidas y los conceptos fundamentales en la Teoría de la Información: entropía, divergencia de Kullback-Leibler, información mutua y Jensen's inequality, Fisher information y la cota de Cramer-Rao. 2) La compresión de datos sin pérdidas: códigos fuente única descifrables e instantáneos, Kraft's inequality, el análisis de la longitud de códigos óptimos, Huffman codes y compresión de datos universal. 3) Teoría de la Información y Aprendizaje Automático: algoritmo EM, variational autoencoders, modelos difusos, árboles de decisión.

CLASES MAGISTRALES Los conceptos básicos se impartirán principalmente en la pizarra. Se usará el libro "Elements of Information Theory" de Cover y Thomas (véase Bibliografía básica). PROBLEMAS Con el fin de profundizar el material que se enseña, cada dos semanas los estudiantes tienen que entregar las soluciones a una serie de problemas que recibirán una calificación entre 1 y 10. LABORATORIOS Con el fin de afianzar los conceptos teóricos aprendidos en clase, se realizará una práctica de laboratorio sobre los temas relacionados con aprendizaje automático. TUTORÍAS Se establecerán 2 horas a la semana de tutorias para los alumnos donde el profesor estará disponible en su despacho.