Última actualización: 22/04/2024


Curso Académico: 2024/2025

Teoría de la información para el aprendizaje automático
(19288)
Máster Universitario en Aprendizaje Automático para la Salud (Plan: 480 - Estudio: 359)
Escuela de Ingeniería y Ciencias Básicas


Coordinador/a: KOCH , TOBIAS MIRCO

Departamento asignado a la asignatura: Departamento de Teoría de la Señal y Comunicaciones

Tipo: Optativa
Créditos: 6.0 ECTS

Curso:
Cuatrimestre:




Requisitos (Asignaturas o materias cuyo conocimiento se presupone)
Los estudiantes deben tener una base sólida en probabilidad y cálculo, así como que les gusten las matemáticas.
Objetivos
Enseñamos los fundamentos de la Teoría de la Información. Los estudiantes adquirirán una comprensión profunda de: - Medidas de Teoría de la Información, como la entropía, la divergencia de Kullback-Leibler e información mutua. - Herramientas matemáticas que se utilizan comúnmente en Teoría de la Información. - Los conceptos y teoremas fundamentales de compresión de datos. - La aplicación de Teoría de la Información en el Aprendizaje Automático.
Competencias y resultados del aprendizaje
Descripción de contenidos: Programa
Enseñamos los fundamentos de la Teoría de la Información. Los temas tratados en este curso son los siguientes: 1) Las medidas y los conceptos fundamentales en la Teoría de la Información: entropía, divergencia de Kullback-Leibler, información mutua y Jensen's inequality, Fisher information y la cota de Cramer-Rao. 2) La compresión de datos sin pérdidas: códigos fuente única descifrables e instantáneos, Kraft's inequality, el análisis de la longitud de códigos óptimos, Huffman codes y compresión de datos universal. 3) Teoría de la Información y Aprendizaje Automático: algoritmo EM, variational autoencoders, modelos difusos, árboles de decisión.
Actividades formativas, metodología a utilizar y régimen de tutorías
ACTIVIDADES FORMATIVAS AF3 Clases teórico prácticas AF4 Prácticas de laboratorio AF5 Tutorías AF6 Trabajo en grupo AF7 Trabajo individual del estudiante AF8 Exámenes parciales y finales METODOLOGÍAS MD1 - Exposiciones en clase del profesor con soporte de medios informáticos y audiovisuales, en las que se desarrollan los conceptos principales de la materia y se proporciona la bibliografía para complementar el aprendizaje de los alumnos. MD2 - Lectura crítica de textos recomendados por el profesor de la asignatura: Artículos de prensa, informes, manuales y/o artículos académicos, bien para su posterior discusión en clase, bien para ampliar y consolidar los conocimientos de la asignatura. MD3 - Resolución de casos prácticos, problemas, etc.... planteados por el profesor de manera individual o en grupo. MD4 - Exposición y discusión en clase, bajo la moderación del profesor de temas relacionados con el contenido de la materia, así como de casos prácticos. MD5 - Elaboración de trabajos e informes de manera individual o en grupo. CLASES MAGISTRALES Los conceptos básicos se impartirán principalmente en la pizarra. Se usará el libro "Elements of Information Theory" de Cover y Thomas (véase Bibliografía básica). PROBLEMAS Con el fin de profundizar el material que se enseña, cada dos semanas los estudiantes tienen que entregar las soluciones a una serie de problemas que recibirán una calificación entre 1 y 10. LABORATORIOS Con el fin de afianzar los conceptos teóricos aprendidos en clase, se realizará una práctica de laboratorio sobre los temas relacionados con aprendizaje automático. TUTORÍAS Se establecerán 2 horas a la semana de tutorias para los alumnos donde el profesor estará disponible en su despacho.
Sistema de evaluación
  • Peso porcentual del Examen Final 0
  • Peso porcentual del resto de la evaluación 100

Calendario de Evaluación Continua


Bibliografía básica
  • Diederik P. Kingma and Max Welling. An Introduction to Variational Autoencoders. Foundations and Trends© in Machine Learning. 2019
  • Thomas M. Cover and Joy A. Thomas. Elements of Information Theory. Second Edition. 2006
Bibliografía complementaria
  • Abbas El Gamal and Young-Han Kim. Network Information Theory. First Edition. 2011
  • Imre Csiszár and János Körner. Information Theory: Coding Theorems for Discrete Memoryless Systems. Second Edition. 2011
  • Robert G. Gallager. Information Theory and Reliable Communication. First Edition. 1968

El programa de la asignatura podría sufrir alguna variación por causa de fuerza mayor debidamente justificada o por eventos académicos comunicados con antelación.