Última actualización: 24/04/2023


Curso Académico: 2023/2024

Teoría de la Información
(18539)
Máster Universitario en Tecnologías Avanzadas en Comunicaciones (Plan: 436 - Estudio: 278)
Escuela de Ingeniería y Ciencias Básicas


Coordinador/a: KOCH , TOBIAS MIRCO

Departamento asignado a la asignatura: Departamento de Teoría de la Señal y Comunicaciones

Tipo: Optativa
Créditos: 6.0 ECTS

Curso:
Cuatrimestre:




Requisitos (Asignaturas o materias cuyo conocimiento se presupone)
Los estudiantes deben tener una base sólida en probabilidad y cálculo, así como que les gusten las matemáticas. Haber cursado una asignatura en Comunicaciones Digitales / Teoría de la Comunicación también es útil.
Objetivos
Enseñamos los fundamentos de la Teoría de la Información. Los estudiantes adquirirán una comprensión profunda de: - Medidas de Teoría de la Información, como la entropía, la divergencia de Kullback-Leibler e información mutua. - Herramientas matemáticas que se utilizan comúnmente en teoría de la información. - Los conceptos y teoremas fundamentales de compresión de datos. - La aplicación de Teoría de la Información en el Aprendizaje Automático.
Competencias y resultados del aprendizaje
Descripción de contenidos: Programa
Enseñamos los fundamentos de la Teoría de la Información. Los temas tratados en este curso son los siguientes: 1) Las medidas y los conceptos fundamentales en la Teoría de la Información: entropía, divergencia de Kullback-Leibler, información mutua y Jensen's inequality. 2) La compresión de datos sin pérdidas: códigos fuente única descifrables e instantáneos, Kraft's inequality, el análisis de la longitud de códigos óptimos, Huffman codes y compresión de datos universal. 3) Teoría de la Información y Aprendizaje Automático: Error de generalización, minimización del error empírico, garantías de generalización tradicionales en aprendizaje estadístico, cotas de error de generalización mediante teoría de la información.
Actividades formativas, metodología a utilizar y régimen de tutorías
Clases magistrales: Los conceptos básicos se impartirán principalmente en la pizarra. Se usará el libro "Elements of Information Theory" de Cover y Thomas (véase Bibliografía básica). Problemas: Con el fin de profundizar el material que se enseña, cada dos semanas los estudiantes tienen que entregar las soluciones a una serie de problemas que recibirán una calificación entre 1 y 10. El grado promedio durante todo el semestre constituirá parte de la calificación de la evaluación continua.
Sistema de evaluación
  • Peso porcentual del Examen Final 0
  • Peso porcentual del resto de la evaluación 100

Calendario de Evaluación Continua


Bibliografía básica
  • Thomas M. Cover and Joy A. Thomas. Elements of Information Theory. Second Edition. 2006
Bibliografía complementaria
  • Abbas El Gamal and Young-Han Kim. Network Information Theory. First Edition. 2011
  • Imre Csiszár and János Körner. Information Theory: Coding Theorems for Discrete Memoryless Systems. Second Edition. 2011
  • Robert G. Gallager. Information Theory and Reliable Communication. First Edition. 1968

El programa de la asignatura podría sufrir alguna variación por causa de fuerza mayor debidamente justificada o por eventos académicos comunicados con antelación.