24 Introducción
El aprendizaje automático se basa en la idea de que las computadoras pueden aprender de manera similar a los humanos, mediante la observación y validación. Para ello, el proceso de aprendizaje se divide en dos fases principales: entrenamiento y evaluación. Durante la fase de entrenamiento, el modelo aprende a partir de un conjunto de datos conocido, ajustando sus parámetros internos para minimizar la diferencia entre las predicciones del modelo y las etiquetas verdaderas de los datos. En la validación el modelo es expuesto a otros ejemplos del mismo problema y se contabiliza que tan bien aciertan sus predicciones.
Como se verá en detalle en el capítulo, no es trivial encontrar los parámetros que ajusten las predicciones al conjunto de datos objetivo. Por lo cual, los algoritmos de aprendizaje hacen uso de algún tipo de optimización, que es la tarea de minimizar o maximizar una función \(f(x)\) modificando sus parámetros internos. De forma general, la función que buscamos optimizar se llama función objetivo. Sin embargo, en inteligencia artificial se suele minimizar dicha y función y se le nombra como criterio (Hassoun 1995), función de costo, función de error, o función de pérdida (Goodfellow, Bengio, y Courville 2016).
En el resto del capítulo, estudiaremos diversos métodos propuestos para obtener los pesos que disminuyan el error de predicción de la red. Empezaremos con el método original propuesto para el perceptrón pasaremos por la retropropagación y terminaremos con métodos adaptativos que han permitido entrenar redes con centenas de capas.