Un agente aprende qué hacer al actuar, observar consecuencias y acumular recompensas
El aprendizaje por refuerzo es un método de aprendizaje automático en el que un agente mejora una secuencia de decisiones al interactuar con un entorno. En cada paso observa un estado, elige una acción, recibe una recompensa y llega a otro estado. Su objetivo no es acertar una etiqueta aislada, sino aprender una política: una regla que indique qué acción conviene en cada situación para maximizar la recompensa total esperada a lo largo del tiempo.
Un videojuego permite verlo con claridad. La imagen y las variables internas forman el estado; mover, saltar o esperar son acciones; perder una vida o superar un nivel produce consecuencias. El agente no recibe necesariamente la jugada correcta. Debe descubrirla mediante experiencia. Por eso pertenece a el aprendizaje automático, pero plantea un problema distinto de clasificar fotografías a partir de ejemplos ya etiquetados.
Diseñar la recompensa equivale a especificar qué conducta se desea, con todos sus efectos secundarios
La recompensa es una señal numérica inmediata; el retorno suma recompensas futuras, normalmente dando algo menos de peso a las muy lejanas. Esta diferencia permite aceptar un coste presente si abre una ventaja posterior. Un robot puede gastar energía para rodear un obstáculo y alcanzar la meta. Si solo premiamos acercarse en cada instante, quizá aprenda a quedarse girando junto a un punto que produce señales favorables sin completar la tarea.
Ese fracaso se conoce como explotación de la recompensa: el sistema optimiza literalmente la medida, no la intención humana que había detrás. Dar puntos por velocidad puede fomentar maniobras peligrosas; premiar tiempo de uso puede favorecer contenido adictivo. Las restricciones, simulaciones y evaluaciones adversariales ayudan, pero no convierten un objetivo ambiguo en uno perfecto. En aprendizaje por refuerzo, definir qué cuenta como éxito es parte central de la ingeniería.
El premio puede llegar mucho después de la acción que realmente lo hizo posible
Si una partida termina tras cien movimientos, ¿cuáles merecen el mérito? Este es el problema de asignación temporal de crédito. Los métodos de diferencia temporal actualizan una estimación usando recompensa inmediata y valor previsto del siguiente estado. Así propagan información hacia atrás sin esperar a repetir toda la experiencia infinitas veces. Una función de valor estima el retorno desde un estado; una función Q estima el retorno de tomar una acción allí y continuar después.
Q-learning aprende una aproximación al valor de cada pareja estado-acción y puede elegir la acción con mayor valor estimado. En espacios pequeños cabe una tabla. En un juego visual o un robot hay demasiadas situaciones, de modo que una red neuronal aproxima esos valores o directamente la política. Ahí puede intervenir el aprendizaje profundo: es una herramienta de representación dentro del agente, no un sinónimo del problema de refuerzo.
Elegir siempre lo que hoy parece mejor impide descubrir opciones que mañana podrían ser superiores
Un agente debe equilibrar explotación y exploración. Explotar significa usar la acción con mejor resultado conocido; explorar significa probar alternativas y mejorar la información. Una estrategia sencilla elige casi siempre la mejor acción y, con una pequeña probabilidad, una al azar. Otras estrategias incorporan incertidumbre, curiosidad o bonificaciones por visitar estados poco conocidos. Ninguna exploración es gratis: durante el aprendizaje puede empeorar el rendimiento o producir acciones peligrosas.
En entornos reales no basta con dejar que un sistema «pruebe de todo». Los coches, redes eléctricas o tratamientos médicos imponen límites éticos y físicos. Por eso se aprende a menudo en simuladores, con registros históricos o bajo supervisión. El aprendizaje fuera de política reutiliza experiencias producidas por otra conducta; el aprendizaje en política evalúa la misma conducta que sigue. La elección afecta estabilidad, eficiencia y riesgo.
Algunos agentes imaginan consecuencias; otros aprenden directamente de lo que les ocurrió
Los métodos basados en modelo disponen de una representación de cómo cambia el entorno y pueden planificar antes de actuar. Los métodos sin modelo aprenden valores o políticas sin construir explícitamente esa dinámica. En la práctica hay sistemas híbridos. Un modelo reduce experiencia real, pero sus errores pueden acumularse: planificar muy lejos con una simulación imprecisa produce decisiones convincentes dentro de un mundo que no existe.
También importa si el entorno es estacionario. Una política comercial aprendida con clientes de ayer puede fallar cuando cambian precios o hábitos. Si el agente modifica el propio entorno, los datos futuros ya no siguen la distribución inicial. Evaluar requiere separar entrenamiento y prueba, comparar con reglas simples y observar rendimiento bajo cambios. Una puntuación alta en un simulador no demuestra automáticamente utilidad fuera de él.
Es potente cuando las decisiones forman una cadena medible, pero no reemplaza toda forma de aprendizaje
El aprendizaje por refuerzo ha producido resultados notables en juegos, control de robots, gestión de recursos y ajuste de sistemas. Es especialmente útil cuando cada acción altera las opciones posteriores y existe una señal de evaluación repetible. También se usa para alinear modelos de lenguaje con preferencias humanas, aunque allí la recompensa suele proceder de modelos y comparaciones que contienen incertidumbre y sesgos.
No imita por completo el aprendizaje humano. Las personas aprenden con lenguaje, imitación, normas, emociones y conocimiento previo, no solo con una cifra. Además, entrenar puede requerir millones de intentos y ser inestable. La pregunta adecuada no es si un agente «aprende como nosotros», sino qué estados observa, qué acciones puede ejecutar, qué retorno optimiza y qué evidencia demuestra que su política sigue siendo segura cuando cambia la situación.
