En el campo del aprendizaje profundo, el mecanismo de auto-atención ha revolucionado el manejo de datos secuenciales, como texto o series temporales. A diferencia de las redes recurrentes (RNN) o las redes convolucionales (CNN), la auto-atención permite calcular directamente las dependencias entre cualquier par de elementos en una secuencia, capturando de manera eficiente relaciones a larga distancia.

Principio de Funcionamiento

El proceso central de la auto-atención se divide en tres etapas fundamentales: generación de vectores de consulta y clave, cálculo de puntuaciones de atención y ponderación de valores.

Generación de Vectores

A partir de una secuencia de entrada, cada elemento se transforma en tres representaciones vectoriales:

• Consulta (Q): Vector que representa la búsqueda de información relevante.
• Clave (K): Vector que facilita la comparación con otros elementos.
• Valor (V): Vector que contiene el contenido informativo del elemento.

Cálculo de Puntuaciones de Atención

La afinidad entre dos elementos se determina mediante el producto punto entre sus vectores de consulta y clave. Para estabilizar los gradientes, se aplica un factor de escala y una activación softmax:

S = softmax((Q * K^T) / sqrt(d_k))

Aquí, S es la matriz de puntuaciones normalizadas, y d_k es la dimensión de los vectores de clave.

Ponderación y Combinación

Los vectores de valor se combinan usando las puntuaciones de atención como pesos para producir la salida final:

O = S * V

Perspectiva Matricial

Desde un punto de vista algebraico, la auto-atención puede expresarse de forma compacta. Sea X la matriz de entrada (n x d), con W_q, W_k y W_v matrices de proyección aprendibles (d x d_model). Las matrices Q, K y V se calculan como:

Q = X * W_q
K = X * W_k
V = X * W_v

La salida completa se obtiene mediante la operación:

O = softmax((Q * K^T) / sqrt(d_model)) * V

Técnica Avanzada: Atención Multi-Cabeza

La atención multi-cabeza extiende el mecanismo básico proyectando Q, K y V en múltiples subespacios de menor dimensión. Cada "cabeza" calcula la atención de forma independiente, y sus resultados se concatenan antes de una proyección lineal final. Esto permite al modelo capturar patrones de dependencia variados, similar a observar un problema desde múltiples perspectivas.

Incorporación de Información Posicional

Dado que la auto-atención es invariante al orden, se requiere información posicional explícita. Una técnica común utiliza funciones sinusoidales y cosinusoidales para generar codificaciones posicionales, que se suman a los vectores de entrada:

P(pos, 2i) = sin(pos / 10000^(2i/d_model))
P(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

Comparación con Modelos Tradicionales

Respecto a las CNN, la auto-atención ofrece un rango receptivo dinámico que aprende automáticamente, frente a los filtros fijos, aunque con mayor complejidad computacional (O(n²) vs O(n)). En comparación con las RNN, elimina la dependencia secuencial, permitiendo paralelismo total y evitando el desvanecimiento del gradiente en secuencias largas.

Aplicaciones y Optimizaciones

Este mecanismo es fundamental en modelos como BERT y GPT para procesamiento de lenguaje natural, y en Vision Transformer (ViT) para análisis de imágenes. Para mitigar su costo computacional con secuencias largas, se han desarrollado variantes como la atención dispersa, la aproximación de bajo rango y la atención local o truncada.