En el ecosistema del comercio electrónicco de belleza impulsado por IA y Realidad Aumentada (AR), la capacidad de ofrecer pruebas virtuales de maquillaje se ha vuelto indispensable. Para que esta experiencia sea convincente, el sistema debe realizar una segmentación semántica a nivel de píxel, identificando no solo el rostro de forma general, sino delimitando áreas críticas como el contorno de los labios, los párpados o las cejas.

A diferencia de los métodos tradicionales basados en puntos de referencia (lnadmarks), que suelen fallar ante oclusiones o ángulos laterales, el uso de M2FP (Mask2Former-Parsing) permite una comprensión profunda de la anatomía facial y corporal en escenarios complejos.

Fundamentos de M2FP en el Análisis Humano

M2FP es una arquitectura de vanguardia diseñada para el aálisis detallado del cuerpo humano (Human Parsing). Basado en el framework Mask2Former, este modelo trata la segmentación como un problema de clasificación de máscaras binarias, lo que ofrece una precisión superior en los bordes comparado con las redes neuronales convolucionales (CNN) convencionales.

El modelo es capaz de clasificar más de 20 categorías distintas, fundamentales para aplicaciones de V-Try-On:

• Rasgos faciales: Labios (superior e inferior), nariz, ojos, cejas.
• Elementos estéticos: Cabello, piel del rostro.
• Contexto: Ropa, accesorios (sombreros, anteojos) y extremidades.

Comparativa Técnica: Transformers vs. CNN

La adopción de Masked-attention Transformers en M2FP ofrece ventajas críticas frente a modelos como U-Net o DeepLab:

Implementación: Procesamiento de Máscaras Semánticas

Una vez que el modelo genera las máscaras individuales para cada etiqueta, es necesario integrarlas en un mapa de segmentación coherente. A continuación, se presenta una lógica optimizada para combinar estos datos respetando una jerarquía de capas técnica:

import numpy as np
import cv2

def generar_mapa_segmentacion(diccionario_mascaras, dimensiones, mapa_colores):
    """
    Combina máscaras binarias en una imagen RGB semántica.
    """
    alto, ancho = dimensiones
    canvas_final = np.zeros((alto, ancho, 3), dtype=np.uint8)

    # Definir orden de profundidad para evitar solapamientos incorrectos
    jerarquia = [
        'background', 'upper_clothes', 'hair', 'face', 
        'left_eyebrow', 'right_eyebrow', 'eyes', 'nose', 
        'upper_lip', 'lower_lip'
    ]

    for categoria in jerarquia:
        if categoria in diccionario_mascaras:
            mask = diccionario_mascaras[categoria]
            color = mapa_colores.get(categoria, [255, 255, 255])
            # Aplicar color basado en la máscara binaria
            indices = mask > 0.5
            canvas_final[indices] = color

    return canvas_final

Aplicación Práctica: Renderizado de Labial Virtual

Para implementar un efecto de lápiz labial, utilizamos las máscaras de upper_lip y lower_lip. La clave reside en la mezcla alfa para preservar la textura natural de la piel bajo el color aplicado.

def aplicar_tinte_labial(imagen_base, mascara_labios, color_rgb, opacidad=0.6):
    """
    Simula la aplicación de maquillaje sobre el área segmentada.
    """
    capa_color = np.zeros_like(imagen_base)
    capa_color[mascara_labios > 0] = color_rgb[::-1] # Conversión a BGR para OpenCV

    # Crear una máscara de suavizado para los bordes
    mascara_suave = cv2.GaussianBlur(mascara_labios.astype(np.float32), (5, 5), 0)
    mascara_suave = cv2.merge([mascara_suave, mascara_suave, mascara_suave])

    # Mezcla lineal ponderada
    resultado = cv2.addWeighted(imagen_base, 1.0, (capa_color * mascara_suave).astype(np.uint8), opacidad, 0)
    return resultado

Estrategias de Optimización en Entornos de Producción

El despliegue de M2FP en aplicaciones de tiempo real exige optimizaciones para reducir la latencia, especialmente en servidores sin GPU dedicada:

1. Escalado Dinámico: Redimensionar la imagen de entrada a una resolución máxima (ej. 512px o 640px) antes de la inferencia. Esto reduce drásticamente los FLOPS manteniendo la precisión estructural necesaria para el maquillaje.
2. Inferencia Selectiva: No procesar cada frame del flujo de video. Implementar un detector de movimiento ligero y solo ejecutar M2FP cuando el usuario cambie de posición o cada 3-5 cuadros.
3. Cuantización del Modelo: Convertir el modelo a formatos optimizados como ONNX o TensorRT con precisión FP16 o INT8 para acelerar el procesamiento en hardware específico.

Consideraciones sobre Oclusiones y Casos Críticos

M2FP destaca por su robustez, pero existen escenarios que requieren lógica adicional:

• Oclusiones por manos: Si el usuario se toca la cara, el modelo Transformer utiliza el contexto global para entender que la estructura del labio continúa detrás de los dedos, evitando "manchar" la mano con el maquillaje virtual.
• Iluminación Extrema: En condiciones de baja luz, es recomendable aplicar una ecualización de histograma adaptativa (CLAHE) como paso de pre-procesamiento para mejorar la segmentación de los bordes oscuros del cabello y los ojos.

La integración de M2FP transforma la experiencia de prueba virtual, permitiendo que el maquillaje se adapte a la morfología única de cada rostro con una precisión que antes solo era posible mediante edición manual.