La segmentación semántica humana, o análisis del cuerpo humano, representa un desafío significativo en la visión por computadora. Consiste no solo en detectar personas en una imagen, sino también en clasificar cada píxel en categorías específicas como cabello, rostro, brazos, piernas, ropa, etc. La demanda de tecnologías precissa para múltiples individuos ha crecido con aplicaciones en probadores virtuales, seguridad inteligente y realidad aumentada.

Los métodos tradicionales de segmentación a menudo fallan ante escenarios con solapamiento, poses complejas u oclusiones. El modelo M2FP (Mask2Former-Parsing) surge como una solución avanzada, basada en la arquitectura Mask2Former. Este modelo no solo alcanza una segmentación a nivel de píxel, sino que también está optimizado para despliegues prácticos, ofreciendo un rendimiento estable incluso en entornos sin GPU.

Fundamentos técnicos del modelo M2FP

La arquitectura Mask2Former, propuesta por Facebook AI, unifica la segmentación de instancias, panorámica y semántica en un solo marco. A diferencia de los detectores de dos etapas como Mask R-CNN, utiliza un mecanismo de consultas transformadoras para predecir máscaras de manera dinámica.

M2FP adapta esta arquitectura específicamente para el análisis humano, incorporando un decodificador transformador con cabezales de predicción de máscaras dinámicas, una red base ResNet-101 para extracción de características y módulos de fusión multi-escala. Esto le permite manejar dependencias de largo alcance y distinguir límites entre individuos incluso en escenas densas.

Flujo de trabajo del modelo M2FP

El proceso de inferencia se divide en pasos clave:

• Codificación de imagen y extracción de características: La imagen pasa por una red ResNet-101 para generar mapas de características en múltiples escalas, capturando información espacial detallada.
• Inicialización de consultas de máscara: Se generan vectores de consulta aprendibles, cada uno representando una región potencial para segmentar, independiente de cajas delimitadoras.
• Decodificación por atención cruzada: Mediante un decodificador transformador, las consultas interactúan con los mapas de características para enfocarse progresivamente en regiones específicas del cuerpo.
• Generación dinámica de máscaras: Cada consulta produce logits de clasificación (para categorías como cabello o piernas) y núcleos de convolución para generar máscaras binarias, que se combinan en una segmentación final.

# Estructura de salida simplificada del modelo M2FP (código reescrito)
class ResultadoM2FP:
    def __init__(self):
        self.mascaras_binarias = []   # Lista de matrices (alto, ancho) para cada parte corporal
        self.etiquetas_clase = []     # Lista de IDs de categoría (ej., 1=cabello, 2=rostro)
        self.puntuaciones_confianza = []  # Lista de valores flotantes de confianza

# Ejemplo de uso básico (código reescrito con lógica alterada)
def procesar_salida(datos_modelo):
    mascaras = datos_modelo.get('mask_outputs', [])
    categorias = datos_modelo.get('class_ids', [])
    return mascaras, categorias

Optimizaciones para ejecución en CPU

Para garantizar un despliegue accesible, el proyecto emplea versiones fijas de PyTorch (1.13.1+cpu) y MMCV-Full (1.7.1), evitando incompatibilidades comunes. Además, incluye un algoritmo de visualización integrado que convierte las máscaras binarias en imágenes segmentadas con colores asignados.

# Implementación reescrita del algoritmo de combinación de máscaras
import cv2
import numpy as np

# Mapa de colores en formato BGR (estructura modificada)
PALETA_COLORES = {
    0: (0, 0, 0),        # Fondo - negro
    1: (0, 0, 255),      # Cabello - rojo
    2: (0, 255, 0),      # Rostro - verde
    3: (255, 0, 0),      # Brazo izquierdo - azul
    4: (255, 255, 0),    # Brazo derecho - cyan
    5: (255, 0, 255),    # Pierna izquierda - magenta
    6: (0, 255, 255),    # Pierna derecha - amarillo
    7: (128, 64, 128),   # Parte superior - púrpura
    8: (244, 35, 232),   # Parte inferior - rosa
}

def sintetizar_imagen_segmentada(listado_mascaras, listado_etiquetas, dimensiones):
    """
    Genera una imagen segmentada coloreada a partir de múltiples máscaras.
    :param listado_mascaras: Lista de arrays (alto, ancho) con valores 0/1
    :param listado_etiquetas: Lista de IDs de categoría
    :param dimensiones: Tupla (alto, ancho, canales)
    :return: Imagen resultante (array numpy)
    """
    imagen_resultante = np.zeros(dimensiones, dtype=np.uint8)

    # Aplicar colores según prioridad (último dibujo prevalece)
    for mascara, etiqueta in zip(listado_mascaras, listado_etiquetas):
        tono = PALETA_COLORES.get(etiqueta, (128, 128, 128))
        indices_positivos = mascara > 0
        imagen_resultante[indices_positivos] = tono

    # Mezcla opcional con fondo para efecto semitransparente
    capa_fondo = np.ones_like(imagen_resultante) * 50  # Gris oscuro
    imagen_final = cv2.addWeighted(capa_fondo, 0.4, imagen_resultante, 0.8, 0)
    return imagen_final

Este algoritmo aprovecha operaciones vectorizadas de NumPy para un rendimiento eficiente en CPU, con tiempos de procesamiento inferiores a 500 ms para imágenes 1080p.

Interfaz Web y API RESTful

El proyecto ofrece una interfaz web basada en Flask para usuarios no técnicos y una API REST para integración programática. La interfaz permite subir imágenes y visualizar segmentaciones en tiempo real, mientras que la API facilita la incorporación en sistemas de probadores virtuales o análisis de movimientos.

Para activar el servidor:

# Comando de inicio reescrito con parámetros ajustados
python iniciar_app.py --direccion 0.0.0.0 --puerto 8080

Ejemplo de llamada a la API (código reestructurado):

import http.client
import json

conexion = http.client.HTTPConnection("localhost", 8080)
conexion.request("POST", "/analizar", body=open("imagen.jpg", "rb"), headers={"Content-Type": "image/jpeg"})
respuesta = conexion.getresponse()
datos = json.loads(respuesta.read().decode())

# Ejemplo de estructura de respuesta
# {
#   "exito": true,
#   "imagen_base64": "cadena_codificada_en_base64",
#   "mascaras_generadas": [],
#   "tiempo_inferencia_seg": 2.15
# }

Evaluación comparativa de rendimiento

M2FP se destaca por su equilibrio entre precisión y accesibilidad. A continuación, una comparación con otros modelos en escenarios estándar:

Para aplicaciones de probadores virtuales, M2FP ofrece la segmentación detallada necesaria, mientras que para análisis de posturas, OpenPose puede ser más adecuado por su enfoque en puntos clave.

Resolución de desafíos prácticos

En implementaciones reales, M2FP puede enfrentar problemas como segmentación deficiente para figuras pequeñas o confusiones por colores de ropa similares. Soluciones incluyen el uso de detectores de rostros para pre-procesamiento, la incorporación de estimadores de pose para refinamiento de contornos, y técnicas como campos aleatorios condicionales (CRF) en post-procesamiento.

Para reducir la latencia en CPU, se recomienda emplear motores de inferencia como ONNX Runtime, muestrear fotogramas en aplicaciones de video, o, cuando sea posible, utilizar TensorRT en entornos con GPU.

El valor fundamental de M2FP radica en su capacidad para ofrecer una solución integral de segmentación humana, accesible sin necesidad de hardware especializado, y adaptable a diversas aplicaciones industriales y de investigación.