Friki Work

Introducción a la implementación de IA multimodal en K8s El despliegue de modelos de lenguaje de gran tamaño (LLM) con capacidades de visión, como Gemma-3-12b-it, demanda una infraestructura robusta que gestione eficientemente el consumo de VRAM y procese solicitudes concurrentes. Kubernetes (K8s) se presenta como la solución ideal para estas a ...

Introducción Esta guía describe cómo habilitar y utilizar GPUs NVIDIA en tres escenarios distintos: servidores físicos (bare metal), contenedores Docker y clústeres Kubernetes. El sistema operativo de referencia es Linux, pero los principios aplican a otros fabricantes de GPU con ajustes menores. Resumen de componentes necesarios por entorno: ...