Introudcción a la inferencia local con modelos de gran escala

En la actualidad, la ejecución de modelos de lenguaje en dispositivos locales se ha vuelto crucial para aplicaciones que priorizan la privacidad y el bajo latencia. Herramientas como Ollama simplifican este proceso, permitiendo desplegar modelos como Qwen2.5-7B-Instruct con comandos sencillos. Esta guía abarca desde la instalación hasta la integración mediante APIs, centrándose en aspectos prácticos para configurar un entorno de inferencia reproducible.

Ventajas de combinar Ollama con el modelo Qwen2.5-7B

Ollama reduce significativamente la complejidad del despliegue local al manejar dependencias y cuantificaciones automáticamente. El modelo Qwen2.5-7B, desarrollado por el equipo de Qwen, destaca por:

• Entrenamiento con 18T tokens, logrando puntuaciones altas en benchmarks como MMLU.
• Mejoras en tareas de programación y matemáticas, con soporte para contextos de hasta 128K tokens.
• Optimización para instrucciones, especialmente en la versión qwen2.5:7b-instruct, que facilita la generación de respuestas estructuradas como JSON.

Requisitos previos del sistema

Para GPUs con memoria limitada, se recomienda usar versiones cuantificadas como qwen2.5:7b-q4_K, que reducen el uso de VRAM a aproximadamnete 10GB.

Instalación y configuración de Ollama

Para instalar Ollama en sistemas Linux o macOS, ejecutar el siguiente script:

curl -fsSL https://ollama.com/install.sh | sh

Verificar la instalación con:

ollama --version

Iniciar el servicio en modo daemon para exponer una API REST en el puerto 11434:

ollama serve

Despliegue del modelo Qwen2.5-7B

Existen múltiples variantes del modelo disponibles en la biblioteca de Ollama. Para descargar y ejecutar la versión instructiva:

ollama run qwen2.5:7b-instruct

Este comando descarga el modelo (aproximadamente 4.7GB) e inicia una interfaz interactiva. Para una integración programática, se puede usar la API compatible con OpenAI.

Integración mediante Python y la API de OpenAI

Ollama expone un endpoint compatible con OpenAI, lo que permite utilizar la biblioteca openai de Python. Primero, instalar la dependencia:

pip install openai

Ejemplo de código para generar una lista estructurada de atracciones turísticas en formato JSON:

import openai

# Configurar el cliente para apuntar al servicio local de Ollama
config = {
    "base_url": "http://localhost:11434/v1",
    "api_key": "ollama"  # No se requiere autenticación real
}

client = openai.OpenAI(**config)
prompt = "Genera un JSON con tres lugares turísticos en Madrid, incluyendo nombre, descripción y motivo de recomendación."

# Realizar la solicitud de chat
response = client.chat.completions.create(
    model="qwen2.5:7b-instruct",
    messages=[{"role": "user", "content": prompt}],
    stream=False
)

# Mostrar el contenido de la respuesta
print(response.choices[0].message.content)

Este código producirá una salida JSON estructurada, demostrando la capacidad del modelo para generar formatos específicos.

Optimización y solución de problemas

Para gestionar modelos y recursos:

• Listar modelos instalados: ollama list
• Ver modelos en ejecución: ollama ps
• Eliminar modelos no deseados: ollama rm <nombre-del-modelo>

Si hay restricciones de memoria, usar la versión cuantificada qwen2.5:7b-q4_K. Para personalizar parámetros como la longitud del contexto, crear un archivo Modelfile:

FROM qwen2.5:7b-instruct
PARAMETER num_ctx 16384
PARAMETER num_gpu 50

Luego, construir un modelo personalizado:

ollama create mi-modelo-qwen -f Modelfile
ollama run mi-modelo-qwen

Comparación con enfoques tradicionales

En contraste con métodos manuales usando Hugging Face Transformers, Ollama ofrece:

• Instalación simplificada con gestión automática de dependencias.
• Soporte integrado para cuantificaciones en formato GGUF.
• Compatibilidad nativa con APIs estándar, facilitando la integración en aplicaciones existentes.

Esto lo convierte en una solución ideal para prototipado rápido y despliegues locales seguros donde los datos no salen del dispositivo.

Casos de uso y mejores prácticas

Aplicaciones recomendadas incluyen sistemas de preguntas y respuestas basados en conocimiento local, generación de datos estructurados (JSON, YAML) y asistentes de IA privados. Para un rendimiento óptimo:

• Seleccionar la versión -instruct para tareas conversacionales.
• Ajustar la cuantificación según la VRAM disponible (por ejemplo, usar q4_K en GPUs de consumo).
• Configurar num_ctx explícitamente al trabajar con documentos largos.
• Integrar con frameworks como LangChain para aplicaciones de RAG.