Descripción del modelo
El modelo intv_ai_mk11, construido sobre la arquitectura Llama, es una herramienta de generación de texto de tamaño medio que se adapta a diversos usos:
- Respuestas generales: aborda consultas comunes de manera directa.
- Reformulación de texto: modifica el estilo o la expresión de frases existentes.
- Explicaciones sencillas: traduce conceptos técnicos a lenguaje accesible.
- Creación breve: genera fragmentos de contenido o ideas creativas.
Esta implementación está lista para usar directamente desde el navegador, sin configuraciones adicionales.
Preparación del entorno y validación
Requisitos del sistema
Verifique que su infraestructura cumpla con:
- Tarjeta gráfica: memoria mínima de 24 GB.
- Sistema operativo: preferiblemente Linux.
- Entorno Python: instalado en un entorno virtual aislado (venv).
- Puerto: 7860 disponible y no en uso.
Confirmación del estado del servicio
Tras el despliegue, asegúrese de que el servicio esté activo:
supervisorctl status intv-ai-mk11-web
# Resultado esperado: RUNNING, con PID y tiempo de actividad
Validación de la escucha del puerto
Uso del comando ss para inspeccionar puertos
Confirme que el puerto 7860 está siendo escuchado:
ss -ltnp | grep 7860
# Ejemplo de salida exitosa: LISTEN con proceso Python asociado
Diagnóstico de problemas de puertos
Si el puerto no aparece:
- Reinicie el servicio:
supervisorctl restart intv-ai-mk11-web. - Examine registros de errores:
tail -n 50 /ruta/al/archivo.err.log. - Verifique la integridad de los archivos del modelo:
ls -la /ruta/a/modelos/intv_ai_mk11.
Guía de pruebas rápida
Acceso a la interfaz web
Navegue a la URL del servicio en su navegador.
Proceso de prueba básica
- Ingrese un prompt en el campo de texto, por ejemplo:
Describe brevemente tu función. - Mantenga los parámetros predeterminados.
- Haga clic en el botón de generación.
- Revise la respuesta prdoucida en el panel derecho.
Ejemplos de pruebas sugeridas
| Tipo de prueba | Prompt de ejemplo |
|---|---|
| Auto-introducción | Preséntate en una sola oración. |
| Explicación conceptual | Explica qué es la IA en tres frases. |
| Reescritura de texto | Reformula esta frase para que sea más formal: Esta idea tiene potencial. |
| Generación de sugerencias | Enumera cuatro estrategias para optimizar el rendimiento. |
Recomendaciones de configuración
Parámetros clave
| Parámetro | Función | Valor sugerido |
|---|---|---|
| Longitud máxima de salida | Limita el tamaño del texto generado | 128 a 512 |
| Temperatura | Controla la variabilidad en la salida | 0 a 0.3 |
| Top P | Ajusta el rango de muestreo | 0.8 a 0.95 |
Combinaciones recomendadas
- Respuestas consistentes: temperatura 0, Top P 0.9.
- Escritura creativa: temperatura 0.3, Top P 0.95.
- Generación de textos largos: longitud máxima 512.
Comandos de administración
Gestión del servicio
# Reiniciar el servicio
supervisorctl restart intv-ai-mk11-web
# Seguir el registro en tiempo real
tail -f /ruta/al/archivo.log
Verificación de salud
# Prueba básica de estado
curl http://localhost:7860/health
# Respuesta esperada: {"status":"OK"}
Consejos de uso
- Diseño de prompts: sea específico, evite ambigüedades y proporcione contexto cuando sea necesario.
- Ajuste de parámetros: aumente la longitud si la salida es incompleta; reduzca la temperatura para estabilidad; eleve Top P para diversidad.
- Optimización del rendimiento: la primera solicitud puede ser más lenta; las solicitudes consecutivas suelen ser más rápidas; divida tareas compleajs en pasos.