Friki Work

Optimización de costes en LLMs mediante TOON En aplicaciones que utilizan modelos de lenguaje grandes (LLMs), el consumo de tokens representa un coste significativo. El formato TOON (Token-Oriented Object Notation) ofrece una solución para minimizar este gasto, logrando hasta un 40% de ahorro en tokens comparado con JSON, al tiempo que promueve ...

Comprobación de requisitos del sistema Antes de iniciar, confirma que tu equipo cumpla con los parámetros esenciales: Sistema operativo: Windows 10/11 o macOS 10.15+ (en Linux se requieren pasos adicionales). Memoria RAM: Mínimo 8 GB; se recomienda 16 GB o más para modelos grandes. Espacio en disco: Disponibiliza al menos 20 GB para la instala ...

Introdcución a la necesidad de salidas estructuradas En el desarrollo de aplicaciones con modelos de lenguaje grandes (LLM), las respuestas en texto libre pueden ser complicadas de procesar de manera automática. Para integrar estas salidas en sistemas como asistentes virtuales o servicios de API, es esencial utilizar formatos estandarizados com ...

El despliegue de asistentes de inteligencia artificial ha generado un debate entre el uso de infraestructura en la nube y la ejecución local. Mientras que la nube ofrece disponibilidad constante, la ejecución local garantiza privacidad absoluta y elimina costos operativos recurrentes. Para usuarios individuales o desarrolladores que buscan expe ...

El estándar de la API de OpenAI se ha consolidado como la interfaz predominante para interactuar con modelos de lenguaje de gran escala (LLM). Herramientas como vLLM (motor de inferencia de alto rendimiento) y Ollama (solución ligera para ejecución local) han adoptado esta especificación para permitir que los desarrolladores migren sus aplicaci ...