Friki Work

Introducción al framework vLLM vLLM es una biblioteca de código abierto de alto rendimiento para la inferencia y el servicio de modelos de lenguaje grandes (LLM), diseñada para ofrecer despliegues rápidos y eficientes. Originada en el laboratorio de computación en la nube de la Universidad de California, Berkeley, el proyecto ha evolucionado ha ...

La integración de modelos de lenguaje grandes (LLM) con la experiencia en administración de bases de datos ha dado lugar a nuevas herramientas de operaciones inteligentes. El asistente de IA para PolarDB encapsula estas capacidades en un Agent Skill estandarizado, permitiendo que cualquier cliente compatible ejecute diagnósticos y análisis sobr ...

OpenClaw es un framework popular para el desarrollo de agentes que permite a los desarrolladores integrar y utilizar una variedad de modelos de lenguaje grandes (LLMs). Si deseas que OpenClaw acceda a estos modelos a través de la plataforma Taotoken, la configuración es un proceso sencillo. A continuación, te guiamos a través de dos métodos pri ...

Este documento detalla el proceso de despliegue del modelo de lenguaje grande IQuest-Coder-V1-40B-Instruct utilizando imágenes Docker. IQuest-Coder-V1-40B-Instruct es un modelo avanzado diseñado para ingeniería de softwrae autónoma, destacando en el manejo de contextos extensos, razonamiento multi-paso y evolución de código del mundo real. Ha d ...

Optimización de costes en LLMs mediante TOON En aplicaciones que utilizan modelos de lenguaje grandes (LLMs), el consumo de tokens representa un coste significativo. El formato TOON (Token-Oriented Object Notation) ofrece una solución para minimizar este gasto, logrando hasta un 40% de ahorro en tokens comparado con JSON, al tiempo que promueve ...

Comprobación de requisitos del sistema Antes de iniciar, confirma que tu equipo cumpla con los parámetros esenciales: Sistema operativo: Windows 10/11 o macOS 10.15+ (en Linux se requieren pasos adicionales). Memoria RAM: Mínimo 8 GB; se recomienda 16 GB o más para modelos grandes. Espacio en disco: Disponibiliza al menos 20 GB para la instala ...

Introdcución a la necesidad de salidas estructuradas En el desarrollo de aplicaciones con modelos de lenguaje grandes (LLM), las respuestas en texto libre pueden ser complicadas de procesar de manera automática. Para integrar estas salidas en sistemas como asistentes virtuales o servicios de API, es esencial utilizar formatos estandarizados com ...

El despliegue de asistentes de inteligencia artificial ha generado un debate entre el uso de infraestructura en la nube y la ejecución local. Mientras que la nube ofrece disponibilidad constante, la ejecución local garantiza privacidad absoluta y elimina costos operativos recurrentes. Para usuarios individuales o desarrolladores que buscan expe ...

El estándar de la API de OpenAI se ha consolidado como la interfaz predominante para interactuar con modelos de lenguaje de gran escala (LLM). Herramientas como vLLM (motor de inferencia de alto rendimiento) y Ollama (solución ligera para ejecución local) han adoptado esta especificación para permitir que los desarrolladores migren sus aplicaci ...