Friki Work

El modelo GLM-4-9B-Chat-1M destaca por su capacidad para procesar contextos de hasta 2 millones de caracteres, equivalente a un libro de 300 páginas. Sin embargo, su tamaño original de 18 GB de VRAM supone una barrera para la mayoría de las tarjetas gráficas de consumo. La cuantización INT4 es la solución para reducir esta demanda, disminuyendo ...

Preparación del entorno y requisitos Para desplegar el modelo de lenguaje Qwen3-8B en hardware convencional, es esencial verificar la compatibilidad del sistema. A diferencia de los modelos de gran escala, esta versión optimizada de 8 mil millones de parámetros puede ejecutarse en GPUs de consumo, como una RTX 3060, al aplicar técnicas de cuant ...

El modelo BitNet b1.58-2B-4T-GGUF representa un avance en la eficiencia de los grandes modelos de lenguaje (LLM). Su arquitectura emplea cuantización nativa de 1.58 bits, donde los pesos del modelo solo pueden tomar los valores {-1, 0, +1}. Esto se traduce en un uso de memoria excepcionalmente bajo (alrededor de 0.4GB) y una latencia de inferen ...

La cuantización de modelos de lenguaje grandes (LLMs) es crucial para desplegarlos en hardware con recursos limitados. Un modelo LLM sin cuantizar, como Qwen3:30b, puede ocupar cerca de 60GB, lo que impide su ejecución en una sola GPU de consumo (por ejemplo, una 4090/5090). La cuantización, especialmante a 4 bits (q4), permite la inferencia en ...

La posibilidad de ejecutar modelos de inteligencia artificial directamente en hardware de recursos limitados, como los sistemas embebidos, abre un abanico de aplicaciones prácticas que van desde la detección de anomalías en líneas de producción hasta el procesamiento de lenguaje natural en dispositivos portátiles sin conexión a la nube. El prin ...