Instalación y Uso de Xinference para Inferencia de Modelos de Lenguaje
1.1 Proceso de Instalación
# Para CUDA/CPU
pip install "xinference[transformers]"
pip install "xinference[vllm]"
pip install "xinference[sglang]"
# Para Metal(MPS)
pip install "xinference[mlx]"
CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python
Nota: Debido a posibles problemas de con ...
Publicado el 6-14 02:54