Marco de trabajo DataComp-LM para la construcción de modelos de lenguaje
Descripción general
DataComp-LM (DCLM) es un entorno integral para la creación y el entrenamiento de grandes modelos de lenguaje (LLMs). Ofrece un corpus estandarizado de más de 300 billones de tokens sin filtrar de CommonCrawl, recetas de preentrenamiento eficientes basadas en el framework open_lm y una amplia suite de más de 50 evaluaciones. ...
Publicado el 6-21 05:22