GPTQ signifie «Quantification générative du transformateur pré-entraîné». Il s’agit d’une technique de quantification post-formation qui permet de remplir de grands systèmes linguistiques pour qu’ils soient plus efficaces sans affecter de manière significative leurs performances.
Les principales caractéristiques du
Dans l’ensemble, les scores suggèrent que le modèle a bien fonctionné en termes de exactitude et similarité du contextemais pas très bien en termes de pertinence et fidélité.
Analysons en détail les métriques qui ont bien fonctionné :
Sur la base de ces scores, les observations et conclusions suivantes peuvent être tirées.
La cause la plus probable semble être l’ensemble de données p2b ou l’utilisation d’un Judge LLM supérieur comme GPT-4. À l’avenir, nous essaierons sur ces 2 domaines
Les cahiers Jupyter pour la quantification et l’inférence peuvent être trouvés ci-dessous
Je vous souhaite de joyeux efforts en matière de codage et d’apprentissage continu !