Researchers warn of ‘catastrophic overtraining’ in LLMs
La course à l’entrainement des modèles va peut-être se calmer ? Cette étude montre que plus l’entraînement se fait sur un grand ensemble de data, plus le modèle est difficile à fine-tuner ensuite. Pour les projets vraiment spécifiques qui nécessitent cette étape, il vaut mieux miser sur des petits modèles. C’est la planète et les auteurs qui vont dire merci !