Apprenez de nouveaux trucs à l'ancienne LLM

TL;DR

Alors que l'affinage est notre arme ultime pour enseigner des tâches spécifiques aux LLM, la mise en place adéquate du contexte dans vos appels pourrait aider à obtenir des résultats qui sont « Bon Assez ». Cet article montre une expérience sur la façon d'enseigner chatGPT (GPT-4) une nouvelle langue de programmation. Si vous vous sentez enclin à le faire, vous pouvez directement sauter aux Conclusions.

Article

"Vous ne pouvez pas enseigner de nouveaux trucs à un vieux chien", disent-ils. Mais ce n'est pas forcément vrai.

Dans le monde de LLM AI, avec un modèle pré-trainé, vous pouvez encore lui enseigner de nouvelles choses en le perfectionnant. Vous créez des datastes avec un nouveau matériel que vous voulez apprendre et l'entraîner sur eux.

C'est un processus assez lent et coûteux (mais vous pouvez utiliser des techniques comme LORA pour le rendre plus rapide et moins cher) et le risque est d'avoir le modèle oublier quelque chose qu'il savait auparavant.

En outre, il peut être assez difficile de créer l'ensemble de données, de former le modèle, de vérifier les résultats, de rincer une répétition.

Il y a une autre option ?

J'ai pensé que si j'avais besoin de quelque chose de simple et très spécifique, ne pourrais-je pas mettre en place le contexte approprié avant que le LLM ne tire ses neurones ?

Cet article parle de quelques tests que j'ai faits sur cette idée, j'aim...
[Courte citation de 8% de l'article original]