Aligner efficacement les grands modèles de langage (LLM) avec les instructions humaines demeure un défi crucial en IA. Les approches actuelles, fondées sur des ensembles de données annotés manuellement et des données synthétiques, présentent des limitations concernant l’évolutivité et la diversité des données. Pour résoudre ces problèmes, une méthode innovante, baptisée « traduction aller-retour », a été proposée par des chercheurs de l’Université de Washington et Meta Fair.
Cette méthode combine la rétrotraduction avec la réécriture des réponses. Les instructions sont d’abord générées à partir de réponses existantes provenant d’un corpus web à grande échelle, puis affinées par un LLM pour mieux correspondre aux instructions générées. Le corpus Dolma sert de source initiale pour ces données, filtrées ensuite pour ne conserver que les paires de haute qualité. L’usage de la technique de réécriture par des modèles alignés, tels que Llama-2-70B-chat, permet d’améliorer encore la qualité des réponses, en utilisant le « nucleus sampling ».
Cette approche a montré des performances supérieures sur plusieurs benchmarks, notamment avec un taux de réussite de 91,74 % sur le benchmark AlpacaEval, dépassant les modèles entraînés sur des ensembles de données comme OpenOrca et ShareGPT. Ceci démontre l’efficacité de la méthode de traduction aller-retour pour générer des données d’instructions diversifiées et de haute qualité.
En conclusion, cette méthode représente une avancée significative pour l’alignement des modèles de langage avec les instructions humaines, apportant une solution plus scalable et précise pour les applications pratiques de l’IA.