Les progrès dans le machine learning, en particulier dans les modèles génératifs comme les modèles de diffusion, sont remarquables. Ces modèles, capables de gérer des données haute dimension telles que les images et les sons, trouvent des applications variées allant de la création artistique à l’imagerie médicale. L’objectif principal a été d’améliorer ces modèles pour mieux correspondre aux préférences humaines, garantissant des sorties utiles et sûres.
Cependant, malgré les avancées, les modèles actuels peinent souvent à s’aligner parfaitement sur les préférences humaines, produisant parfois des résultats inutiles ou dangereux. Il est crucial d’affiner ces modèles pour fournir des sorties souhaitables et sûres, sans compromettre leurs capacités génératives.
Les chercheurs de KAIST, Korea University et Hugging Face ont présenté une nouvelle méthode nommée « Maximizing Alignment Preference Optimization » (MaPO). Cette méthode intègre directement les données de préférence dans le processus de formation. MaPO améliore les modèles de diffusion en incorporant un ensemble de préférences humaines pendant l’entraînement. Cela inclut la sécurité et les choix stylistiques. Une fonction de perte unique priorise les résultats préférés tout en pénalisant les moins désirables, garantissant des sorties qui correspondent aux attentes humaines.
MaPO a été évalué sur plusieurs benchmarks, démontrant une meilleure alignement avec les préférences humaines et une efficacité accrue. Sur le benchmark d’esthétique, MaPO a obtenu une note de 6,17 et a réduit le temps d’entraînement de 14,5%. Il a surpassé les méthodes existantes comme Stable Diffusion XL, prouvant son efficacité à générer des résultats préférés de manière cohérente.
En somme, MaPO représente une avancée significative dans l’alignement des modèles génératifs avec les préférences humaines. En intégrant directement les données de préférence dans le processus de formation, cette méthode améliore la sécurité et l’utilité des sorties des modèles. Elle ouvre de nouvelles avenues pour une optimisation plus personnalisée et sûre des modèles génératifs, établissant un nouveau standard pour les développements futurs dans ce domaine.