L’apprentissage sans échantillon (zero-shot learning) est une technique avancée de machine learning permettant aux modèles de prédire des tâches sans formation explicite préalable. Cette méthode révolutionnaire évite la collecte intensive de données, en s’appuyant sur des modèles pré-entraînés capables de généraliser diverses tâches. Cependant, ces modèles peuvent être biaisés par des corrélations non voulues dans les ensembles de données. Par exemple, un modèle entraîné sur des images d’oiseaux aquatiques pourrait associer toutes les images d’eau à des oiseaux aquatiques.
Des chercheurs de l’Université du Wisconsin-Madison ont développé ROBOSHOT, une méthode novatrice pour renforcer les modèles sans échantillon sans données annotées ni formation. Ce système exploite les modèles de langage pour identifier et atténuer les biais dans les représentations du modèle. A travers des opérations vectorielles simples, ROBOSHOT ajuste les représentations pour minimiser les corrélations nuisibles et renforcer les caractéristiques pertinentes.
Des évaluations empiriques ont démontré que ROBOSHOT améliore l’exactitude des groupes les plus défavorisés de 15.98 % en moyenne, tout en maintenant ou améliorant légèrement l’exactitude globale. Sur des jeux de données tels que Waterbirds, CelebA, PACS, VLCS et CXR14, cette méthode a prouvé son efficacité et sa robustesse, soulignant son potentiel à améliorer la fiabilité des modèles sans échantillon sans besoin de données ou de formation supplémentaires. En essence, ROBOSHOT propose une solution pratique et efficace pour atténuer les biais et renforcer l’applicabilité des modèles zero-shot, en préservant leur avantage principal.