Les récentes avancées dans l’apprentissage automatique se concentrent sur l’intégration des approches bayésiennes et des méthodes d’apprentissage actif. Deux articles de recherche marquants illustrent cette évolution : « Bayesian vs. PAC-Bayesian Deep Neural Network Ensembles » des chercheurs de l’Université de Copenhague et « Deep Bayesian Active Learning for Preference Modeling in Large Language Models » de l’Université d’Oxford.
Le premier article examine l’efficacité des méthodes d’ensemble pour les réseaux de neurones profonds, en comparant les cadres bayésien et PAC-bayésien. Les réseaux de neurones bayésiens cherchent à quantifier l’incertitude en apprenant une distribution a posteriori sur les paramètres du modèle. En revanche, le cadre PAC-bayésien optimise les poids des modèles en utilisant une borne de généralisation PAC, augmentant ainsi la robustesse de l’ensemble.
Le second article propose une méthode d’acquisition stochastique, le BAL-PM, qui combine l’apprentissage actif bayésien à la maximisation de l’entropie pour améliorer l’efficacité de la sélection et du marquage des données dans les modèles de langage. Cette méthode réduit significativement le nombre de labels de préférence requis, en maximisant l’entropie de la distribution des prompts acquis dans l’espace de caractéristiques du LLM.
Ces recherches mettent en lumière l’importance d’optimiser les méthodes d’ensemble et d’apprentissage actif pour améliorer la performance des modèles et l’efficacité des données, ouvrant ainsi la voie à des applications diverses allant du NLP à l’analyse prédictive.