Together AI a récemment marqué un pas en avant significatif en IA en introduisant la méthode innovante Mixture of Agents (MoA), baptisée Together MoA. Ce modèle révolutionnaire exploite les forces combinées de plusieurs grands modèles de langage (LLM) pour élever la qualité et les performances à de nouveaux sommets.
La MoA utilise une architecture en couches, chaque couche étant constituée de plusieurs agents LLM. Les agents exploitent les sorties de la couche précédente comme informations auxiliaires pour générer des réponses raffinées. Cette approche permet à MoA d’intégrer des capacités et des perspectives variées, produisant un modèle plus robuste et polyvalent. Cette innovation a réussi à obtenir un score impressionnant de 65,1 % sur le benchmark AlpacaEval 2.0, dépassant l’ancien leader, GPT-4o, qui avait obtenu 57,5 %.
Le concept central de développement de MoA repose sur la « collaborativité » entre les LLM. Les modèles collaborent en catégorisant les agents en « proposants » et « agrégateurs. » Les proposants génèrent des réponses initiales diversifiées, tandis que les agrégateurs synthétisent ces réponses pour produire des résultats de haute qualité. Ce processus itératif se poursuit à travers plusieurs couches jusqu’à l’obtention d’une réponse complète et affinée.
Le framework Together MoA a été testé sur de multiples benchmarks, dont AlpacaEval 2.0, MT-Bench et FLASK. Les résultats sont impressionnants, avec MoA atteignant des positions de premier plan sur les classements AlpacaEval 2.0 et MT-Bench. Fait notable, MoA a amélioré de 7,6 % le score de GPT-4o sur AlpacaEval 2.0, démontrant les performances supérieures des modèles open-source comparé à ceux fermés.
Côté coût, Together MoA se distingue par son efficacité. La configuration MoA-Lite offre un équilibre optimal entre coût et performance, obtenant des résultats de haute qualité à un coût raisonnable.
La réussite de MoA est attribuée aux efforts collaboratifs de diverses organisations de la communauté open-source, comme Meta AI, Mistral AI, Microsoft, Alibaba Cloud et DataBricks. Leurs contributions avec des modèles comme Meta Llama 3 et WizardLM ont été déterminantes. Les benchmarks développés par Tatsu Labs, LMSYS, et KAIST AI ont également joué un rôle crucial dans l’évaluation des performances de MoA.
À l’avenir, Together AI prévoit d’optimiser davantage l’architecture MoA en explorant diverses configurations et prompts. Une priorité sera de réduire la latence pour le premier token, afin d’améliorer les capacités de raisonnement de MoA.
En somme, Together MoA constitue un progrès significatif dans l’intelligence collective des modèles open-source. Son approche par couches et son ethos collaboratif démontrent le potentiel d’évolution des systèmes d’IA pour des performances plus robustes et alignées avec le raisonnement humain. La communauté IA attend avec impatience l’évolution continue de cette technologie révolutionnaire.