L’Institut d’Innovation Technologique (TII) d’Abu Dhabi a présenté Falcon, une famille de modèles linguistiques de pointe sous licence Apache 2.0. Falcon-40B, le premier véritable modèle « ouvert », rivalise avec de nombreuses alternatives propriétaires, offrant d’énormes opportunités aux praticiens, aux passionnés et aux industries.
Falcon2-11B, développé par le TII, est un modèle auto-régressif avec 11 milliards de paramètres, entraîné sur un corpus de plus de 5 trillions de tokens. Il est accessible sous licence TII Falcon 2.0, une licence permissive inspirée d’Apache 2.0, avec une politique d’utilisation responsable.
Le Falcon2-11B prédit les tokens suivants dans une tâche de modélisation linguistique causale, basé sur l’architecture GPT-3 mais avec des améliorations comme les embeddings positionnels rotatifs et l’attention multi-requêtes. La famille Falcon comprend aussi Falcon-7B, accessible même sur du matériel grand public. Ces modèles, optimisés pour des tâches assistants, utilisent principalement des données RefinedWeb.
Bien que ces modèles soient puissants, leur utilisation responsable est essentielle. Falcon marque une avancée prometteuse en IA, prête à redéfinir de nombreux secteurs.