OuteAI a récemment dévoilé les derniers modèles de sa série Lite, les Lite-Oute-1-300M et Lite-Oute-1-65M. Ces nouvelles versions visent à améliorer les performances tout en maintenant l’efficacité, les rendant adaptées à divers appareils.

### Lite-Oute-1-300M : Performance Améliorée

Basé sur l’architecture Mistral, le modèle Lite-Oute-1-300M contient environ 300 millions de paramètres, doublant ainsi son prédécesseur avec 150 millions de paramètres. Entraîné sur un ensemble de données plus raffiné et plus large, son but est de fournir une meilleure rétention du contexte et une cohérence améliorée.

Malgré sa taille compacte, il présente certaines limitations par rapport aux modèles de langue plus grands. Entraîné sur 30 milliards de tokens avec une longueur de contexte de 4096, il assure des capacités robustes de traitement du langage.

#### Performance de Référence

Le modèle a été testé sur plusieurs tâches :

* **ARC Challenge** : 26.37 (5-exemples), 26.02 (0-exemple)
* **ARC Easy** : 51.43 (5-exemples), 49.79 (0-exemple)
* **CommonsenseQA** : 20.72 (5-exemples), 20.31 (0-exemple)
* **HellaSWAG** : 34.93 (5-exemples), 34.50 (0-exemple)
* **MMLU** : 25.87 (5-exemples), 24.00 (0-exemple)
* **OpenBookQA** : 31.40 (5-exemples), 32.20 (0-exemple)
* **PIQA** : 65.07 (5-exemples), 65.40 (0-exemple)
* **Winogrande** : 52.01 (5-exemples), 53.75 (0-exemple)

#### Compatibilité avec HuggingFace Transformers

Il peut être utilisé avec la bibliothèque transformers de HuggingFace, facilitant son intégration dans des projets Python. Divers paramètres comme la température et la pénalité de répétition peuvent affiner les réponses générées.

### Lite-Oute-1-65M : Exploration des Modèles Ultra-Compacts

Le modèle Lite-Oute-1-65M, basé sur l’architecture LLaMA, inclut environ 65 millions de paramètres. Ce modèle ultra-compact explore les limites de la taille tout en conservant une compréhension basique du langage. Entraîné sur 8 milliards de tokens avec une longueur de contexte de 2048, il est adapté aux tâches de génération de texte basiques mais a des limitations notables en termes de cohérence et de précision.

### Entraînement et Matériel

Les deux modèles ont été entraînés sur du matériel NVIDIA RTX 4090, optimisant l’efficacité tout en garantissant une performance accrue.

### Conclusion

En résumé, les modèles Lite-Oute-1-300M et Lite-Oute-1-65M offrent un équilibre entre taille et capacité, idéaux pour divers usages tout en maintenant une efficacité optimale pour différents dispositifs.