Dans le monde de l’IA, le développement de modèles linguistiques performants et respectueux de la vie privée et des considérations éthiques est un défi de taille. Les modèles traditionnels d’IA reposent souvent sur des calculs intensifs sur serveur, posant des problèmes d’efficacité et de latence. Les chercheurs d’Apple ont introduit deux modèles linguistiques principaux : un modèle optimisé pour une utilisation sur appareil avec 3 milliards de paramètres et un modèle plus grand destiné au Apple Private Cloud Compute. Ces modèles visent à équilibrer efficacité, précision et principes éthiques, tout en améliorant l’expérience utilisateur.
Le modèle sur appareil utilise des techniques telles que la pré-normalisation avec RMSNorm et l’attention de requête groupée. La formation a utilisé un mélange de données comprenant des données sous licence, des ensembles de données open-source et des données web publiques. Les deux modèles ont été évalués rigoureusement, montrant des performances impressionnantes sur divers benchmarks, confirmant leurs capacités en matière de suivi d’instructions, de raisonnement et de rédaction. Cette recherche met en avant une IA plus efficace et éthique, offrant des solutions centrées sur l’utilisateur sans compromettre la confidentialité.