Google étend AI Edge à Gemma 3n et ajoute le RAG et les appels de fonctions

Google a publié les détails sur son blog développeur, accompagnés de deux nouvelles bibliothèques : l'une pour la génération augmentée par récupération (RAG) sur appareil, l'autre pour les appels de fonctions. Les deux sont d'abord livrées sur Android, les autres plateformes suivront.

Google considère que les petits modèles de langage (SLM) ont dépassé le stade de la démonstration. Le blog, rédigé par Mark Sherwood, directeur produit senior, et quatre ingénieurs, décrit des techniciens de terrain photographiant une pièce sans service, du personnel d'entrepôt mettant à jour l'inventaire à la voix et une application médicale transformant l'historique du patient dicté en champs de formulaire remplis. Chaque exemple suppose que le modèle s'exécute localement, sans aller-retour avec un serveur. Les chiffres donnés par Google sont précis. Gemma 3 1B, introduit plus tôt cette année, fait 529 Mo et atteint jusqu'à 2 585 jetons par seconde en pré-remplissage sur un GPU mobile, ce que l'entreprise dit suffisant pour traiter une page de contenu en moins d'une seconde.

Son petit encombrement maintient une couverture large des appareils et limite la taille du téléchargement qu'une application impose à l'utilisateur.

Le plus récent Gemma 3n arrive en aperçu préliminaire en variantes de 2B et 4B paramètres, tous deux natifs pour le texte, l'image, la vidéo et l'audio. Seul le texte et l'image sont disponibles sur Hugging Face pour le moment ; l'audio suivra. Google pointe également de nouveaux schémas de quantification qui réduisent la taille du modèle d'un facteur de 2,5 à 4 fois par rapport au bf16, tout en réduisant la latence et l'utilisation mémoire de pointe.

Apple et d'autres ont déjà abordé le même problème

Google n'est pas le premier. Ars Technica a rapporté le 25 avril 2024 qu'Apple a publié huit modèles source-disponibles sous le nom OpenELM, allant de 270 000 000 à 3 000 000 000 de paramètres, assez petits pour tourner sur un smartphone. Apple a publié les poids des modèles, le code d'entraînement et des recettes reproductibles, bien que la licence Apple Sample Code comporte des restrictions qui ne répondent peut-être pas à une définition stricte d'open source. Le white paper d'Apple revendiquait une amélioration de précision de 2,36 pour cent par rapport à OLMo 1B d'Allen AI, en utilisant la moitié des jetons de pré-entraînement, via ce qu'il appelait une stratégie de mise à l'échelle par couche. Pour donner l'ordre de grandeur, Ars Technica notait que le plus grand modèle Llama 3 de Meta à l'époque comptait 70 000 000 000 de paramètres et que GPT-3 d'OpenAI de 2020 était livré avec 175 000 000 000. Un modèle de 529 Mo est une catégorie d'objet entièrement différente.

La reproductibilité et la transparence des grands modèles de langage sont cruciales pour faire avancer la recherche ouverte, garantir la fiabilité des résultats et permettre les enquêtes sur les biais des données et des modèles, ainsi que les risques potentiels.

Ceci est tiré de l'abstract du papier OpenELM d'Apple. L'entreprise a également averti que les modèles entraînés sur des jeux de données publics peuvent produire des sorties inexactes, nuisibles, biaisées ou choquantes.

Que dit la recherche sur les limites

Un papier de novembre 2024 sur arXiv a introduit SlimLM, une série de modèles de 125 à 7B paramètres adaptés pour l'assistance documentaire sur un Samsung Galaxy S24. Ses auteurs ont rapporté des performances comparables ou supérieures aux petits modèles existants et ont publié une application Android, tout en notant que le traitement sur appareil peut réduire les coûts serveur et améliorer la confidentialité. Le cadrage du papier lui-même est que les performances réelles sur les téléphones restent peu explorées.

Il y a aussi un résultat plus gênant. Un autre papier arXiv de Prashant Mudgal a testé sept approches de confiance sur 7 paires de modèles et 5 benchmarks et a trouvé que l'entropie au niveau des jetons est effectivement aveugle dans les modèles de moins de 3 milliards de paramètres : dans 91 pour cent des combinaisons jeu de données-modèle, l'entropie moyenne des jetons était proche de zéro, que la réponse soit juste ou non. L'entropie sémantique, calculée en échantillonnant plusieurs réponses et en les regroupant par sens, a récupéré un signal utilisable. Aiguiller les requêtes incertaines vers un modèle expert plus grand a amélioré la précision de jusqu'à 50 points de pourcentage, et le routage inter-familles a donné en moyenne +22,0 pour cent contre +6,8 pour cent pour le routage intra-famille.

La bibliothèque d'appels de fonctions de Google fait une concession similaire en pratique. Le blog note qu'elle peut être couplée à une bibliothèque de simulation d'outils Python qui génère des données synthétiques pour améliorer la précision des appels de fonctions, ce qui est une admission que les petits modèles ont besoin d'aide avant de pouvoir être considérés comme fiables pour agir.

Google n'a pas dit quand Gemma 3n quittera l'aperçu, ni quelles plateformes les bibliothèques RAG et d'appels de fonctions atteindront ensuite.