Des bénévoles entraînent un modèle de 145M paramètres sans serveur ni financement

Le dépôt commonsense-ai/coop sur GitHub indique que la boucle d'entraînement fonctionne sans serveur, démon ou financement. Les nœuds téléchargent le checkpoint actuel depuis un dépôt Hugging Face, exécutent des pas AdamW locaux sur une part de données personnelle, puis soumettent un pseudo-gradient via une pull request vers un dépôt public. Une tâche cron GitHub Actions, planifiée toutes les cinq minutes, agrège les contributions, effectue un pas externe de Nesterov et publie un nouveau checkpoint.

L'étape 2 est un transformer décodeur seul avec 12 couches, 14 têtes, d=896 et un contexte de 1 024 tokens. L'entraînement utilise FineWeb-Edu.

L'étape 1, un modèle de 15M paramètres entraîné six jours sur TinyStories, a dépassé son budget optimal Chinchilla. La perte de validation est passée de 9,01 à 2,8, selon le README du projet.

Ce que les bénévoles ont démontré

Le README détaille précisément les modes de défaillance. Une soumission en concurrence avec un tick d'agrégation est acceptée un pas plus tard, avec un poids d'obsolescence réduit. Les tours répétés d'un même utilisateur fusionnent en une seule voix, une protection contre le farming de tokens. La commande coop stop vide un tour à moitié terminé au lieu de le supprimer. La boîte de réception se vide à zéro à chaque tick. Plusieurs bénévoles, sur Apple Silicon et CPU classiques, ont entraîné le même pas externe, moyenné en une seule mise à jour.

Les contributeurs n'ont pas besoin d'autorisation. Tout compte Hugging Face gratuit avec un token d'écriture peut ouvrir une soumission. Le mainteneur n'accorde aucun accès particulier.

Les poids et l'état de l'optimiseur résident sur Hugging Face au format safetensors. Git conserve le code, la configuration et un registre des contributeurs sur une branche dédiée.

Le projet est prudent sur l'interprétation de ses chiffres. À chaque tick, le nouveau checkpoint est évalué sur une tranche fixe mise de côté, avec une graine fixe. Un changement entre deux pas reflète le modèle, non l'échantillonnage. Le classement ajuste une pente sur la perte de validation en fonction des tokens, pas des pas externes, car un pas correspond au travail arrivé ce tick-là. Le README précise que la descente est confirmée si la pente dépasse deux erreurs standard ; sinon, le résultat est signalé comme tel.

Sa place face au reste du domaine

Le travail sur les petits modèles est encombré. TechCrunch a rapporté le 30 septembre que Google avait publié Gemini 4 Argon pour un groupe restreint de partenaires cyber via son Fairwind Program. C'est un modèle de frontière, non un petit modèle. CNBC a indiqué le même jour qu'Argon sert déjà en interne à optimiser la mémoire dans les centres de données de Google. Le contraste est l'essentiel : les 145M paramètres de Coop sont environ trois ordres de grandeur sous une sortie de frontière, et le tout tourne sur du matériel que les bénévoles possèdent déjà.

Le projet n'est pas le seul effort dans cette direction, même si le dossier ne vient étayer directement que les affirmations de Coop.

Ce qu'il montre, c'est un mécanisme d'entraînement distribué fonctionnel sans budget d'infrastructure central. Le README affirme que la boucle a fait ses preuves en production plutôt qu'elle n'a été conçue, et il énumère les cas limites précis auxquels elle a survécu.

Coop fournit une CLI installable via uv. La commande coop run latest télécharge le checkpoint actuel et génère du texte à partir d'un prompt.

Le projet recommande plutôt d'exécuter le modèle TinyStories de l'étape 1 terminé, qu'il juge bien plus cohérent qu'une exécution encore en cours.