Benchmark de l’agent

SWE-bench Verified : les 500 tâches

Version mesurée : le moteur d’agent du 14 octobre 2026 (dernière release « 20261014-preuves »), figé au départ et identique pour les 500 tâches. Les releases du 15 octobre 2026, en service sur myide.tech depuis — réponses coupées réparées, missions dans le cloud qui reprennent au lieu de s’arrêter — n’ont pas été mesurées ici.

Tâches résolues (harnais officiel)

346/50069,2 %

Intervalle de confiance à 95 %

65,0 % – 73,1 %

Durée médiane de l’agent par tâche

66 s

Coût du modèle par tâche (moyenne, borne haute)

$0.130

49 missions sur 500 se sont terminées inachevées, et 43 tâches touchées par la panne de DeepSeek du 15 octobre n’ont eu aucun essai de l’agent : elles ont été rejouées selon une règle écrite à l’avance. Méthode, incidents, résultats par dépôt et par difficulté, les 500 tâches une à une et l’échantillon du 13 octobre sont sur une page dédiée.

Tous les résultats SWE-bench Verified →

Défauts connus

myide est un produit jeune. Voici les défauts trouvés en le mesurant et en examinant de vraies missions, avec ce que chacun est devenu.

• Une étape ratée pouvait annuler toutes les modifications d’une mission · Corrigé

  Quand un outil échouait et que l’agent ne le dépassait pas (écriture hors du projet, chemin protégé, modification qui ne correspondait plus), la mission finissait en erreur et myide annulait toutes ses écritures. 3 des 50 tâches SWE-bench ont fini sans aucune modification pour cette raison, dont une où l’agent avait déjà modifié le bon fichier. Corrigé le 14 octobre 2026 : un chemin refusé ne bloque plus la mission, et les fichiers justes sont gardés ; seul un fichier laissé cassé est encore rétabli. Mesuré sur les 500 tâches : aucune mission n’a fini en erreur sur un chemin refusé ; 2 sur 500 ont fini en erreur — l’une coupée par un délai dépassé chez le fournisseur du modèle, l’autre arrêtée par le contrôle des imports décrit plus bas.

• Le contrôle de syntaxe disait « en attente » des fichiers déjà écrits · Corrigé

  Après l’écriture d’un fichier, l’outil de contrôle disait encore qu’il « n’est pas encore sur le disque » : 214 contrôles de ce type sur 218 le 13 octobre 2026, un message trompeur sur lequel l’agent pouvait se fonder. Corrigé le 14 octobre 2026 : il ne le dit plus que si la version contrôlée n’est vraiment pas sur le disque. Sur les 500 tâches, le message apparaît 28 fois, dans 10 missions, dans les journaux conservés (les 300 derniers évènements de chaque mission), contre 218 fois dans les 50 missions du 13 octobre ; nous n’avons pas vérifié chacune des 28.

• Des preuves justes lues comme absentes · Corrigé

  myide ne dit un résultat vérifié que si l’agent cite un fait exact d’un contrôle qu’il a lancé. Le premier passage complet des 500 tâches SWE-bench, lancé le 14 octobre 2026, a été arrêté après 23 tâches : 13 missions étaient marquées inachevées alors que la plupart des faits cités figuraient dans les sorties. Le contrôle ne lisait pas deux faits dans une même citation (« Ran 75 tests » et « OK ») ni un fait abrégé, et la réponse donnée après le rappel perdait souvent le résumé du travail. Corrigé le 14 octobre 2026 : sur ces 23 missions, 78 faits cités sur 84 sont désormais reconnus au lieu de 60, et le résumé est gardé. Le passage arrêté n’est pas compté ; les 500 tâches sont reparties de zéro. Sur ces 500 tâches, 24 missions ont encore conclu par un résumé avec au moins un point que l’agent n’a pas su prouver, et comptent comme inachevées ; 14 d’entre elles ont résolu la tâche.

• Des missions qui s’arrêtent sans conclure · Toujours ouvert

  23 des 50 missions SWE-bench se sont arrêtées sans conclure : 9 après plusieurs tours sans progrès, souvent en 2 à 4 minutes sur leurs 30, dont 6 non résolues. Leurs modifications ont été gardées et jugées ; dans myide, il faut répondre « continue ». Depuis le 14 octobre 2026, l’agent est prévenu une fois et invité à changer d’approche avant l’arrêt. Mesuré sur les 500 tâches avec ce moteur : 49 missions sur 500 se sont terminées inachevées, dont 5 après des tours sans progrès ; sur les 50 mêmes tâches que le 13 octobre, 7 au lieu de 23. Sur les 49, 25 se sont arrêtées avant de conclure (réponses coupées plusieurs fois de suite 6, limite de tours 6, aucun progrès 5, vérification visuelle demandée non faite 4, limite de 30 minutes 3, erreurs restantes 1) et 24 ont conclu avec un point qu’elles n’ont pas su prouver ; 21 ont résolu la tâche malgré tout. Depuis le 15 octobre 2026, une mission dans le cloud reprend d’elle-même au lieu de s’arrêter, sauf blocage réel, garde-fou de coût ou crédits épuisés ; pas encore mesuré sur SWE-bench.

• Le contrôle des imports ne voit pas les modules compilés · Toujours ouvert

  Avant qu’une mission conclue, myide vérifie que chaque import d’un fichier Python modifié pointe vers un module du projet. Un module qui n’existe que compilé (Cython, comme sklearn.utils.sparsefuncs_fast) ou qui est créé à l’import (six.moves) est déclaré introuvable : 43 fois dans 6 des 500 missions SWE-bench. Dans scikit-learn-9288, la mission a fini en erreur et ses modifications n’ont jamais été appliquées, alors que Python importait le fichier sans erreur ; les 5 autres missions l’ont dépassé et ont résolu leur tâche. Pas encore corrigé.

• Des demandes de modification traitées en lecture seule · Corrigé

  Le 13 octobre 2026, sur un projet de carte 3D d’un utilisateur, « aide-moi à coder… », un signalement de bogue (« quand je clique sur play rien n’est animé ») et cinq « Continue » de suite sont partis en mode question, en lecture seule : l’agent ne pouvait que décrire le problème. Corrigé le 14 octobre 2026 : ces demandes atteignent désormais l’agent, et « continue » sous un bandeau « Reprendre » reprend la mission.

• Des missions figées par un très gros fichier · Corrigé

  La lecture d’un fichier JSON de 23 Mo écrit sur une seule ligne rendait la ligne entière ; le journal de mission débordait et quatre missions sont restées « en cours » sans réponse. Corrigé le 14 octobre 2026 : une telle ligne est coupée, et l’agent apprend comment l’explorer.

• Pas de vérification visuelle sur les pages 3D lourdes · Toujours ouvert

  Sur la même carte 3D, l’outil de capture a expiré ou perdu la page à chaque essai : l’agent a fini sans jamais voir son résultat — des arbres dessinés à 3 km de haut cachaient toute la ville, et la carte était en miroir.

• Une exigence affirmée sans être vérifiée · Toujours ouvert

  La consigne excluait le bois de Boulogne et le bois de Vincennes ; l’agent a écrit dans son code que le découpage par arrondissement les retirait. Faux : les deux bois font partie d’arrondissements, et 688 de leurs bâtiments restaient sur la carte.

Tâches courantes : 12 octobre 2026, 8 tâches × 3 passages

Huit tâches comme on en confie à un agent de code — une page d’accueil avec formulaire de rendez-vous, un panier avec trois bogues signalés, deux fonctions dans une application de tâches, une application React + Vite avec tests, une API Node.js, un module Python, un bogue d’arrondi d’un centime, une classe Python — chacune jouée trois fois, puis jugée par nos propres vérificateurs, validés au préalable sur des solutions de référence. Les demandes étaient rédigées en français.

Passages réussis au contrôle indépendant

21/24

Même contrôle, série du matin avant le correctif

18/24

Durée médiane par passage

47 s

Coût moyen du modèle par passage

$0.043

Page d’accueil avec formulaire de rendez-vous validé — Le matin, à la demande de travailler « dans ce dossier vide », l’agent écrivait les trois fichiers dans un nouveau sous-dossier nommé « vide », 3 passages sur 3. La page d’accueil a ensuite été jouée 9 fois l’après-midi, à travers deux releases : 8 réussis — fichiers à la racine, mais 5 passages laissaient aussi un vide/index.html en trop — et 1 échec : ses réponses ont été coupées plusieurs fois de suite et ses modifications n’ont jamais été écrites sur le disque. Le tableau montre les 3 derniers passages (tous propres). Les trois finissent pourtant par « Non vérifié » sur des points que notre contrôle confirme — deux fois sur « 3 fichiers créés », les trois fichiers étant là.

Deux fonctions dans une application de tâches existante — Le passage 3 a échoué : le compteur affichait « 0 tâches restantes » là où la demande exigeait exactement « 0 tâche restante », et la liste vidée n’était pas enregistrée — l’agent avait pourtant déclaré la tâche vérifiée. Une erreur de raisonnement du modèle ; le même échec s’était produit une fois dans la série du matin.

Module Python slugify avec longueur maximale — Les passages 1 et 3 ont échoué sur un contrôle sur 19 : avec max_len 13, slugify rendait « un-deux » au lieu de « un-deux-trois », qui fait exactement 13 caractères — et l’agent avait déclaré les deux passages vérifiés. Une erreur de raisonnement du modèle (le même contrôle avait échoué deux fois dans la série du matin). slug.py et ses tests ont été écrits sur le disque dans les 6 passages de la journée.

Le verdict de l’agent lui-même : dans 11 passages sur 24, il a fini par « Non vérifié » sur au moins un point alors que notre contrôle passait ; dans 3 passages, il a déclaré la tâche vérifiée alors que notre contrôle échouait (les échecs de l’application de tâches et du module Python ci-dessus).

Comment nous avons mesuré le 12 octobre

• ·Même moteur d’agent et même modèle inclus que myide.tech (DeepSeek Flash), dans un conteneur jetable, en mode « agent » : ni indice, ni nouvel essai, ni aide humaine.
• ·Deux séries le même jour : 05:26–06:33 UTC, puis 16:49–17:38 UTC après la release « 20261012-corrections-banc », qui corrigeait ce que la série du matin avait trouvé (la page d’accueil aussi après une seconde release, « 20261012-dossier-courant »). Le tableau montre les deux ; les chiffres ci-dessus sont ceux de l’après-midi. Six passages de plus sur la page d’accueil, faits entre les deux releases, sont décrits sous cette tâche, pas cachés.
• ·Coût du modèle : jetons comptés par myide × 0,28 / 0,42 $ le million (entrée / sortie), le tarif du compteur de consommation de myide.

Ce que sont devenus les bogues du 10 octobre

• Python : fichiers contrôlés encore en attente, jamais écrits sur le disque (2 passages sur myide.tech, le 10 octobre).

  Pas corrigé : revu le 12 octobre — Le 12 octobre, la tâche Python a écrit slug.py et ses tests sur le disque dans 6 passages sur 6. Mais un passage de la page d’accueil, après les releases du jour, a fini de la même façon : ses réponses ont été coupées plusieurs fois de suite et ses modifications sont restées en attente, jamais écrites sur le disque — 1 passage sur les 30 faits après les correctifs. Pas revu dans les 50 missions SWE-bench du 13 octobre.

• Ligne « Verified » en échec sur un critère de dossier alors que les fichiers étaient là (landing, bugfix et API, le 10 octobre).

  Toujours présent le 12 octobre — Après la release du jour, 11 passages sur 24 finissaient encore par « Non vérifié » sur au moins un point alors que notre contrôle indépendant passait pour les 11 — deux fois sur « 3 fichiers créés » pour la page d’accueil, les trois fichiers étant là. Pas encore corrigé.

• Bogue de dossier voisin, trouvé le 12 octobre : à la demande de travailler « dans ce dossier vide », l’agent créait un sous-dossier nommé « vide ».

  Corrigé le 12 octobre 2026 — Page d’accueil : 0 passage sur 3 avant les releases « 20261012-corrections-banc » et « 20261012-dossier-courant » (fichiers dans vide/). Ensuite, chaque passage qui a écrit ses fichiers les a mis à la racine ; 5 passages intermédiaires laissaient encore un vide/index.html en trop, les 3 derniers aucun.