SWE-bench Verified : les 500 tâches

Par dépôt

Par difficulté

Deux incidents, et la règle fixée avant de rejouer

• ·Le 15 octobre, l’API de DeepSeek a été partiellement indisponible de 00:11 à 05:04 UTC, d’après la page de statut de DeepSeek et son avis aux clients de l’API. 43 tâches lancées entre 00:27 et 03:58 UTC se sont terminées sans qu’un seul appel au modèle aboutisse — l’agent n’a jamais pu y travailler. Nous avons mis le passage en pause à 03:58 UTC.
• ·Avant de rejouer quoi que ce soit, nous avons écrit la règle : une tâche dont la mission n’a obtenu aucun appel au modèle, ou dont l’agent n’a jamais démarré, n’est pas un essai — son dossier est mis de côté, jamais effacé, et la tâche est rejouée. Toute tâche qui a obtenu au moins un appel compte telle quelle, même si la panne l’a coupée en route : 3 tâches comptées tournaient dans la fenêtre de la panne avec des réponses du modèle : sphinx-doc__sphinx-9229 (non résolue), astropy__astropy-13398 (non résolue), sympy__sympy-22714 (résolue).
• ·Pendant la pause, le ménage nocturne des images de notre serveur a supprimé l’image d’exécution de l’agent, qu’aucun conteneur n’utilisait à ce moment-là. À la reprise, à 05:03 UTC, les 5 premières tâches rejouées se sont arrêtées avant le départ de l’agent (« No such image ») ; selon la même règle, elles ont été mises de côté et rejouées encore. À partir de 05:18 UTC, l’agent a tourné sur une image reconstruite avec les mêmes package.json et package-lock, Node 22.23.3 et Playwright 1.59.1 ; le moteur lui-même est la source figée, inchangée.
• ·En tout, 48 passages ont été mis de côté pour 43 tâches distinctes, tous conservés sur notre serveur et comptés nulle part. Chacune de ces 43 tâches compte une fois dans les 346/500, avec le résultat de sa reprise : 31 résolues. Elles sont signalées dans la liste ci-dessous. 402 tâches comptées ont tourné sur la première image, 98 sur l’image reconstruite.
• ·Un premier passage complet, lancé le 14 octobre avec le moteur précédent, a été arrêté après 23 tâches (voir « Des preuves justes lues comme absentes » plus bas). Il n’est pas compté : les 500 tâches sont reparties de zéro.

La page de statut de DeepSeek pour cet incident

Comment nous avons mesuré

• ·Le jeu entier : les 500 tâches du split test de Verified, sans tirage. Avant la première exécution, elles ont été triées par identifiant puis mélangées avec une graine fixe (20261014), et jouées dans cet ordre, deux à la fois.
• ·Agent : le moteur d’agent du 14 octobre 2026, en mode « agent » avec le modèle inclus (DeepSeek Flash, modèle d’API deepseek-flash (DeepSeek-V4.1-Flash), raisonnement désactivé). Une mission par tâche, 30 minutes au plus, le texte de l’issue pour seule consigne : ni indice, ni nouvel essai, ni aide humaine.
• ·Même moteur pour les 500 tâches : sa source a été figée au départ et montée telle quelle dans le conteneur de chaque tâche. Image d’exécution e7975b96e00c, puis fcb54cbe1f84 après l’incident décrit plus haut.
• ·Environnement et jugement comme pour l’échantillon du 13 octobre : l’image Docker officielle de SWE-bench pour chaque tâche, réseau limité à l’API du modèle, et les modifications de l’agent (git diff, sans les notes que le moteur tient pour lui-même) jugées telles quelles par le harnais officiel (swebench 5.0.2, run_evaluation).
• ·Coût : 64,87 $ pour les 500 tâches — les jetons comptés à chaque appel du modèle (323,4 millions en entrée, 5,7 millions en sortie), au tarif publié par DeepSeek pour l’heure de l’appel, toute l’entrée comptée hors cache. La facture réelle est plus basse.

Les limites de ce passage

• ·Une mission par tâche, et un modèle de langage varie : sur les 50 tâches communes avec l’échantillon du 13 octobre, 6 n’ont été résolues que cette fois et 5 que la première. Avec 500 tâches, l’intervalle de confiance à 95 % va de 65,0 % à 73,1 %.
• ·Dans myide, vous pouvez répondre « continue » à une mission ; ici chaque tâche a eu une seule mission de 30 minutes au plus (3 ont atteint la limite). 49 missions sur 500 se sont terminées inachevées : 25 se sont arrêtées avant de conclure et 24 ont conclu avec un point qu’elles n’ont pas su prouver. Leurs modifications ont été jugées quand même ; 21 ont résolu la tâche.
• ·9 tâches se sont terminées sans aucune modification du dépôt (3 sur 50 le 13 octobre) ; le harnais a refusé 1 correctif qui ne s’appliquait pas et n’a pas pu évaluer 1 tâche. Toutes comptent comme des échecs.
• ·Python seulement, 12 projets : SWE-bench ne dit rien des interfaces web, des autres langages ni de votre propre code. Les tâches courantes ci-dessous en couvrent une partie.

Les défauts trouvés en mesurant, et ce qu’ils sont devenus

Point de repère

DeepSeek annonce 73,7 % (raisonnement désactivé) et 79,0 % (raisonnement maximal) sur les 500 mêmes tâches pour DeepSeek-V4-Flash — auto-déclaré, avec un harnais qu’il ne décrit pas (fiche du modèle, consultée le 13 octobre 2026). Pas directement comparable : myide appelle DeepSeek-V4.1-Flash par son propre agent, raisonnement désactivé, une mission par tâche et 30 minutes au plus. Nous ne publions ici le score d’aucun autre outil : aucun n’a été mesuré dans ces conditions. Fiche du modèle DeepSeek-V4-Flash

SWE-bench Verified, 13 octobre 2026 : un échantillon de 50 tâches

SWE-bench Verified est un jeu public de 500 vraies issues GitHub tirées de 12 projets Python open source, chacune jugée par les tests du projet. Nous en avons tiré 50 au hasard, confié chaque issue une fois à l’agent de myide, et laissé le harnais officiel de SWE-bench juger le résultat. Mesuré le 13 octobre 2026.

Tâches résolues (harnais officiel)

32/5064 %

Intervalle de confiance à 95 %

50 % – 76 %

Durée médiane de l’agent par tâche

58 s

Coût du modèle par tâche (moyenne, borne haute)

$0.078

Les 50 mêmes tâches ont été rejouées dans le passage complet, par le moteur du 14 octobre : 33 résolues au lieu de 32 (27 les deux fois, 6 seulement la seconde, 5 seulement la première), et 7 missions inachevées au lieu de 23. Un écart d’une tâche sur 50 ne signifie rien à lui seul ; moins de missions inachevées, c’est ce que visaient les correctifs du 14 octobre.