Benchmarks

Opus 5 gleichauf mit Sol, Terra erreicht Fable zum Viertelpreis

Sol, Terra, Opus 5 und Fable 5 im selben Agenten: totes Rennen an der Spitze, gleiche Punktzahl zum Viertelpreis und Effort-Stufen, die schaden können.

Auf dieser Seite
  1. Das Aufgebot: Preise, Fenster und Effort-Stufen
  2. Was kauft mehr Effort wirklich?
  3. Wer gewinnt, wenn der Agent identisch ist?
  4. Würde ein Maintainer das wirklich mergen?
  5. Die Spezialisten-Boards: Verständnis, Tests, Refactoring
  6. Terminals, VMs und das harte Ende
  7. Wie liest man ein Leaderboard von 2026?
  8. Welches Modell bekommt welchen Job?

Kein einzelnes Modell gewinnt die Softwareentwicklung im Juli 2026. Auf DeepSWE von Datacurve, dem einen großen Board, das jedes Modell durch denselben Agenten schickt, erreicht Claude Opus 5 74 % und GPT-5.6 Sol 73 %, mit überlappenden Fehlerbalken [1]. GPT-5.6 Terra erreicht die 70 % von Claude Fable 5 für weniger als ein Viertel der Kosten [1]. Was die vier trennt, ist das Profil, nicht der Rang.

Ich lasse die Claude-Modelle und Sol jede Woche auf echte Repositories los; Terra kenne ich nur aus den Boards weiter unten. Das hier ist also der Vergleich, den ich selbst gern gelesen hätte: die zwei stärksten ChatGPT-Modelle gegen die zwei stärksten Claude-Modelle, Benchmark für Benchmark, inklusive des Teils, den Launch-Threads überspringen, nämlich was jede Zahl überhaupt bedeuten darf.

Das Aufgebot: Preise, Fenster und Effort-Stufen

Die vier Modelle verteilen sich sauber nach Rolle. OpenAI leitet den nackten Alias gpt-5.6 auf Sol, “das Modell für Flaggschiff-Fähigkeiten”, und positioniert Terra als das Modell, das “Intelligenz und Kosten ausbalanciert” [2] [3]. Anthropics Docs richten Opus 5 auf komplexes agentisches Coding und Unternehmensarbeit aus, und Fable 5, das obere Ende, auf langlaufende Agenten [4].

Die Listenpreise erzählen dieselbe Geschichte. Sol kostet 5 $ pro Million Input-Tokens und 30 $ für Output; Terra exakt die Hälfte, 2,50 $ und 15 $ [2]. Opus 5 liegt bei 5 $ und 25 $, Fable 5 bei 10 $ und 50 $ [5]. Anthropics Aufschlag geht von dort noch weiter: Die Preisseite führt einen Fast Mode für Opus 5, in Research Preview, zu exakt Fables Tarifen [5].

Merkmal SolTerraOpus 5Fable 5
Input, $/MTok 5,00 2,50 (Bester Wert der Zeile) 5,00 10,00
Output, $/MTok 30 15 (Bester Wert der Zeile) 25 50
Cache-Lesen, $/MTok 0,50 0,25 (Bester Wert der Zeile) 0,50 1,00
Kontextfenster 1,05M 1,05M 1M 1M
Effort-Stufen 6, none bis max 6, none bis max 5, low bis max 5, low bis max
Abbildung 1. Listenpreise und Eckdaten der vier Modelle. Entwickler-Docs von OpenAI und Anthropic, Juli 2026.

Die Tabelle in einem Satz: Terra ist der einzige Rabatt im Raum, und die Kontextfenster liegen so nah beieinander, dass sie aufhören zu differenzieren [2] [4].

Die Effort-Regler verdienen mehr Aufmerksamkeit als die Preise. GPT-5.6 nimmt sechs Werte, none bis max, und OpenAIs Guide nennt medium den ausgewogenen Startpunkt [3]. Die Claude-Modelle nehmen fünf, low bis max, stehen standardmäßig auf high, und Anthropic sagt dir, Opus 5 für anspruchsvolles Coding und agentische Arbeit auf xhigh zu stellen und max für Aufgaben zu reservieren, die unbegrenzten Token-Verbrauch rechtfertigen [6]. Nichts garantiert, dass OpenAIs high und Anthropics high vergleichbares Compute kaufen. Effort-Namen sind Regler je Anbieter, keine Einheiten.

Was kauft mehr Effort wirklich?

Zehn bis fünfzehn Punkte gemessener Intelligenz, für das Acht- bis Sechzehnfache an Tokens. Artificial Analysis bewertet Opus 5 von 51 bei low bis 61 bei max, Sol von 49 bis 59 und Terra von 40 bis 55 auf seinem Intelligence Index [9] [10] [11].

Dieser Index, v4.1, mischt neun Evaluierungen, von agentischer Terminalarbeit und realen Arbeitsaufgaben bis GPQA Diamond und Long-Context-Reasoning, gewichtet mit 34 % Agenten, 24 % Coding, 24 % wissenschaftlichem Denken und 18 % Allgemeinem [12]. Es ist das beste öffentliche Bild der Effort-Kurve, weil dieselbe Suite auf jeder Stufe lief.

  • Opus 5
  • Sol
  • Terra
Intelligence Index nach Effort-Stufe für Opus 5, Sol und Terra Opus 5 führt auf jeder Stufe, Sol folgt zwei Punkte dahinter, Terra liegt zurück, steigt aber am steilsten von 40 auf 55. 30 40 50 60 70 low medium high xhigh max
Daten als Tabelle anzeigen
Effort Opus 5SolTerra
low 514940
medium 565446
high 595649
xhigh 605852
max 615955
Abbildung 2. Intelligence Index v4.1 nach Effort-Stufe. Artificial Analysis, abgerufen am 30. Juli 2026.

Zwei Dinge fallen in Abbildung 2 auf. Die Kurven kreuzen sich kaum, die Hackordnung überlebt also jede Einstellung. Und oben ist es flach: Opus 5s gedruckter Schritt von 60 auf 61 sind 0,62 ungerundete Indexpunkte, erkauft damit, die Output-Rechnung der Suite von 76 auf 100 Millionen Tokens zu heben [9].

Die Token-Rechnungen sind die eigentliche Kurve. Opus 5 verbrauchte für die Suite 12 Millionen Output-Tokens bei low und 100 Millionen bei max; Sol ging von 6,6 auf 70 Millionen; Terra von 5,9 auf 96 [9] [10] [11]. Terras letzte Stufe ist die teure: Von xhigh auf max verdreifacht es seine Tokens beinahe, für drei Indexpunkte [11].

Fable 5 hat keinen öffentlichen Effort-Sweep. Artificial Analysis listet genau eine Konfiguration, max, mit 60, einen gerundeten Punkt unter Opus 5, erzeugt mit 87 Millionen Tokens [13]. Beide Anthropic-Flaggschiffe liefen mit serverseitigem Fallback auf Opus 4.8 für die Prompts, die ihre Sicherheitsschicht stoppt [13] [14]. AAs Launch-Urteil über Opus 5 taugt als Zusammenfassung dieses Abschnitts: Intelligenz auf Fable-Niveau für 2,03 $ pro Index-Aufgabe gegen Fables 2,75 $ [14].

Wer gewinnt, wenn der Agent identisch ist?

Niemand, und genau das ist der Befund. DeepSWE schickt alle 18 Modelle durch denselben mini-swe-agent, und bei maximalem Effort löst Opus 5 74 % ± 4 der Aufgaben, Sol 73 % ± 3 [1]. Die Intervalle überlappen deutlich. Fable 5 und Terra landen gleichauf bei 70 % [1].

DeepSWE ist der Vergleich, dem ich am meisten traue, weil er die Harness-Variable entfernt. Seine 113 Aufgaben verteilen sich über 91 Repositories und fünf Sprachen, sind von Grund auf neu geschrieben, sodass kein Modell eine Lösung im Training gesehen hat, und werden von handgeschriebenen Verifizierern bewertet, die Verhalten testen statt Implementierungsdetails [1]. Die Prompts sind etwa halb so lang wie bei SWE-bench Pro, während die Lösungen 5,5-mal mehr Code brauchen [1].

Messung Opus 5SolFable 5Terra
Gelöste Aufgaben, % 74 73 70 70
Kosten pro Aufgabe, $ 11,84 8,39 21,63 4,95 (Bester Wert der Zeile)
Output-Tokens, K 118 60 (Bester Wert der Zeile) 119 72
Agent-Schritte 99 61 (Bester Wert der Zeile) 88 76
Abbildung 3. DeepSWE v1.1 bei maximalem Effort, derselbe mini-swe-agent für jedes Modell. Datacurve, aktualisiert am 25. Juli 2026.

Die Gelöst-Zeile in Abbildung 3 ist absichtlich unmarkiert: 74 ± 4 gegen 73 ± 3 ist ein Gleichstand, und Datacurve selbst warnt, dass Spitzenkonfigurationen sich “oft in den Konfidenzintervallen überlappen” [1]. Die anderen Zeilen trennen sauber. Sol kam mit halb so vielen Output-Tokens zum selben Ergebnis, in 61 Schritten gegen Opus 5s 99, für 8,39 $ pro Aufgabe gegen 11,84 $ [1]. Opus untersucht länger. Sol liefert früher.

Terra ist die Zeile, die den Markt neu bepreist: dieselben 70 % wie Fable 5, für 4,95 $ pro versuchter Aufgabe gegen 21,63 $ [1]. Teile die Kosten pro Versuch durch die Lösungsquote, der optimistische Boden, den ich schon bei den Kimi-K3-Zahlen benutzt habe, und eine gelöste Aufgabe kostet 7,07 $ auf Terra und 30,90 $ auf Fable.

gelöste Aufgaben bei maximalem Effort
70 %
gleichauf mit Fable 5 max
gemessen, pro versuchter Aufgabe
4,95 $
Fable 5 max: 21,63 $
abgeleitet, pro gelöster Aufgabe
7,07 $
am billigsten von den vieren bei max
Abbildung 4. Was Terras DeepSWE-Zeile in Geld bedeutet. Gemessene Kosten von Datacurve; die Zahl pro gelöster Aufgabe ist meine Arithmetik.

Max ist auf diesem Board ohnehin selten die rationale Einstellung. Opus 5 hält bei high 73 % ± 2 für 6,08 $ und erreicht damit Sol max für weniger Geld; Sol hält bei xhigh 71 % ± 1 für 4,70 $, das engste Intervall nahe der Spitze [1]. Fable schlägt hier nie sein billigeres Selbst: xhigh erreicht dieselben 70 % wie max, für 13,41 $ statt 21,63 $ [1]. Datacurves eigene Kosten-gegen-Punkte-Front markiert als effiziente Konfigurationen Opus 5 auf max, Fable 5 auf high und Sol auf medium [1].

Würde ein Maintainer das wirklich mergen?

Cognitions FrontierCode stellt genau diese Frage, und sie sortiert das Feld neu. Die Aufgaben schreiben Maintainer der getesteten Repositories, Läufe, die Quellen mit der Lösung konsultieren, bekommen null Punkte, und bewertet werden Korrektheit, Testqualität, Scope und Codebase-Konventionen [15]. Die besten Konfigurationen: Fable 5 xhigh mit 53,5, Opus 5 medium mit 53,4, Sol max mit 47,5, Terra max mit 41,3 [15].

Lies die Liste noch einmal. Opus 5s beste Patch-Qualität kommt aus seiner zweitniedrigsten Effort-Stufe.

  • Fable 5
  • Opus 5
  • Sol
FrontierCode-Punktzahl nach Effort-Stufe für Fable 5, Opus 5 und Sol Sol steigt mit jeder Stufe bis 47,5, Fable 5 erreicht den Gipfel bei xhigh mit 53,5, Opus 5 bei medium mit 53,4 und fällt bei xhigh auf 43,6. 30 40 50 60 low medium high xhigh max
Daten als Tabelle anzeigen
Effort Fable 5Opus 5Sol
low 48,041,935,4
medium 49,853,439,9
high 52,748,045,1
xhigh 53,543,646,8
max 51,648,047,5
Abbildung 5. FrontierCode 1.1, Hauptset, nach Effort-Stufe. Leaderboard-Daten von Cognition, Juli 2026.

Abbildung 5 ist der nützlichste Chart, den ich die ganze Woche gefunden habe. Sol klettert mit jedem Schritt des Reglers, von 35,4 auf 47,5, mehr Effort kauft Sol also verlässlich einen besseren Patch [15]. Fable erreicht den Gipfel bei xhigh und gibt bei max 1,9 Punkte zurück [15]. Opus 5 gipfelt bei medium mit 53,4, fällt bei xhigh auf 43,6 und erholt sich bei max nur teilweise [15]. Anthropics System Card druckt dieselbe Kurve und benennt den Anker selbst: bestes Hauptset-Ergebnis bei medium [16].

Der Mechanismus ist in der Bewertung sichtbar. FrontierCode benotet Scope-Disziplin [15] und prüft auf verbotene Implementierungsmuster [16], und höherer Effort lässt ein Modell mehr erkunden, mehr anfassen, mehr ausweiten. Auf einer offenen Forschungsbank ist das der Sinn der Sache. In einem abgegrenzten Pull Request liest es sich als Scope-Creep. Es ist die Benchmark-Version dessen, was ich schrieb, als Opus 5 meine Woche übernahm: ein großartiger Mitarbeiter, dessen Chef sich ständig selbst Zusatzarbeit zuweist.

Zwei Fußnoten, bevor jemand Fable krönt. Der 0,1-Punkte-Vorsprung vor Opus 5 medium erstreckt sich über fünf Läufe pro Konfiguration und identische Bestehensquoten von 58,9 %, er ist also Rauschen; die Kosten sind es nicht, mit 13,09 $ pro Rollout für Fable xhigh gegen 4,30 $ für Opus medium [15]. Und selbst Sols Bestwert liegt unter Fables schlechtestem: 47,5 gegen 48,0 bei low [15]. In der Merge-Qualitätsbewertung führt der Claude-Stack schlicht, mit dem üblichen Vorbehalt, dass Claude in Claude Code lief und GPT-5.6 in Codex [15].

Die Spezialisten-Boards: Verständnis, Tests, Refactoring

Scales SWE-Atlas-Familie misst, was eine Lösungsquote versteckt, und dort trennen sich die vier Profile am härtesten.

Codebase QnA übergibt dem Agenten ein echtes Repository im Container und 124 Fragen, die verlangen, die Software auszuführen und die Ausführung nachzuverfolgen, gewichtet Richtung Architektur (35 %) und Ursachenanalyse (30 %) [17]. Scale Labs bewertet Sol bei xhigh in Codex mit 46,0 ± 5,0, Fable 5 mit 39,0 ± 5,0 in Claude Code, und vermerkt, dass beide Modelle harmlose Fragen verweigerten, die Sicherheitsfilter auslösten, wobei Verweigerungen als null zählten [17]. Weder Opus 5 noch Terra haben eine Zeile. Das ganze Board führt die Vorgängergeneration an: Opus 4.8 mit 57,26 [17].

Von einem anderen Labor ausgeführt, drehen sich dieselben 124 Fragen um. Innerhalb von Artificial Analysis’ Coding Agent Index erzielt Opus 5 xhigh die beste SWE-Atlas-QnA-Komponente mit 54,8, vor Fables 48,9, mit Sol max bei 43,3 [18]. Gleiches Aufgabenset, andere Läufe, umgekehrte Reihenfolge. Merk dir das für den nächsten Abschnitt.

Test Writing ist das raffinierte Board: 90 Aufgaben, bei denen die generierten Tests gegen die echte Implementierung bestehen müssen und dann durchfallen müssen, sobald der relevante Code wegmutiert wird, sodass hohle Tests nichts zählen [19]. Fable 5 führt mit 55,6 ± 5,8 gegen Sols 45,9 ± 6,0, auch wenn die intervallbasierte Rangliste des Boards beide noch auf Rang 1 führt [19].

  • Fable 5
  • Sol
SWE-Atlas-Punktzahlen in Codebase QnA und Test Writing Sol führt beim Codebase-Verständnis 46,0 zu 39,0, Fable 5 führt beim Test-Schreiben 55,6 zu 45,9. Codebase QnA 39,0 46,0 Test Writing 55,6 45,9
Daten als Tabelle anzeigen
Benchmark Fable 5Sol
Codebase QnA 39,046,0
Test Writing 55,645,9
Abbildung 6. SWE-Atlas-Punktzahlen, Fable 5 (Claude Code, xhigh) gegen Sol (Codex, xhigh). Scale Labs, 28. Juli 2026.

Die zwei Boards in Abbildung 6 zeigen in entgegengesetzte Richtungen, und das ist das Profil im Kleinen: In Scales Lauf liest Sol ein fremdes System etwas besser, Fable testet es deutlich besser.

Refactoring ist Fables klarster Sieg: 54,76 ± 6,76, Platz eins auf einem Board, dessen 70 Aufgaben Zerlegung, Interface-Evolution, Extraktion und Verlagerung abdecken und dessen Prüfer auf Regressionen, kaputte Aufrufstellen, zirkuläre Abhängigkeiten und liegengebliebenen toten Code achten [20]. Es existiert keine Zeile für Opus 5, Sol oder Terra; die beste gelistete GPT-Konfiguration ist das GPT-5.5 der Vorgängergeneration mit 44,79 [20]. Eine fehlende Zeile ist keine Null. Aber das stehende Ergebnis gehört Fable.

Terminals, VMs und das harte Ende

Terminal-Bench 2.1 misst, ob ein Modell eine Shell in einen verifizierten Endzustand steuern kann, und an der Spitze ist es ein Fotofinish. Im unabhängigen Lauf von Artificial Analysis führt Sol bei xhigh mit 89,5 %, Opus 5 max erreicht 89,1 %, und drei Konfigurationen, Sol max, Terra max und Opus 5 xhigh, landen auf identischen 88,0 % [21]. Bei 89 Aufgaben und drei Wiederholungen [12] verschiebt ein einziger gekippter Versuch eine Punktzahl um etwa 0,4 Punkte. Fable 5 folgt mit 84,6 % [21].

Terminal-Bench-v2.1-Punktzahlen, beste Konfiguration pro Modell Sol xhigh führt mit 89,5 Prozent, Opus 5 max mit 89,1, Terra max mit 88,0, Fable 5 max mit 84,6. Sol xhigh 89,5 % Opus 5 max 89,1 % Terra max 88,0 % Fable 5 max 84,6 %
Daten als Tabelle anzeigen
Konfiguration Wert
Sol xhigh 89,5 %
Opus 5 max 89,1 %
Terra max 88,0 %
Fable 5 max 84,6 %
Abbildung 7. Terminal-Bench v2.1, beste Konfiguration pro Modell. Artificial Analysis, abgerufen am 30. Juli 2026.

Die Lesart von Abbildung 7: Die Terminal-Krone ist ein Rundungsfehler, den sich drei Modelle teilen, und Fable ist das einzige sichtbar dahinter. Beachte, dass Terra hier mit den Flaggschiffen mithält, für 2,50 $ pro Million Input-Tokens [2] [21]. OpenAIs eigene Launch-Tabelle erzählt eine ähnliche Geschichte mit anderen Ziffern, Sol 88,8 %, Terra 87,4 %, Fable 5 83,1 % [7], und die Abweichung zwischen selbstberichteten und unabhängigen Läufen ist ungefähr so groß wie die Abstände, über die gestritten wird.

FrontierBench v0.1 ist der Nachfolger, vom selben Team gebaut: 74 härtere Aufgaben mit Schlagseite zu Computational Biology, Physiksimulation, CAD, formalen Beweisen und GPU-Performance-Arbeit [16]. Anthropic ließ es auf mini-swe-agent laufen und meldet Opus 5 bei 44,4 % mit xhigh-Effort, sein Bestwert, mit max im Rauschen bei 43 % und high bei 39 % mit 19 % weniger Output-Tokens; Sol landet bei 37,5 % und Fable 5 bei 33,7 %, beide auf max [16]. Bei wirklich offenen Problemen führt Opus 5 die vier klar an.

Zwei benachbarte Boards runden das agentische Ende ab. Auf OSWorld 2.0, wo das Modell eine echte Ubuntu-VM mit Maus und Tastatur über bis zu 500 Aktionen pro Aufgabe steuert, erreicht Opus 5 70,6 %, Fable 5 66,1 % und Sol 62,6 %, wobei Sols Zahl aus OpenAIs eigenem Release-Post stammt [16]. Auf Zapiers AutomationBench, einer simulierten Firma mit 47 Apps und geschichteten Geschäftsregeln, erreicht Opus 5 max 26,0 % und Opus 5 medium 24 % für 0,89 $ pro Aufgabe, gegen 18,1 % für Sol und 17,4 % für Fable [16]. Je unordentlicher und werkzeuglastiger die Umgebung, desto weiter zieht Opus davon. Und medium blamiert weiter max.

Wie liest man ein Leaderboard von 2026?

Als Messung eines Modells, das einen bestimmten Agenten bei einem bestimmten Effort unter einem bestimmten Bewerter trägt. Ändere eines der drei, und die Zahl bewegt sich, manchmal um mehr als den Abstand zwischen Platz eins und Platz vier. Fünf Gewohnheiten halten die Lektüre ehrlich.

Die GewohnheitDer Beleg in diesem Vergleich
Frag, welcher Harness liefSWE-bench Pro liest Fable 80,0, Opus 5 79,2, Sol 64,6, jeder Anbieter im eigenen Agenten [16]; DeepSWEs geteilter Agent presst dieselben Modelle in vier Punkte [1]
Respektiere die Fehlerbalken74 ± 4 gegen 73 ± 3 [1]; drei exakte Gleichstände bei 88,0 % [21]; ein 0,1-Punkte-Vorsprung über fünf Läufe [15]
Erkenne SättigungOpus 5 erreicht 96,0 % auf SWE-bench Verified [16]; ein Board ohne Luft nach oben ordnet nichts
Prüfe die VersionOpenAIs Launch-Seite zitiert den Coding Agent Index v1.1 mit Sol bei 80 [7]; der lebende v1.3 bewertet Sol max mit 67 [18]
Fehlend ist nicht nullOpus 5 hat auf keinem von Scales drei Boards eine Zeile [17] [19] [20]; Terra existiert außerhalb von DeepSWE und FrontierCode kaum

Die Versionszeile verdient einen Satz mehr, weil sie die heimtückischste ist. Eine 80 in v1.1 und eine 67 in v1.3 beschreiben dieselbe Modellfamilie auf dem gleichnamigen Index und sind überhaupt nicht vergleichbar; DeepSWE hat GPT-5.5 xhigh zwischen seinen Sets v1 und v1.1 genauso von 70 % auf 67 % umbewertet [1]. Ein Benchmark-Name ohne Versionsnummer ist ein Gefühl.

Selbst Primärquellen wackeln. Die Übersichtstabelle der Opus-5-System-Card etikettiert Sols FrontierBench-Lauf als Codex, während ihr Methodentext mini-swe-agent auf derselben Infrastruktur sagt, und das Dokument löst den Widerspruch nicht auf [16]. Ihr Sieg bei SWE-bench Multimodal, 59,4 gegen Fables 54,1, stammt aus einem internen Harness, der vom öffentlichen abgewandelt wurde [16]. Scale wiederum gewährt neueren mini-swe-agent-Zeilen 500 Schritte, wo ältere Läufe 250 bekamen, und beobachtet, dass Frontier-Modelle auf ihren nativen Scaffolds schlicht besser abschneiden [17]. Nichts davon ist Betrug. So sieht es aus, ein bewegliches System zu vermessen, und deshalb kam der Hype-Check zu Kimi K3 und GLM-5.2 aus anderen Daten zum selben Schluss: Fähigkeitsbehauptungen überleben die Prüfung, Vergleichbarkeitsbehauptungen meist nicht.

Welches Modell bekommt welchen Job?

Terra für Routinevolumen, Sol für bekannte Ziele, Opus 5 für unbekannte Probleme, Fable 5 für Änderungen, die sauber mergen müssen. Darauf summieren sich die Profile oben, und die Effort-Einstellung zählt so viel wie der Modellname.

Die ArbeitMeine WahlEffort
Routine-Endpoints, Mappings, kleine Tests, ConfigTerramedium oder high
Ein abgegrenzter Pull Request mit klaren AbnahmekriterienOpus 5medium
Einen bekannten Plan umsetzen, einen reproduzierbaren Bug fixenSolhigh
Die Ursache eines fremden Fehlers findenOpus 5high oder xhigh
Teststrategie für ein Feature, das zähltFable 5xhigh
Repo-weites Refactoring und Interface-MigrationenFable 5xhigh
Lange Terminal- und Debugging-SitzungenSol oder Opus 5high oder xhigh
Offene Ingenieursarbeit ohne bekannte LösungOpus 5xhigh

Keines dieser Boards lief auf meinem Stack, und keines auf deinem, die Tabelle ist also eine Ableitung aus Profilen, keine Messung. Die Effort-Regeln dagegen sind gemessen. Sol ist das einzige der vier Modelle, dessen Merge-Qualität mit jedem Schritt des Reglers stieg [15]. Fable erreicht sein Maximum bei xhigh auf den Boards, die es anführt [15] [19]. Opus 5 will den Regler passend zum Job: medium für eine abgegrenzte Änderung [15], xhigh, wenn das Problem wirklich offen ist [16]. Die Docs beider Anbieter decken sich mit ihren Kurven: OpenAI nennt medium den ausgewogenen Start [3], Anthropic steht standardmäßig auf high und behandelt max als Ausnahme, die ihre Token-Rechnung rechtfertigen muss [6].

Drei Ergebnisse würden diese Tabelle neu zeichnen: eine Opus-5-Zeile auf Scales Boards, ein öffentlicher Effort-Sweep für Fable 5 und irgendeines dieser vier Modelle, gemessen im Harness des jeweils anderen Anbieters. Bis dahin: Kauf das Profil, nicht den Rang. Das teuerste Modell dieses Vergleichs ist bei den meisten Jobs nicht das beste, das billigste liegt bei der Hälfte davon beschämend nah dran, und die wertvollste Konfigurationsänderung kostet gar nichts: den Effort-Regler herunterdrehen.

Quellen

  1. DeepSWE leaderboardDatacurve · 2026-07-25
  2. API modelsOpenAI Developers
  3. Latest model guideOpenAI Developers
  4. Models overviewClaude Platform Docs
  5. PricingClaude Platform Docs
  6. EffortClaude Platform Docs
  7. GPT-5.6OpenAI
  8. Codex modelsChatGPT Docs
  9. Claude Opus 5 analysisArtificial Analysis
  10. GPT-5.6 Sol analysisArtificial Analysis
  11. GPT-5.6 Terra analysisArtificial Analysis
  12. Intelligence benchmarking methodologyArtificial Analysis
  13. Claude Fable 5 analysisArtificial Analysis
  14. Opus 5: Fable 5 level intelligence at a lower cost per taskArtificial Analysis · 2026-07-24
  15. FrontierCode leaderboardCognition · 2026-07-07
  16. Claude Opus 5 system cardAnthropic on alphaXiv · 2026-07-24
  17. SWE Atlas: Codebase QnAScale Labs · 2026-07-28
  18. Coding Agent IndexArtificial Analysis
  19. SWE Atlas: Test WritingScale Labs · 2026-07-28
  20. SWE Atlas: RefactoringScale Labs
  21. Terminal-Bench v2.1 evaluationArtificial Analysis