Opus 5 pareggia con Sol, Terra eguaglia Fable a un quarto
Sol, Terra, Opus 5 e Fable 5 sullo stesso agente: pareggio in vetta, lo stesso punteggio a un quarto del costo e livelli di effort che possono nuocere.
In questa pagina
- La formazione: prezzi, finestre e livelli di effort
- Cosa compra davvero più effort?
- Chi vince quando l’agente è identico?
- Un maintainer farebbe davvero il merge?
- Le classifiche degli specialisti: comprensione, test, refactoring
- Terminali, VM e la coda difficile
- Come si legge una leaderboard nel 2026?
- Quale modello per quale lavoro?
Nessun modello vince lo sviluppo software a luglio 2026. Su DeepSWE di Datacurve, l’unica grande classifica che fa passare ogni modello per lo stesso agente, Claude Opus 5 segna il 74% e GPT-5.6 Sol il 73%, con barre d’errore che si sovrappongono [1]. GPT-5.6 Terra eguaglia il 70% di Claude Fable 5 a meno di un quarto del costo [1]. Ciò che separa i quattro è il profilo, non la posizione.
Uso i modelli Claude e Sol su repository veri ogni settimana; Terra lo conosco solo dalle classifiche qui sotto. Questo è quindi il confronto che avrei voluto leggere: i due ChatGPT più forti contro i due Claude più forti, benchmark per benchmark, compresa la parte che i thread di lancio saltano, cioè cosa ogni numero ha il diritto di significare.
La formazione: prezzi, finestre e livelli di effort
I quattro modelli si dividono in modo pulito per ruolo. OpenAI instrada l’alias nudo gpt-5.6 verso Sol, “il modello per la capacità di punta”, e posiziona Terra come il modello che “bilancia intelligenza e costo” [2] [3]. I doc di Anthropic puntano Opus 5 al coding agentico complesso e al lavoro enterprise, e Fable 5, il vertice della gamma, agli agenti a lunga esecuzione [4].
I prezzi di listino raccontano la stessa storia. Sol costa 5 $ per milione di token in input e 30 $ in output; Terra esattamente la metà, 2,50 $ e 15 $ [2]. Opus 5 sta a 5 $ e 25 $, Fable 5 a 10 $ e 50 $ [5]. E il sovrapprezzo di Anthropic continua a salire: la pagina dei prezzi elenca un fast mode per Opus 5, in anteprima di ricerca, esattamente alle tariffe di Fable [5].
| Specifica | Sol | Terra | Opus 5 | Fable 5 |
|---|---|---|---|---|
| Input, $/MTok | 5,00 | 2,50 (Valore migliore della riga) | 5,00 | 10,00 |
| Output, $/MTok | 30 | 15 (Valore migliore della riga) | 25 | 50 |
| Lettura cache, $/MTok | 0,50 | 0,25 (Valore migliore della riga) | 0,50 | 1,00 |
| Finestra di contesto | 1,05M | 1,05M | 1M | 1M |
| Livelli di effort | 6, da none a max | 6, da none a max | 5, da low a max | 5, da low a max |
La tabella in una riga: Terra è l’unico sconto nella stanza, e le finestre di contesto sono così vicine da smettere di fare differenza [2] [4].
Le manopole dell’effort meritano più attenzione dei prezzi. GPT-5.6 accetta sei valori, da none a max, e la guida di OpenAI chiama medium il punto di partenza equilibrato [3]. I modelli Claude ne accettano cinque, da low a max, con high di default, e Anthropic ti dice di alzare Opus 5 a xhigh per il coding e il lavoro agentico impegnativi, e di riservare max ai task che giustificano una spesa di token senza vincoli [6]. Niente garantisce che l’high di OpenAI e l’high di Anthropic comprino calcolo paragonabile. I nomi degli effort sono manopole di ciascun fornitore, non unità di misura.
Cosa compra davvero più effort?
Da dieci a quindici punti di intelligenza misurata, per una spesa di token da otto a sedici volte. Artificial Analysis valuta Opus 5 da 51 a effort low fino a 61 a max, Sol da 49 a 59 e Terra da 40 a 55 sul suo Intelligence Index [9] [10] [11].
Quell’indice, v4.1, mescola nove valutazioni, dal lavoro agentico in terminale e dai compiti professionali reali fino a GPQA Diamond e al ragionamento su contesto lungo, pesate 34% agenti, 24% coding, 24% ragionamento scientifico e 18% generale [12]. È la migliore foto pubblica della curva dell’effort, perché la stessa batteria è girata a ogni livello.
- Opus 5
- Sol
- Terra
Mostra i dati in tabella
| Effort | Opus 5 | Sol | Terra |
|---|---|---|---|
| low | 51 | 49 | 40 |
| medium | 56 | 54 | 46 |
| high | 59 | 56 | 49 |
| xhigh | 60 | 58 | 52 |
| max | 61 | 59 | 55 |
Dalla figura 2 emergono due cose. Le curve quasi non si incrociano, quindi le gerarchie sopravvivono a qualunque livello. E la cima è piatta: il passo stampato di Opus 5 da 60 a 61 vale 0,62 punti di indice non arrotondati, comprati portando la bolletta di output della batteria da 76 a 100 milioni di token [9].
Le bollette di token sono la curva vera. Opus 5 ha speso 12 milioni di token di output sulla batteria a low e 100 milioni a max; Sol è passato da 6,6 a 70 milioni; Terra da 5,9 a 96 [9] [10] [11]. L’ultimo gradino di Terra è quello caro: da xhigh a max quasi triplica i suoi token per tre punti di indice [11].
Fable 5 non ha uno sweep pubblico di effort. Artificial Analysis elenca esattamente una configurazione, max, a 60, un punto arrotondato sotto Opus 5, generata con 87 milioni di token [13]. Entrambe le ammiraglie di Anthropic sono girate con fallback lato server verso Opus 4.8 per i prompt che il loro strato di sicurezza blocca [13] [14]. Il verdetto di lancio di AA su Opus 5 riassume la sezione: intelligenza di livello Fable a 2,03 $ per task dell’indice contro i 2,75 $ di Fable [14].
Chi vince quando l’agente è identico?
Nessuno, ed è proprio questo il risultato. DeepSWE fa passare tutti i 18 modelli per lo stesso mini-swe-agent, e a effort massimo Opus 5 risolve il 74% ± 4 dei task, Sol il 73% ± 3 [1]. Gli intervalli si sovrappongono ampiamente. Fable 5 e Terra chiudono appaiati al 70% [1].
DeepSWE è il confronto di cui mi fido di più perché elimina la variabile dell’harness. I suoi 113 task coprono 91 repository e cinque linguaggi, sono scritti da zero perché nessun modello abbia visto una soluzione in addestramento, e sono valutati da verificatori scritti a mano che testano il comportamento invece dei dettagli di implementazione [1]. I prompt sono lunghi circa la metà di quelli di SWE-bench Pro mentre le soluzioni richiedono 5,5 volte più codice [1].
| Misura | Opus 5 | Sol | Fable 5 | Terra |
|---|---|---|---|---|
| Task risolti, % | 74 | 73 | 70 | 70 |
| Costo per task, $ | 11,84 | 8,39 | 21,63 | 4,95 (Valore migliore della riga) |
| Token di output, K | 118 | 60 (Valore migliore della riga) | 119 | 72 |
| Passi dell'agente | 99 | 61 (Valore migliore della riga) | 88 | 76 |
La riga dei task risolti nella figura 3 è volutamente senza marcatore: 74 ± 4 contro 73 ± 3 è un pareggio, e Datacurve stessa avverte che le configurazioni di punta “spesso si sovrappongono negli intervalli di confidenza” [1]. Le altre righe invece separano. Sol è arrivato allo stesso risultato con metà dei token di output, in 61 passi contro i 99 di Opus 5, a 8,39 $ per task contro 11,84 $ [1]. Opus indaga più a lungo. Sol consegna prima.
Terra è la riga che riprezza il mercato: lo stesso 70% di Fable 5 a 4,95 $ per task tentato contro 21,63 $ [1]. Dividi il costo per tentativo per il tasso di risoluzione, il pavimento ottimista che avevo usato sui numeri di Kimi K3, e un task risolto costa 7,07 $ su Terra e 30,90 $ su Fable.
- task risolti a effort massimo
- 70%
- alla pari con Fable 5 max
- misurato, per task tentato
- 4,95 $
- Fable 5 max: 21,63 $
- derivato, per task risolto
- 7,07 $
- il più economico dei quattro a max
Max, comunque, è raramente il livello razionale su questa classifica. Opus 5 a effort high tiene il 73% ± 2 a 6,08 $, eguagliando Sol max per meno soldi; Sol a xhigh tiene il 71% ± 1 a 4,70 $, l’intervallo più stretto vicino alla vetta [1]. Fable qui non batte mai la sua versione più economica: xhigh fa lo stesso 70% di max a 13,41 $ invece di 21,63 $ [1]. La stessa frontiera costo-punteggio di Datacurve indica come configurazioni efficienti Opus 5 a max, Fable 5 a high e Sol a medium [1].
Un maintainer farebbe davvero il merge?
FrontierCode di Cognition pone esattamente questa domanda, e rimescola il campo. I task li scrivono i maintainer dei repository sotto esame, le esecuzioni che consultano fonti contenenti la soluzione prendono zero, e la valutazione copre correttezza, qualità dei test, perimetro e convenzioni del codice [15]. Le configurazioni migliori: Fable 5 xhigh a 53,5, Opus 5 medium a 53,4, Sol max a 47,5, Terra max a 41,3 [15].
Rileggi quella lista. La miglior qualità di patch di Opus 5 esce dal suo secondo livello di effort più basso.
- Fable 5
- Opus 5
- Sol
Mostra i dati in tabella
| Effort | Fable 5 | Opus 5 | Sol |
|---|---|---|---|
| low | 48,0 | 41,9 | 35,4 |
| medium | 49,8 | 53,4 | 39,9 |
| high | 52,7 | 48,0 | 45,1 |
| xhigh | 53,5 | 43,6 | 46,8 |
| max | 51,6 | 48,0 | 47,5 |
La figura 5 è il grafico più utile che abbia trovato in tutta la settimana. Sol sale a ogni scatto della manopola, da 35,4 a 47,5, quindi più effort compra a Sol una patch migliore, in modo affidabile [15]. Fable tocca il picco a xhigh e restituisce 1,9 punti a max [15]. Opus 5 tocca il picco a medium con 53,4, crolla a 43,6 a xhigh e recupera solo in parte a max [15]. La system card di Anthropic stampa la stessa curva e dichiara da sola il punto di ancoraggio: miglior punteggio del set principale a medium [16].
Il meccanismo si vede nella valutazione. FrontierCode dà punti alla disciplina di perimetro [15] e controlla i pattern di implementazione vietati [16], e più effort spinge un modello a esplorare di più, toccare di più, allargare di più. Su un banco di ricerca aperto è il punto della cosa. Dentro una pull request delimitata si legge come scope creep. È la versione da benchmark di ciò che scrissi quando Opus 5 gestì la mia settimana: un ottimo dipendente il cui capo continua ad assegnarsi lavoro extra.
Due note a piè di pagina prima di incoronare Fable. Il vantaggio di 0,1 punti su Opus 5 medium copre cinque esecuzioni per configurazione e tassi di superamento identici al 58,9%, quindi è rumore; i costi no, con 13,09 $ per rollout per Fable xhigh contro 4,30 $ per Opus medium [15]. E persino il miglior Sol sta sotto il peggior Fable: 47,5 contro 48,0 a low [15]. Sulla valutazione della qualità di merge lo stack Claude guida e basta, con la solita avvertenza: Claude girava in Claude Code e GPT-5.6 in Codex [15].
Le classifiche degli specialisti: comprensione, test, refactoring
La famiglia SWE Atlas di Scale misura ciò che un tasso di risoluzione nasconde, ed è lì che i quattro profili si separano di più.
Codebase QnA consegna all’agente un repository vero in un container e 124 domande che richiedono di eseguire il software e tracciarne l’esecuzione, sbilanciate verso architettura (35%) e analisi delle cause profonde (30%) [17]. Scale Labs assegna a Sol a xhigh in Codex 46,0 ± 5,0, a Fable 5 39,0 ± 5,0 in Claude Code, e annota che entrambi i modelli hanno rifiutato domande innocue che facevano scattare filtri di sicurezza, con i rifiuti contati come zero [17]. Né Opus 5 né Terra hanno una riga. L’intera classifica è guidata dalla generazione precedente: Opus 4.8 a 57,26 [17].
Eseguite da un altro laboratorio, le stesse 124 domande si ribaltano. Dentro il Coding Agent Index di Artificial Analysis, Opus 5 xhigh firma la miglior componente SWE-Atlas-QnA a 54,8, davanti al 48,9 di Fable, con Sol max a 43,3 [18]. Stesso set di task, esecuzioni diverse, ordine opposto. Tienilo a mente per la prossima sezione.
Test Writing è quello ingegnoso: 90 task in cui i test generati devono passare contro l’implementazione vera e poi fallire quando il codice rilevante viene mutato via, così i test vuoti non valgono nulla [19]. Fable 5 guida con 55,6 ± 5,8 contro il 45,9 ± 6,0 di Sol, anche se la graduatoria per intervalli della classifica li elenca ancora entrambi al posto 1 [19].
- Fable 5
- Sol
Mostra i dati in tabella
| Benchmark | Fable 5 | Sol |
|---|---|---|
| Codebase QnA | 39,0 | 46,0 |
| Test Writing | 55,6 | 45,9 |
Le due classifiche della figura 6 puntano in direzioni opposte, ed è il profilo in miniatura: nell’esecuzione di Scale, Sol legge un sistema sconosciuto un po’ meglio, Fable lo testa parecchio meglio.
Il refactoring è la vittoria più netta di Fable: 54,76 ± 6,76, in cima a una classifica i cui 70 task coprono scomposizione, evoluzione delle interfacce, estrazione e ricollocazione, e i cui valutatori cercano regressioni, call site rotti, dipendenze circolari e codice morto dimenticato [20]. Non esiste una riga per Opus 5, Sol o Terra; la miglior configurazione GPT elencata è il GPT-5.5 della generazione precedente a 44,79 [20]. Una riga assente non è uno zero. Ma il risultato in carica appartiene a Fable.
Terminali, VM e la coda difficile
Terminal-Bench 2.1 misura se un modello sa portare una shell a uno stato finale verificato, e in vetta è un fotofinish. Nell’esecuzione indipendente di Artificial Analysis, Sol a xhigh guida con l’89,5%, Opus 5 max segna l’89,1% e tre configurazioni, Sol max, Terra max e Opus 5 xhigh, atterrano su un identico 88,0% [21]. Con 89 task e tre ripetizioni [12], un singolo tentativo ribaltato sposta un punteggio di circa 0,4 punti. Fable 5 segue all’84,6% [21].
Mostra i dati in tabella
| Configurazione | Valore |
|---|---|
| Sol xhigh | 89,5% |
| Opus 5 max | 89,1% |
| Terra max | 88,0% |
| Fable 5 max | 84,6% |
La lezione della figura 7: la corona del terminale è un errore di arrotondamento condiviso da tre modelli, e Fable è l’unico visibilmente staccato. Nota che Terra qui tiene il passo delle ammiraglie, a 2,50 $ per milione di token in input [2] [21]. La tabella di lancio di OpenAI racconta una storia simile con altre cifre, Sol 88,8%, Terra 87,4%, Fable 5 83,1% [7], e il disaccordo tra esecuzioni in casa e indipendenti è più o meno della taglia dei distacchi su cui si litiga.
FrontierBench v0.1 è il successore, costruito dalla stessa squadra: 74 task più duri orientati a biologia computazionale, simulazione fisica, CAD, dimostrazioni formali e lavoro sulle prestazioni GPU [16]. Anthropic l’ha fatto girare su mini-swe-agent e riporta Opus 5 al 44,4% a effort xhigh, il suo massimo, con max dentro il rumore al 43% e high al 39% con il 19% di token di output in meno; Sol atterra al 37,5% e Fable 5 al 33,7%, entrambi a max [16]. Sui problemi davvero aperti, Opus 5 guida i quattro senza discussione.
Due classifiche vicine completano la coda agentica. Su OSWorld 2.0, dove il modello guida una vera VM Ubuntu con mouse e tastiera per fino a 500 azioni per task, Opus 5 fa il 70,6%, Fable 5 il 66,1% e Sol il 62,6%, con la cifra di Sol presa dal post di lancio di OpenAI [16]. Su AutomationBench di Zapier, un’azienda simulata con 47 app e policy aziendali a strati, Opus 5 max fa il 26,0% e Opus 5 medium il 24% a 0,89 $ per task, contro il 18,1% di Sol e il 17,4% di Fable [16]. Più l’ambiente è disordinato e legato agli strumenti, più Opus allunga. E medium continua a mettere in imbarazzo max.
Come si legge una leaderboard nel 2026?
Come la misura di un modello che indossa un agente preciso a un effort preciso sotto un valutatore preciso. Cambia uno qualsiasi dei tre e il numero si muove, a volte più della distanza tra il primo e il quarto posto. Cinque abitudini tengono onesta la lettura.
| L’abitudine | La prova in questo confronto |
|---|---|
| Chiedi quale harness girava | SWE-bench Pro legge Fable 80,0, Opus 5 79,2, Sol 64,6, ogni fornitore nel proprio agente [16]; l’agente condiviso di DeepSWE comprime gli stessi modelli in quattro punti [1] |
| Rispetta le barre d’errore | 74 ± 4 contro 73 ± 3 [1]; tre pareggi esatti all’88,0% [21]; un vantaggio di 0,1 punti su cinque esecuzioni [15] |
| Riconosci la saturazione | Opus 5 fa il 96,0% su SWE-bench Verified [16]; una classifica senza margine non ordina nulla |
| Controlla la versione | La pagina di lancio di OpenAI cita il Coding Agent Index v1.1 con Sol a 80 [7]; il v1.3 vivo dà a Sol max 67 [18] |
| Assente non vuol dire zero | Opus 5 non ha righe su nessuna delle tre classifiche di Scale [17] [19] [20]; Terra quasi non esiste fuori da DeepSWE e FrontierCode |
La riga delle versioni merita una frase in più, perché è la più subdola. Un 80 in v1.1 e un 67 in v1.3 descrivono la stessa famiglia di modelli sull’indice con lo stesso nome e non sono comparabili affatto; DeepSWE ha rivalutato allo stesso modo GPT-5.5 xhigh dal 70% al 67% tra i suoi set v1 e v1.1 [1]. Un nome di benchmark senza numero di versione è una sensazione.
Persino le fonti primarie traballano. La tabella riassuntiva della system card di Opus 5 etichetta l’esecuzione FrontierBench di Sol come Codex mentre il testo dei metodi dice mini-swe-agent sulla stessa infrastruttura, e il documento non scioglie la contraddizione [16]. La sua vittoria su SWE-bench Multimodal, 59,4 contro il 54,1 di Fable, esce da un harness interno modificato rispetto a quello pubblico [16]. Scale, dal canto suo, concede alle righe mini-swe-agent più nuove 500 passi dove le esecuzioni precedenti ne avevano 250, e osserva che i modelli di frontiera rendono semplicemente meglio sui loro scaffold nativi [17]. Niente di tutto questo è una frode. È l’aspetto che ha misurare un sistema in movimento, ed è il motivo per cui il controllo dell’hype su Kimi K3 e GLM-5.2 arrivava alla stessa conclusione da dati diversi: le affermazioni di capacità reggono all’esame, quelle di comparabilità quasi mai.
Quale modello per quale lavoro?
Terra per il volume di routine, Sol per gli obiettivi noti, Opus 5 per i problemi sconosciuti, Fable 5 per le modifiche che devono andare in merge pulite. È la somma dei profili qui sopra, e il livello di effort conta quanto il nome del modello.
| Il lavoro | La mia scelta | Effort |
|---|---|---|
| Endpoint di routine, mapping, piccoli test, config | Terra | medium o high |
| Una pull request delimitata con criteri di accettazione chiari | Opus 5 | medium |
| Implementare un piano noto, correggere un bug riproducibile | Sol | high |
| Trovare la causa profonda di un guasto sconosciuto | Opus 5 | high o xhigh |
| Strategia di test per una feature che conta | Fable 5 | xhigh |
| Refactoring a scala di repo e migrazioni di interfacce | Fable 5 | xhigh |
| Sessioni lunghe di terminale e debug | Sol o Opus 5 | high o xhigh |
| Ingegneria aperta senza soluzione nota | Opus 5 | xhigh |
Nessuna di queste classifiche ha girato sul mio stack, e nessuna sul tuo: la tabella è un’inferenza dai profili, non una misura. Le regole sull’effort invece sono misurate. Sol è l’unico dei quattro la cui qualità di merge è salita a ogni scatto della manopola [15]. Fable tocca il tetto a xhigh sulle classifiche che guida [15] [19]. Opus 5 vuole la manopola abbinata al lavoro: medium per una modifica delimitata [15], xhigh quando il problema è davvero aperto [16]. I doc di entrambi i fornitori coincidono con le loro curve: OpenAI chiama medium la partenza equilibrata [3], Anthropic tiene high di default e tratta max come l’eccezione che deve giustificare la sua bolletta di token [6].
Tre risultati ridisegnerebbero questa tabella: una riga di Opus 5 sulle classifiche di Scale, uno sweep pubblico di effort per Fable 5 e uno qualsiasi di questi quattro misurato nell’harness del fornitore rivale. Fino ad allora, compra il profilo, non la posizione. Il modello più caro di questo confronto non è il migliore nella maggior parte dei lavori, il più economico gli sta imbarazzantemente vicino in metà di essi, e la modifica di configurazione più preziosa non costa niente: abbassare la manopola dell’effort.
Fonti
- DeepSWE leaderboard
- API models
- Latest model guide
- Models overview
- Pricing
- Effort
- GPT-5.6
- Codex models
- Claude Opus 5 analysis
- GPT-5.6 Sol analysis
- GPT-5.6 Terra analysis
- Intelligence benchmarking methodology
- Claude Fable 5 analysis
- Opus 5: Fable 5 level intelligence at a lower cost per task
- FrontierCode leaderboard
- Claude Opus 5 system card
- SWE Atlas: Codebase QnA
- Coding Agent Index
- SWE Atlas: Test Writing
- SWE Atlas: Refactoring
- Terminal-Bench v2.1 evaluation