Claude Sonnet 5.5: Benchmarks, Números da Anthropic, Resultados Independentes e Suas Implicações

Claude Sonnet 5.5 alcança 70.6% no Terminal-Bench 4.0, 55.5% no CursorBench 4.0, 46.2% no FrontierCode 1.1 com esforço máximo (52.1% em xhigh) e 81.3 no SWE-Bench Pro, subindo de 10.3%, 34.1%, 42.4% e 63.2% do Sonnet 5. Opus 5.5 lidera a maioria das linhas da tabela de lançamento em cerca de 2 a 3 pontos, mas fica atrás no Terminal-Bench. A Artificial Analysis classifica independentemente o Sonnet 5.5 com 56 em seu Índice de Inteligência, #3 de 216.

Abaixo: os benchmarks completos do Claude Sonnet 5.5, quem os executou, o que muda no esforço e como testar o modelo em seu próprio tráfego no Apidog. Para especificações, consulte o que é Claude Sonnet 5.5.

A tabela de lançamento

A publicação de lançamento da Anthropic compara quatro modelos ("n/r" marca um traço). As células do Sonnet 5.5 são de esforço máximo, a menos que marcadas; a API padrão é alta, Claude Code e os aplicativos são médios.

As notas de rodapé, em termos simples:

1. A pontuação do Opus 5.5 no Terminal-Bench é em xhigh, sua melhor; no máximo, marcou 64.8%.
2. FrontierCode penaliza edições fora do escopo. No máximo, o Sonnet 5.5 executou com mais frequência a habilidade de revisão de código do Claude Code, ramificando para muitos subagentes; em dois casos examinados pela Cognition, isso causou um tempo limite ou edições fora do escopo.
3. Artificial Analysis executou ambos os testes de trabalho de conhecimento em uma implantação pré-lançamento com um bug de saída estruturada, já corrigido. A Anthropic espera um pequeno efeito, se houver, subestimando o Sonnet 5.5.
4. A OpenAI corrigiu recentemente um bug de compreensão de imagem do GPT-6 Sol que as pontuações da AA e da Surge AI podem não refletir.

Quem executou cada benchmark

A Anthropic executou todos os testes ela mesma, a menos que um terceiro seja nomeado. As linhas entre fornecedores compartilham um nome de benchmark, não um harness ou configuração de esforço.

O fallback atingiu 1.5% das tentativas do Sonnet 5.5 no Terminal-Bench, mas 10% das do Opus 5.5 (cartão do sistema §8.5), então leia a liderança de 4.2 pontos do Sonnet com cuidado.

Extras do cartão do sistema

As linhas um a seis são o resumo de esforço máximo do cartão do sistema.

Sonnet 5.5 supera o Opus 5.5 no HealthBench Professional, AutomationBench e Terminal-Bench-Science; o Opus lidera com a maior margem no ProgramBench, SWE-Bench Pro e HLE sem ferramentas. A pontuação principal de 80.1% do OSWorld é crédito parcial; apenas 43.5% das tarefas são aprovadas diretamente.

O esforço muda o cenário

Os gráficos de lançamento, como pontuação (custo). O custo do Terminal-Bench é por tentativa, os outros por tarefa. Dois gráficos mostram GPT-5.6 Sol (*) porque os números do GPT-6 Sol não foram publicados.

• A maioria dos ganhos chega em xhigh. O máximo adiciona 9.1 pontos no Terminal-Bench por 2.4x o custo, 2.4 no CursorBench por 2.5x.
• As pontuações máximas do FrontierCode são mais baixas e custam 13x mais do que xhigh (46.2% a $20.78 vs 52.1% a $1.59).
• Opus 5.5 com menor esforço é o verdadeiro rival. No Terminal-Bench, Opus no médio obtém 57.6% por $2.94; Sonnet no alto obtém 43.0% por $1.94. Opus no alto (64.2%, $3.88) vence Sonnet no xhigh (61.5%, $5.30). Veja Sonnet 5.5 vs Opus 5.5.
• Alto é o ponto ideal de custo do Sonnet. FrontierCode no alto: 49.4% por $0.42, igualando o melhor do GPT-6 Sol (49.3%) por cerca de um quinto do custo (detalhamento de preços).

Resultados independentes

Artificial Analysis classifica o Sonnet 5.5 com 56 no Intelligence Index v4.3.2, #3 de 216, atrás apenas do Opus 5.5 no máximo e xhigh. Sonnet 5 marcou 38. Custo para executar o índice:

O máximo custa 7.6x o alto para 9.2 pontos a mais. A leitura da AA pela OfficeChai coloca o Sonnet 5.5 fora da fronteira de Pareto, mais competitivo em custo no alto, e conta cerca de 193,000 tokens de saída por tarefa de índice no máximo.

• Própria execução do Terminal-Bench 4.0 da AA: 63.6%, contra 70.6% da Anthropic.
• A baixa pontuação do Sonnet 5 é real: a AA mediu 14.1% (veja benchmarks do Sonnet 5).
• AA-Omnisciência (segundo OfficeChai): 54% de precisão e uma taxa de alucinação de 47%, contra 66% e 59% para Opus 5.5.
• Ainda não medido: velocidade de saída e tempo para o primeiro token, então "30%+ mais rápido" permanece a afirmação da Anthropic. Nenhuma listagem no LMArena ainda.

Benchmarks de segurança

Injeção de prompt, conforme o cartão do sistema:

• Gray Swan: sucesso de ataque 0.4%, 2.7% e 3.4% em k=1, 10 e 15 (Sonnet 5: 0.7%, 5.1%, 6.7%). O uso de computador GUI é mais fraco em 12.5% (k=15).
• Shade, codificação: 3.01% sem salvaguardas, principalmente via fallback cibernético do Sonnet 5; o próprio Sonnet 5.5 foi comprometido em 4 de 5,901 solicitações.
• Uso do navegador: nenhum ataque obteve sucesso em 110 cenários.

As avaliações cibernéticas foram executadas com salvaguardas desativadas: 46.1% no CyScenarioBench (Sonnet 5: 0.7%, Opus 5.5: 67.6%). É o primeiro Sonnet com salvaguardas cibernéticas, e a Anthropic alerta para mais recusas, mesmo em tarefas de segurança benignas. Consulte nosso guia de injeção de prompt.

Execute sua própria avaliação

Os benchmarks não se parecem com seu tráfego, e o guia de prompt da Anthropic diz que o esforço é recalibrado, então não reutilize as configurações do Sonnet 5. No Apidog:

1. Armazene ANTHROPIC_API_KEY como uma variável de ambiente e salve de 20 a 50 prompts reais como requisições de Mensagens.
2. Afirme o status 200, um stop_reason diferente de "max_tokens" ou "refusal", e o conteúdo que uma resposta correta precisa.
3. Execute em low, medium, high e xhigh, uma passagem para cada; mudar o esforço invalida o cache de prompts.
4. Registre a taxa de aprovação e a contagem de tokens em usage, precificados em $2 de entrada e $10 de saída por milhão.

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 16000,
    "output_config": {"effort": "high"},
    "messages": [{"role": "user", "content": "Classify this support ticket: ..."}]
  }'

Envie o esforço mais baixo cuja taxa de aprovação você aceita. Veja testando aplicativos LLM e testando APIs de agentes de IA, então baixe o Apidog para construir a coleção.

FAQ

O Sonnet 5.5 supera o Opus 5.5? No Terminal-Bench 4.0, HealthBench Professional, AutomationBench, Terminal-Bench-Science e Chartography com ferramentas, sim. O Opus 5.5 lidera ou empata no resto.

Qual é a pontuação do Sonnet 5.5 no SWE-Bench? 81.3 no SWE-Bench Pro e 90.3 no Multilingual, com esforço máximo.

Por que há dois números para o FrontierCode? 46.2% é máximo, 52.1% é xhigh; a ramificação de subagentes do máximo gerou penalidades por estar fora do escopo.

Devo fazer upgrade do Sonnet 5? Sim nos benchmarks, mas leia as mudanças drásticas da API em Sonnet 5.5 vs Sonnet 5 primeiro.

Próximo passo

Comece em high (ou medium para codificação agêntica bem especificada), como sugere a Anthropic, e deixe sua avaliação no Apidog decidir se um passo adiante compensa.