Novo índice reúne benchmarks públicos e privados para comparar modelos de IA
Passam a integrar o índice FrontierCode 2.0, com 132 tarefas em repositórios reais, e Terminal-Bench-Science, com 70 tarefas de pesquisa científica executadas em terminal. Conhecimento profissional, programação, ciência e capacidades gerais recebem, cada área, 25% do peso. Na avaliação de programação, cada tarefa é executada três vezes; uma falha em verificação impeditiva resulta em nota zero.
Claude Opus 5.5, configurado no esforço máximo, lidera a composição com 58 pontos. GPT-6 Astra e GPT-6.1 Sol, também no máximo, registram 57 e 55. Nenhum modelo lidera todos os testes.
Comparações exigem observar versão, ferramentas e nível de esforço: alterar essas condições modifica custo e resultado. Como a composição mudou, diferenças frente ao índice anterior também refletem a seleção dos testes. As notas descrevem esse conjunto de avaliações, sem garantir desempenho equivalente em qualquer uso cotidiano.
Fonte (27/10/2026): Artificial Analysis — https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v5
Ilustração criada com inteligência artificial.

Comentários
Postar um comentário