AISI publica resultados de avaliações com suas configurações experimentais
O Instituto de Segurança de Inteligência Artificial do Reino Unido (AISI) usa a plataforma Evaluation Cards para reunir resultados e configurações dos testes.
Uma nota de benchmark mede o modelo sob determinado protocolo. Não basta conhecer o nome do teste. Em publicação de 22 de setembro de 2026, a coalizão EvalEval e o UK AI Security Institute apresentam resultados acompanhados de contexto e configurações na plataforma Evaluation Cards.
O material está ligado a uma pesquisa sobre como o processamento durante a inferência e o protocolo de avaliação afetam o desempenho. No exemplo descrito para Humanity's Last Exam, fornecer ao modelo uma indicação de acerto após cada tentativa permitiu resolver tarefas adicionais conforme aumentava o uso de tokens. Esse resultado precisa ser lido com a condição experimental: havia retorno sobre a correção das respostas.
O esquema Every Eval Ever organiza informações de avaliações em uma estrutura compartilhada. Isso facilita investigar diferenças entre execuções, mas organizar os registros não torna configurações distintas equivalentes.
Ao selecionar um modelo, compare primeiro o acesso a ferramentas, o orçamento de execução e o retorno recebido durante a tarefa. Uma diferença de nota só deveria orientar a escolha depois dessa leitura. A incerteza específica permanece: quanto da vantagem observada sobreviveria sem o retorno de correção usado no experimento?
Fonte: anúncio da colaboração, por Avijit Ghosh e coautores · EvalEval · UK AI Security Institute.