Uma avaliação tem um recorte
Testes ajudam a comparar sistemas sob condições definidas. Eles podem revelar desempenho em linguagem, programação, raciocínio ou outras tarefas. Ainda assim, um conjunto de testes representa uma seleção de situações, e não a totalidade dos usos possíveis.
Para interpretar um resultado, convém observar o que foi pedido, quais recursos estavam disponíveis e como as respostas foram verificadas. Uma pontuação isolada diz menos do que a combinação dessas informações.
Repetir, variar, encontrar limites
Consistência também importa. Mudar a formulação de uma pergunta ou acrescentar uma restrição pode alterar o desempenho. Uma tarefa curta e bem delimitada não tem necessariamente a mesma dificuldade de um trabalho prolongado, com várias dependências.
As falhas ajudam a compreender o alcance de uma capacidade. Saber em que circunstâncias um sistema deixa de funcionar bem pode ser tão relevante quanto observar seu melhor exemplo.
Do teste ao contexto
O desempenho observado precisa ser situado. Ambientes reais incluem informação incompleta, mudanças de objetivo e consequências que nem sempre cabem em uma métrica.
Quando o debate se volta à superinteligência, avaliar se torna ainda mais desafiador. A questão deixa de ser apenas comparar respostas e passa a incluir como reconhecer, acompanhar e compreender capacidades que poderiam ultrapassar as de quem as avalia.
Para continuar a leitura