Depois da correção, toda prova admite duas leituras. Por aluno, que é a nota. Por questão, que é o que cada item fez com a turma.
A segunda leitura quase nunca acontece. Não por falta de interesse, mas porque ela precisa da tabela aluno por questão, quem marcou o quê em cada item, e essa tabela costuma não existir. A correção manual registra a soma. A planilha da coordenação recebe a soma. O cartão-resposta digitalizado é o único fluxo comum de escola em que a tabela sai de graça.
Com a tabela na mão, a análise de itens são três contas. Nenhuma passa de uma divisão.
Índice de dificuldade: quantos acertaram
O índice de dificuldade é o percentual de alunos que acertou o item. Escreve-se como proporção, de 0 a 1. Em uma turma de 30 em que 24 acertaram a questão 3, o índice da questão 3 é 24 dividido por 30, ou 0,80.
O nome confunde: quanto maior o número, mais fácil o item. A leitura por faixa:
| Índice de acerto | Leitura | O que fazer |
|---|---|---|
| acima de 0,90 | quase todos acertam | mantém, mas não separa níveis |
| 0,30 a 0,80 | faixa útil | é o item que informa |
| abaixo de 0,20 | quase ninguém acerta | verificar antes de aceitar |
Um item com 0,95 de acerto não é ruim. Ele confirma que a turma domina aquele conteúdo, e em prova somativa isso tem lugar. O que ele não faz é distinguir quem aprendeu mais de quem aprendeu menos.
Um item abaixo de 0,20 tem três explicações possíveis, e só uma delas é a turma. Ou o conteúdo não foi ensinado como o item cobra. Ou o enunciado está ambíguo. Ou o gabarito está errado. A dificuldade sozinha não separa as três. As duas contas seguintes separam.
Uma observação sobre Bloom. Nível cognitivo e dificuldade não são a mesma escala. Um item de “lembrar” pode ter 0,15 de acerto se o conteúdo ficou de fora da aula. Um item de “analisar” pode ter 0,85 se a turma treinou exatamente aquela análise. O nível de Bloom se define ao escrever a questão. A dificuldade se descobre ao aplicar.
Discriminação: quem acertou
A segunda conta compara dois grupos da própria turma. Ordene os 30 alunos pela nota total da prova. Separe os 10 de nota mais alta e os 10 de nota mais baixa. Para cada item, calcule o acerto em cada grupo e subtraia.
Na questão 7, 9 dos 10 alunos do terço superior acertaram e 3 dos 10 do terço inferior acertaram. A discriminação é 0,90 menos 0,30, ou 0,60. O item separa quem sabe mais de quem sabe menos, que é o que se espera dele.
As faixas de referência mais usadas na Teoria Clássica dos Testes:
| Discriminação | Leitura |
|---|---|
| 0,40 ou mais | item separa bem |
| 0,30 a 0,39 | razoável, mantém |
| 0,20 a 0,29 | revisar o enunciado ou as alternativas |
| abaixo de 0,20 | reescrever ou descartar |
| negativa | alerta: os fracos acertaram mais que os fortes |
A discriminação negativa é o número mais importante da página. Se os alunos com pior nota total acertam um item mais do que os alunos com melhor nota total, algo no item está invertido. Quase sempre é gabarito marcado errado. Às vezes é um enunciado que os alunos mais atentos leram de um jeito e os menos atentos de outro, e o jeito dos menos atentos coincidia com o gabarito.
Software de avaliação costuma calcular uma versão contínua dessa medida, a correlação ponto-bisserial, que usa todos os alunos em vez de dois terços. A leitura é a mesma. A versão à mão com terço superior e inferior serve para uma turma e cabe em uma tarde.
Distratores: para onde foram os erros
A terceira conta olha as alternativas erradas. Cada distrator existe para atrair um erro específico. Se ninguém o escolhe, ele não está fazendo o trabalho. Se ele atrai mais gente que o gabarito, é preciso saber quem.
Questão 12, gabarito C, turma de 30:
| Alternativa | Escolhas | Terço superior | Terço inferior |
|---|---|---|---|
| A | 3 | 0 | 2 |
| B | 14 | 7 | 3 |
| C (gabarito) | 11 | 3 | 4 |
| D | 2 | 0 | 1 |
O índice de dificuldade é 11 dividido por 30, ou 0,37. Está na faixa útil. Mas o distrator B recebeu 14 escolhas contra 11 do gabarito, e 7 dos 10 melhores alunos escolheram B.
Isso tem duas leituras, e a coluna do terço superior decide entre elas. Se B fosse escolhido sobretudo pelo terço inferior, B seria um erro conceitual comum, e o item estaria funcionando: ele detecta o erro. Como B foi escolhido pelos melhores, o mais provável é que B esteja certo, ou que o enunciado admita B. Antes de lançar a nota, alguém relê a questão 12.
A alternativa D, com 2 escolhas, é peso morto. Um distrator que ninguém escolhe reduz a questão a três alternativas na prática. Ao reescrever, troque D por um erro que a turma de fato cometa.
Decisão por item
As três contas juntas viram uma decisão por questão. A regra que evita discussão depois: decidir antes de publicar as notas.
| Situação | Decisão |
|---|---|
| Discriminação negativa e terço superior convergindo para outra alternativa | anular, recalcular sem a questão, registrar o motivo |
| Acerto abaixo de 0,20 e discriminação abaixo de 0,20 | não pontua na prova; reescrever antes de reutilizar |
| Distrator com zero ou uma escolha | mantém a pontuação; trocar o distrator no banco |
| Acerto entre 0,30 e 0,80 e discriminação acima de 0,30 | guardar no banco com os números anotados |
| Acerto acima de 0,90 | guardar como item de confirmação, não de separação |
Anular questão não é admitir erro para a turma. É corrigir a medida antes de ela virar histórico. A nota que vai para o boletim precisa ser calculada sobre itens que mediram alguma coisa.
Turma de 30 é amostra pequena, e o banco resolve isso
Um índice calculado em 30 alunos flutua. A mesma questão pode ter 0,45 de acerto em uma turma e 0,62 na turma da tarde. Isso não invalida a conta. Invalida a pretensão de chamar o número de calibração.
O que estabiliza o índice é repetição. Uma questão que rodou em quatro turmas ao longo de dois anos tem quatro medidas de dificuldade e quatro de discriminação. A média delas é um dado. E ela só existe se cada aplicação for anotada junto com a questão, no banco, e não na planilha da prova daquele bimestre.
Isso muda o que é um banco de questões. Um banco onde cada questão tem disciplina, habilidade e nível de Bloom é um catálogo. Um banco onde cada questão também tem índice de acerto, discriminação e data das aplicações é um instrumento que melhora a cada prova.
Leitura por item decide a aula seguinte
A análise de itens serve à prova, mas o uso imediato é a aula. A tabela por questão, cruzada com a habilidade que cada item cobra, diz qual habilidade a turma menos domina. É a mesma leitura que o guia do MEC para o Dia D pede ao cruzar o Saeb com a avaliação interna: descritor por descritor, não média por aluno.
Sem a tabela aluno por questão, a prova termina na nota. Com ela, a prova termina na segunda-feira seguinte, na retomada do conteúdo que a turma errou.
No módulo de provas da Unidos Educação, o cartão-resposta digitalizado no scanner da escola ou fotografado com o celular devolve o mapa de acertos questão por questão: quem marcou qual alternativa em cada item, para a turma inteira, sem digitar nada. É a tabela que as três contas desta página precisam. Cada questão do banco já carrega disciplina, dificuldade, nível de Bloom e habilidade da BNCC, e a prova sai diagramada no padrão da escola ou do ENEM.