Os procedimentos de análise dos itens e de cálculos das proficiências do SARESP têm como base a Teoria da Resposta ao Item (TRI). Essa metodologia tem sido adotada em diversos processos de avaliação educacional e seu detalhamento pode ser encontrado em diversos textos, tais como o livro Teoria da Resposta ao Item: Conceitos e Aplicações (Andrade, Tavares & Valle, 2000) e Entenda sua nota no Enem – Guia do Participante (INEP, 2012).

A Teoria da Resposta ao Item (TRI) é um conjunto de modelos matemáticos que representam a probabilidade de um indivíduo responder corretamente a um item, dados os parâmetros do item e a proficiência do indivíduo.

Utilizar a Teoria da Resposta ao Item em uma avaliação como a do SARESP significa:
  • A obtenção de uma média que expressa a proficiência com base na qualidade da informação apresentada nas respostas aos itens, e não apenas um score que represente a soma dos itens corretos respondidos pelos alunos em uma prova.
  • A nota atribuída pela TRI no SARESP - a Média de Proficiência - não é calculada levando-se em conta somente o número de questões respondidas corretamente, mas também o conjunto dos itens que formam a prova.
A TRI considera para o cálculo da média de proficiência do aluno, a consistência da resposta segundo o grau de dificuldade de cada questão.

  • A média de proficiência é atribuída em uma métrica, escala, que mede (ancora) a proficiência de um dado ano escolar em uma disciplina.
Uma escala é uma maneira de medir resultados de forma ordenada e nela se pode situar o desempenho dos participantes ao longo dos anos. A escolha dos números que definem os pontos de uma escala de proficiência é arbitrária e construída com os resultados da análise pela TRI.

Como tudo isso é possível?
O modelo da TRI considera três informações (denominadas de parâmetros) essenciais para avaliar a qualidade do item e, consequentemente, a qualidade da medida:
  • parâmetro de discriminação (a): é a capacidade que cada questão possui para diferenciar participantes que sabem dos participantes que não sabem mobilizar os conteúdos pedagógicos requeridos para resolver o item;
  • parâmetro de dificuldade (b): associado à dificuldade do item, considerados os conhecimentos requeridos para a sua resolução, quanto maior seu valor, mais difícil (exigente) é o item. Ele é expresso na mesma escala da proficiência. Em uma prova de qualidade, devemos ter questões de diferentes níveis de dificuldade para avaliar adequadamente os participantes em todos os níveis de conhecimento;
  • parâmetro de acerto casual (c): em provas de múltipla escolha, um participante que não domina o conteúdo requerido em um determinado item, pode responder corretamente a esse item por acerto casual. Esse parâmetro representa a probabilidade de um participante acertar a questão não dominando seu conteúdo pedagógico.
Veja no gráfico o perfil de um item em relação aos seus parâmetros TRI. A curva denominada Curva Característica do Item - CCI mostra a relação entre a probabilidade de acerto e a proficiência do respondente, para um particular conjunto de parâmetros dos itens.




Pode-se então notar que somente respondentes com proficiência acima do valor do parâmetro b, de dificuldade, é que terão alta probabilidade de responder corretamente ao item. No presente exemplo, o Participante A com proficiência em torno de 175 tem probabilidade de 0,85, aproximadamente, de responder corretamente à questão representada. Em outras palavras, espera-se que 85% dos participantes com proficiência 175 acertem essa questão, ou ainda, que a tarefa requerida por essa questão seja de domínio da grande maioria das pessoas que têm proficiência 175 ou mais.

Voltando à Curva Característica do Item apresentado como exemplo para o SARESP, na seção Análise de Itens, reapresentado a seguir:



Com base no que foi exposto sobre a CCI, qual é a proficiência estimada de um aluno quando a probabilidade dele acertar esse item é 70%? Se você analisar as coordenadas do gráfico, encontra que esta probabilidade de acerto corresponde à proficiência da ordem de 200,0.

Escala do SARESP
A Escala de Proficiência do SARESP está na mesma métrica utilizada pelo Saeb, o exame nacional de referência para a Educação Básica do Brasil desde 1996. Trata-se de uma escala de proficiência única para todos os anos escolares avaliados, em Língua Portuguesa (Leitura) e Matemática, na qual a média e o desvio padrão da distribuição das proficiências da 8ª série/9º ano de 1997 foram arbitrados, respectivamente, em 250 e 50. Trata-se então de uma escala 250,50.

Da mesma forma que médias de proficiência, a escala ancora os itens de uma prova.  Isso é possível pois a partir das respostas dos alunos, são estimados os valores dos parâmetros a, b e c de cada item. Os itens são posicionados na escala a partir de critérios probabilísticos que garantem que somente participantes com média de proficiência igual ou maior do que o ponto em que se situa o item possuem alta probabilidade de responde-lo corretamente. Dispondo de uma coleção de pontos, e de uma escala que os organiza, o desejável é interpretar pedagogicamente o significado do posicionamento da proficiência, na escala. No SARESP, isso se faz por intervalos de 25 pontos na escala.



Em síntese:


A Teoria da Resposta ao Item  - TRI:

  • Mede proficiências;
  • Explica a medida;
  • Interpreta a medida;
  • Avalia o ganho em proficiência entre as séries/anos escolares;
  • Utiliza a medida como uma forma de tomar ações para um melhor planejamento educacional.