SARESP EM REVISTA
A edição de 2022 do SARESP contou com a participação de 294 451 estudantes da rede estadual na aplicação das provas do 9º ano EF, o que corresponde a 88,4% do que foi previsto. Esse percentual de participação dos alunos é superior ao observado na edição anterior, ficando próximo ao que costumava ser observado antes da pandemia. Esse contingente permite a obtenção de dados mais próximos da realidade escolar, trazendo representatividade e maior segurança para o processo, o que é fundamental tanto para a aferição da proficiência da rede escolar como para indicar os fatores que influenciam no desempenho escolar.

Segundo dados obtidos a partir das respostas apresentadas nos questionários propostos aos estudantes que participaram da prova e seus responsáveis, os principais fatores que impactaram positivamente (verde) ou negativamente (vermelho) o desempenho dos estudantes na prova de Língua Portuguesa do Ensino Fundamental foram:



Para saber mais sobre os fatores associados que impactam no desempenho dos estudantes, clique aqui.

A seguir, tem-se um histórico da média de proficiência aferida para essa turma, ao longo das edições do SARESP, de 2010 a 2022, além da distribuição dos alunos da rede estadual nos níveis de proficiência, considerando o resultado da edição 2022.





  • Observa-se que houve melhora na média de proficiência entre os estudantes do 9º ano de 2021 para 2022, num indicativo de recuperação da queda registrada no aproveitamento dos alunos em decorrência da pandemia.
  • Os estudantes com proficiência superior ao nível Básico estão em maior número do que aqueles que apresentam desempenho abaixo do básico.
  • Apesar disso, ao final do 9 ano EF, próximo de um quarto dos alunos termina esse ciclo escolar sem dominar minimamente as habilidades esperadas.
Cada edição da prova SARESP é montada com provas contendo 104 itens (questões). Parte da prova é composta por itens de edições anteriores para garantir a comparabilidade dos resultados de diferentes edições. Contudo, há também a proposição de tarefas inéditas, visando ampliar o leque de informações sobre os conhecimentos escolares que os estudantes se mostraram capazes de mobilizar para resolver situações-problema, apresentadas por meio de itens (questões) de prova. Essa capacidade de mobilizar conhecimento para resolver problemas é o que se entende por proficiência, sendo que há casos mais simples de serem resolvidos assim como há casos mais complexos. A partir da organização desses problemas, com base no grau de complexidade, é criada a chamada escala de proficiência. Nesse sentido, a edição de 2022 contribuiu com a inclusão de novos descritores na escala de proficiência, apresentados a seguir.



Clique nos níveis de proficiência para ver a descrição das novas tarefas inseridas na escala de proficiência, obtidas no SARESP 2022 e o percentual de alunos que respondeu corretamente cada uma dessas tarefas.

Abaixo do Básico Básico Adequado Avançado

De modo simplificado, pode-se dizer que quanto maior a proficiência média de uma turma em relação à posição do item na escala, maior é a probabilidade de a tarefa ser respondida corretamente. Lembrando que a proficiência média da turma decorre dos desempenhos dos alunos dessa turma na prova e que esses desempenhos são díspares, pois refletem os estágios desiguais da aprendizagem da turma, já que uns dominam mais algumas habilidades do que outros. Por isso, é importante ter clareza de que a proficiência média de uma turma ser igual a 220, por exemplo, não permite dizer que todos os alunos daquela turma tem proficiência 220.

Assim sendo, para essa turma, é esperado que esses alunos tenham maiores chances de acertar itens como aqueles descritos nos pontos 150, 175 e 200. Em contrapartida, para os itens descritos em pontos mais altos da escala, a chance de acerto existe, porém é reduzida, de modo que é esperado que uma parcela pequena desses alunos seja capaz de acertar uma tarefa que está ancorada nos pontos 300 ou superior. Para saber o percentual de alunos capaz de lidar com essas tarefas ancoradas nos pontos mais altos da escala, é preciso analisar o boletim de sua escola e ver o contingente de estudantes que estão distribuídos nos níveis mais altos da escala.

Em uma avaliação em larga escala, em vista do objetivo de se contemplarem os distintos níveis de proficiência, ou seja, estágios mais discretos ou mais avançados de desenvolvimento das competências e habilidades esperadas para cada etapa de ensino, os cadernos de provas trazem questões construídas com diferentes graus de complexidade.

Essa distribuição quanto ao grau de complexidade das atividades de leitura ou de análise linguística, no caso de língua portuguesa, tem por objetivo que a prova possa alcançar todos os participantes, por meio de tarefas que possam ser realizadas, numa ponta, por aqueles alunos que tendem a apresentar um desempenho mais tímido e, na outra, pelo grupo com desempenho mais avançado, em busca de atividades mais desafiadoras. Essa abrangência permite a construção de um quadro o mais preciso possível daquilo que as turmas em diferentes níveis de proficiência conseguem realizar. É o resultado dessa aferição quanto ao que as turmas classificadas nos níveis de proficiência que vão do abaixo do básico (que demonstram ainda não terem se apropriado do mínimo esperado para a etapa escolar que estão cursando) ao avançado (capazes de realizar tarefas que extrapolam os limites do previsto para o ano escolar que estão cursando) que se encontra detalhado na “Escala proficiência”.

Voltando à referida variação quanto ao grau de complexidade dos itens, ela é obtida, primeiramente, a partir do conjunto de habilidades distintas em relação às quais os alunos são avaliados na prova. Evidentemente, por sua natureza, tarefas relacionadas, por exemplo, à habilidade para reconhecer o efeito de sentido produzido em um texto pelo emprego de figuras de linguagem tendem a ser mais complexas que uma tarefa de leitura que objetiva a identificação, pelo aluno, de uma informação explícita.

Mas essa gradação pode ser obtida também em itens voltados para avaliar o desempenho dos alunos em relação a uma mesma habilidade. Das estratégias para a apresentação ao aluno de tarefas que possam trazer variação quanto ao grau de dificuldade, apesar de voltadas para a avaliação do nível de desempenho de uma mesma habilidade, uma delas diz respeito à seleção dos elementos linguísticos objeto de avaliação e outra, talvez a que atenda melhor a essa finalidade, à seleção do texto que servirá de base para a criação da tarefa. De maneira bastante objetiva, basta considerar que, em casos de tarefas que envolvem a identificação da relação entre elementos linguísticos empregados como mecanismo de progressão textual e seus referentes, evidentemente os alunos conseguem identificar mais facilmente essa relação quando as retomadas são feitas por formas pronominais, enquanto os casos em que a retomada é feita por nomes ou expressões nominais exigem maior esforço do aluno para relacionar coerentemente as informações textuais. No mesmo sentido, é mais fácil para o aluno compreender essas relações no contexto de leitura de narrativas curtas ou de notícias do que em textos mais densos como artigos de opinião.

Por fim, outro fator que contribui para a diferença de complexidade entre essas tarefas é o tipo de informação, ou seja, a maior ou menor quantidade de dados, e a forma como eles são organizados nas alternativas de resposta.

Na avaliação de 2022, um exemplo dessa variação do grau de complexidade de tarefas de uma mesma habilidade pode ser observado por meio dos itens que avaliam a capacidade dos alunos para reconhecer o sentido de figuras de linguagem em textos variados, correspondente à habilidade identificada pelo código EF89LP37 no Currículo Paulista.

A habilidade para reconhecer o sentido produzido por figuras de linguagem no contexto de leitura apresentou, na edição 2022 do SARESP, um número bastante satisfatório de itens na composição da prova. Apesar de todos se destinarem à aferição do desempenho dos alunos em relação à mesma habilidade, esses itens apresentam diferentes graus de complexidade, conforme se verifica por meio das posições distintas que cada um deles ocupa na escala de proficiência, o que favorece a análise comparativa dos aspectos responsáveis por essa variação.
Assim sendo, pode-se observar, por exemplo, um primeiro item que explora essa habilidade posicionado no ponto 200 da escala de proficiência, posição em que estão descritas as tarefas realizadas pelas turmas com desempenho mínimo esperado para essa etapa de ensino. Nesse caso, tanto o contexto de leitura quanto a figura de linguagem objeto de avaliação parece ter contribuído decisivamente para essa percepção dos alunos de que a tarefa apresenta baixo grau de complexidade. No que diz respeito ao texto, a atividade é construída a partir de uma tirinha com três quadrinhos retratando o nascimento de uma borboleta. A partir desse contexto de leitura, a tarefa apresentada ao aluno consiste em relacionar a figura de linguagem conhecida como onomatopeia à ideia de esforço que a borboleta faz para sair do casulo.

Outra tarefa, ainda entre as que podem ser realizadas pelo grupo de alunos com desempenho básico na prova, mas já localizada no ponto 250 da escala de proficiência, mostra-se um pouco mais difícil que a primeira porque, nesse caso, embora também se trate de uma figura de linguagem relativamente fácil de ser recuperada no contexto de leitura – uma ocorrência da figura conhecida como personificação – o texto de sua ocorrência é um poema. Por fim, nessa mesma posição na escala, tem-se outra tarefa relacionada a essa habilidade em que, em um recorte de uma narrativa, o narrador emprega uma comparação para exaltar a figura do seu avô: o sentido produzido por essa comparação é o objeto de avaliação na tarefa proposta. Nesses dois casos, os textos a partir dos quais as tarefas foram criadas por si só já tornam a atividade mais complexa do que a primeira, criada a partir de uma tirinha, razão pela qual estas duas últimas ocupam duas posições à frente da primeira na escala de proficiência.

Como se observa, as estratégias aqui mencionadas em geral atendem ao propósito de se obter boa variabilidade quanto ao grau de complexidade das tarefas apresentadas na prova, variação essa fundamental para o mapeamento daquilo que os alunos que apresentam diferentes níveis de desempenho são capazes de realizar.

Apesar de se tratar de uma habilidade de leitura que exige dos alunos boa capacidade de interpretação para que possam recuperar o sentido que essas figuras de linguagem produzem no texto, mesmo nos dois casos em que essas atividades se mostraram mais complexas, o percentual de acerto dos alunos ficou próximo de dois terços, em ambos os casos. Esse bom aproveitamento soa ainda melhor quando se considera o resultado do SARESP 2022, em que apenas pouco mais de um quarto dos alunos do 9º ano apresentaram proficiência adequada ou avançada em língua portuguesa.

Assim sendo, esse diagnóstico constitui um importante ponto de partida para o planejamento das atividades de ensino em sala de aula pelos professores. Tomando por base os descritores relativos a essa habilidade localizados nos diferentes pontos da escala de proficiência, o professor poderá planejar atividades de reforço visando aos alunos que ainda estão nos níveis de desempenho do grupo abaixo do básico, assim como poderá começar a planejar atividades mais desafiadoras para os membros da turma que já apresenta bom desempenho mesmo em contextos de leitura de textos que exigem maior maturidade do leitor, como os textos literários clássicos.

Nesse sentido, é de grande importância que os professores e gestores se valham de consultas à Descrição da Escala de Proficiência, que contém não apenas a descrição dos itens âncoras aplicados no SARESP 2022, mas também a de todos os outros itens aplicados em edições anteriores. Ela apresenta a posição do item na Escala, ou seja, a proficiência requerida dos estudantes dos respectivos anos/série para que o respectivo item seja respondido com alta probabilidade de acerto.



Os itens aqui citados são apenas exemplos, dentre os inúmeros que os professores poderão consultar a partir do quadro da Escala de Proficiência, ampliando as possibilidades de se ter melhor dimensão da aprendizagem dos estudantes nos diferentes componentes curriculares dessa etapa da escolarização.

Para saber mais sobre a escala de proficiência, encontrar sugestões de como utilizá-la e os descritores obtidos ao longo das edições do SARESP, clique aqui.

Por fim, os dados estatísticos que indicam como a prova aplicada se apresentou em relação ao índice de dificuldade dos itens e seu índice de discriminação.

DIFICULDADE

Muito Fácil: percentual de acerto superior a 85%

Fácil: percentual de acerto entre 65% e 85%

Médio: percentual de acerto entre 35% e 65%

Difícil: percentual de acerto entre 15% e 35%

Muito Difícil: percentual de acerto inferior a 15%

DISCRIMINAÇÃO

Índice que analisa o percentual de acerto em dois grupos, chamados de menor e de maior desempenho, que correspondem a um recorte dos alunos da turma que realizaram a prova. O grupo de menor desempenho é constituído por aproximadamente 27% dos estudantes que obtiveram os menores escores (número de acertos) em toda a prova de matemática. Analogamente, o grupo de maior desempenho também possui contingente parecido do aluno, mas que obtiveram os maiores escores na prova. O índice de discriminação é calculado a partir da diferença do percentual de acerto desses dois grupos no item, sendo que seu propósito é comparar o desempenho desses dois grupos opostos na realização de uma determinada tarefa proposta na prova, verificando assim se o item apresentado tem a propriedade de diferenciar o desempenho daqueles que obtiveram os melhores resultados no teste daqueles que conquistaram os resultados mais tímidos. Em geral, índices de discriminação mais baixos normalmente são observados em itens extremos, ou seja, considerados muito fáceis, em que uma imensa maioria acerta, ou de itens muitos difíceis, que estão relacionados a ideias mais complexas e que se mostraram pouco consolidadas, mesmo para estudantes com bons desempenhos gerais na área de conhecimento. Em contrapartida, itens com bons índices de discriminação decorrem de tarefas cujo conhecimento necessário para sua resolução está bem consolidado no grupo de maior desempenho, mas não está para o grupo de menor desempenho.



Nesse quadro, é possível observar que apenas dois entre todos os itens que compõem a prova apresentaram baixo índice de discriminação, conforme identificado nas colunas em tons alaranjados. Nota-se também uma quantidade pouco significativa de itens que foram considerados difíceis, com a maior concentração de itens da prova apresentando dificuldade mediana, além de pouco mais de um terço deles ter se mostrado fáceis para os alunos.

Para ter acesso a alguns itens comentados da prova, clique aqui.