SARESP EM REVISTA
A edição de 2022 do SARESP contou com a participação de 294 451 estudantes da rede estadual na aplicação das provas do 9º ano EF, o que corresponde a 88,4% do que foi previsto. Esse percentual de participação dos alunos é superior ao observado na edição 2021, ficando próximo ao que costumava ser observado nas aplicações do SARESP anteriores à pandemia. Esse contingente permite a obtenção de dados mais próximos da realidade escolar, trazendo representatividade e maior segurança para o processo, o que é fundamental tanto para a aferição da proficiência da rede escolar como para indicar os fatores que influenciam no desempenho escolar.

Segundo dados obtidos a partir das respostas apresentadas nos questionários propostos aos estudantes que participaram da prova e seus responsáveis, os principais fatores que impactaram positivamente (verde) ou negativamente (vermelho) o desempenho dos estudantes na prova de Ciências do Ensino Fundamental foram:



Para saber mais sobre os fatores associados que impactam no desempenho dos estudantes, clique aqui.

A seguir, tem-se um histórico da média de proficiência aferida para essa turma, ao longo das edições do SARESP, de 2010 a 2022, além da distribuição dos alunos da rede estadual nos níveis de proficiência, considerando o resultado da edição 2022.



  • Observa-se ligeiro aumento na média de proficiência entre os estudantes do 9º ano de 2021 para 2022.  Além disso, houve pequena alteração positiva no nível Avançado (0,2 ponto percentual), mas, por outro lado também ocorreu pequena redução nos percentuais de estudantes nos níveis Básico e Adequado, em direção ao nível Abaixo do Básico (1 ponto percentual acima do contingente indicado em 2021).
  • Não há dados para mensurar o ocorrido de 2014 até o início da pandemia. Mas, se considerarmos os impactos observados nas demais disciplinas avaliadas pelo SARESP, é de se conjecturar que em 2019 a proficiência dos estudantes ao final do Ensino Fundamental era, no mínimo, próxima a aferida nas edições 2021 e 2022.
Cada edição da prova SARESP é montada com provas contendo 104 itens (questões). Parte da prova é composta por itens de edições anteriores para garantir a comparabilidade dos resultados de diferentes edições. Contudo, há também a proposição de tarefas inéditas, visando ampliar o leque de informações sobre os conhecimentos escolares que os estudantes se mostraram capazes de mobilizar para resolver situações-problema, apresentadas por meio de itens (questões) de prova. Essa capacidade de mobilizar conhecimento para resolver problemas é o que se entende por proficiência, sendo que há casos mais simples de serem resolvidos assim como há casos mais complexos. A partir da organização desses problemas, baseado no grau de complexidade, é criada a chamada escala de proficiência. Nesse sentido, a edição de 2022 contribuiu com a inclusão de novos descritores na escala de proficiência, apresentados a seguir.

No que se refere à habilidade EF09CI14-Descrever a composição e a estrutura do Sistema Solar (Sol, planetas  rochosos,  planetas  gigantes  gasosos  e  corpos menores), assim como a localização do Sistema Solar na nossa Galáxia (a Via Láctea) e dela no Universo (apenas uma galáxia dentre bilhões), foram aplicados três diferentes itens na prova SARESP 2022. Esses itens se posicionam em pontos bastantes distanciados um do outro na Escala de Proficiência e, consequentemente, também tiveram percentual de acerto diferentes entre si. Dentre esses três itens, aquele que requer menor proficiência posiciona-se no ponto 225 da Escala, ou seja, estudantes com proficiência 225, ou maior, têm maiores chances de responder corretamente o item em razão do domínio que têm do objeto de conhecimento a ele associado (Composição, estrutura e localização do Sistema Solar no Universo). Esse item foi respondido corretamente por cerca de 80% dos estudantes. No 9º ano cerca de 75% dos estudantes têm proficiência 225 ou maior e, portanto, seria esperado que o percentual de acerto para o item fosse alto, como o foi. Mas isso não significa que a maioria dos estudantes do 9º ano (80%) tem pleno domínio do objeto de conhecimento ‘Composição, estrutura e localização do Sistema Solar no Universo’, assim como não significa que tenham pleno domínio da respectiva habilidade (EF09CI14). Esses estudantes conseguiram compreender e apresentar a solução para a situação-problema que lhes foi apresentada pelo item considerando o nível de complexidade com que foi abordada: ‘Analisar esquema que representa o Sistema Solar fora de escala, com os planetas identificados por números, exceto a Terra identificada pelo nome, e analisar tabela que apresenta o nome dos planetas e a distância entre eles e o Sol, e identificar, dentre os planetas representados no esquema, qual deles representa Vênus.’. Essa é a descrição do item apresentada no quadro e, no caso desse item, para chegar à solução do problema, os estudantes poderiam consultar a tabela constante do item onde verificariam que o planeta mais próximo do Sol é Mercúrio, seguido de Vênus, Terra, Marte, etc. Ao levar essa informação para o esquema que representa o Sistema Solar, esquema essa também constante do item, concluiriam que o segundo planeta mais próximo do Sol ali representado, identificado pelo número 2, e antes da Terra, seria o planeta Vênus. Com esse procedimento mental, indicariam a resposta correta para o item, como o fizeram cerca de 80% dos estudantes.

Mas a prova SARESP de 2022 trouxe outro item associado ao mesmo objeto do conhecimento (Composição, estrutura e localização do Sistema Solar no Universo) e habilidade (EF09CI14), e esse item ocupa a posição 325 da Escala, no intervalo de proficiência Adequado. Ou seja, um item que requer proficiência maior. Cerca de 26% dos estudantes estão nos níveis de proficiência Adequado e Avançado, e não é de surpreender que o percentual de acerto nesse item tenha sido bem menor que aquele do anterior. Cerca de 26% dos estudantes têm proficiência 325 ou maior e têm grande chance de responder corretamente o item em razão de terem domínio um pouco maior do objeto de conhecimento e da habilidade; e estudantes com proficiência menor que 325 também podem responder corretamente o item, mas a chance de acerto é tão menor quanto menor a proficiência. Disso resulta o item ter sido acertado por 52% dos estudantes, e não por 80% como no caso do item anterior. Esse segundo item apresentava aos estudantes uma situação-problema um pouco mais complexa que aquele anterior, da posição 225. O item na posição 325 propunha aos estudantes ‘Analisar esquema que representa três corpos celestes, indicados por números, no qual linhas tracejadas indicam o movimento desses corpos, um deles de cor clara, que representa um corpo luminoso, e dois com áreas sombreadas representando corpos iluminados; e reconhecer o que representa cada um desses corpos, se estrela, satélite ou planeta.’. Nesse caso, não bastava aos estudantes apenas reconhecerem que o corpo celeste de cor clara era o Sol, embora o item informasse que o corpo representado por cor clara era um corpo luminoso (com luz própria). Os estudantes teriam ainda que considerar os corpos iluminados (sem luz própria) e reconhecê-los como sendo planetas ou satélites; e para diferenciá-los como planetas ou satélites teriam que considerar seus tamanhos e suas respectivas órbitas, indicadas no esquema por linhas tracejadas, teriam que considerar se a órbita de cada um deles se dava em torno do corpo luminoso, ou se dava em torno de um corpo iluminado. Portanto, um item um pouco mais complexo que o anterior e que requeria dos estudantes maior proficiência para que pudessem responder o item com maior chance de acerto. Um menor percentual de estudantes domina o objeto do conhecimento e desenvolveu a habilidade correspondente o suficiente para que pudessem compreender a situação-problema apresentada pelo item e chegar à resposta certa. Desse modo, verifica-se por esses dois exemplos que o fato de haver um alto percentual de estudantes indicando a resposta certa para um determinado item (caso do item na posição 225), isso não significa que há pleno domínio do objeto do conhecimento e da habilidade associados ao item, como demostrado pelos resultados do item na posição 325.

Na mesma prova havia ainda um terceiro item da mesma habilidade, mas agora posicionado no ponto 375 da Escala, ou seja, no intervalo de proficiência Avançado, no qual o percentual de estudantes é ainda menor. Nesse caso, apenas pouco mais de 35% dos estudantes foram capazes de ‘Reconhecer imagem que representa a Via Láctea, na qual há uma seta com os dizeres 'Você está aqui" apontando para uma região específica da imagem, e reconhecer que a seta indica a localização do Sistema Solar.

A descrição desses três itens aqui citados, suas respectivas posições na Escala e percentuais de acerto, permitem aos professores e gestores um diagnóstico um pouco mais amplo das fragilidades dos estudantes no domínio do objeto do conhecimento ‘Composição, estrutura e localização do Sistema Solar no Universo.’ Uma vez que os professores conhecem a média de proficiência das turmas de estudantes com os quais trabalham, a média da escola, a média das escolas da sua Rede de Ensino, podem ter mais claramente a dimensão do nível de domínio que os estudantes têm do objeto do conhecimento e da respectiva habilidade, podem ter mais claramente a dimensão do nível de complexidade das situações-problema que os estudantes são capazes de resolver e, desse modo, podem discutir estratégias pedagógicas que possam fazer com que estudantes que até então só eram capazes de resolver problemas como aquele descrito na posição 225, também possam vir a resolver problemas como aquele descrito na posição 325.

Além do diagnóstico e subsídios para a discussão pedagógica trazidos pelo SARESP 2022, há ainda os dados obtidos em edições anteriores do SARESP e, como aqui já discutido, a consulta à Descrição da Escala de Proficiência permitirá ampliar o diagnóstico sobre o que os estudantes são capazes de fazer, ou até onde já conseguiram chegar no que se refere ao objeto do conhecimento e habilidade aqui citados: Composição, estrutura e localização do Sistema Solar no Universo.”. Podem verificar pela Descrição da Escala que apenas com proficiência 275 ou maior os estudantes do 9º ano são capazes de, mais seguramente, “reconhecer que, para um observador da Terra, o Sol e a Lua aparentam ter o mesmo tamanho em razão da diferença da distância entre esses astros e a Terra.”; estudantes com proficiência menor que 275 têm mais fragilidades no domínio desse conhecimento e da habilidade associada. Mas este, sobre “Composição, estrutura e localização do Sistema Solar no Universo.”, foi apenas um exemplo dentre as possibilidades de análise e diagnóstico. Para além disso, a Descrição da Escala de Proficiência traz subsídios para se ter uma melhor dimensão do desenvolvimento dos estudantes nas demais Unidades Temáticas e habilidades que se espera que consolidem em cada etapa da escolarização.



Clique nos níveis de proficiência para ver a descrição das novas tarefas inseridas na escala de proficiência, obtidas no SARESP 2022 e o percentual de alunos que respondeu corretamente cada uma dessas tarefas.

Abaixo do Básico Básico Adequado Avançado

De modo simplificado, pode-se dizer que quanto maior a proficiência média de uma turma em relação à posição do item na escala, maior é a probabilidade de a tarefa ser respondida corretamente. Lembrando que a proficiência média da turma decorre dos desempenhos dos alunos dessa turma na prova e que esses desempenhos são díspares, pois refletem os estágios desiguais da aprendizagem da turma, já que uns dominam mais algumas habilidades do que outros. Por isso, é importante ter clareza de que a proficiência média de uma turma ser igual a 220, por exemplo, não permite dizer que todos os alunos daquela turma tem proficiência 220.

Assim sendo, para essa turma é esperado que esses alunos tenham maiores chances de acertar itens como aqueles descritos nos pontos 150, 175 e 200. Em contrapartida, para os itens descritos em pontos mais altos da escala, a chance de acerto existe, porém é reduzida, de modo que é esperado que uma parcela pequena desses alunos seja capaz de acertar uma tarefa que está ancorada nos pontos 300 ou superiores. Para saber o percentual de alunos capaz de lidar com essas tarefas ancoradas nos pontos mais altos da escala, é preciso analisar o boletim de sua escola e ver o contingente de estudantes que estão distribuídos nos níveis mais altos da escala.



Os itens aqui citados são apenas exemplos, dentre os inúmeros que os professores poderão consultar a partir do quadro da Escala de Proficiência, ampliando as possibilidades de se ter melhor dimensão da aprendizagem dos estudantes nos diferentes componentes curriculares dessa etapa da escolarização.

Para saber mais sobre a escala de proficiência, encontrar sugestões de como utilizá-la e os descritores obtidos ao longo das edições do SARESP, clique aqui.

Por fim, os dados estatísticos que indicam como a prova aplicada se apresentou em relação ao índice de dificuldade dos itens e seu índice de discriminação.

Dificuldade X Discriminação dos itens da prova

DIFICULDADE

Muito Fácil: percentual de acerto superior a 85%

Fácil: percentual de acerto entre 65% e 85%

Médio: percentual de acerto entre 35% e 65%

Difícil: percentual de acerto entre 15% e 35%

Muito Difícil: percentual de acerto inferior a 15%

DISCRIMINAÇÃO

Índice que analisa o percentual de acerto em dois grupos, chamados de menor e de maior desempenho, que correspondem a um recorte dos alunos da turma que realizaram a prova. O grupo de menor desempenho é constituído por aproximadamente 27% dos estudantes que obtiveram os menores escores (número de acertos) em toda a prova de matemática. Analogamente, o grupo de maior desempenho também possui contingente parecido do aluno, mas que obtiveram os maiores escores na prova. O índice de discriminação é calculado a partir da diferença do percentual de acerto desses dois grupos no item, sendo que seu propósito é comparar o desempenho desses dois grupos opostos na realização de uma determinada tarefa proposta na prova, verificando assim se o item apresentado tem a propriedade de diferenciar o desempenho daqueles que obtiveram os melhores resultados no teste daqueles que conquistaram os resultados mais tímidos. Em geral, índices de discriminação mais baixos normalmente são observados em itens extremos, ou seja, considerados muito fáceis, em que uma imensa maioria acerta, ou de itens muitos difíceis, que estão relacionados a ideias mais complexas e que se mostraram pouco consolidadas, mesmo para estudantes com bons desempenhos gerais na área de conhecimento. Em contrapartida, itens com bons índices de discriminação decorrem de tarefas cujo conhecimento necessário para sua resolução está bem consolidado no grupo de maior desempenho, mas não está para o grupo de menor desempenho.



A partir dos dados é possível observar o baixo número (4) de itens na prova Ciências que apresentaram índice de discriminação ruim, região alaranjada do quadro. Nesses casos, o percentual de acerto dos estudantes que tiveram melhor desempenho global na prova foi muito próximo daqueles que tiveram um desempenho global ruim. Também é possível notar que a maior parte das questões presentes na prova apresentou nível mediano de dificuldade, sendo que os demais se distribuíram de maneira próxima entre fáceis e difíceis.