Os itens que compõem uma avaliação e suas características Em qualquer avaliação, a parte mais importante para um bom diagnóstico da população avaliada, é a qualidade dos itens que a compõe. Em avaliação educacional em larga escala os itens, ou questões, devem ter uma estrutura que garantam sua eficácia e eficiência. Dada a importância na qualidade dos itens para a composição das provas em avaliações em larga escala, cada vez mais, cursos que visam a elaboração e a revisão de itens são oferecidos. Na mesma linha, a Secretaria da Educação de São Paulo ofertou em 2017 às 91 Diretorias de Ensino um curso dessa natureza, também elaborou um guia “Roteiro para a Elaboração de Itens de Múltipla Escolha”. Para que um item possa compor uma avaliação em larga escala, ele precisa atender a alguns critérios pedagógicos e técnicos. Pedagogicamente falando, o item deve favorecer uma leitura clara e objetiva. O aluno precisa compreender o que o item pergunta. Mesmo que o aluno não tenha condições de resolvê-lo, ele precisa saber o que está sendo perguntado. Além disso, o contexto em que o assunto é abordado no item deve permitir que o aluno possa interpretar as informações apresentadas e utilizá-las para chegar a uma resposta. Isso não implica que o contexto deva ser real ou do cotidiano do aluno, mas que ele possa construir um raciocínio lógico por meio das informações ali apresentadas. Desde um item cujo texto base seja apenas o comando da questão, por exemplo, “Qual o produto de 5 x 3? ”, até aquele que depende de alguns suportes como gráficos, imagens ou textos de terceiros, o contexto deve estar à altura da interpretação do aluno. No primeiro exemplo o contexto é a própria Matemática, que para fazer sentido, o assunto abordado deve ser significativo para o aluno. O mesmo é possível dizer do segundo exemplo, que mesmo possuindo mais elementos, esses devem servir a uma narrativa condizente àquele que a constrói em sua leitura. No texto base não deve haver informações desnecessárias à resolução da questão, pois elas poderiam interferir negativamente no raciocínio do aluno, prejudicando os resultados do teste. Nas avaliações processuais podem haver outros critérios em que se justifica informações mais amplas, não é o caso das avaliações externas em largar escala. Quando o item é na forma de resposta construída pelo aluno, também chamadas de “questões abertas”, há ainda a necessidade de o avaliador analisar atentamente a construção do raciocínio do aluno perante seus registros. Dessa forma o elaborador precisa levantar hipóteses que possam ser testadas via registros do respondente. Essas hipóteses se consolidam em categorias de respostas. As categorias de respostas auxiliam a correção de um item de resposta construída na medida em que é possível atribuir pesos a cada categoria assim tornando mais justo o processo de mensuração da proficiência de cada aluno. De outra parte, o item de múltipla escolha fornece algumas alternativas de respostas em que o respondente deve escolher somente uma alternativa entre aquelas apresentadas. Dessa forma, é necessário que uma, e somente uma, alternativa seja o gabarito da questão. Para garantir a eficiência e a eficácia nesse tipo de item, o elaborador deve tomar alguns cuidados na construção dessas alternativas. Entre esses cuidados podemos destacar a plausibilidade. Mesmos as alternativas que não sejam o gabarito, chamadas de distratores, precisam fazer sentido diante do enunciado da questão, caso contrário, ela poderia ser descartada pelo respondente apenas por eliminação do sentido. Os distratores podem trazer informações importantes sobre como a aluno raciocinou para chagar a essa resposta, auxiliando assim um diagnóstico mais preciso por parte do examinador. Nesse sentido, nem os distratores nem o gabarito podem se destacar perante às outras alternativas, ou seja, não podem ser atrativas a ponto de chamar mais atenção que as demais. Isso implica em respostas com extensões parecidas, mesma estrutura gramatical, entre outras particularidades. Tecnicamente falando, na avaliação em larga escala, e principalmente nesse tipo de avaliação, a mensuração do nível de proficiência precisa ser cientificamente efetivada, garantindo que esses resultados sejam precisos e confiáveis. Por isso utilizam-se várias técnicas na elaboração, na aplicação e na correção das provas nesse tipo de avaliação. Um procedimento técnico atualmente utilizado na elaboração e na correção das provas é a TRI – Teoria de Resposta ao Item. Usando esse procedimento, é possível estabelecer um nível de dificuldade a cada item e, dessa forma, é possível construir um teste que se aproxime do conhecimento dos alunos. Após a aplicação da mesma, analisando os itens respondidos corretamente pelos estudantes, é possível inferir seu nível de proficiência. Quando uma avaliação em larga escala é realizada com provas que contém questões idênticas, pode-se tratar as proficiências aferidas individualmente, como é o caso do ENEM – Exame Nacional do Ensino Médio. Porém, quando as provas não podem ser idênticas, pois é preciso variar uma grande quantidade de questões e de habilidades, cada aluno realiza uma prova diferente. Assim, é mais preciso utilizar a proficiência da turma de alunos, como é o caso do SARESP – Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo. Enfim, conhecer como se estrutura um item, seja ele de resposta construída ou de múltipla escolha tem uma importância muito grande, mesmo que não seja para a aplicação em avaliação em larga escala. Conhecer a estrutura de um item auxilia o educador a produzir suas próprias avaliações de forma mais adequada e eficiente, auxiliando na consequente identificação das possíveis dificuldades do aluno, melhorando seu diagnóstico para propostas mais adequadas para posterior atuação. Em se tratando de avaliação em larga escala, conhecer a estrutura de um item auxilia o educador nas análises dos resultados fornecidos pelas avaliações de sistema. Destarte, os itens bem formulados fazem sentido para o aluno e os resultados dos testes que os contém fazem sentido para o avaliador. Portanto, seja na avaliação de sistema ou de sala de aula, os itens que a compõe constituem seu mais importante elemento. São o corpo e a alma da avaliação. Juvenal de Gouveia Diretor Técnico Centro de Planejamento e Análise de Avaliação Secretaria da Educação do Estado de São Paulo As Funções dos Processos de Avaliação no Planejamento de um Sistema Escolar O planejamento de um sistema ou unidade escolar é uma forma de produzir meios e indicadores de controle da dinâmica da realidade escolar. Assim posto, a definição e o entendimento de eficácia e eficiência, duas dimensões de qualidade no processo de escolarização, se fazem necessários à medida que o processo educacional sistemático exige um planejamento e, inevitavelmente, tem uma estrutura hierárquica de decisão (organograma) e a racionalidade desse planejamento educacional que dará validade ao processo de escolarização. A eficácia e eficiência são dois atributos básicos da educação de qualidade para todos os que haverão de constituir-se em foco da ação pública no terreno da educação. É preciso identificar em que medida se é eficaz na conquista de aspectos que traduzam em termos concretos o direito a uma educação de qualidade para toda a população. É necessário analisar em que medida a operação pública é eficiente, respeitando o direito do cidadão para que seu esforço material seja adequadamente reconhecido e retribuído. A eficiência não é um imperativo economicista, senão uma obrigação derivada do respeito à condição e direitos individuais universais. UNESCO, /MEC/ESPANHA. Declaração de Salamanca sobre os Princípios, a Política e as Práticas na área das Necessidades Educativas e um Enquadramento da Ação. Salamanca, Espanha, 1994. A eficácia de um programa de escolarização diz respeito diretamente ao valor e viabilidade de seus objetivos educacionais, se relacionando com a utilização pela sociedade do produto ou da transformação social gerados pelo aluno enquanto sujeito e usuário do programa, ou seja, um programa de escolarização será mais eficaz se fornecer maiores subsídios ao aluno para responder às demandas do sistema social, na medida que a educação é entendida como uma técnica de evolução social. Portanto, a dimensão de eficácia do programa de escolarização é focada no aluno. A avaliação educacional pode ser compreendida como um processo que coleta, analisa e interpreta evidências relativas à eficácia e à eficiência da estrutura de decisões do programa de escolarização. Destaca-se que, pelo entendimento da dimensão de eficácia do programa de escolarização, o processo de avaliação precisa prever que o programa de escolarização é um sistema de interação permanente com o ambiente físico, cultural e socioeconômico no qual a unidade escolar e o aluno estão inseridos e, mesmo estando dentro de uma estrutura sistêmica una, a unidade escolar e o aluno apresentam características individualizadas, logo o controle sobre os fatores de contexto associados ao rendimento escolar do aluno são imprescindíveis na análise dessa dimensão, isto é, da medida da eficácia do programa. Já a dimensão de eficiência de um programa de escolarização diz respeito também aos objetivos educacionais, porém considerando se esses objetivos foram atingidos pela maioria dos alunos e da melhor maneira possível. Assim, a dimensão de eficiência busca aferir o resultado do coletivo, possibilitando definição de indicadores que descrevam a sua evolução ao longo do processo de escolarização. Por exemplo, distribuição dos alunos nos diferentes níveis de proficiência, definidos pela instância superior que detêm a decisão do sistema educacional, por meio da Escala de Proficiência, estabelecida a partir das competências e habilidades previstas, para cada ano de escolarização, na Matriz de Referência de Avaliação. Evidentemente, no âmbito da unidade escolar, para o planejamento educacional ser válido e fornecer indicadores precisos da dimensão da eficácia (aluno) e da eficiência (unidade), esse controle (processo de avaliação educacional) tem que estar fundamentado no fazer da equipe escolar que, necessariamente, deve pensar, raciocinar, agir segundo a razão, não por meio do senso comum. Um planejamento escolar baseado apenas no senso comum leva a equipe escolar a pensar apenas o que lhe é permitido e sua conclusão já está posta, antes mesmo de chegar a ela pela reflexão dos resultados obtidos na avaliação, dando-lhe a ilusão de que a origem dos resultados está na razão. Neste caso é comumente observável que, quando os resultados frustram a equipe escolar, ela justifica o pouco avanço ou fracassos da dimensão da eficiência fora do trabalho escolar, buscando associar os resultados, exclusivamente, aos fatores de contexto que, pela complexidade de solução ou capacidade de interferência da equipe, conclui pela aceitação do resultado, pseudovalidado pela razão, e na acomodação do trabalho escolar. Faz-se, assim, uma ciranda não virtuosa e o planejamento escolar resultará no mesmo em anos consecutivos. A razão está no fato de que o ato de “planejar” implica numa seleção de objetivos e estratégias e a decisão sobre a adequação é feita por meio de sucessivos processos de avaliações, em diferentes momentos, que se constituem em ações efetivas da racionalidade dos processos decisórios. Assim, está posta a origem dos processos avaliatórios de sistemas ou unidades de ensino se constituírem por instrumentos de medidas aferidos, cuja finalidade é produzir informações capazes de confirmar ou modificar as próprias decisões e ações do planejamento, funcionando como dispositivos autorreguladores do sistema educacional. Portanto, a avaliação do rendimento escolar de um sistema ou unidade escolar deve ser praticada como uma “atribuição de qualidade”, segundo o entendimento das dimensões de eficácia e de eficiência, aos resultados da aprendizagem dos alunos sob a responsabilidade compartilhada pelo sistema e/ou unidade escolar, tendo por base seus aspectos essenciais e, como objetivo final, uma tomada de decisão que direcione o aprendizado e, consequentemente, o desenvolvimento dos alunos ao longo de sua escolaridade, segundo a perspectiva da psicopedagogia, onde educação também pode ser concebida como um processo de influência interpessoal, o ensino, visando a produção de mudanças comportamentais e da proficiência cognitivas do aluno, a aprendizagem. Nesse sentido o processo de avaliação deverá: ● Coletar, analisar e sintetizar, da forma mais objetiva e precisa possível, as manifestações das competências cognitivas, afetivas e psicomotoras, segundo o contexto socioeconômico, de capital cultural e do clima institucional, produzindo uma “configuração do efetivamente aprendido”, ou seja, a definição da proficiência, e que permita analisar os fatores de contexto associados à realidade do sistema e/ou unidade escolar. ● Atribuir uma qualidade a essa “configuração” da aprendizagem, a partir de um padrão de proficiência preestabelecido e admitido como válido pela comunidade. Promover a análise e a interpretação dos dados é aspecto primordial para o processo decisório e pode ocorrer de diversas formas, após a prévia coleta e mensuração das informações.  A decisão da adequação de objetivos e estratégias estabelecidos no planejamento é assegurada por pelo menos quatro momentos de avaliação, que devem estar da sistematicamente previstos no processo de planejamento. Cada momento, com característica singular e bem definido, recebe uma denominação, como avaliação: ● diagnóstica que antecede a elaboração do planejamento pelo sistema e/ou unidade escolar; ● “ex ante” posterior à elaboração do planejamento, mas anterior à sua aprovação pelo órgão ou instância competente. Nesses dois momentos de avaliação o conhecimento do sistema e/ou unidade escolar, relativo ao perfil do corpo docente, às condições de trabalho e ao perfil do corpo discente, é condição fundamental para decisão dos objetivos, comumente denominados por metas. Já a racionalidade dos processos de execução previstos no planejamento, por sua vez, é assegurada pelos outros dois momentos denominados como avaliação: ● “in processu” que acompanha a própria execução do plano; e ● “ex post”, posterior à obtenção de resultados. A finalidade de todos esses momentos de avaliação é produzir informações capazes de confirmar ou modificar as próprias decisões e ações dentro do planejamento. Todos os processos avaliativos de sistemas e/ou unidades de ensino baseados no aproveitamento escolar, mas não exclusivamente já que, como relatado, o conhecimento dos fatores de contexto são igualmente fundamentais, são praticados objetivando dar condições às diferentes instâncias de decisão, terem informações que subsidiem os quatros momentos fundamentais de avaliação do processo de planejamento escolar e definir um indicador de qualidade aos resultados da proficiência cognitiva dos educandos, tendo por base seus aspectos essenciais e, como objetivo final, uma tomada de decisão que direcione o aprendizado e, consequentemente, o desenvolvimento do educando. Logo, implicitamente, há o entendimento da necessidade de que, ao planejar, a equipe escolar detenha o conhecimento e compreensão das habilidades e competências descritas na Matriz de Referência da Avaliação, bem como da Escala de Proficiência para todo o programa de escolarização avaliado (larga escala). A avaliação da Educação Básica do Estado de São Paulo, denominado SARESP – Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo, utiliza procedimentos metodológicos formais e científicos cada vez mais aprimorados para coletar e sistematizar dados e produzir informações sobre o desempenho dos alunos, atualmente, ao final do 3o, 5o, 7o e 9o anos do Ensino Fundamental e 3a série do Ensino Médio em Língua Portuguesa e Matemática. A aplicação da Teoria de Resposta ao Item (TRI) é de fundamental importância na apuração dos resultados de proficiência em uma avaliação de larga escala. Com base no pressuposto de que o desempenho de um aluno em um determinado item de prova se explica em função de um conjunto de fatores ou traços latentes (aptidões, habilidades, proficiência, etc.). A TRI descreve a relação entre o desempenho na prova e o conjunto de traços latentes pela Função ou Curva Característica do Item – CCI, na qual se observa que os alunos com aptidão maior, terão maior probabilidade de responder corretamente ao item e vice-versa. Com base nas respostas dadas pelo aluno, pode-se inferir sobre a proficiência dele, estabelecendo relações hipotéticas entre as respostas observadas desse aluno com o nível de sua proficiência no assunto abordado. Tania C. A. Macedo de Azevedo, et al – Sumário Executivo SARESP 2012. No que respeita à construção das provas, o SARESP embasa a concepção dos instrumentos de medida em Matrizes de Referência de Avaliação do SARESP, publicadas em 2009, para as áreas de Língua Portuguesa, Matemática, Ciências Humanas (História e Geografia), Ciências Naturais para o Ensino Fundamental e Ciências da Natureza (Física, Química e Biologia) para o Ensino Médio. Uma matriz de referência de avaliação pode ter muitas finalidades. A mais importante delas é o seu poder de sinalização das estruturas básicas de conhecimentos a serem construídas por crianças e jovens por meio dos diferentes componentes curriculares em cada etapa da escolaridade básica. Maria Inês Fini – Matrizes de Referência para Avaliação – Documento Básico – SARESP – 2009. No caso do SARESP, os conteúdos, competências e habilidades apontados na Proposta Curricular do Estado de São Paulo, para cada ano/série e disciplina do currículo, indicam as bases conceituais da matriz proposta para a avaliação e configuram-se as referências que possibilitam, de um lado, a construção das provas e por outro, a posição, segundo os níveis de proficiência, dos alunos que as realizarem. Os indicadores, relativos a esta posição, são obtidos por uma Escala de Proficiência, por intermédio da qual se define o quanto e o quê cada aluno ou escola realizaram no contexto desse exame. A Escala de Proficiência do SARESP, a partir de 2008, está na mesma métrica utilizada pelo Sistema de Avaliação da Educação Básica - Saeb, Prova Brasil, que é o exame nacional de referência para a Educação Básica do Brasil desde da versão de 1995. Portanto, os resultados obtidos pelos alunos paulistas nos dois processos tornaram-se passíveis de comparação. A partir de um estudo realizado na edição do SARESP 2013, os resultados dos alunos do 3o ano do Ensino Fundamental também estão posicionados na escala do Saeb. Até a edição de 2012, além das provas aplicadas aos alunos, o SARESP incluía aplicação de questionário de fatores de contexto a todos os atores da comunidade escolar. Em todas as edições do SARESP a análise pela TRI foi realizada pela aplicação do modelo logístico de três parâmetros, que inclui o índice de discriminação do item, o índice de dificuldade e o acerto ao acaso, ainda como parte dos procedimentos, foi analisado o comportamento dos itens de ligação, como recurso de calibração (quando necessário) e equalização dos testes nos diferentes anos/série avaliados. A intepretação pedagógica, com leituras críticas dos resultados de desempenho dos alunos em itens presentes nas provas do SARESP é apresentada nos “Relatórios Pedagógicos” das disciplinas avaliadas e integra a série de publicações do SARESP (até 2015 na forma impressa e a partir de 2016 na forma de revista eletrônica), com o propósito de servir de guia de trabalho pedagógico dos docentes. A cada edição do SARESP a Secretaria de Educação produz o boletim síntese dos resultados por escola. Assim posto, a execução do SARESP presta-se, entre outras, às seguintes finalidades: ● fornecer informações consistentes, periódicas e comparáveis sobre a situação da escolaridade básica na rede pública de ensino paulista; ● fornecer os resultados de Língua Portuguesa e de Matemática, de cada escola participante, para a composição do índice de Desenvolvimento da Educação do Estado de São Paulo (IDESP), como um dos critérios de acompanhamento das metas a serem atingidas pelas escolas (validação e decisão dos objetivos); ● aprimorar o planejamento pedagógico das escolas, em dois momentos: avaliação “ex ante” e “post ante”, mediante análise dos resultados e a comparação entre os resultados obtidos pela escola e seus objetivos (metas); ● desenvolver competências técnica e científica na área de avaliação da Educação Básica no Estado de São Paulo, fortalecendo entre as instâncias de decisão envolvidas. Os resultados dos alunos nas diferentes edições do SARESP não estão articulados à seleção ou promoção, mas à verificação de que competências e habilidades, entre as propostas para cada etapa de ensino-aprendizagem escolar, encontram-se em efetivo desenvolvimento ente os alunos. Coerente com seus objetivos, o SARESP como avaliação diagnóstica do sistema educacional, deve subsidiar a gestão educacional, os programas de formação continuada do magistério, o planejamento escolar e o estabelecimento de metas para o projeto de cada escola. Tania C. A. Macedo de Azevedo, et al – Sumário Executivo SARESP 2012. Um questionamento sempre recebido pelos especialistas em avaliação educacional em larga escala refere-se ao aproveitamento da nota de proficiência obtida pelo aluno em outras avaliações próprias do docente na sala de aula, ou seja: Atendidas as finalidades do SARESP junto ao sistema ou unidade de ensino, é possível utilizar o resultado obtido pelo aluno às provas para a compor promoção ou a classificação do aluno? O crescimento profissional do professor depende de sua habilidade em garantir evidências de avaliação, informações e materiais, a fim de constantemente melhorar seu ensino e a aprendizagem do aluno. Ainda, a avaliação pode servir como meio de controle de qualidade, para assegurar que cada ciclo novo de ensino- aprendizagem alcance resultados tão bons ou melhores que os anteriores. Bloom, Hasting, Madaus – Manual de Avaliação Formativa e Somativa do Aprendizado Escolar – 1983 – Ed. Pioneira Partindo do entendimento que a avaliação formativa busca identificar insuficiências principais em aprendizagens iniciais, necessárias à realização de outras aprendizagens e que ela providencia elementos para, de maneira direta, orientar a organização do ensino-aprendizagem em etapas posteriores de aprendizagem corretiva ou terapêutica, que deve ocorrer durante o ensino, o objetivo primeiro da aferição do aproveitamento escolar não será a aprovação ou reprovação do educando, mas o direcionamento da aprendizagem e seu consequente desenvolvimento. Portanto, a questão como formulada remete-se ao trabalho docente sobre a avaliação em processo e formativa, ou seja: a prova do SARESP também tem sua finalidade sobre a dimensão da eficácia, sobre a decisão das condutas docentes e discentes a serem seguidas, tendo em vista: ● a reorientação imediata da aprendizagem, caso sua qualidade se mostre insatisfatória e o conteúdo, habilidade ou hábito, que esteja sendo ensinado e aprendido, seja efetivamente essencial para a formação do educando?; e ● o encaminhamento dos educandos para passos subsequentes da aprendizagem, caso se considere que, qualitativamente, atingiram um nível adequado no que estava sendo trabalhado? Os níveis de desempenho descritos no SARESP têm uma interpretação à luz da Matriz de Referência da Avaliação, definida a partir de um recorte do Currículo do Estado de São Paulo, isto é, mesmo ocorrendo ao final de um ano letivo não se trata de uma avaliação curricular prevista para o final daquele ano/série avaliado, mas das habilidades previstas na Matriz de Referência. O desempenho é descrito em uma Escala de Proficiência acumulativa, em que a descrição dos pontos é atualizada a cada edição do SARESP, com base nos resultados de desempenho dos alunos na prova e de acordo com as habilidades detalhadas nas Matrizes de Referência para Avaliação. Os pontos da escala do SARESP, por sua vez, são agrupados em quatro níveis de proficiência – Abaixo do Básico, Básico, Adequado e Avançado, definidos a partir das expectativas de aprendizagem (conteúdos, habilidades e competências) estabelecidos para cada ano/série e disciplina no Currículo do Estado de São Paulo. No caso da avaliação do SARESP em 2017, para o 5o, 7o e 9o anos do Ensino Fundamental e 3a série do Ensino Médio, por exemplo, os alunos, de cada ano/série, foram avaliados por 104 questões objetivas de Língua Portuguesa e 104 questões objetivas de Matemática. Em cada uma das disciplinas avaliadas, cada conjunto de questões, distribuído segundo a metodologia dos Blocos Incompletos Balanceados – BIB, resulta em 26 modelos de cadernos de prova, organizados com 24 itens, de cada disciplina. Assim, um determinado aluno realiza uma prova com 24 questões e para uma mesma turma existem 26 cadernos de prova diferentes. A figura 1 apresenta 21 curvas de informação de cada caderno de prova de um processo de avaliação em larga escala modelo da Prova Brasil, utilizando-se 77 itens calibrados e metodologia BIB. Figura 1. Curvas de Informação de cadernos de prova de um processo de avaliação em larga escala. Como se pode observar, ainda que utilizando itens calibrados e ter sido empregada a metodologia BIB, as curvas de informação de cada caderno são próximas, mas não idênticas. Nas edições do SARESP, em decorrência ao modelo de prova com 24 itens e 26 diferentes cadernos de provas compostos pela distribuição de 104 itens, o que se tem são diferentes conjuntos de habilidades aferidas em cada caderno de prova. Em consequência, não há precisão na nota de proficiência individual do aluno. Deve-se destacar que esse não é um impedimento imposto pela metodologia adotada baseada na TRI. No caso do Exame Nacional do Ensino Médio – ENEM, onde também é empregada a TRI, mas não o BIB, cada aluno recebe 4 cadernos de prova com 45 questões objetivas. A diferença nas versões de cadernos de provas está na ordem de apresentação dos itens, mas todos os cadernos são constituídos pelos mesmo itens, consequentemente apresentam o mesmo conjunto de parâmetros de dificuldade, de acerto ao acaso e de discriminação e a mesma curva de informação. Uma possibilidade de compararmos resultados de avaliação em larga escala, empregando a TRI, com itens calibrados e provas diferentes para diferentes participantes, seria o emprego da metodologia do Teste Adaptativo Computadorizado – TAC, realizado eletronicamente, pelo computador, onde os itens pré-testados e calibrados, classificados segundo as habilidades previstas em Matriz de Referência da Avaliação, são apresentados em função dos erros e acertos de cada participante, até que haja uma convergência na proficiência dos itens acertados, isto é encontrando o ponto de saturação relativo ao posicionamento na escala de proficiência, sendo essa a própria proficiência do participante. Essa realidade já é empregada em vários processos de certificação profissional, na avaliação SAT - Scholastic Aptitude Test (Teste de Aptidão Escolar, aplicado em escala nacional, uma versão americana do ENEM). É um dos exames mais comuns dos EUA, utilizado pelas universidades americanas como um dos critérios em seus processos de admissão para a graduação), no TOEFL (Test of English as a Foreign Language, teste padronizado que mede a habilidade no inglês de um falante não nativo nos EUA), GMAT (Graduate Management Admission Test, teste de seleção para diversos programas de MBA nos EUA e de algumas instituições de ensino brasileiras), prova de inglês para pós-graduação da Universidade de Brasília, etc. Metodologicamente o Brasil já está preparado para realizar as provas no processo TAC, algumas empresas detêm a tecnologia e, com o avanço na informatização das escolas, essa realidade está muito próxima de acontecer e será a solução para melhoria da precisão do resultados, redução no prazo de divulgação da informação da nota do aluno e média de proficiência da escola e da rede, já que a informação será obtida em tempo real, após aplicação do exame e com redução de custos, já que todo processo de impressão e logística no transporte e operação reversa dos cadernos de provas deixará de existir. A Formação do Professor e o Saresp nos Anos Iniciais do Ensino Fundamental: reflexões sobre o uso pedagógico dessa avaliação Sabemos ser de fundamental importância o papel do professor na organização do trabalho pedagógico e na proposição, aos estudantes, de oportunidades que favoreçam, efetivamente, a compreensão e a utilização da Matemática como mais um meio de exercer a cidadania.  São muitas as expectativas sobre o perfil desse profissional diante da tarefa de realizar um ensino de qualidade e, em decorrência, há um debate crescente acerca de ações estratégicas de formação que favoreçam a reflexão do professor sobre o processo de ensinar. Nesse contexto, este artigo tem o propósito de refletir sobre limitações e possibilidades de utilização de resultados do Sistema de Avaliação do Rendimento Escolar de São Paulo (SARESP) como uma forma de potencializar a formação de professores no interior da escola. Para construir este texto, apresento as características do SARESP, discuto as possibilidades de utilização dos resultados dessa avaliação como objeto de reflexão na formação continuada e reflito sobre sua contribuição para o trabalho do professor, do professor coordenador e, consequentemente, para os alunos. E, finalmente, apresento uma experiência de uma escola da rede pública paulista. Em 1996, a Secretaria de Educação do Estado de São Paulo criou o Sistema de Avaliação do Rendimento Escolar de São Paulo (SARESP), que passou por diferentes versões, mas desde o início com o mesmo propósito: investigar, comparar e acompanhar o desenvolvimento da sua rede de ensino, de modo a permitir a gestão e a proposição de políticas públicas a partir de tais resultados. Essas informações são utilizadas por órgãos centrais para balizar ações governamentais, como, por exemplo, a elaboração dos currículos oficiais do Ensino Fundamental – a partir de 2008, para os anos finais; e, a partir de 2013, para os anos iniciais. Já no âmbito escolar essa avaliação pode auxiliar os professores a identificar e discutir as habilidades atingidas (ou não); a analisar a forma como ocorre a aprendizagem de determinado conteúdo; a refletir sobre sua própria prática; e a propor novas abordagens para os conceitos e os procedimentos ainda não consolidados. Por exemplo, em uma determinada escola foi possível constatar que os alunos resolvem problema envolvendo o cálculo da área de figura desenhado em malha quadriculada, por meio da contagem direta do número de quadrados que compõem a figura formada por alguns quadrados inteiramente coloridos. Todavia, ainda não calculavam área de um triângulo desenhado na malha, nem de uma figura na qual alguns quadrados estavam coloridos pela metade. Tal fato levou os professores a perceber que os alunos não haviam vivenciado situações que previam cálculo de área por meio de contagem da metade do quadriculado. Portanto, elaboraram sequências de ensino para desenvolver essa habilidade. É importante ressaltar ainda a necessidade de que o professor reflita também sobre as limitações de uma avaliação institucional. A Matriz de referência do SARESP permite a identificação de habilidades passíveis de serem verificadas por meio de avaliações escritas, todavia, ela não pode ser interpretada como o conjunto de indicações que norteará todas as habilidades e os conteúdos ou todas as estratégias metodológicas de ensino. Por exemplo, nas indicações contidas no currículo oficial Orientações Curriculares do Estado de São Paulo anos iniciais do Ensino Fundamental Matemática (SÃO PAULO, 2014, p. 20) há indicações para que se garanta a aprendizagem do cálculo mental, destacando o seu “papel fundamental”. Entretanto, ao analisar a matriz de referência, observamos que, apesar da sua importância, o cálculo mental não é diretamente avaliado, uma vez que ele não pode ser medido por meio de uma prova escrita de múltipla escolha. Ou seja, é importante que o professor atente ao fato de que nem todas as habilidades que precisam ser desenvolvidas pelos estudantes podem estar ali avaliadas e, neste caso, não considere o SARESP como única forma de avaliação. Ela é, sim, um importante meio de apoio à tomada de decisões, pois a avaliação deve ser entendida como um processo associado a um projeto educacional e social, e não como uma atividade meramente técnica. Diversos estudiosos discutem o “poder emancipatório” da reflexão sobre a prática e o relacionam ao desenvolvimento profissional docente. Tendo isso em conta, é oportuno considerar que a constituição de um grupo colaborativo de estudo poderia ser um fator essencial para que a reflexão sobre a prática realmente ocorra. E favoreceria também a aquisição de mais segurança e cumplicidade entre os professores, que já contam com um espaço privilegiado, na rede paulista, para o grupo de estudo e para a formação: a reunião semanal que ocorre nas escolas e a Aula de Trabalho Pedagógico Coletivo (ATPC). Em muitas escolas, o grupo de professores, com a participação do professor coordenador, realiza um trabalho interessante com o uso dos resultados das avaliações. A título de exemplo, apresento a narrativa de uma Professora Coordenadora sobre o trabalho desenvolvido em uma escola estadual. Vale ressaltar que, para preservar o anonimato, essa profissional utilizou nome de pedras preciosas para nomear os professores. Analisando esse relato, é possível observar que essa Professora Coordenadora aproveitou os resultados do SARESP para promover discussões sobre o currículo de matemática, tornando-o fonte de diálogo com o trabalho docente desenvolvido pelos professores da escola. Temos aqui um exemplo da potencialização da formação continuada por meio da utilização de resultados de avaliações externas. Dessa forma, os resultados do SARESP podem ser utilizados como fonte de autorreflexão e de reflexão sobre o ensino e a aprendizagem da Matemática pela equipe escolar. E, nessa tarefa, o papel central cabe ao professor que leciona matemática e também ao professor coordenador da escola, cujo desempenho profissional poderia ser estimulado, acolhido e desenvolvido pela participação  em um grupo colaborativo que poderia, entre outras tarefas,  refletir sobre as avaliações e fazer uso dos dados ali coletados.