Identidade por Jorge Buescu

Os resultados das Provas de Aferição do Ensino Básico, anunciados a 4 de Outubro passado, foram comentados pelo Secretário de Estado João Costa como sendo “catastróficos” e, com base neles, foram anunciadas uma série de medidas ou intenções, incluindo a criação de “uma equipa de especialistas para acompanhar o currículo da Matemática, com vista à concepção de instrumentos de acompanhamento e produção de recomendações”. 

Uma vez mais a Sociedade Portuguesa de Matemática foi afastada pelo Sr. Secretário de Estado da integração de grupos de trabalho ministeriais para o ensino da Matemática, à imagem do que se passou e passa com o Grupo de Trabalho para as Aprendizagens Essenciais, que entra agora no seu segundo ano de trabalho e do qual a SPM foi liminarmente excluída. O Sr.  o SEE, contudo, retirou já algumas conclusões a priori, como por exemplo que não é "por ter havido um aumento das horas de aulas a Matemática [determinado pelo ex-ministro Nuno Crato] que os resultados se alteram”. 

Fica pois demonstrado, uma vez mais, o total desinteresse que este Ministério da Educação tem em contar com a SPM como parceiro para o Ensino da Matemática – situação tanto mais chocante quanto a SPM sempre foi, ao longo das últimas quatro décadas, um parceiro leal e cooperante de todos os Ministérios da Educação, fosse qual fosse a sua orientação política. 

Entretanto a Direcção-Geral de Educação solicitou, a 7 de Outubro, um parecer à SPM sobre as Provas de Aferição. Segue-se o essencial desse parecer. 

---

                                                                                                                 

PARECER DA SPM SOBRE OS RESULTADOS DAS PROVAS DE AFERIÇÃO

1. Análise 

A. Quadro histórico em que surgem as provas de aferição e considerações

As avaliações externas PISA (2000) e TIMSS (1995) permitiram que Portugal encarasse o desafio de melhorar a Educação como uma prioridade e iniciasse um processo de reorientação do ensino e da avaliação através de uma progressiva aplicação de medidas ao longo de vários anos. Foi um processo que permitiu construir um sistema educativo mais robusto e com uma maior qualidade, comprovada, por exemplo, através dos resultados alcançados nos grandes estudos internacionais PISA e TIMSS, que têm subido constantemente desde 2000. 

Em cerca de 15 anos Portugal alcança resultados extraordinários em ambas as avaliações. No PISA, ao passar de resultados ao nível dos países mais atrasados da OCDE para valores acima da sua média em 2015; no TIMSS, ao registar neste período o maior progresso alguma vez verificado por qualquer país, colocando-nos em 2015 acima da média dos países participantes. Várias foram as medidas tomadas na avaliação dos alunos ao longo deste período. Introduziram-se provas de aferição (em 2000, no 4.º ano, e em 2001, no 6.º) que se vieram a mostrar pouco eficientes pelo facto de os seus resultados não terem efeito sobre as avaliações finais de ano. A falta de empenho dos alunos face a um diagnóstico deste tipo, e também o fraco envolvimento que provocou sobre as escolas, professores, pais e encarregados de educação, acabou por fragilizar esta medida. O diagnóstico que se pretendia do sistema mostrou-se, naturalmente, inconclusivo. A indefinição do valor dos resultados e o fraco impacto na melhoria do desempenho dos alunos foram fatores decisivos na ponderação de outro tipo de provas de avaliação a nível nacional. 

A tutela dá então novos passos no sentido do rigor na avaliação, substituindo as provas de aferição por provas de avaliação final de ciclo – em 2005 (9.º ano), em 2012 (6.º ano) e em 2013 (4.º ano). Com estas provas pretendeu-se dotar o sistema de um diagnóstico tanto individual como de escola e, simultaneamente, obter informação rigorosa, detalhada e transparente sobre o desempenho das escolas e sobre a qualidade global do sistema educativo.

Inesperadamente, em Dezembro de 2015, sem qualquer período de análise participada, contra pareceres de várias entidades¹, sem justificação de teor pedagógico ou científico ou qualquer estudo que o fundamente, estas provas são revogadas sem serem substituídas por outra medida que nos permita, a partir daí, seguir sem ambiguidades o percurso dos alunos. Parte do próprio ME a desvalorização destas provas de aferição, afirmando repetidamente a tutela que perante essas provas os jovens “não têm que se inquietar”, nem “têm de se preparar especialmente para as provas de aferição”, nem mesmo desenvolver “atividades de treino”. As provas de aferição são assim desvalorizadas à partida, transmitindo-se aos alunos e encarregados de educação a ideia de que os seus resultados não contariam para nada, a não ser para “tirar uma fotografia ao sistema” e compreender "se um aluno teve ou não condições para realizar as tarefas". ²  

¹_{Entre as quais o Conselho Nacional de Educação e o Conselho de Escolas:}  

_{http://www.cnedu.pt/pt/noticias/cne/1078-parecer-e-relatorio-tecnico-avaliacao-das-aprendizagens-dos-alunos-no-ensino-basico;}

_{http://www.cescolas.pt/wp-content/uploads/2016/02/Parecer_02_2016_Avalia%C3%A7%C3%A3o_Alunos.pdf} 

² _{conforme declarações do Ministro da Educação e do Secretário de Estado à imprensa:}

 _{Jornal público de 12 de janeiro de 2016 –  https://www.publico.pt/2016/01/12/sociedade/noticia/ministro-da-educacao-diz-que-era-urgente-corrigir-erros-dos-exames-1719988;} 

_{Diário de Notícias de 26 de abril de 2017 – https://www.jn.pt/nacional/interior/alunos-conhecem-enunciados-cinco-dias-antes-das-provas-de-afericao-6245405.html}

Com a introdução, a partir de 2016, de provas de aferição nos 2.º, 5.º e 8.º anos de escolaridade, Portugal ficou sem a possibilidade de obter dados gerais acerca do sucesso dos alunos no final dos dois primeiros ciclos do Ensino Básico, e também sem a possibilidade de cada escola poder avaliar o impacto das medidas aplicadas e dos seus progressos. Interrompe-se uma longa série de dados que tem possibilitado acompanhar o percurso da aprendizagem da Matemática. 

B. Valor dos resultados das provas de aferição

Os resultados das provas de aferição não podem ser analisados sem ter em conta tanto o historial atrás relatado, como os factos a seguir referidos.

1. Se o alegado objetivo das aferições é “tirar uma fotografia ao sistema” a meio de um ciclo, e se cada vez que for tirada a fotografia o cenário não for o mesmo (as disciplinas a avaliar mudam de ano para ano, tal como os alunos), os resultados que estas provas apresentam não permitem mais do que estabelecer medidas de escola que superem dificuldades daqueles alunos. Desta forma, não é possível acompanhar os progressos dos alunos ou ter informação inequívoca que permita ponderar correções no sistema.

2. A desvalorização, quer pelos agentes no terreno, quer pela própria tutela, das provas de aferição enquanto inconsequentes põem directamente em causa a credibilidade e fiabilidade dos resultados das aferições. Não seria pois de estranhar que a correlação destes com o de outras medidas de desempenho (provas internas, provas nacionais, estudos internacionais) fosse quase inexistente.

3. Nestas condições, os resultados das provas de aferição não oferecem qualquer garantia de fiabilidade, não sendo, pois, legítimo tirar conclusões de natureza idêntica às tiradas em provas finais de ciclo com ponderação na nota final dos alunos. 

Todas estas questões tinham sido já objecto de alertas ao ME em tempo útil. Elas são agora reforçadas pelo facto de que todos os dados objectivos de que dispomos – avaliações internas, provas de avaliação externa (provas finais) e as avaliações internacionais PISA 2015 e TIMSS 2015 –, que nos permitem certificar objectivamente a robustez dos grandes progressos no sistema educativo, estão em contradição com os resultados das provas de aferição agora apresentados. 

Com efeito, dos resultados agora conhecidos relativos à Matemática verifica-se que:

a) o resultados das aferições agora divulgados estão significativamente abaixo dos obtidos na avaliação interna;

b) por sua vez, os resultados da avaliação interna e os das provas finais (exames) estavam até à ultima aplicação (2015) alinhados e a evoluir no sentido de uma progressiva melhoria; 

c) esta tendência é, ainda, confirmada com os resultados das provas internacionais TIMSS 2015 e PISA 2015, nas quais se registaram progressos notáveis; 

d) a principal vantagem das provas finais nacionais é induzirem um maior esforço de reflexão e de trabalho individual por parte de cada aluno, o que faz consolidar conhecimentos e criar as condições para um maior sucesso nos anos subsequentes. 

Estamos perante uma contradição irredutível. Por um lado, verificam-se progressos, concomitantes e alinhados, nas avaliações internas, provas finais e avaliações internacionais até 2015. Por outro lado, verificam-se resultados catastróficos nas aferições de 2017. Esta contradição entre os dados das aferições e de todas as outras métricas de avaliação será, talvez o ponto que exige uma maior reflexão. 

A SPM sugere à tutela a exploração das seguintes hipóteses.  

a) Face a um indicador quantitativo que assinala tendências contrárias a todos os outros será prudente verificar a adequação das provas, bem como se a análise é conclusiva em temos dos verdadeiros desempenhos. Por exemplo, numa prova em que um determinado domínio é avaliado com uma única pergunta, não parece legítimo concluir sobre os conhecimentos gerais nesse domínio (o que acontece, por exemplo, no domínio da “Organização e Tratamento de Dados”, no 2.º ano). Não será, pois, admissível extrapolar que um aluno tem ou não tem seguros conhecimentos sobre o tema.

b) Se o ME não aceita que a aplicação destas provas é inconclusiva, os resultados catastróficos nas aferições de 2017 face à tendência de progresso revelado por todos os outros indicadores (provas internas, exames, PISA e TIMSS) até 2015 representam uma degradação muito preocupante do sistema educativo em dois anos, que compete ao Ministério explicar.

Conclusões

1. A SPM sublinha que uma aferição com esta natureza, e a meio do ciclo, não pode substituir a avaliação no final de ciclo. Uma prova com estas características não permite o acompanhamento eficaz dos alunos por parte de pais e professores, sendo inútil para uma avaliação global do sistema.  

2. Tal como era expectável, ao fim de dois anos de aplicação, estas provas revelaram-se inconsequentes e os seus resultados inconclusivos. Por um lado, foram naturalmente desvalorizadas por alunos, professores e pais por não terem impacto na avaliação. Por outro, não permitem acompanhar o percurso dos alunos ao variarem as disciplinas a avaliar em cada ano. 

3. As provas de aferição, com a actual estrutura, não promovem a aquisição e consolidação de conhecimentos, o desenvolvimento de capacidades ou a exigência. 

4. Como já se tinha concluído há uma década, um processo que não promova o empenho, o estudo e o treino não possui fiabilidade objectiva enquanto métrica de avaliação. 

5. Os resultados destas provas não permitem sustentar conclusões como as extraídas pelo ME nem podem legitimar a adopção de medidas a tomar relativas ao sistema educativo.

6. Finalmente, a SPM não pode deixar de alertar o ME, as escolas e os professores para os eventuais danos que possam a vir a ser causados no percurso dos alunos em consequência da desorientação de várias medidas tomadas sem qualquer fundamentação, de que as presentes Provas de Aferição são exemplo acabado, num momento em que todos os indicadores objectivos revelavam progressos sustentados no desempenho dos alunos.

2. Medidas

A SPM alerta que o ano 2014-2015 foi o último ano em que obtivemos dados de avaliação externa de final de ciclo dos nossos alunos. Estes vinham a ser acompanhados desde 2000 e a análise destes dados quantitativos foi decisiva na adopção de medidas concretas de política educativa no período 2000-2015. Os dados das provas de aferição, pelo contrário, não têm comparabilidade com outros; consequentemente, o seu valor absoluto não sustenta, em si, mais do que medidas de escola. 

Por tudo o que foi exposto, a SPM manifesta ao ME, antes de mais, a necessidade de 

• Avaliar consistentemente se o nível de empenho dos alunos para provas de aferição permite continuar a aplicá-las, tal como estão desenhadas; 

• Munir o sistema de instrumentos fiáveis que permitam seguir os desempenhos no final de ciclo.

Por outro lado, a SPM considera essencial, em prol da estabilidade do sistema e do trabalho das escolas, estabelecer um plano que permita auxiliar as escolas e apoiar os professores na execução dos novos programas e das metas curriculares de Matemática, imprescindível e habitual aquando da implementação de novos programas, e que até hoje, apesar dos sucessivos alertas da SPM neste sentido, não foi concretizado.