Uma Nova Abordagem para Reportar Pontuações Agregadas de Crescimento Estudantil
8 de dezembro de 2021
Atualmente, 48 estados nos Estados Unidos medem o crescimento do desempenho dos alunos como parte dos seus programas estaduais de testes para alunos do ensino básico e secundário. Frequentemente, as medidas de crescimento são usadas como parte dos sistemas de responsabilização para distritos, escolas ou até professores, para dar uma visão mais completa do desempenho dos alunos do que apenas o desempenho atual. Estes sistemas utilizam a média do crescimento individual dos alunos para todos os alunos de um distrito, escola ou turma de um professor. Embora esta abordagem possa parecer à primeira vista uma forma prática e direta de resumir o progresso dos alunos, pode, na realidade, revelar-se problemática.
A média das medidas de crescimento para escolas, distritos ou professores com poucos alunos pode resultar em flutuações substanciais de ano para ano. Uma escola pequena, por exemplo, com uma medida de crescimento elevada num ano, classificando-a no 90.º percentil, pode ter um valor baixo no ano seguinte, colocando-o apenas no 10.º percentil. Estas mudanças de ano para ano podem dificultar a utilização da média do crescimento dos alunos para a tomada de decisões. Dado que estas decisões podem muitas vezes estar ligadas a elevados riscos, implicações de financiamento e outras considerações que afetam alunos, escolas e distritos, é fundamental que estas medidas sejam precisas e forneçam informações acionáveis.
Nos últimos anos, temos trabalhado com o Departamento de Educação da Califórnia (CDE) para os ajudar a compreender melhor as formas de medir e reportar o crescimento do desempenho dos alunos no seu estado. Perante as elevadas flutuações de ano para ano, a Califórnia estava incerta se deveria ou como avançar para implementar as suas medidas de crescimento. Como resultado, procurámos encontrar uma forma de melhorar as medidas de crescimento (agregadas) do estado e eliminar a instabilidade excessiva das medidas para escolas ou distritos que servem um pequeno número de alunos ou para grupos de alunos de baixa incidência dentro de qualquer um deles, como alunos com deficiência ou aprendizes de inglês (ELs).
Durante o nosso trabalho, recorremos a um método estatístico padrão conhecido como Previsão Empírica Linear (EBLP) para melhorar a precisão e, consequentemente, reduzir as flutuações ano para ano das medidas de crescimento. Este método estatístico é frequentemente utilizado em várias aplicações para fornecer medidas para múltiplos grupos, como resultados de pacientes em hospitais ou níveis de literacia para condados de um estado. A nossa equipa desenvolveu a metodologia necessária e algoritmos e códigos informáticos para aplicar este método EBLP a dados de crescimento, para os quais podem existir mais de um milhão de medidas individuais de crescimento de alunos e centenas ou até milhares de escolas.
O método EBLP não é um novo modelo de crescimento estudantil. Pode ser aplicado a qualquer tipo de pontuação de crescimento estudantil, desde pontuações simples de ganho (por exemplo, pontuação do ano corrente menos pontuação do ano anterior) até Percentis de Crescimento dos Alunas mais complexos . O poder do procedimento EBLP reside em utilizar de forma ótima dados de pontuação de crescimento estudantil de vários anos para produzir uma melhor estimativa da pontuação de crescimento do grupo no ano de reporte do estado. Simplificando, as pontuações agregadas de crescimento EBLP são aproximadamente uma média ponderada das pontuações de crescimento dos alunos de dois ou mais anos letivos, em vez de uma média simples das pontuações apenas do ano de reporte.
Além disso, o método EBLP adapta-se ao tamanho do grupo. Para grupos maiores que já têm estimativas mais precisas e estáveis, a pontuação agregada de crescimento EBLP é quase idêntica à média simples. Coloca quase todo o peso nas pontuações de crescimento dos alunos no ano de reporte e pouco ou nenhum peso nas pontuações de crescimento dos alunos de anos anteriores. Por outro lado, para grupos mais pequenos, o procedimento EBLP atribuirá algum peso não trivial às pontuações de crescimento do ano anterior, pois pode ajudar a informar o crescimento do grupo de alunos no ano de reporte. Nestes casos, a EBLP diferirá mais visivelmente da média simples, mas também será mais precisa e estável do que a média simples. O resultado global é que as médias ponderadas pelo EBLP terão um impacto maior na melhoria da precisão e estabilidade de grupos mais pequenos, reduzindo a diferença de desempenho entre grupos menores e maiores. Usando este método, os estados com escolas e distritos que tendem a ter populações estudantis menores ou grupos de alunos pequenos dentro das escolas e distritos deixarão de ser penalizados simplesmente por servirem menos alunos do que os maiores.
Utilizando esta metodologia EBLP, partilhámos os resultados da nossa equipa com o CDE, cujos colaboradores ficaram intrigados com o método como uma possível solução para as elevadas flutuações anuais observadas nas suas pontuações agregadas de crescimento e pediram que explorássemos o seu potencial para melhorar a estabilidade das medidas de crescimento para escolas e distritos escolares em todo o estado. A investigação realizada pelo ETS e pelo CDE revelou que o EBLP melhorou a precisão e a correlação entre anos das medidas de crescimento, especialmente para escolas e distritos escolares pequenos. Dado o sucesso da nossa abordagem proposta, o Conselho Estadual de Educação da Califórnia votou recentemente por unanimidade a favor da aprovação do uso da abordagem EBLP para reportar o crescimento escolar e distrital, bem como o crescimento dos grupos estudantis dentro das escolas e distritos.
Saiba mais sobre este trabalho ou sobre os nossos Serviços de Consultoria em I&D.
Katherine Castellano é cientista sénior de investigação na ETS. Dan McCaffrey é vice-presidente associado na ETS.