Introdução de um novo ecrã interativo para compreender as alterações das pontuações NAEP dos estados para alunos com pontuações mais altas e mais baixas

A queda no desempenho dos alunos desde a pandemia de COVID-19 põe em risco o progresso da sociedade em geral. Visualizações de dados ponderadas podem ajudar a revelar como os alunos estão a evoluir e quais são os que mais precisam de apoio adicional para estarem preparados para o sucesso após o ensino secundário.

Em abril de 2025, o Conselho Nacional de Governação da Avaliação (NAGB) lançou uma ferramenta de dados NAEP para explorar como o país e os estados estão a evoluir no caminho da recuperação académica, utilizando as pontuações dos testes da Avaliação Nacional do Progresso Educacional (NAEP). A Figura 1 apresenta uma visão geral da ferramenta. Destaca alterações nas pontuações médias de uma nota (4.º ou 8.º ano) e de uma disciplina (leitura ou matemática) com gráficos de barras. A ferramenta de dados fornece um resumo dos pontos-chave dos dados, mas, como mostrámos num recente artigo no blogue ETS Research, histórias mais completas de mudanças no desempenho dos alunos muitas vezes escondem-se atrás de pontuações médias. Ou, como diz o mantra: "As médias podem ocultar mais do que revelar!"

_{Figura 1. Reprodução do gráfico de barras de variações de pontuação da era pandémica da NAGB para o país na leitura do 4.º ano.}

Fomos inspirados a criar um ecrã interativo para analisar as alterações de pontuação em todo o espectro de desempenho — porque se uma imagem vale mais do que mil palavras, um ecrã interativo vale muito mais! Neste artigo do blogue, destacamos o que esta nova ferramenta mostra sobre as mudanças no desempenho dos alunos antes e depois da pandemia em todos os 50 estados. Mesmo nos estados no topo do ranking NAEP, os alunos com pontuações mais baixas têm mais terreno a recuperar do que os seus pares com pontuações mais altas. Depois analisamos a funcionalidade do nosso ecrã interativo para que possa encontrar a próxima história nos dados.

_{Figura 2. Distribuições das pontuações de leitura do NAEP do 4.º ano de 2019 e 2024 para o país.}

Na Figura 2, utilizamos as distribuições nacionais de pontuações de leitura do NAEP do 4.º ano para 2019 e 2024 para mostrar como as pontuações de leitura mudaram do pré para o pós-pandemia. Para cada ano, apresentamos 5 pontos percentuais (disponíveis no NAEP Data Explorer), mostrando os pontos mais baixos (10.º e 25.º percentis), médios (50.º percentil) e altos (75.º e 90.º percentis) do espectro de desempenho dos alunos.

Comparar as duas distribuições de pontuação mostra-nos que, desde a pandemia, as pontuações caíram mais entre os alunos com pontuações mais baixas do que entre os alunos com pontuações mais altas. Isto é visto pelo facto de a barra inferior representar a distribuição de pontuação de 2024 ser mais ampla do que a de 2019. Está deslocada para a esquerda nos alunos com pontuações mais baixas, mas está quase alinhada com a distribuição de 2019 para os alunos com pontuações mais altas. Também fazemos estas observações:

• Os 10 por cento mais baixos dos alunos obtiveram uma pontuação igual ou inferior a 168 em 2019, mas apenas com ou menos de 158 em 2024 — uma queda de 10 pontos.
• Em contraste, os 10% mais altos dos alunos obtiveram pontuações superiores a 266 em 2019, comparado com quase a mesma pontuação de 265 em 2024 — uma queda de apenas 1 ponto de pontuação.
• Usando a distribuição completa de pontuações, em vez de apenas olhar para as médias, vemos que a diminuição dos alunos com pontuação mais baixa é cerca de 10 vezes maior do que para os alunos com pontuação mais alta.
• Estas diferenças nas alterações de pontuação ao longo do espectro de desempenho traduzem-se numa disparidade de desempenho entre alunos de baixa e alta pontuação a alargar-se em 9 pontos entre 2019 e 2024.

_{Figura 3. Alterações nas pontuações de leitura do NAEP do 4.º ano para o país de 2019 a 2024. A linha horizontal em 0 distingue entre mudanças positivas e negativas.}

Para ver mais facilmente as variações nas alterações de pontuação ao longo do espectro de desempenho, introduzimos uma variação do tipo de gráfico para interpretar tendências. Como mostrado na Figura 3, combinamos a comparação de duas distribuições na Figura 2 com uma única linha.

Ao contrário dos gráficos lineares típicos dos resultados das avaliações, que mostram o ano de avaliação no eixo horizontal, no nosso gráfico representamos as pontuações de 2019 em múltiplos pontos percentuais no eixo horizontal, e as alterações nesses pontos de 2019 a 2024 no eixo vertical. Incluímos também uma linha horizontal a zero para ajudar a identificar quando as pontuações em certos pontos do espectro de desempenho aumentaram de 2019 para 2024 (pontos acima da linha zero) em comparação com aquelas que diminuíram (pontos abaixo da linha zero). Os pontos que se situam na linha do zero ou perto dela indicam o mesmo ou quase o mesmo desempenho em 2024 que antes da pandemia em 2019. Ou seja, tais pontos indicam que a coorte do grau 4 de 2024 está nos níveis pré-pandemia.  

Para ajudar a ler o enredo, notamos que o primeiro ponto da linha na Figura 3 está posicionado:

• a 168 no eixo horizontal — correspondente ao 10.º percentil em 2019 — e
• a -10 no eixo vertical — correspondendo a uma queda de 10 pontos no 10.º percentil entre 2019 e 2024.

Os outros pontos da linha na Figura 3 são determinados de forma semelhante para cada um dos pontos percentuais restantes: 25.º, 50.º, 75.º e 90.º. Juntos, formam uma linha ascendente que conta a história da mudança ao longo do espectro de desempenho num olhar rápido. A linha inclinada para cima revela que os alunos do quarto ano nos Estados Unidos sofreram uma maior perda de leitura no extremo inferior/esquerdo da distribuição de pontuações dos alunos do que no extremo superior/direito da distribuição. Assim, ao olhar para além da alteração nas pontuações médias, revela-se que as perdas variaram ao longo do espectro de desempenho e que a disparidade de desempenho entre alunos com pontuação baixa e alta aumentou.

_{Figura 4. Alterações nas pontuações de leitura do NAEP do 4.º ano para o país, Louisiana, Mississippi e Massachusetts entre 2019 e 2024. A linha horizontal em 0 distingue entre mudanças positivas e negativas.}

No nosso anterior ETS Research Blog, analisámos as pontuações de leitura do NAEP para três estados: um estado que tradicionalmente tem tido bons resultados no NAEP — Massachusetts — e dois estados que ainda não aprovaram políticas destinadas a melhorar os níveis de leitura dos alunos — Mississippi e Louisiana. A Figura 4 mostra a nossa abordagem de uma linha única para estes três estados, em contraste com o país no seu todo.

Na Figura 4, vemos o seguinte:

• O padrão de apontar para cima, que indica o aumento das diferenças entre estudantes com pontuações mais baixas e mais altas, não é exclusivo do país. Também é evidente, até certo ponto, para os três estados.
• No entanto, as linhas para a Louisiana e o Mississippi são muito mais rasas ou menos íngremes, o que significa que os ganhos e perdas educativas foram mais semelhantes entre os alunos com altos e baixos desempenhos. A linha para a Louisiana está acima de 0 e quase estável! Isto significa que a Louisiana conseguiu recuperar as pontuações até ou para além dos níveis pré-pandemia para alunos de todo o espectro de desempenho. Os alunos do 4.º ano, independentemente da necessidade académica ou do nível, estão a ter melhores resultados na Louisiana em leitura em 2024 do que antes da pandemia em 2019! Este resultado pode refletir as reformas da Louisiana no trabalho.

As reformas do Mississippi podem também continuar a trabalhar para apoiar as necessidades dos alunos:

• A linha do Mississippi mantém a linha 0 a negrito, indicando pontuações relativamente comparáveis em 2024 aos níveis pré-pandemia de 2019 em todo o espectro de desempenho.

Por outro lado, embora Massachusetts tenha tido uma das melhores médias de leitura do 4.º ano no NAEP em 2024, vemos que:

• Massachusetts tem a linha mais íngreme, mostrando a mudança mais distinta em todo o espectro de desempenho e um alargamento da diferença entre alunos com pontuações baixas e altas em 15 pontos!

_{Figura 5. Alterações de 2019 a 2024 nos resultados de leitura do NAEP do 4.º ano para o país, todos os 50 estados, o Distrito de Columbia e a Avaliação da Educação do Departamento de Defesa (DoDEA) a partir do nosso ecrã interativo. Uma linha horizontal a 0 distingue entre alterações positivas e negativas.}

A Figura 5 mostra a visão completa de todos os estados a partir do nosso ecrã interativo para leitura do 4.º ano. Mostra-nos que a Louisiana é única não só em comparação com o país, Mississippi e Massachusetts, mas com todos os estados! A maioria dos estados tem linhas inclinadas para cima, como Massachusetts, e situa-se completamente ou quase completamente abaixo de 0. Ou seja, a maioria dos estados ainda tem terreno a recuperar para atingir os níveis de leitura do 4.º ano pré-pandemia, especialmente para os alunos com as pontuações mais baixas.

Como são estes resultados para leitura do 8.º ano? E em matemática? Como correu o seu estado? Experimente o ecrã interativo para encontrar a sua história! Tem os seus próprios dados de avaliação? Experimente também este método de gráficos entre temporais com eles!

Como navegar no ecrã:

• Use o painel esquerdo de "Controlos" para alternar entre leitura ou matemática e as pontuações do 4.º ou 8.º ano.

• Use o menu "Controlos" à esquerda para alternar entre visualizar todos os estados ou mostrar estados selecionados de interesse. Mantenha pressionada a tecla "Controlo" para selecionar mais do que um estado no menu suspenso. Mantenha pressionada a tecla "Shift" para selecionar estados listados consecutivamente.

• Faça uma pausa sobre um ponto numa linha para ver aparecer uma caixa de hover com informações sobre o ponto de dados, incluindo o nome do estado, percentil selecionado e alteração de pontuação no percentil.

• Observe a posição horizontal da linha para ter uma noção do desempenho base, pré-pandemia, em 2019. Por exemplo, em contraste com a linha da Virgínia, a linha de Porto Rico no gráfico de Matemática do 4º ano está muito mais deslocada para a esquerda, indicando desempenho relativamente baixo em 2019.

• Repare no comprimento das filas para identificar estados com diferenças de desempenho menores ou maiores entre alunos com pontuações mais baixas e mais altas no ano base de 2019. Por exemplo, a DoDEA tem uma fila relativamente curta para matemática do 4.º ano, em comparação com a linha bastante longa para Maryland. Os alunos com pontuações baixas e altas na DoDEA tiveram pontuações mais semelhantes entre si em 2019 do que em Maryland.

Katherine E. Castellano, Marisol Kevelson, Emily Kerzabi e Anita Sands trabalham em investigação de avaliação em grande escala e Michael Fauss trabalha em inovações no uso de IA para segurança de testes no ETS Research Institute. Mari é cientista associada de investigação; Katherine é cientista principal de investigação; Emily é gestora de projetos de investigação; Michael é cientista de investigação; e Anita é analista principal de investigação em políticas públicas. Os autores também reconhecem e agradecem a Nicholas Munyan-Penney (Diretor Adjunto de Política P-12 na edtrust) pelos seus comentários ponderados e revisão deste artigo de blog.