Aprofunde os dados para descobrir mais da história.

A nossa equipa está empenhada em inovar a comunicação de pontuações em grupo de estudantes para apoiar melhores oportunidades de aprendizagem para todos os alunos. Começámos a nossa colaboração como parte de uma equipa de co-design de utilizadores de dados de avaliação focados em políticas e investigadores que colaboraram para desenvolver melhores apresentações dos resultados amplamente utilizados. Liderámos a equipa como parceiros — investigadores da ETS e especialista em visualização de dados Eli Holder (3iap), que recentemente publicou o artigo inovador Unfair Comparisons. Na primavera passada, reunimo-nos quinzenalmente para conceptualizar diferentes formas de reportar os resultados dos testes em grupo de alunos que mudassem a reação de "É assim que é" para "Podemos ajudar os alunos respondendo às necessidades X, Y e Z!" Ao longo dessa experiência, um mantra que orientou todos os nossos designs foi "Ir além da média." Neste blogue, voltámos a unir-nos para partilhar como essa simples mudança pode iluminar muito mais sobre o desempenho dos alunos.

Há anos que os alunos em Massachusetts têm superado os alunos de outros estados, em média, na avaliação de leitura da National Assessment of Educational Progress (NAEP). Voltaram a fazê-lo em 2024, tanto para o 4.º como para o 8.º anos. Estas notas elevadas têm chamado a atenção de decisores políticos e líderes da educação noutros estados que usam os resultados de Massachusetts como referência e como pistas para orientar as suas próprias políticas estaduais. O Mississippi e a Louisiana, dois estados que historicamente obtiveram pontuações muito inferiores a Massachusetts nas leituras do NAEP, têm sido elogiados pelo aumento das suas pontuações nas leituras do NAEP, tornando-se exemplos de outros estados que procuram ideias nas suas políticas. No entanto, embora o Mississippi e a Louisiana tenham subido nas classificações estaduais do NAEP, as suas médias continuam a ser inferiores às de estados no topo, como o Massachusetts. Aprofundar os dados do NAEP e ir além das médias pode dar-nos uma compreensão mais clara e completa do que o Mississippi e a Louisiana alcançaram e de como os níveis de literacia dos seus alunos se comparam entre si e com Massachusetts.

_{Figura 1. Um gráfico de barras das pontuações médias de leitura do 4.º ano na Avaliação Nacional do Progresso Educacional (NAEP) de 2024 mostra que Massachusetts obteve pontuações mais altas, em média, do que a Louisiana, o Mississippi e o país.}

O NAEP Data Explorer (NDE), que fornece aos utilizadores acesso por menus a um tesouro de dados NAEP, permitiu-nos analisar o desempenho de leitura dos alunos do 4.º ano a nível estadual. A Figura 1 apresenta um gráfico de barras com as pontuações médias de leitura do NAEP do 4.º ano para o país e para Louisiana, Mississippi e Massachusetts. Embora gráficos de barras como estes tenham sido uma convenção popular, são enganadores em muitos aspetos, em particular levando ao pensamento deficitário. Notamos algumas observações deste simples gráfico de barras:

• Os alunos de Massachusetts têm o maior desempenho médio de leitura do 4.º ano nos Estados Unidos, com uma pontuação média de 225, 10 pontos acima da média nacional de 215 para 2024. Esta diferença não é ruído aleatório. É estatisticamente significativa, tal como todas as outras diferenças apontadas ao longo do blogue.
• O Mississippi teve a pontuação média seguinte mais alta dos três estados, com 219, 6 pontos abaixo do Massachusetts, mas 4 pontos acima do país.
• A pontuação média da Louisiana, de 216, foi semelhante à do país no geral.

Para além das médias, o NAEP Data Explorer fornece dados a nível estadual por vários percentis. Os percentis dividem uma amostra de alunos em 100 partes iguais, cada uma representando 1% dos alunos. Quando falamos de um percentil específico, referimo-nos ao valor igual ou abaixo do qual uma certa percentagem dos alunos se situa. Por exemplo, se a pontuação de um estudante estiver no 75.º percentil, significa que a sua pontuação é igual ou superior a 75% da de todos os outros alunos. Representar vários pontos percentuais ajuda-nos a compreender melhor como as pontuações se comparam em toda a distribuição de alunos.

_{Figura 2. Gráfico de distribuição anotado das pontuações de leitura do NAEP do 4.º ano de 2024 para o país.}

Da esquerda para a direita, os painéis da Figura 2 mostram como uma camada adicional de informação fornece informações sobre as pontuações dos alunos em relação à escala NAEP. 

• No painel da esquerda, vemos como um simples gráfico de barras só transmite um único ponto — a média nacional. Em gráficos como estes, os utilizadores tendem a criar a sua própria ideia da distribuição das pontuações dentro ou à volta da barra, o que pode levar a mal-entendidos dos dados e a perceber porque é que alguns grupos têm pontuações mais baixas do que outros.
• No painel do meio, utilizamos um gráfico de distribuição de pontuação para destacar onde os alunos tenderam a obter pontuações. Aqui, a secção com sombras mais escuras mostra que os 50% do meio dos alunos a nível nacional obtiveram pontuações entre 189 (25.º percentil) e 245 (75.º percentil).
• O painel da direita acrescenta os níveis de desempenho do NAEP para fornecer um ponto de referência para interpretar os percentuais das pontuações. Os níveis de desempenho descrevem o quão bem os alunos demonstram conhecimentos e competências, sendo que o NAEP Básico representa a mestria parcial. Aqui, a secção com sombreamento mais escuro mostra que os 50% intermédios das pontuações dos alunos abrangem três níveis de desempenho: abaixo do NAEP Básico, NAEP Básico e NAEP Proficiente. Além disso, o percentil 90 está ligeiramente abaixo do nível NAEP Avançado, o que significa que menos de 10% dos alunos obtiveram pontuações suficientemente altas para atingir o nível avançado.

_{Figura 3. Gráficos de distribuição das pontuações de leitura do NAEP do 4.º ano de 2024. As pontuações médias de leitura do país e de cada estado são mostradas a branco. Linhas verticais tracejadas indicam os pontos percentuais para a distribuição nacional.}

Veja a Figura 3. Vê o que nós vemos? O lado esquerdo da distribuição do Mississippi assemelha-se mais ao do Massachusetts do que ao do país ou da Louisiana. Os 10.º percentis do Mississippi e do Massachusetts são cerca de 10 pontos superiores ao do país.

Tanto o Mississippi como o Massachusetts estão a ver
melhores pontuações para alunos com baixo desempenho
do que a nação em geral.

O que vê no extremo direito da distribuição? Aí, as pontuações do Mississippi são inferiores às de Massachusetts (por 13 pontos) e da Louisiana (por 4 pontos). 

Os alunos com melhor desempenho do Mississippi
pode precisar de mais suportes para alcançar o
Os mesmos níveis de desempenho dos alunos de outros estados.

A NAEP também recolhe dados sobre várias características dos alunos, como se as famílias dos alunos estão economicamente desfavorecidas. Quando dividimos as pontuações por estatuto económico, vemos uma imagem mais completa das notas de leitura do 4.º ano no Mississippi, Louisiana e Massachusetts (ver Figura 4).

_{Figura 4. Gráficos de distribuição das pontuações de leitura do NAEP do 4.º ano, detalhados por estatuto económico familiar. As pontuações médias de leitura do 4.º ano por estatuto económico familiar para o país e cada estado estão apresentadas em branco. Linhas verticais tracejadas indicam os pontos percentuais para a distribuição nacional.}

Quando analisados pela questão de saber se as famílias dos alunos estão economicamente desfavorecidas, as pontuações de leitura variam substancialmente e são geralmente mais elevadas para alunos de famílias não economicamente desfavorecidas.  Alguns estados parecem estar a ter melhores resultados do que outros no ensino da leitura a alunos economicamente desfavorecidos.

Vê o que vemos ao olhar para o painel esquerdo na Figura 4?

Tanto o Mississippi como a Louisiana estão a ultrapassar o país como um todo
No que diz respeito ao desempenho dos alunos
de famílias economicamente desfavorecidas.

• O Mississippi tem a maior pontuação média de leitura do 4.º ano (212) entre os estudantes economicamente desfavorecidos, 8 pontos acima do Massachusetts (204) e 10 pontos acima do país (202).
• Tanto o 10.º como o 25.º percentil para estudantes economicamente desfavorecidos são 13 pontos mais altos no Mississippi do que em Massachusetts, embora proporcionalmente quase o dobro dos estudantes estejam economicamente desfavorecidos no Mississippi (75%) do que em Massachusetts (40%).
• Os estudantes do Mississippi ultrapassam o país em cada ponto percentil da distribuição de pontuações em 6 a 15 pontos, exceto para os alunos com pontuações mais altas (no 90.º percentil), com as maiores diferenças no extremo esquerdo da distribuição.
• Com 73% dos seus estudantes economicamente desfavorecidos, a Louisiana supera consistentemente o país por cerca de 7 pontos em cada ponto percentil, exceto no mais baixo.

Olhar para o painel direito da Figura 4, que mostra as distribuições de pontuação para estudantes não economicamente desfavorecidos, levou-nos às seguintes observações e a uma pergunta profunda.

• Os três estados têm pontuações médias mais altas do que o país no geral, entre 7 e 10 pontos.
• Olhando para o lado esquerdo das distribuições, tanto o Mississippi como o Massachusetts têm percentis notavelmente mais altos no 10.º e 25.º percentis do que o país no geral — entre 10 a 20 pontos.
• A maior distinção é o 10.º percentil do Mississippi, que é 20 pontos acima do país.
• Que apoios poderão estes estados estar a oferecer a estudantes não economicamente desfavorecidos e com mais necessidades?

_{Figura 5. Gráficos de distribuição das pontuações de leitura do NAEP do 8.º ano desglosados por situação económica familiar. As pontuações médias das leituras do 8.º ano por estatuto económico familiar para a nação e para cada estado estão apresentadas a branco. Linhas verticais tracejadas indicam os pontos percentuais para a distribuição nacional.}

Vamos passar para os dados do 8.º ano da NAEP para os nossos três estados para ver se as tendências se mantêm. Dividindo as pontuações pelo estado económico familiar, os gráficos de distribuição de pontuação no painel esquerdo da Figura 5 mostram que o Mississippi e a Louisiana têm um desempenho equivalente ao de Massachusetts entre os alunos economicamente desfavorecidos do 8.º ano. Os três estados superam o país no geral nas partes da esquerda para a média das distribuições.

No entanto, para estudantes que não são economicamente desfavorecidos, o Mississippi tem margem de melhoria em relação a outros estados e ao país. Olhando para o painel direito na Figura 5, fazemos as seguintes observações:

• Comparado com Massachusetts e Louisiana, o Mississippi apresenta pontuações mais baixas em toda a distribuição, tanto para estudantes com pontuações mais altas como para os mais baixos.
  • Por exemplo, no Mississippi, o 25.º percentil é 243, 15 pontos abaixo do 25.º percentil de Massachusetts, que é 258, e 10 pontos abaixo do da Louisiana, que está em 253.
• Este resultado para os alunos do 8.º ano do Mississippi, que não são economicamente desfavorecidos, é notavelmente diferente dos resultados do 4.º ano, sugerindo que as intervenções de leitura podem precisar de ser adaptadas às necessidades dos alunos à medida que desenvolvem competências de leitura mais avançadas nos anos superiores.
• Em contraste, para estudantes não economicamente desfavorecidos, a Louisiana apresenta um desempenho mais semelhante ao de Massachusetts — muitas vezes superando o Mississippi por até 10 pontos.

Ao utilizar um programa comum de avaliação, os dados da NAEP podem fornecer comparações valiosas e detalhadas do desempenho dos alunos entre estados. 

As pontuações médias do NAEP mostram que os estudantes de Massachusetts superam os alunos da Louisiana, Mississippi e do país em geral, mas parar nas médias levaria os espectadores a perder níveis de desempenho mais elevados no Mississippi e Louisiana para alunos com pontuações mais baixas. Especificamente, o Mississippi, e por vezes a Louisiana, estão a superar Massachusetts e/ou o país em geral na leitura do 4.º ano para

• alunos com pontuações mais baixas em todo o estado;
• estudantes economicamente desfavorecidos, particularmente aqueles com pontuações iguais ou abaixo da média; e
• estudantes não economicamente desfavorecidos, em particular aqueles que obtiveram pontuações nos percentis 10 e 25 mais baixos. 
• Tanto a Louisiana como o Mississippi mantêm-se maioritariamente ao ritmo de Massachusetts nas pontuações de leitura do 8.º ano, especialmente entre alunos economicamente desfavorecidos. Há margem para melhorar as pontuações de leitura do 8.º ano do Mississippi, especialmente entre alunos não economicamente desfavorecidos.

A nossa esperança é que os líderes estaduais da educação possam usar estes resultados como um salto
Fora do ponto para tentar aprender mais sobre que políticas e práticas levaram
Louisiana e Mississippi para superar a nação ou outros estados,
especialmente quando se trata de melhorar os resultados de leitura para pontuações mais baixas
estudantes e estudantes economicamente desfavorecidos.

Uma exploração mais aprofundada do desempenho dos alunos pelo professor e das características da escola disponível no NAEP Data Explorer pode mostrar-lhe quais as práticas dos professores e da escola que podem estar relacionadas com um melhor desempenho dos alunos nesses estados ou no seu próprio estado. Clique aqui para iniciar a sua própria exploração dos dados.

Marisol Kevelson, Katherine E. Castellano e Emily Kerzabi trabalham no Instituto de Investigação ETS. Mari é cientista associada de investigação; Katherine é cientista principal de investigação; Emily é gestora de projetos de investigação. Eli Holder é o fundador da 3iap.