Num momento em que a IA está a transformar a forma como os alunos aprendem e os professores ensinam, poucas vozes são tão influentes como a Dra. Kristen DiCerbo, Diretora de Aprendizagem da Khan Academy. Recentemente, a ETS sentou-se com a DiCerbo para explorar como o design de aprendizagem baseado em evidências, as tecnologias emergentes e o compromisso com a equidade educativa estão a unir-se para moldar o futuro da instrução personalizada.
Nesta conversa, DiCerbo oferece um raro olhar nos bastidores sobre o que a inovação significativa na educação realmente exige. Ela explora o que está a funcionar, o que ainda precisa de ser resolvido e como os educadores podem navegar neste panorama em transformação com otimismo e clareza.
Como Diretor de Aprendizagem na Khan Academy, tem estado na vanguarda da integração da IA nas experiências de aprendizagem. O que mais o entusiasma ao usar sinais comportamentais para medir competências para além das avaliações tradicionais?
DiCerbo: Na verdade, penso que o que a IA nos oferece talvez não sejam sinais comportamentais, mas sim novas atividades. Temos trabalhado no uso de sinais comportamentais na avaliação há mais de uma década, com evidências de simulações e jogos. Diria que o mais entusiasmante na IA generativa e na avaliação é que permitem novos tipos de interações. Por exemplo, os alunos podem ter conversas com IA que imitam conversas do mundo real. Também podem gerar resultados visuais de formas que nunca eram possíveis antes.
Porque acha que agora é o momento certo para repensar a forma como medimos competências como colaboração e persistência?
DiCerbo: A capacidade de ter novos tipos de interações conversacionais abre formas mais autênticas de avaliar construtos como colaboração e comunicação. Por exemplo, se quiséssemos avaliar a persuasão, os indivíduos poderiam ter conversas com uma IA para os persuadir de uma posição. Antes da IA generativa, conversas na avaliação não eram possíveis. Veja-se a avaliação PISA de 2015 sobre resolução colaborativa de problemas. Para simular diálogos colaborativos de resolução de problemas, os criadores dos testes tiveram de usar seleção de escolha múltipla, onde os candidatos escolhiam qual opção "dizer" a seguir. Isto restringia significativamente o espaço de soluções possíveis para os candidatos e obviamente tornava a experiência muito menos parecida com uma conversa real de resolução de problemas. Agora, com a IA generativa, temos a possibilidade de os alunos participarem em conversas como fariam com humanos para demonstrar as suas competências. Claro que isto exige um esforço significativo, incluindo tentar orientar as respostas da IA ao contributo dos alunos.
No que diz respeito à persistência em particular, vejo isso de forma diferente dos construtos acima. Persistência é, essencialmente, observar se alguém continua a tentar perante o fracasso. Temos conseguido observar isso em ambientes digitais pelo menos na última década (como escrevi aqui em 2016).
Existem oportunidades para incorporar dados multimodais, como voz ou gesto, nas avaliações? Que desafios ou considerações éticas implicam isso?
DiCerbo: Ao lançar o Khanmigo, o tutor alimentado por IA para alunos e assistente de professores da Khan Academy, as nossas funcionalidades de texto para fala e fala para texto foram bem recebidas, especialmente como formas de reduzir a leitura e a escritagem. À medida que avançamos para a avaliação, o desafio em incluir voz ou gestos será evitar viés na pontuação.
Onde vê maior potencial na utilização de IA e dados comportamentais para medição de competências e que limitações os educadores devem ter em conta?
DiCerbo: Estamos entusiasmados por termos lançado uma funcionalidade piloto chamada "Explique o Seu Pensamento" com cerca de 8.000 alunos ao longo do último ano. Os alunos envolvem-se com uma pergunta matemática tradicional e depois dialogam com IA generativa, onde lhes é pedido que expliquem a razão por trás da sua resposta. A atividade pretende imitar o que os professores fazem quando se sentam ao lado de um aluno e perguntam sobre o seu trabalho. Tal como em pesquisas anteriores feitas na ETS, verificámos que os alunos revelam mais sobre a sua compreensão nestes cenários do que apenas ao introduzirem uma resposta. Isto significa que os professores e outros intervenientes obtêm mais conhecimento sobre o que os alunos sabem e podem fazer.
Como equilibra a profundidade dos conhecimentos destas abordagens inovadoras com a necessidade de escalabilidade e praticidade nas salas de aula?
DiCerbo: Como acontece com muitas coisas na avaliação, a inovação é melhor começar no espaço formativo, onde as consequências para coisas como o aumento do erro de medição são pequenas. Se um aluno dedicar algum tempo a praticar algo que já dominou porque uma avaliação indicou que não o dominou, isso não é um erro fatal. Avaliações em sala de aula com IA generativa podem ser criadas pelos instrutores com relativa facilidade, como este professor fez ao criar exames orais para a sua turma.
Olhando para o futuro, que papel vê a IA na criação de avaliações que pareçam autênticas e culturalmente responsivas?
DiCerbo: Precisamos de mais investigação sobre se a personalização que pode ser possível com avaliações baseadas em IA generativa resulta em avaliações mais válidas e fiáveis. É certamente verdade que a inclusão de conhecimentos de base irrelevantes para construtos pode resultar numa menor validade para alguns candidatos. É possível que, usando IA generativa, itens de avaliação e atividades possam ser ajustados para considerar as experiências individuais dos alunos, a linguagem e a compreensão cultural. No entanto, fazer isto mantendo definições padrão do construto avaliado não é uma tarefa simples.
Que investigação ou inovações o entusiasmam mais nos próximos anos para medir competências do mundo real através do comportamento?
DiCerbo: Coloquei inovações em alguns compartimentos. Isto é o que me entusiasma.
- Tecnologia que existe mas que ainda não otimizámos para avaliação:
- IA agente - permite a separação de diferentes partes do processo de avaliação por agentes especializados
- Janelas de contexto largas – fornecer à IA grandes quantidades de informação pode ajudar a obter feedback e pontuação de contexto com rubricas complexas
- Tecnologia disponível nos próximos 12 meses:
- Streaming acessível de texto, áudio e vídeo – permitindo que tanto o candidato como a IA interajam de várias formas, como nesta demonstração do Sal e do seu filho
- IA explicável - compreender que o raciocínio por IA suportará melhor aplicações como a pontuação, onde as pontuações "caixa negra" não são úteis para dar feedback aos alunos
- Modelos conscientes da privacidade no dispositivo - irão abordar preocupações sobre partilha de dados e privacidade
- Tecnologia disponível nos próximos 1 a 3 anos:
- Simulações multi-agente – os participantes interagem com múltiplas IAs que desempenham diferentes papéis na avaliação, simulando cenários reais de grupo