Um recente Hackathon, organizado pelo /dev/color, reuniu organizações selecionadas para explorar o Science Tutor for Effective Problem Solving (STEPS) do Stanford Ideal Learning Lab, um agente pedagógico impulsionado por IA, concebido para ajudar estudantes de licenciatura em STEM a fortalecer os seus processos de resolução de problemas.
Representámos o ETS Research Institute para examinar como a ciência da medição pode ser integrada em ambientes de explicação por IA. Como o STEPS já funciona como uma plataforma de avaliação formativa, o hackathon ofereceu-nos uma oportunidade oportuna para examinar como a evidência da aprendizagem dos alunos pode ser usada em tempo real para personalizar o tutoriado com IA.
Ligando a ciência da medição e o incentivo de LLM
O nosso principal entregável foi um mapeamento arquitetónico abrangente de um pipeline de modelo de aprendiz de ponta a ponta em circuito fechado, que podia ser incorporado na plataforma STEPS. Desenvolvemos esta arquitetura através da colaboração entre a nossa equipa ETS e /dev/color. No nosso desenho proposto, aproveitamos múltiplas fontes de evidência, incluindo medidas do uso do STEPS pelos alunos, resultados de avaliações diagnósticas e auto-relatos para informar a aprendizagem personalizada. Estes fluxos de dados são depois sintetizados em perfis de aprendizes que podem orientar a experiência de tutoria. Especificamente, traduzimos medidas quantitativas, como pontuações ou padrões de interações entre aluno e chatbot, em instruções pedagógicas para o tutor de IA. Estes determinam quanto apoio oferecer e quando incentivar a reflexão. Estas instruções pedagógicas são incorporadas nos prompts usados pelo sistema de tutoria por IA generativa dentro do STEPS, permitindo ao tutor adaptar o seu apoio com base em evidências sobre as necessidades de cada aluno, para criar uma experiência de aprendizagem mais personalizada. A nossa colaboração com /dev/color ajudou a garantir que a abordagem estava fundamentada na investigação e era prática para implementar.
Conclusões estratégicas para o ETS
Com base no feedback positivo que recebemos do diretor do Ideal Learning Lab de Stanford, Dr. Shima Salehi, e de outros participantes do hackathon, identificámos várias oportunidades para o ETS:
- Medição como facilitadora da IA adaptativa: À medida que os sistemas de explicação por IA amadurecem, os seus criadores procuram ativamente métodos sistemáticos e baseados em evidências para modelar as progressões de aprendizagem dos alunos, traços não cognitivos e competências duradouras. O ETS está numa posição única para colmatar esta lacuna.
- O valor das nossas ferramentas: Integrar a investigação e capacidades de medição do ETS nos sistemas de tutoria em IA demonstra um caminho claro para a nossa investigação impulsionar tecnologias de aprendizagem de próxima geração.
- Um modelo para parcerias futuras: O hackathon oferece um sólido plano conceptual de como a ETS pode colaborar com laboratórios académicos de topo para fornecer a infraestrutura de medição subjacente às suas plataformas educativas.
Ao combinar a nossa experiência na ETS com a tecnologia emergente de IA, podemos avançar para um sistema de apoio mais responsivo e compreensivo para cada aprendente.