Qualquer um pode criar um teste, especialmente agora com tudo o que a IA pode fazer. A questão mais difícil é se esse teste mede aquilo que afirma, se se mantém em todas as populações e se se mantém justo e válido em larga escala.
O ETS desenvolve, administra e pontua milhões de testes todos os anos, e a maioria deles tem consequências reais para as pessoas que os realizam. Um único resultado pode moldar o futuro de um aprendiz, uma oportunidade de carreira ou um resultado de licenciamento. Possibilitar estas oportunidades para as pessoas é o que impulsiona a nossa missão e a razão pela qual nos exigimos padrões tão elevados. Quando a IA entra em jogo, a fasquia aumenta, não baixa. Enfrentamos isso fazendo escolhas disciplinadas sobre onde a IA acrescenta valor e garantindo que os humanos, e não a IA, permanecem no comando.
Como o ETS utiliza a IA ao longo do ciclo de vida da avaliação
Na ETS, a IA suporta múltiplas fases do ciclo de vida da avaliação: desenvolvimento de conteúdos, montagem e entrega de testes, e pontuação.
Desenvolvimento de conteúdos
Utilizamos o nosso motor proprietário de conteúdos de IA para gerar primeiros rascunhos de itens e conteúdos relacionados na maioria dos nossos principais programas. Definimos os limites, restrições e requisitos da IA e trazemos décadas de experiência em desenvolvimento de avaliações para orientar a geração inicial de forma adequada. Hoje, cerca de 80% do nosso conteúdo de avaliação, incluindo perguntas e passagens de leitura, Comece por aqui.
Mas gerar conteúdo é apenas o ponto de partida. Antes de um item ser utilizado em qualquer um dos nossos programas, passa por um processo estruturado de revisão que visa garantir a sua justiça e acessibilidade, confirmando ao mesmo tempo que se comporta de acordo com as expectativas e o critério pretendido. Em termos simples, não tratamos a produção de IA como trabalho acabado. Tratamo-lo como um candidato que tem de conquistar o seu lugar.
Montagem e entrega
Utilizamos IA para ajudar a personalizar os testes, adaptando-os em tempo real. Num ambiente de testes adaptativos, perguntas ou tarefas podem ser selecionadas com base na forma como o examinador respondeu às anteriores, ajudando a avaliação a recolher as evidências corretas de forma mais eficiente. Este tipo de avaliação pode permitir tempos de teste mais curtos e eficientes, reduzir o tempo de "sentado" para os candidatos ao teste, bem como adaptar o conteúdo mais de acordo com o seu nível.
Isto não é apenas uma forma melhor para os candidatos mostrarem o que podem fazer. É também uma medida de segurança importante: as pessoas não recebem exatamente o mesmo formulário e, por isso, podem receber conjuntos diferentes de conteúdos.
Pontuação
O ETS utiliza IA na pontuação desde o início dos anos 2000, muito antes do surgimento dos grandes modelos de linguagem (LLMs). A verdadeira questão não é se a IA consegue obter uma resposta, mas se consegue fazê-lo de forma fiável, justa e com os padrões do programa que serve.
É por isso que algumas avaliações ETS são pontuadas inteiramente por humanos, enquanto outras usam apenas IA e outras utilizam uma combinação de pontuação de IA e humana, dependendo do tipo de resposta. O modelo de pontuação correto depende do programa, dos riscos da pontuação, do tipo de resposta avaliada e das expectativas dos mercados que serve, tudo isto ao serviço de produzir o resultado mais preciso, justo e defensável para cada aprendiz.
O que significa "confiança" para os nossos stakeholders
A confiança na avaliação habilitada por IA não é uma única qualidade. Trata-se de saber se o sistema produz consistentemente resultados válidos, justos e fiáveis e se as pessoas que dependem desses resultados acreditam que sim.
Os principais intervenientes do ETS compreendem de forma diferente a confiança no que diz respeito à IA. Os participantes dos testes frequentemente veem a confiança como resultado da justiça e transparência, enquanto os parceiros institucionais podem exigir evidências de controlos disciplinados do ciclo de vida e de pessoas no ciclo. Os parceiros estão interessados em monitorização contínua para garantir que a IA não enfraquece a comparabilidade, fiabilidade ou justiça à medida que os programas crescem, E os decisores políticos precisam de uma explicação clara de como os riscos são identificados, medidos e geridos entre as populações.
Na ETS, o objetivo não é usar IA em todo o lado. É usá-lo onde nos ajuda a fazer mais pelos aprendentes e pelas instituições, à medida que mantemos os padrões que construímos ao longo de décadas. Isto significa usar o método certo para a tarefa, manter os humanos no comando e avaliar minuciosamente as provas antes de confiarmos em qualquer nova capacidade. É assim que tornamos a IA útil e responsável, mantendo a confiança incutida em nós e nos nossos produtos pelos nossos scoreers e educadores.