Avaliação Essencial™ do TOEFL® : Conceção e Desenvolvimento de um Novo Teste
16 de junho de 2021
Cada novo teste na ETS é criado através de um processo cuidadoso de design e desenvolvimento. A mais recente adição à Família de Avaliações do TOEFL, o teste TOEFL® Essentials™, não é exceção. ® Conforme detalhado no Design Framework para o TOEFL® Essentials™ Test 2021, o teste TOEFL Essentials é uma avaliação digital de proficiência em inglês que procura maximizar a eficiência, enfatizando a capacidade dos candidatos de comunicar em inglês. Utilizando um design adaptativo de teste multietapa, permite também a medição de toda a gama de proficiência do Quadro Europeu Comum de Referência. Aqui, destacamos os papéis importantes desempenhados pelo rigoroso design de tarefas e pelas práticas especializadas de desenvolvimento de testes na criação de um novo teste.
Abordagem da ETS ao desenho de tarefas de avaliação
As tarefas que compõem o novo teste TOEFL Essentials foram concebidas com base em princípios baseados em tarefas para captar o que os candidatos podem fazer em inglês, em vez do mero conhecimento da língua. Isto é particularmente importante quando usamos um teste como este para prever o quão bem-sucedidos serão os candidatos no mundo real, onde precisam de comunicar eficazmente em inglês.
Vamos pegar nas tarefas de escrita do teste TOEFL Essentials para ilustrar a nossa abordagem ao desenho de tarefas de avaliação. As tarefas de escrita são concebidas para dar aos candidatos um propósito e público para escrever, ao mesmo tempo que refletem o que os candidatos encontram no mundo real. Por exemplo, escrever uma ou duas frases para descrever uma imagem é uma tarefa de teste bastante típica, que não tem propósito nem público. A mesma tarefa de descrição da imagem torna-se muito mais envolvente e significativa quando os candidatos se imaginam a publicar a imagem nas suas próprias redes sociais e a escrever uma descrição alargada sobre as suas experiências relacionadas. Estas tarefas podem dizer-nos muito sobre o que os candidatos podem fazer em inglês.
Estas tarefas de escrita são também concebidas para serem o máximo eficaz a avaliar as capacidades de escrita dos candidatos em diferentes níveis de proficiência. Por exemplo, a tarefa de publicação nas redes sociais demonstra por investigação distinguir eficazmente entre os alunos em níveis iniciais de proficiência. No entanto, a sua eficácia é limitada para os candidatos com níveis de proficiência mais elevados, pois todos provavelmente conseguem ter bons resultados. Para estes alunos com maior proficiência, a tarefa de discussão académica é muito mais eficaz, pois desafia os candidatos ao exigir um uso mais sofisticado da linguagem (por exemplo, vocabulário, gramática, marcadores de discurso) para completar com sucesso a tarefa, distinguindo-se entre as suas capacidades. No geral, as tarefas de escrita (e outras tarefas) no teste TOEFL Essentials são concebidas para captar o que os candidatos conseguem fazer em inglês, fornecer contexto claro e propósito para comunicar em inglês, e permitir a máxima distinção entre alunos em diferentes níveis de proficiência. Todas estas características otimizam a eficácia do teste e apoiam interpretações precisas das competências em inglês dos candidatos.
Aproveitando a experiência líder em desenvolvimento de avaliações
Utilizando este tipo de princípios de design, os especialistas em avaliação da ETS desenvolveram novas tarefas nas quatro competências (escuta, leitura, escrita e fala) avaliadas pelo teste TOEFL Essentials. Tal como o processo de design foi em várias fases (ou seja, uma fase de protótipo, um teste piloto e um teste de campo), o desenvolvimento do novo conteúdo de teste envolve também um processo complexo e em várias fases. O objetivo geral deste processo de desenvolvimento é garantir que o conteúdo gerado cumpra os padrões de qualidade e justiça da ETS e resulte em experiências de realização de testes semelhantes em conteúdo, dificuldade e nível de envolvimento.
Os especialistas em avaliação estão no centro deste processo e lideram-no do início ao fim. Os especialistas em avaliação, membros-chave da equipa de teste TOEFL Essentials, são especialistas na sua área que foram formados em aprendizagem de línguas ou áreas relacionadas a nível universitário, e a maioria dos quais lecionou em escolas K–12, faculdades ou universidades internacionalmente. Muitos especialistas em avaliação são eles próprios estudantes de inglês que obtiveram graus de pós-graduação em universidades onde o inglês é a língua de ensino.
Ao longo do processo de desenvolvimento de conteúdos, os especialistas em avaliação seguem especificações detalhadas. Estas especificações são geradas durante as fases de conceção do teste e são usadas para a criação e revisão de cada tarefa ou item do teste. Por exemplo, as tarefas de escrita no teste TOEFL Essentials têm especificações claras sobre o tipo e comprimento dos textos, instruções para o candidato, áudio, gráficos e fotografias utilizadas. Após a criação das tarefas do teste, recebem múltiplas revisões detalhadas de diferentes especialistas em avaliação, bem como revisões editoriais e de justiça separadas.
Integração de tecnologia para o desenvolvimento de avaliações
Uma vasta gama de ferramentas tecnológicas de última geração é utilizada para ajudar o processo de desenvolvimento dos testes e torná-lo mais eficiente. Por exemplo, uma plataforma abrangente é utilizada pelos especialistas em avaliação para gerar, rever e armazenar itens. Para alguns tipos de itens, os especialistas em avaliação também utilizam uma capacidade tecnológica proprietária, chamada Criação Assistida por Tecnologia de Itens (TAIC), para facilitar o processo de desenvolvimento do item. O TAIC integra especificações de conteúdo da tarefa e parâmetros de dificuldade especificamente desenvolvidos para o teste TOEFL Essentials. É importante notar, no entanto, que após o conteúdo destes itens ser gerado através do TAIC, este passa pelo rigoroso processo de revisão em várias fases realizado pelos especialistas em avaliação para garantir que os itens desenvolvidos cumprem os padrões e expectativas da ETS antes de serem apresentados ao examinador.
Estas práticas cuidadosas e rigorosas de design e desenvolvimento são o que torna o novo teste TOEFL Essentials um teste válido e fiável, que fornece informações fiáveis sobre a capacidade dos candidatos em usar o inglês para fins de comunicação.
Para saber mais sobre o novo teste TOEFL Essentials, visite https://www.ets.org/toefl/score-users/essentials/about.html
Pablo Garcia Gomez é designer de avaliações na ETS. Shoko Sasayama é cientista associada de investigação na ETS.