Ligar a Palestra do TOEFL à Palestra na Universidade

Falar é fundamental para o sucesso nos estudos universitários. Tanto estudantes de licenciatura como de pós-graduação utilizam a linguagem falada para lidar com uma variedade de tarefas dentro e fora do campus. Os estudantes de pós-graduação também frequentemente ensinam ou dão explicações a estudantes de licenciatura ou trabalham em laboratórios de investigação colaborativa.

O TOEFL iBT atualizado apresenta duas tarefas de fala: Ouvir & Repetir e Fazer uma Entrevista. Listen & Repeat exige que os candidatos ouçam uma frase e a repitam com a maior precisão possível, enquanto a Entrevista Virtual envolve respostas abertas a uma série de perguntas relacionadas com a vida académica.

Recentemente, realizámos investigação sobre estas tarefas aqui na Universidade do Havai em Mānoa. Como docentes que ensinam, orientam e supervisionam estudantes internacionais, sabemos o quão importantes são as competências oratórias para o sucesso dos alunos. Enquanto investigadores, estamos muito interessados em como as tarefas de teste, como as apresentadas nos exames TOEFL, se relacionam com as capacidades reais de falar.

Os testes de língua são usados para tomar decisões sobre pessoas reais. Ao utilizar testes linguísticos nas admissões ao ensino superior, a principal preocupação é garantir que um estudante potencial será capaz de lidar com as exigências linguísticas do estudo em inglês. Assim, quando uma pontuação de teste é usada para tomar uma decisão de admissão, assumimos que a pontuação nos diz algo sobre o quão bem um estudante será capaz de usar o inglês na universidade.

As pontuações dos testes baseiam-se no desempenho dos testes. Para falar, as atuações dos alunos podem incluir atuações altamente limitadas, como tarefas de Ler em Voz Alta e Ouvir & Repetir, onde o que o aluno deve dizer é apresentado em forma escrita/auditiva, bem como atuações mais espontâneas e criativas, como respostas a perguntas na tarefa de Entrevista Virtual.

Para aumentar a confiança no que as pontuações nos dizem sobre capacidades no mundo real, examinar as qualidades do desempenho dos candidatos em tarefas e tarefas fora do teste tem valor. Essencialmente, queríamos saber que a fluência e precisão com que os alunos falam no teste é indicativa de quão fluente e precisa conseguem produzir linguagem na comunicação do mundo real.

Recrutámos 149 estudantes internacionais, todos utilizadores de inglês como segunda língua. Para garantir que representávamos a ampla gama de proficiências, incluímos estudantes que estavam envolvidos em programas intensivos a tempo inteiro de Inglês como segunda língua, estudantes que estavam inscritos simultaneamente em cursos universitários e académicos de inglês, e estudantes de licenciatura e pós-graduação com matrícula completa.

Cada aluno realizou tarefas de oratória administradas na plataforma operacional de testes ETS. A ETS forneceu-nos as suas partituras faladas e gravações áudio. Também fizemos com que cada participante completasse duas tarefas académicas de oratória num laboratório presencial. Estas tarefas envolviam (1) descrever um gráfico e (2) ouvir uma aula de 8 minutos sobre bilinguismo e depois responder às perguntas do investigador.

Os alunos também foram convidados a gravar e entregar um trabalho de oratória relacionado com os seus programas académicos. Noventa e nove alunos fizeram-no, com 65 submissões sendo apresentações formais.

Analisámos todas as amostras de fala quanto a uma variedade de características de complexidade, precisão e fluência relacionadas com gramática, vocabulário e pronúncia. Também tivemos professores experientes de inglês como segunda língua que avaliaram a eficácia comunicativa das amostras de fala não testadas.

Ao comparar as pontuações das tarefas dos indivíduos com as avaliações da fala das duas tarefas laboratoriais e da tarefa de fala baseada em cursos, encontrámos fortes correlações positivas (Tabela 1).

Tabela 1.

Correlações entre as pontuações de fala do TOEFL e as classificações de fala não relacionadas com testes.

Nota. Todas as correlações foram estatisticamente significativas ao nível p < 0,001.

Para as características linguísticas, os resultados foram mais complicados. Por um lado, algumas características linguísticas como diversidade lexical (diversidade de uso do vocabulário) não eram relevantes para a tarefa Ouvir e Repetir, que apresentava respostas altamente limitadas.

Algumas características linguísticas apresentaram fortes correlações positivas entre tarefas de fala no TOEFL e tarefas não testes, como aquelas relacionadas com fluência e precisão da produção oral. Outras características linguísticas apresentavam correlações positivas pequenas a moderadas, como características de complexidade (por exemplo, o número de palavras ou orações por frase falada). Outras funcionalidades tinham pouca associação entre tarefas.

Em suma, verificou-se que aspetos da produção da fala relacionados com a capacidade geral de processar o inglês, como fluência e precisão da gramática, vocabulário e pronúncia, estavam fortemente correlacionados entre desempenhos em testes e fora do teste. Aspetos da fala mais influenciados pelas exigências da tarefa, como a gramática e as escolhas de vocabulário, estavam menos fortemente correlacionados. 

A nossa investigação sugere fortemente que os alunos que obtêm pontuações elevadas em tarefas como Ouvir & Repetir e Fazer uma Entrevista conseguem comunicar eficazmente fora do contexto de um teste. Este resultado aplicava-se tanto a tarefas académicas simuladas em laboratório (Descrição de Grafos e Resposta à Aula) como a apresentações autênticas relacionadas com os cursos dos estudantes.

Enquanto a tarefa Fazer uma Entrevista, que apresenta uma produção linguística mais espontânea e criativa por parte dos candidatos ao teste, tendia a ter as correlações mais fortes com tarefas não relacionadas com o teste, a tarefa Ouvir & Repetir tinha correlações igualmente fortes na maioria dos casos. Notavelmente, pareceu captar eficazmente os aspetos relacionados com fluência e precisão da capacidade de fala dos examinantes, que estão em jogo em todos os contextos de fala.

No geral, verificámos que ambos os tipos de itens eram bons indicadores do desempenho dos alunos em tarefas simuladas e reais de expressão oral académica.

Daniel R. Isbell é Professor Associado no Departamento de Estudos de Segundas Línguas da Universidade do Havai em Mānoa, onde realiza investigação e leciona cursos focados em avaliação linguística.

Dustin Crowther é Professor Associado no Departamento de Estudos de Segundas Línguas da Universidade do Havai em Mānoa. Realiza investigação sobre a inteligibilidade da fala numa segunda língua, com foco principal em Global Englishes.