Como Funciona o Motor do E-Rater

Ao corrigir ensaios, o motor e-rater^® irá:

• Valide que as funcionalidades não são apenas preditivas da pontuação do leitor, mas também têm alguma relevância lógica para o prompt de escrita
• Assinala automaticamente as respostas que estão fora do tema ou são inconsistentes, para que possam ser deixadas de lado para revisão
• Combinar as características de pontuação num modelo estatístico para produzir uma estimativa final de pontuação

O motor e-rater está continuamente a ser desenvolvido e melhorado, com o objetivo de expandir a sua capacidade de modelar aspetos importantes e desafiantes da proficiência na escrita. A investigação contínua visa melhorar as capacidades do motor e-rater para que possa identificar e avaliar a estrutura de um argumento num ensaio, bem como avaliar o uso criativo da linguagem na escrita de alunos e de candidatos a exames.

Funcionalidades do e-rater

As funcionalidades usadas para a pontuação do e-rater são o resultado de quase duas décadas de investigação em Processamento de Linguagem Natural na ETS, e cada característica pode ser composta por sub-características independentes. Também foi feito trabalho para estabelecer uma escala verticalmente ligada das pontuações de escrita do ensino básico ao 12.º ano entre os anos, com base no motor do e-rater, conhecida como Escala de Escrita Desenvolvimental.

As funcionalidades do motor de pontuação do e-rater incluem:

• Análise de conteúdo baseada em medidas de vocabulário
• Complexidade/dicção lexical
• Proporção de erros gramaticais, de uso e de mecânica
• Proporção dos comentários de estilo
• Organização e Pontuações de Desenvolvimento
• Fraseologia idiomática recompensadora

O ajuste das funcionalidades para atribuir uma pontuação total a um ensaio pode ser adaptado a um enunciado específico, ou de forma "genérica", permitindo que o mesmo modelo de avaliador eletrónico seja utilizado para avaliar várias respostas de prompt.

Acordo de pontuação

Para tarefas apropriadas para o motor e-rater (tarefas de redação de ensaios com duração avaliada pela qualidade da escrita e não pela correção das afirmações feitas na resposta), o acordo com avaliadores humanos pode ser muito forte. Como Attali, Bridgeman & Trapani descobriram em 2010, Automated Essay Writing with e-rater v2.0 (PDF), o acordo do motor e-rater com um avaliador humano nas tarefas TOEFL^® Independent e GRE^® Issue era superior ao acordo entre dois avaliadores humanos independentes.