Este artigo apresenta os resultados de um estudo de campo que contribuiu para o desenvolvimento dos testes TOEIC Bridge redesenhados. As análises estatísticas fornecem evidências iniciais para apoiar afirmações de que as pontuações redesenhadas dos testes TOEIC Bridge são consistentes e que as pontuações dos testes são indicadores significativos da proficiência em inglês dos níveis básico a intermédio.

Ler Mais

Este artigo resume o "argumento de validade" para os testes TOEIC Bridge redesenhados. O argumento da validade consiste em quatro grandes afirmações sobre consistência da pontuação, validade e justiça, uso adequado dos testes e impactos positivos; em conjunto, isto fornece uma narrativa coerente sobre a qualidade da medição e os usos pretendidos das pontuações dos testes. Ao considerar as alegações e as evidências de apoio apresentadas no argumento da validade, os leitores deverão conseguir avaliar melhor se os testes TOEIC Bridge redesenhados são adequados para a sua situação.

Ler mais

Em programas de testes de grande escala e de alto risco, como o programa TOEIC, alguns candidatos realizam um teste mais do que uma vez ao longo do tempo. Os padrões de alteração de pontuação destes chamados "repetidores" podem ser analisados para apoiar a qualidade global do teste (por exemplo, a sua fiabilidade, validade, usos pretendidos). Este estudo analisou os padrões de alteração de pontuação mencionados, com o objetivo de avaliar a fiabilidade e validade das pontuações dos testes de Escuta e Leitura do TOEIC^®.

Ler Mais

As avaliações de proficiência em inglês são concebidas para uma população-alvo do teste e podem incluir candidatos de diferentes origens demográficas, socioculturais e educativas. Assume-se que o teste é justo e as pontuações obtidas por diferentes subgrupos de candidatos têm o mesmo significado. Uma forma de avaliar a justiça do teste é produzir um teste ligado para cada subgrupo e comparar os resultados das pontuações do teste ligado com as pontuações do teste original que fizeram.

Ler Mais

Normalmente, os avaliadores humanos são usados para pontuar testes de Fala e Escrita devido à sua capacidade de avaliar uma gama mais ampla de desempenhos linguísticos do que os sistemas automatizados. Este artigo descreve como o ETS garante a fiabilidade e consistência das pontuações dos avaliadores humanos nos testes TOEIC de Fala e Escrita através de formação, certificação e procedimentos sistemáticos de monitorização administrativa e estatística.

Ler Mais

Nos programas de teste, múltiplas formas de um teste são usadas em diferentes administrações para evitar a sobreexposição dos formulários de teste e reduzir a possibilidade de os candidatos adquirirem conhecimento prévio do conteúdo do teste. Como podem ocorrer pequenas diferenças na dificuldade estatística dos formulários alternativos, um procedimento estatístico conhecido como ligação de pontuação de teste tem sido frequentemente utilizado para ajustar estas diferenças de dificuldade, de modo a que os formulários de teste sejam comparáveis.

Ler Mais

O processo de pontuação do teste TOEIC de Compreensão e Leitura inclui procedimentos de monitorização que ajudam a garantir que as pontuações são consistentes entre diferentes formas e administrações de testes, e que as interpretações das competências são justas. Este estudo explora a possibilidade de utilizar informação sobre o percurso dos candidatos para melhorar vários tipos de procedimentos de monitorização. Os resultados das análises sugeriram que algumas variáveis de fundo podem facilitar o acompanhamento do desempenho dos testes entre administrações, fortalecendo assim os procedimentos de controlo de qualidade para o teste TOEIC de Compreensão e Leitura, bem como reforçando a evidência da consistência das pontuações.

Ler Mais

Para os testes educativos, é fundamental manter a consistência das escalas de pontuação e compreender as fontes de variação nas médias de pontuação ao longo do tempo. Isto ajuda a garantir que as interpretações sobre as capacidades dos candidatos sejam comparáveis de uma administração (ou formulário) para outra. Utilizando procedimentos estatísticos, este estudo analisou a consistência das pontuações reportadas nos testes de Fala e Escrita do TOEIC.

Ler Mais

Este artigo compara o conteúdo, fiabilidade e dificuldade dos clássicos e dos testes de Compreensão e Leitura do TOEIC redesenhados em 2006. Embora os testes redesenhados incluíssem tipos de itens ligeiramente diferentes para refletir melhor os modelos atuais de proficiência linguística, os testes foram considerados semelhantes entre as várias versões.

Ler Mais

Os programas de avaliação devem rever periodicamente as suas avaliações para garantir que os itens ou tarefas do teste estão bem alinhados com atividades do mundo real. Por esta razão, para apoiar melhor a aprendizagem comunicativa de línguas e desencorajar o uso de estratégias de memorização e outras estratégias de realização de testes, a ETS expandiu o formato existente de alguns itens do teste TOEIC^® de Fala em maio de 2015.

Ler Mais

Para garantir que os testes continuem a responder às necessidades dos examinadores e utilizadores das pontuações, é importante que os programas de avaliação revisem periodicamente as suas avaliações. Por esta razão, para acompanhar o uso em constante mudança do inglês e as formas como os indivíduos comunicam habitualmente no local de trabalho global e no dia a dia, foi concebido e lançado pela primeira vez em maio de 2016 um teste atualizado de Escuta e Leitura do TOEIC.

Ler Mais

Este estudo examina a consistência das pontuações do TOEIC Speaking. A análise utiliza uma metodologia baseada na teoria da generalizabilidade, que permite aos investigadores examinar até que ponto aspetos do procedimento de teste (ou seja, avaliadores, tarefas) influenciam as pontuações. Os resultados contribuem com evidências para apoiar as afirmações de que as pontuações do TOEIC Speaking são consistentes.

Ler Mais

Este artigo descreve os procedimentos implementados nos testes TOEIC de Fala e Escrita para monitorizar o desempenho individual dos avaliadores e melhorar a qualidade global da pontuação. Estes procedimentos multifacetados e cuidadosamente desenvolvidos ajudam a garantir que o potencial de erro humano é mantido ao mínimo, contribuindo assim para a consistência e fiabilidade da pontuação dos testes TOEIC.

Ler Mais

A fiabilidade ou consistência das pontuações pode ser examinada de várias formas, incluindo o grau em que as pontuações do mesmo candidato são consistentes em diferentes formulários de teste (as chamadas "fiabilidade dos formulários equivalentes") e em diferentes ocasiões de teste ("fiabilidade teste-reteste"). Este estudo analisou a consistência das pontuações de Fala e Escrita do TOEIC em diferentes formulários de teste em intervalos de tempo distintos (por exemplo, 1–30 dias, 31–60 dias) e concluiu que as pontuações do teste tinham uma fiabilidade razoavelmente elevada de forma equivalente teste-reteste.

Ler Mais

Este artigo apresenta os resultados de um estudo-piloto que contribuiu para o desenvolvimento do teste de fala e escrita do TOEIC. A análise da fiabilidade das pontuações dos testes encontrou evidências de vários tipos de consistência de pontuação, incluindo fiabilidade entre avaliadores (concordância de vários avaliadores sobre uma pontuação) e consistência interna (uma medida baseada na correlação entre itens do mesmo teste).

Ler Mais

Este artigo descreve os resultados de um estudo de campo para os testes de Escuta e Leitura do TOEIC redesenhados em 2006, que inclui análises da dificuldade do item e do teste, fiabilidade e correlações entre as secções do teste e os clássicos testes de Compreensão e Leitura do TOEIC. Os resultados são consistentes com outro estudo de comparabilidade (Liao, Hatrak e Yu em 2010), que encontrou evidências da fiabilidade dos testes redesenhados e sugeriu que as pontuações do teste redesenhado poderiam ser interpretadas e usadas de forma semelhante às pontuações clássicas dos testes de Compreensão e Leitura do TOEIC.

Ler Mais