Cinco Coisas Que Não Sabias Sobre Segurança de Testes na ETS

por Ray Nicosia

Princeton, NJ, EUA (3 de junho de 2022) – Manter a segurança das nossas avaliações na ETS tem sido um esforço que dura décadas. À medida que os testes passaram do papel e lápis para o computador, e do centro de testes para o domicílio, a transformação da indústria dos testes foi profunda. Com esta evolução surge a necessidade de enxergar a segurança de formas novas e diferentes e que estamos continuamente a fazer tudo o que é necessário, e ainda mais, para nos mantermos à frente daqueles que tentam enganar e prejudicar a integridade dos nossos testes.

Por mais complexo que seja o campo da segurança de testes, aqui estão cinco coisas que pode não saber (mas deveria) sobre segurança de testes na ETS:

1. O Gabinete de Integridade dos Testes (OTI) da ETS tem combatido fraudes e trapaças em testes há mais de 64 anos.

Durante 64 anos, a ETS tem um escritório dedicado de OTI, composto por investigadores, especialistas e analistas que garantem a validade e integridade dos nossos exames e cujo trabalho é defender aqueles que fazem testes de forma honesta. Em coordenação com supervisores altamente qualificados, tecnologias de IA e análise de dados, a equipa trabalha para analisar as pontuações e sessões de teste suspeitas de terem sido obtidas ou conduzidas de forma injusta e, como resultado, anular resultados de testes, caso haja provas que o justifiquem. Como líder do setor na área, o nosso escritório OTI reconhece a necessidade de fazer mais para combater a fraude em todo o mundo.

2. A ETS investiu milhares de milhões de dólares nas últimas 60 décadas em segurança de testes e infraestrutura tecnológica para combater a fraude.

A ETS investiu dezenas de milhões de dólares todos os anos, nos últimos anos, em segurança de testes e infraestrutura tecnológica — milhares de milhões nas últimas seis décadas. Nos próximos meses, planeamos investir dezenas de milhões de dólares adicionais para reforçar as nossas capacidades tecnológicas e melhorar as medidas de segurança dos testes para detetar até as formas mais mínimas de batota. Estas capacidades e melhorias incluem, mas não se limitam a: prevenção contínua de software de acesso remoto (RAS) usando conhecimentos e capacidades proprietárias da ETS, aliadas a novas tecnologias integradas para sustentar medidas de segurança de teste de classe mundial; melhoria dos modelos de aprendizagem automática para continuar a detetar comportamentos desonestos na realização de testes a um ritmo elevado; desenvolvimento e aperfeiçoamento de modelos estatísticos existentes que apoiem esforços contínuos para identificar e desmantelar redes de trapaça; e investigação contínua sobre novos tipos de itens e abordagens de design de avaliação específicas para combater a trapaça. Os investimentos que fazemos são além dos nossos rigorosos protocolos de segurança e procedimentos de controlo de qualidade implementados para investigar questões, anular pontuações e responsabilizar quem viole as nossas políticas de testes.

3. O ETS pode, e de facto, anular as pontuações dos testes — mesmo depois de serem divulgadas aos candidatos e às instituições.

Quando a ETS tem provas de que as pontuações de um candidato podem ter sido obtidas injustamente — uma violação da nossa política de testes — a OTI pode impedir a divulgação das pontuações para avaliar melhor a sessão de teste e a pontuação obtida para determinar se essas pontuações devem ser canceladas. Em alguns casos, isso significa cancelar as pontuações mesmo quando já foram divulgadas aos candidatos e/ou instituições, se forem recolhidas provas após a libertação que determinem que as pontuações foram obtidas devido a uma vantagem injusta. Nos casos mais extremos, a ETS proíbe os candidatos que violam as nossas políticas de teste.

4. Copiar em avaliações padronizadas não é exclusivo do ETS.

A fraude é uma questão a nível da indústria que tem sido evidenciada pelo boom da indústria de testes remotos nos últimos 2 anos. Embora não seja frequentemente discutida no setor da educação, devemos aos nossos stakeholders mantê-los informados sobre o que estamos a observar, como estamos a lidar com as preocupações e os nossos planos para o futuro. Sabemos que a segurança dos testes é um dos pilares mais cruciais do processo de testes de ponta a ponta, que garante que as pontuações são válidas, fiáveis e dignas de confiança, e como organização líder na área em segurança de testes e testes remotos, levamos a sério a nossa responsabilidade de proteger honestamente os candidatos que testam. Estamos igualmente comprometidos em servir instituições em todo o mundo que dependem das pontuações para decisões de alto risco. Pontuações pouco fiáveis têm implicações para estudantes despreparados que não conseguem cumprir o rigor dos programas de ensino superior e, por sua vez, têm impactos negativos na reputação institucional arduamente conquistada. Os cancelamentos de pontuações são um sinal de boa fiscalização por parte das organizações de testes e a ausência desses cancelamentos deve causar preocupações tanto nas instituições como nas partes interessadas.

5. As avaliações em casa têm contribuído para um aumento das tentativas de batota entre os candidatos.

Com o novo modelo de implementação dos testes em casa, o ETS registou um aumento de mais de 200% nos cancelamentos de resultados tanto nas administrações de testes TOEFL^® como GRE^® combinadas no nosso segundo ano de testes em casa (AF21) em comparação com o primeiro ano (AF20). Embora este aumento tenha ocorrido, isso não significa que tenhamos diminuído a nossa vigilância. Na verdade, é precisamente o contrário, o que é evidenciado pela nossa capacidade de identificar atividades fraudulentas e cancelar pontuações após análises e investigações minuciosas. Embora haja mais tentativas de batota, por defeito, mais pontuações estão a ser canceladas. Temos visto exemplos de tentativas de candidatos a copiar usando software de acesso remoto, testes por procuração, telemóveis para enviar e receber mensagens, bem como uma combinação destas e outras técnicas de trapaça. A nossa equipa OTI é composta por especialistas de topo em segurança de testes e continuará a manter-se à frente da curva para garantir que apanhamos e dissuadamos os candidatos que tentam enganar nas nossas avaliações.

Ray Nicosia é Principal de Segurança de Testes no Gabinete de Integridade de Testes da ETS.

Sobre a ETS

Na ETS, promovemos a qualidade e a equidade na educação para pessoas em todo o mundo, criando avaliações baseadas em investigação rigorosa. A ETS serve indivíduos, instituições educativas e agências governamentais, fornecendo soluções personalizadas para certificação de professores, aprendizagem da língua inglesa, ensino básico, secundário e pós-secundário, e através da realização de investigação, análise e estudos de políticas educativas. Fundada como organização sem fins lucrativos em 1947, a ETS desenvolve, administra e pontua mais de 50 milhões de testes anualmente — incluindo os testes TOEFL^® e TOEIC^® , os testes GRE^® e as avaliações The Praxis Series^® — em mais de 180 países, em mais de 9.000 locais em todo o mundo.

www.ets.org