Ferramentas que sinalizam texto gerado por IA podem ser úteis, mas a cautela é essencial.
À medida que os estudantes recorrem cada vez mais às ferramentas de IA para ajudar nos trabalhos de casa, professores e docentes foram convidados a assumir um novo papel — detetives numa missão para garantir a integridade académica. Foi um aluno ou o ChatGPT que escreveu o ensaio? Os detectores de IA vieram em auxílio, ajudando os educadores a identificar texto gerado por IA nas submissões dos alunos. No entanto, estas ferramentas estão longe de ser perfeitas.
Como cientista que estudou extensivamente detectores de ensaios gerados por IA desde que foram desenvolvidos, devo reiterar: nenhum detector de IA consegue alcançar precisão perfeita. Diferentes detectores podem classificar incorretamente ensaios — seja sinalizando erroneamente a escrita humana autêntica como gerada por IA ou falhando completamente em captar conteúdos gerados por IA — destacando a necessidade de uso e escrutínio cuidadosos.
Com base na investigação que os meus colegas e eu realizámos no início deste ano, aqui ficam algumas dicas sobre como professores e professores podem usar detetores de IA de forma responsável.
Leia o rótulo. Nenhum detetor de IA é infalível. Ao usar uma ferramenta específica, esteja atento à precisão da deteção que reporta. Por exemplo, a OpenAI afirmou que o seu próprio detector identificou corretamente o texto gerado por IA apenas 26% das vezes e sinalizou erroneamente o texto escrito por humanos como gerado por IA 9% das vezes; desligou a ferramenta seis meses depois.
O comprimento do texto importa. Textos mais longos geralmente produzem resultados mais fiáveis com detetores de IA. Por outras palavras, determinar se uma única palavra ou uma frase curta foi gerada por IA é praticamente impossível. O nosso estudo sugeriu que um comprimento de texto de 50 palavras é um requisito mínimo para uma deteção fiável.
Os detetores de IA não assinalam de forma fiável conteúdos co-criados por humanos e IA. A definição e deteção de texto gerado por IA torna-se ambígua quando humanos e IA colaboram. É importante estabelecer diretrizes claras para os alunos sobre quanto conteúdo gerado por IA é permitido em cada tarefa e por que razão precisam de declarar como usaram a IA na sua contribuição.
Atenção: os detetores podem ser tendenciosos. Os detetores de IA, provavelmente devido à forma como são treinados, podem por vezes apresentar preconceitos contra alguns grupos demográficos sem padrões claramente previsíveis. Por isso, aconselho a não confiar apenas nos resultados dos detetores de IA ao tomar decisões de alto risco.
Use mais do que uma ferramenta para melhorar a consistência dos resultados. Diferentes detectores de IA podem produzir resultados variados para o mesmo texto. Utilizar múltiplos detectores e cruzar as suas saídas pode proporcionar uma avaliação mais abrangente.
Não confie apenas em detetores baseados em texto. Considere fontes adicionais de informação, como dados de teclas ou gravações de vídeo do processo de escrita, juntamente com as saídas dos detetores para tomar decisões mais informadas.
A tecnologia de IA continuará a evoluir, e os alunos irão inevitavelmente incorporar ferramentas de IA nos seus estudos. Os meus colegas e eu gostámos de trabalhar na TeachAI, e esperamos ter mais oportunidades para ajudar os educadores à medida que apoiam a utilização da tecnologia em evolução pelos seus alunos para terem sucesso na escola e na vida.
Jiangang é diretor de investigação e especializa-se na avaliação de competências complexas como resolução colaborativa de problemas, criatividade, curiosidade e literacia digital.