Tecnologia vira arma no combate à cola eletrônica

• 0

O estado do Mississipi tinha um problema envolvendo o crescente número de testes escolares e a tecnologia digital. Alunos do colegial, nos exames de fim de ano, usavam telefones celulares para trocar mensagens com as respostas. Com mais de 100 mil estudantes nos exames, os fiscais não conseguiam controlar todos – principalmente quando alguns adolescentes conseguiam digitar mensagens mesmo com os celulares dentro do bolso.

A solução encontrada foi contratar uma empresa que usa a própria tecnologia contra os trapaceiros: ela analisa folhas de respostas em computador, e identifica aquelas com combinações tão iguais de respostas certas ou erradas que as chances de casualidade seriam astronômicas. A cópia seria uma explicação praticamente assegurada.

Desde que essa empresa, a Caveon Test Security, começou a trabalhar para o Mississipi em 2006, a "cola" – nome popular da trapaça em provas e exames – foi reduzida em cerca de 70%, segundo James Mason, diretor do Gabinete de Avaliação Estudantil do Departamento de Educação do Estado. "Os estudantes sabem que, ao colar, há uma chance extremamente alta de serem pegos", disse Mason.

Como os testes têm se tornado cada vez mais importantes na educação – para determinar a graduação, a admissão em faculdades e, recentemente, pagamento por mérito e estabilidade para os professores –, os negócios têm sido bons para a Caveon, uma empresa que usa "análises forenses" para identificar trapaceiros e se autoproclama o único grupo independente de segurança de testes no país.

Seus clientes já incluíram a Comissão de Faculdades, o Conselho de Admissão das Faculdades de Direito e mais de uma dúzia de distritos escolares estaduais e municipais – entre eles, Flórida, Texas, Washington e Atlanta, geralmente depois de algum constrangedor escândalo. "A cada ano que trabalho com testes houve mais cola que no ano anterior", disse John Fremer, de 71 anos, cofundador da Caveon que já foi o principal desenvolvedor do exame do SAT (tipo de vestibular unificado nos Estados Unidos).

Método

Expor trapaceiros usando anomalias estatísticas é uma prática de mais um século. O método mostrou que James Michael Curley, considerado o rei da malandragem na política de Massachusetts, e um conhecido haviam colado em seus exames do serviço civil em 1902 – pois tinham 12 respostas erradas idênticas.

A ciência da probabilidade evoluiu muito desde então, e a Caveon diz que sua análise de folhas de respostas é a mais sofisticada até hoje. Além de procurar por cópias, seus computadores – que são instalados num escritório em American Fork, no Utah, e conseguem processar mais de um milhão de registros – buscam por padrões ilógicos, como alunos que se saíram melhor em questões difíceis do que nas fáceis. Isso pode ser um sinal de conhecimento antecipado de parte do exame.

Os computadores também procuram por aumentos grandes demais na nota em relação a testes anteriores de alunos ou classes. Eles também contam o número de rasuras nas folhas de respostas, o que, em alguns casos, pode indicar que um professor ou administrador adulterou um exame.

Quando as anomalias são altamente improváveis – com ocorrência aleatória de, por exemplo, uma em 1 milhão –, a Caveon marca os testes para investigações adicionais por administradores escolares.

Métodos de identificação de fraudes são criticados

Embora sua análise forense de dados seja esotérica e a empresa opere no reservado mundo dos testes e exames, os métodos da Caveon não passam ilesos de críticas. Walter M. Haney, professor de pesquisa e mensuração da educação na Faculdade de Boston, considera os métodos de análise de dados da empresa suspeitos por não terem sido publicados em literatura acadêmica.

"É impossível saber a precisão dos métodos e até onde eles podem gerar falsos-positivos ou falsos-negativos", disse Haney, que em 1990 pressionou o Serviço de Testes Educacionais, criador do SAT, a apresentar suas próprias fórmulas de identificação de trapaceiros a um quadro externo de revisão.

David Foster, principal executivo da Caveon, disse que a empresa não publicou seus métodos porque estava ocupada demais servindo aos clientes. E acrescentou que o estatístico responsável da empresa estava disponível para explicar os algoritmos da Caveon a qualquer cliente curioso. Outros meios usados pela empresa para acabar com a cola não se baseiam em estatísticas.

Para o Conselho de Admissão das Faculdades de Direito, que administra o LSAT (sistema para ingresso no curso) quatro vezes por ano a pelo menos 140 mil pessoas, a Caveon patrulha a internet em busca de questões vazadas em sites que chama de "lixeiras cerebrais", onde estudantes discutem abertamente um exame que acabaram de realizar. "Depois dos testes, aparece todo tipo de coisa nos blogs, numa tentativa de adivinhar o que virá no futuro; existe toda uma indústria da cola", disse Wendy Margolis, porta-voz do conselho.

A Caveon, que se recusou a revelar quanto cobra dos clientes, envia cartas às pessoas que operam esses sites, exigindo que retirem do ar os materiais sob a Lei de Direitos Autorais Digitais dos EUA.

Divergência

Embora seja interesse da Caveon dramatizar ou até mesmo inflar a incidência da cola, em 2010 um governador estadual criticou a empresa por subestimar a prática. Contra­tada para analisar testes de Inglês e Matemática de alunos de Atlanta depois que uma auditoria identificou dúzias de escolas onde poderia ter ocorrido cola, a Caveon encontrou um problema muito menor. Ela identificou 12 escolas primárias e ginasiais onde provavelmente a cola havia ocorrido, mas basicamente exonerou 33 outras da lista de instituições suspeitas do estado.

O governador Sonny Perdue criticou a conclusão e nomeou seus próprios investigadores em agosto. Numa entrevista ao "Atlanta Journal-Constitu­tion", ele acusou a Caveon de tentar "confinar e restringir o problema", e sugeriu que empresa estaria tentando proteger possíveis contratos com outros distritos escolares.

John Fremer, presidente da Caveon, negou essa alegação. Segundo ele, a análise forense de dados da Caveon em folhas de respostas era mais sofisticada, o que explicaria as diferenças. "Nossa análise foi melhor. Nós não inflamos pequenas diferenças e fazemos uma tempestade com elas", disse Fremer.

Padronização de testes causa controvérsia

Os testes padronizados são controversos diante de alguns pais e educadores, mas não para JohnFremer, presidente da Caveon, que abandonou recentemente os deveres administrativos. Ele sustenta que os testes o ajudaram a escapar de um passado braçal.

Filho de um bombeiro de Nova York, ele obteve um Ph.D. da Columbia, em psicologia e mensuração educacional, e foi trabalhar para o Serviço de Testes Educacionais. Começou no departamento de aptidão verbal, e depois passou sete anos comandando uma grande reforma do SAT em 1994.

Fremer tem pouca paciência com críticos que afirmam que os testes padronizados não mensuram com precisão o talento acadêmico. "Fun­damentalmente o teste é uma forma de verificar o que você sabe e o que não sabe e desenvolver níveis, e os críticos vão direto para os níveis. Bem, o teste os classifica, mas com base no conhecimento do aluno. E se você pensa que isso não é importante, há algo de inadequado em sua forma de pensar."

* * * * * *

Interatividade

No Brasil, qual é a gravidade do problema e o que deveria ser feito para evitar que estudantes colem?

Escreva para leitor@gazetadopo vo.com.br

As cartas selecionadas serão publicadas na Coluna do Leitor.