Resultado do Sisu não é confiável? Entenda a polêmica

Após erro na correção das provas do Enem, que afetou quase 6.000 participantes, o Ministério da Educação e o Inep, responsável pelo exame, garantiram a rechecagem da nota e a resolução do problema, sem alterar o cronograma do Sisu. Apesar dos impasses, como a liminar que suspendeu a divulgação do resultado temporariamente, a lista de aprovados saiu na última terça-feira (28), como previsto.

Nessa “corrida contra o tempo”, o governo Bolsonaro decidiu refazer a conferência dos desempenhos dos candidatos, sem recalcular a proficiência dos itens usados nas provas. Isso economiza tempo, mas faz com que a segurança da prova diminua. Segundo a Folha de S. Paulo, na falta desse procedimento, “funcionários do instituto e do MEC dizem, sob condição de anonimato, que não é possível ter 100% de confiança nos resultados”. Entenda o problema da discussão:

Método TRI

Desde 2010, o Inep resolveu aplicar um novo método de avaliação dos candidatos, que fosse capaz de medir a real proficiência em uma área baseado na “coerência” dos acertos dos candidatos. O método também ficou conhecido por ser um jeito de identificar os famosos chutes na prova. 

Para explicar como a Teoria de Resposta ao Item (TRI) funciona, é preciso considerar que a prova de cada área do conhecimento do Enem é elaborada prezando por um equilíbrio entre questões fáceis, médias e difíceis. Considerando o nível de dificuldade de cada questão, o Inep elabora uma função matemática, que também leva em conta mais dois parâmetros:

• A do acerto casual (a chance de um candidato acertar uma questão chutando)
• A de discriminação (que é a eficácia da questão em medir quem domina ou não aquele conteúdo)

Assim, é gerado um gráfico para cada questão da prova, que mostra quais as chances que um candidato com determinado nível de proficiência tem de acertá-la. Mas falta algo para fechar essa conta. O cálculo da probabilidade de acerto é sempre feito em conjunto com uma outra análise: a da coerência pedagógica. Uma prova considerada incoerente é aquela em que o candidato acerta mais questões difíceis e médias do que questões fáceis. 

O problema no Sisu 2020

Por conta do erro, nem todas as questões da prova de 2019 foram pré-testadas. Ou seja, não receberam parâmetros dos itens, como os níveis de dificuldade. Para regular esses itens, o Inep precisa selecionar uma amostra aleatória de participantes.

No exame de 2019, foi usada uma amostra de 100.000 participantes, mas nela estavam inclusos resultados de parte dos quase 6.000 participantes que tiveram suas notas erradas. Assim, se fosse feito o recálculo das proficiências, isso poderia reduzir o erro padrão do exame e indicar pequenas variações na nota.

Consequentemente, tais variações poderiam alterar a lista de aprovados em cursos concorridos, por exemplo. O que seria um enorme problema.