ChatGPT faz prova do Enem e tem resultado melhor que 79% dos candidatos
A Inteligência Artificial alcançou uma média de 612 pontos, mas ficou abaixo dos estudantes nas questões de matemática
O ChatGPT fez a prova do Enem! Em uma simulação realizada pelo DeltaFolha, a inteligência artificial (IA) respondeu a 1.290 questões das provas realizadas entre 2017 a 2021 (incluindo as edições extras de 2020 e 2021) – e se saiu bem. Sua pontuação média foi de 612,3, um desempenho maior que 78,9% dos candidatos humanos. Para ter uma noção mais clara, a IA se saiu melhor que 98,9% dos estudantes nas questões de Ciências Humanas, 95,3% nas de Linguagens e Códigos e 94,6% nas de Ciências da Natureza.
Mas se você já está se sentindo ofendido pelo robô, calma que não é bem por aí… Em Matemática, o ChatGPT derrapou: o desempenho nesta disciplina ficou abaixo da média dos estudantes nas cincos edições do exame.
Segundos as informações publicadas no jornal Folha de S. Paulo, a nota média do robô em Matemática foi de 443,1 pontos, uma pontuação surpreendentemente abaixo da média de 527,1 registrada pelos candidatos humanos. Nos testes aplicados, a IA manteve a porcentagem de acertos entre apenas 13,6 e 27,3%. Se fosse um candidato disputando uma vaga na universidade, definitivamente, o robô teria que reforçar os estudos de Matemática.
Para realizar os testes, os pesquisadores utilizaram a tecnologia da versão original do ChatGPT, o GPT-3.5, e analisaram os dados utilizando as ferramentas disponíveis pela própria OpenAI, a empresa responsável pelo robô. A pontuação final nas provas foi calculada a partir dos métodos do Inep, o órgão responsável pelo Enem.
Confira todas as respostas do robô acessando esta tabela disponibilizada pela reportagem.
Em um artigo publicado em março deste ano, o especialista Ricardo Primi sugere que uma possível explicação ao baixo desempenho da IA em Matemática seja a necessidade de desenvolver uma linha de raciocínio para se chegar aos cálculos do exercício. Ao contrário do que acontece em Ciências Humanas, Linguagens e Ciências da Natureza, onde o robô consegue simplesmente identificar informações já existentes na internet para responder a questão.
Vale lembrar que o Enem é uma prova de alto teor interpretativo. Não à toa, os melhores desempenhos da IA apareceram nos cadernos de Ciências Humanas. A nota média das cinco edições ficou em 725,3, número quase 200 pontos maior que os 523,3 registrados em média pelos estudantes de carne osso.
A nota do robô em Matemática talvez ainda reitera o método de avaliação utilizado no exame. Como já explicamos aqui no GUIA DO ESTUDANTE, as provas são corrigidas por um sistema conhecido como TRI, sigla para “Teoria de Resposta ao Item“. De forma geral, é um método de correção “anti-chute”, que beneficia o estudante que acertas as questões fáceis e erra as difíceis (e não o contrário). Isso explica, por exemplo, por que dois estudantes que acertaram o mesmo número de perguntas podem ter pontuações diferentes.
A dificuldade da IA para lidar com questões de Matemática é algo que já foi reconhecido pela empresa criadora da ferramenta. Em janeiro, o ChatGPT chegou a anunciar melhorias neste sentido. Mas o que parece mesmo é que o robô tem mais facilidade em lidar com textos. Em alguns testes, foi necessário induzir o chat com algumas perguntas respondidas anteriormente para que ele chegasse à resposta correta. Segundo os pesquisadores, a IA apresentou ainda uma performance superior quando se pedia para justificar porque a alternativa estava certa.
Para os testes válidos para a pesquisa, porém, não foram usados exemplos. O robô foi configurado para responder uma questão por vez e de maneira objetiva. No entanto, é válido ressaltar que há chances de a IA ter encontrado algumas respostas prontas do exame, em sites de cursinhos e correções, por exemplo. O fenômeno é conhecido por especialistas como “contaminação”, mas acredita-se que sua ação seja limitada.
E na redação, o robô tira 1000?
Além das questões, o ChatGPT também passou pela experiência que é considerada por muitos candidatos como a pior parte do exame: a redação. Recebendo as mesmas instruções da prova de 2021, a IA foi submetida a escrever uma dissertação-argumentativa sobre o tema daquele ano: “Invisibilidade e registro civil: garantia de acesso à cidadania no Brasil“.
Leia na íntegra a redação:
“A falta de registro civil é um problema que afeta milhões de brasileiros e representa uma grave violação dos direitos humanos. A certidão de nascimento é o primeiro documento que confere identidade e cidadania, sendo fundamental para a retirada de outros documentos e para o acesso a serviços públicos básicos. No entanto, muitas pessoas são privadas desse direito, principalmente aquelas em situação de vulnerabilidade socioeconômica.
De acordo com a Lei 9.534/97, o registro de nascimento é gratuito no Brasil, mas ainda assim milhões de brasileiros permanecem sem esse documento. Segundo o “Mapa da invisibilidade no Brasil”, estimativa do número de pessoas sem registro de nascimento, cerca de 2,9 milhões de brasileiros não possuem esse documento, sendo a região Sudeste a mais afetada. Essa realidade é ainda mais cruel para as pessoas que, por falta de registro, são consideradas “invisíveis” pelo Estado, como se sua existência não fosse reconhecida.
Essa situação de invisibilidade tem consequências graves, como a exclusão social e a dificuldade de acesso a serviços básicos de saúde, educação e assistência social. Além disso, a falta de registro civil dificulta a inserção no mercado de trabalho formal e a proteção contra violações de direitos, como o trabalho infantil e o tráfico de pessoas.
Para enfrentar esse problema, é necessário um conjunto de políticas públicas que garantam o acesso universal ao registro civil. É preciso promover campanhas de conscientização sobre a importância do registro de nascimento e desenvolver ações que possibilitem o acesso a esse documento, especialmente para as pessoas em situação de vulnerabilidade. É importante também que o Estado seja mais eficiente na identificação das pessoas sem registro, facilitando o acesso ao serviço de registro civil.
Ademais, é necessário desenvolver medidas que respeitem os direitos humanos e garantam a inclusão social e o pleno exercício da cidadania. Propõe-se a criação de espaços itinerantes que levem o registro civil às comunidades mais afastadas, a disponibilização de recursos financeiros para aqueles que não têm condições de arcar com os custos do processo de registro e a ampliação do horário de funcionamento das unidades de registro civil.
Por fim, a luta pelo direito à documentação pessoal é uma luta pelos direitos humanos. É papel do Estado garantir que todos os cidadãos tenham acesso a esse direito, contribuindo para a inclusão social e o exercício pleno da cidadania. É preciso conscientizar a sociedade sobre a importância do registro civil e promover ações efetivas para garantir esse direito, respeitando sempre a dignidade humana e os princípios éticos e morais que regem a nossa sociedade.”
A Folha de São Paulo submeteu o texto a professores de redação, determinando que o corrigissem obedecendo aos critérios utilizados pelo exame. E assim como acontece na vida real, o texto foi visto por dois professores. Enquanto o primeiro avaliou a redação em 760, o segundo deu somente 640 pontos. Você pode conferir a análise completa do texto na reportagem publicada pelo jornal.
