Duelo: colocamos um professor e o ChatGPT para avaliar uma redação do Enem
E o resultado foi meio parecido. Mas não se engane: o computador ainda escorrega nos princípios básicos da avaliação. As notas humanas são mais criteriosas
A essa altura, você provavelmente já deve ter se esbarrado, pelo menos uma vez, com a febre da inteligência artificial (IA). Com a popularização de plataformas como o ChatGPT, o usuário comum da web pôde ver na prática as mais diversas funções que uma IA pode assumir. E, acredite se quiser, corrigir redações do Enem é uma delas. A presença de IA corretoras de redação já não é novidade em alguns cursinhos online ou plataformas de correção de texto. Mas com tantas polêmicas envolvendo a eficácia das inteligências artificiais, será que daria mesmo para confiar nessas notas?
+ ChatGPT avalia em 900 redação nota 1000 no Enem e depois se arrepende
O GUIA DO ESTUDANTE foi atrás da resposta. A partir de uma redação cedida por uma candidata que prestou o Enem 2022, pedimos que uma professora de redação de um cursinho presencial e o ChatGPT, uma das plataformas de IA mais popular do momento, avaliassem o texto como se fossem corretores do exame. Isto é, sem terem conhecimento do desempenho real da candidata, solicitamos que os dois avaliassem o texto com uma nota de 0 a 1000 seguindo os mesmos critérios das cinco competências cobradas na prova.
Também vamos mostrar a nota atribuída pelo Inep, assim como a vista pedagógica disponibilizada no boletim da participante. A nota oficial é calculada pela média de avaliações de dois corretores (humanos).
Para começar, leia abaixo a redação na íntegra da candidata que disponibilizou seu texto para o teste, Gabriela Eutran da Silva, de 18 anos. Ela é de São Paulo (SP) e prestou o Enem pela primeira vez no ano passado. Com a sua nota, conseguiu entrar no curso de Lazer e Turismo na Universidade de São Paulo (USP), por meio do sistema Enem-USP.
Em 2022, o tema proposto na redação foi “Desafios para a valorização de comunidades e povos tradicionais no Brasil“.
Há 522 anos, quando iniciou-se a colonização do Brasil pelos portugueses, houve também o início de um longo e árduo processo de apagamento e desvalorização da cultura de povos tradicionais do país. Além da inegável exploração ambiental, a colonização européia trouxe também uma forte ferida à sociedade brasileira: a desvalorização dos primeiros povos habitantes de terras brasileiras, terra esta que habitavam antes mesmo de ser chamado Brasil.
Em princípio, seus costumes, tradições e religiões sofreram fortes repressões por séculos pelos portugueses até serem extingues. É evidenciado este fato, quando exposto o número de línguas tradicionais antes e depois da colonização, havendo uma redução drástica de cerca de 1800 línguas de povos tradicionais, para apenas 150 faladas atualmente.
A prior, o nome Brasil originou-se da madeira Pau-Brasil, árvores tipicamente conhecida pela sua tinta vermelha que se tornou fundamental para a produção de vestimentas da época. Este foi o primeiro caso de exploração da natureza brasileira em prol do mercado, mas este caso está longe de ser o último. O impacto dessa exploração afeta diretamente os povos tradicionais que vivem através dos frutos da natureza, sejam eles para sua alimentação e cotidiano ou como meios de produção e trabalho.
Inquestionávelmente, a temática ambiental está relacionada aos povos tradicionais, pois são estes os povos que lutam pela sua valorização, e de mesmo modo sofrem com sua exploração. Ademais, por serem povos que contém culturas e tradições históricas. É possível enxergar este fato quando analisado o forte impacto do folclore para a cultura brasileira, tendo lendas como mula-sem-cabeça, curupirá e boto cor-de-rosa, todos originando-se do imaginário deste povo.
Em síntese, para que haja a valorização e proteção da cultura de povos tradicionais é necessário que haja entre o ministério da Educação e o Ministério da Cultura, uma parceria que promova programas de inclusão e integração da cultura tradicional nas escolas, introduzindo a relevância desse povo à crianças e jovens, e que haja um aprofundamento em sua cultura e tradições. E deste modo, os povos tradicionais terão o devido valor para a história brasileira.
A nota da redação do Enem é gerada a partir da soma da nota de cada uma das cinco competências avaliadoras do exame. O corretor, dessa forma, avalia cada uma de 0 a 200 pontos, seguindo os critérios estabelecidos pela banca. Na “Cartilha do Participante Enem 2022“, documento disponibilizado publicamente pelo Inep, é especificado quais são as cinco competências e o que é esperado do candidato em cada uma.
+ Como estudar cada competência da redação do Enem
Antes de olhar para as correções da professora, do ChatGPT e a oficial dada pelo Inep, alguns esclarecimentos.
Ao solicitarmos a correção à IA, perguntamos se ela sabia quais eram as competências avaliadoras do Enem. A ferramenta confirmou e mandou a descrição de cada uma. Em seguida, perguntamos se ela seria capaz de avaliar uma redação como se fosse um corretor do exame; a resposta foi positiva. As únicas orientações dadas para a IA antes de enviar a transcrição do texto foram estas. Assim como para Jéssica Dorta, professora de redação da Oficina do Estudante, de Campinas (SP), que concordou em avaliar o texto seguindo os critérios do exame.
Vale lembrar que no Enem toda redação passa por, no mínimo, dois corretores, que calculam uma média para a nota final do candidato.
+ Como é feita a correção da redação do Enem?
Competência 1: domínio da modalidade escrita formal
Professora Jéssica: “A redação é avaliada no nível 4 porque apresenta estrutura sintática boa e poucos desvios. A redação não é avaliada no nível 5 porque, embora apresente apenas uma falha de estrutura sintática no 4º parágrafo, há mais do que dois desvios. Nota: 160 pontos.”
ChatGPT: “O texto apresenta uma linguagem adequada, com poucos desvios gramaticais e boa estruturação de frases e parágrafos. Há um bom domínio da norma culta da língua, mas alguns deslizes pontuais podem ser encontrados. Nota: 160 pontos.”
Inep: “O participante demonstra bom domínio da modalidade escrita formal da língua portuguesa e de escolha de registro, com poucos desvios gramaticais e de convenções da escrita, ou seja, apresenta um texto com boa estrutura sintática, com poucos desvios de pontuação, de grafia e de emprego do registro exigido. Nota: 140 pontos.” (Os corretores do Inep podem apenas atribuir notas múltiplas de 40. Para chegar aos 140 pontos indicados, um dos corretores avaliou esta competência com 120 pontos, e o outro com 160 – assim como a professores Jéssica e a IA -, e então chegou-se a essa média.)
+ Enem: os erros mais cometidos na competência 1 da redação
Competência 2: compreensão da proposta de redação
Professora Jéssica: “A redação é avaliada no nível 5 porque apresenta as 3 partes do texto (nenhuma delas embrionária) e aborda o tema de forma completa, a partir de repertório legitimado e pertinente ao tema, com uso produtivo. A participante, no primeiro parágrafo, por exemplo, introduz o tema por meio de uma contextualização histórica ao mencionar a colonização brasileira. Nota: 200 pontos.”
ChatGPT: “O autor demonstra uma compreensão clara da proposta de redação, abordando o apagamento e desvalorização da cultura dos povos tradicionais no contexto da colonização do Brasil pelos portugueses. O texto mantém o foco no tema proposto ao longo da argumentação de forma consistente. Nota: 180 pontos.”
Inep: “O participante desenvolve o tema por meio de argumentação consistente, a partir de um repertório sociocultural produtivo e apresenta excelente domínio do texto dissertativo-argumentativo, ou seja, em seu texto, o tema é desenvolvido de modo consistente, por meio do acesso a outras áreas do conhecimento, com progressão fluente e articulada ao projeto do texto. Nota: 200 pontos.”
+ Redação do Enem: os erros mais cometidos na competência 2
Competência 3: seleção e organização de informações
Professora Jéssica: “A redação é avaliada no nível 4 porque aborda o tema de forma completa, possui projeto de texto com poucas falhas e desenvolvimento de informações, fatos e opiniões com poucas lacunas. Em relação ao projeto de texto, a participante o inicia destacando que, além da exploração ambiental, a colonização europeia no Brasil provocou a desvalorização dos povos originários. Em seguida, aponta que houve a extinção de costumes, tradições e religiões desses povos, exemplificando esse processo por meio de dados a respeito da redução do número de línguas indígenas faladas no território. Logo após, argumenta que os colonizadores exploraram o território a partir da extração de Pau-Brasil e defende que esse não foi o único caso de exploração. Além disso, argumenta que os povos originários têm relação íntima com a temática ambiental por lutarem por sua valorização. Por fim, na proposta de intervenção, elabora um enfrentamento para a valorização dos povos originários, mas não apresenta proposta em relação à exploração ambiental. Quanto ao desenvolvimento, nota-se que algumas informações, fatos e opiniões apresentam lacunas, como quando, no segundo parágrafo, a participante menciona o processo de apagamento cultural sofrido pelos povos originários, mas não explica como isso se deu. No terceiro parágrafo, afirma que a exploração ambiental afeta diretamente esses povos, mas não explica de que forma. Além disso, no 4º parágrafo, menciona o folclore brasileiro sem desenvolver a relação das lendas com a valorização do meio ambiente. Nota: 160 pontos.”
ChatGPT: “O texto apresenta uma seleção adequada de informações, abordando tanto a exploração ambiental quanto a desvalorização dos povos tradicionais. No entanto, alguns trechos poderiam ser mais desenvolvidos e aprofundados, buscando uma maior articulação dos argumentos. Nota: 150 pontos.“
Inep: “Em defesa de um ponto de vista, o texto apresenta informações, fatos e opiniões relacionados ao tema, de forma organizada, com indícios de autoria, ou seja, os argumentos, embora ainda possam ser previsíveis, estão organizados e relacionados de forma consistente ao ponto de vista defendido e ao tema proposto, e há indícios de autoria. Nota: 140 pontos.” (Esta nota é novamente fruto de uma média dos dois corretores)
+ Enem: os erros mais cometidos na competência 3 da redação
Competência 4: conhecimento e argumentação
Professora Jéssica: “A redação é avaliada no nível 4 porque se caracteriza pela presença constante de elementos coesivos. Embora não haja repetições ou inadequações, a redação não é avaliada no nível 5 porque não apresenta operadores argumentativos interparágrafos em, pelo menos, 02 momentos do texto. Além disso, não há a presença expressiva de recursos coesivos. Nota: 160 pontos.”
ChatGPT: “O autor demonstra um bom conhecimento sobre o tema abordado, apresentando informações históricas relevantes sobre a colonização do Brasil e suas consequências para os povos tradicionais. Os argumentos são consistentes e sustentados por exemplos, mostrando uma capacidade de argumentação satisfatória. Nota: 170 pontos.”
Inep: “O participante articula as partes do texto com poucas inadequações e apresenta repertório diversificado de recursos coesivos. Nota: 140 pontos.” (Esta nota é novamente fruto de uma média dos dois corretores)
+ Redação do Enem: os erros mais cometidos na competência 4
Competência 5: elaboração de proposta de intervenção
Professora Jéssica: “A redação é avaliada no nível 4 porque apresenta abordagem completa do tema e proposta de intervenção mais completa, no último parágrafo, com 4 elementos válidos: o agente (‘Ministério da Educação e o Ministério da Cultura’), a ação (‘uma parceria que promova programas de inclusão e integração da cultura tradicional nas escolas’), efeito (‘introduzindo a relevância desse povo à crianças e jovens’) e detalhamento do efeito (‘E desse modo, os povos tradicionais terão o devido valor para a história brasileira’). Nota: 160 pontos.”
ChatGPT: “O autor apresenta uma proposta de intervenção que envolve a parceria entre o Ministério da Educação e o Ministério da Cultura, promovendo programas de inclusão e integração da cultura tradicional nas escolas. A proposta é viável e busca valorizar a cultura dos povos tradicionais, mas poderia ser mais detalhada quanto às ações específicas a serem tomadas. Nota: 160 pontos.”
Inep: “O participante elabora bem proposta de intervenção relacionada ao tema, decorrente da discussão desenvolvida no texto, articulada e abrangente, ainda que sem suficiente detalhamento. Nota: 160 pontos.”
+ Redação do Enem: os erros mais cometidos na competência 5
Correções humanas e por IA se aproximam
| Professora | ChatGPT | Resultado Enem | |
| Competência 1 | 160 | 160 | 140 |
| Competência 2 | 200 | 180 | 200 |
| Competência 3 | 160 | 150 | 140 |
| Competência 4 | 160 | 170 | 140 |
| Competência 5 | 160 | 160 | 160 |
Somando as cinco notas apresentadas por cada corretor, concluímos que, para a professora do curso pré-vestibular, o texto da candidata tem como nota final 840 pontos. O ChatGPT avalia quase que igualmente, com apenas 20 pontos de diferença: 820 pontos. Na avaliação oficial do Inep, a redação ganhou 780 pontos.
+ 4 segredos dos corretores da redação do Enem
Alguns pontos que valem levar em consideração dizem respeito, principalmente, à correção feita pela IA. Observe que nas competências 3 e 4, o robô avaliou como 150 e 170 pontos, respectivamente. Números estes que são impossíveis de serem dados por corretores do Enem. Para a banca do exame, a correção de cada competência é feita de 40 em 40 pontos. Veja abaixo, por exemplo, como é a divisão de níveis de acerto da competência 1 – e as suas respectivas pontuações.
Repare, portanto, que os números 150 e 170 simplesmente não seriam possíveis de serem obtidos. Neste sentido, a correção da professora Jéssica é a que mais se adequa aos critérios do Enem. A docente ainda esclarece qual é o nível de acerto da candidata em cada competência.
+ Confissões de uma corretora de redações do Enem
No entanto, por mais que o ChatGPT e ela tenham dado notas muito semelhantes, o robô, ao fim da correção (e ainda sem saber a nota real da candidata), esclareceu que sua avaliação é “aproximada”, e que pode “variar de acordo com os critérios e avaliadores oficiais”. Seu erro na quantificação da nota de cada competência, no entanto, demonstra que sua correção talvez não seja tão confiável – uma vez que o documento com a cartilha que especifica as competências é público e disponível na web, portanto, ao alcance da ferramenta.
