Quality of the Natural Sciences items in the Enem: Overview from 2009 to 2022

Authors

DOI:

https://doi.org/10.18222/eae.v35.10972

Keywords:

Psychometrics, Science Teaching, Educational Evaluation, Exame Nacional do Ensino Médio

Abstract

The use of the Exame Nacional do Ensino Médio [National High School Exam] as a gateway to higher education grants it a significant role in individuals’ lives. In light of this, it is essential that the exam demonstrates minimum quality standards, contributing to an equitable selection of candidates. The aim of this article was to analyze specific psychometric quality indicators concerning the editions from 2009 to 2022. The study focused on classifying the Chemistry, Biology, and Physics items as good, questionable, or poor. For this purpose, the parameters of the components were estimated using Item Response Theory. The results showed that many items did not adequately assess the proficiency intended in the exam. Future studies are encouraged to include a pedagogical analysis of the questions.

Downloads

Download data is not yet available.

Author Biography

Patrick Alves Vizzotto, Universidade Federal dos Vales do Jequitinhonha e Mucuri (UFVJM), Diamantina-MG, Brasil

Licenciado em Física, Mestre e Doutor em Educação em Ciências e Professor do curso de Licenciatura em Física da Universidade Federal dos Vales do Jequitinhonha e Mucuri (UFVJM), Diamantina/MG – Brasil. Tem interesse na área de Educação em Ciências, desenvolvendo estudos voltados para: Avaliação da Alfabetização Científica, Métodos quantitativos para pesquisa em Educação em Ciências e Psicometria aplicada à pesquisa educacional.

References

American Educational Research Association (Aera), American Psychological Association (APA), & National Council on Measurement in Education (NCME). (2014). Standards for educational and psychological testing. Aera.

Bassalo, J. M. F. (2011). Questões de física do Enem/2009. Caderno Brasileiro de Ensino de Física, 28(2), 325-355. http://dx.doi.org/10.5007/2175-7941.2011v28n2p325 DOI: https://doi.org/10.5007/2175-7941.2011v28n2p325

Bauer, A., Alavarse, O. M., & Oliveira, R. P. de (2015). Avaliações em larga escala: Uma sistematização do debate. Educação e Pesquisa, 41(especial), 1367-1382. http://dx.doi.org/10.1590/S1517-9702201508144607 DOI: https://doi.org/10.1590/S1517-9702201508144607

Cavalcanti, C. J. de H., Nascimento, M. M., & Ostermann, F. (2018). A falácia da culpabilização do professor pelo fracasso escolar. Revista Thema, 15(3), 1064-1088. https://periodicos.ifsul.edu.br/index.php/thema/article/view/1059 DOI: https://doi.org/10.15536/thema.15.2018.1064-1088.1059

Chalmers, R. P. (2012). Mirt: A multidimensional item response theory package for the R environment. Journal of Statistical Software, 48(6), 1-29. https://doi.org/10.18637/jss.v048.i06 DOI: https://doi.org/10.18637/jss.v048.i06

Duarte, L. P. A. de A., Gonçalves, W. P., Jr., & Barroso, M. F. (2013). Estudo de um item quantitativo na prova de Física do Enem 2009. In Anais do 20. Simpósio Nacional de Ensino de Física – SNEF (pp. 1-9). Universidade de São Paulo. https://www.if.ufrj.br/~marta/enem/producao_enem/Snef2013_T0455-1.pdf

Faillace, H. F. P., Britto, I. L. M., & Costa, F. da S. (2022). O desempenho dos alunos do ensino médio no Enem 2019 e a desigualdade social: Um estudo utilizando análise exploratória e técnicas de agrupamento. Cadernos do IME – Série Estatística, 53, 33-64. https://doi.org/10.12957/cadest.2022.72568 DOI: https://doi.org/10.12957/cadest.2022.72568

Gil, A. C. (2008). Métodos e técnicas de pesquisa social (3ª ed.). Atlas.

Gomes, C. M. A., Golino, H. F., & Peres, A. J. de S. (2020). Fidedignidade dos escores do Exame Nacional do Ensino Médio (Enem). Psico, 51(2), 1-10. https://doi.org/10.15448/19808623.2020.2.31145 DOI: https://doi.org/10.15448/1980-8623.2020.2.31145

Hutz, C. S., Bandeira, D. R., & Trentini, C. M. (Orgs.). (2015). Psicometria. Artmed.

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). (2024). Microdados do Enem. https://www.gov.br/inep/pt-br/acesso-a-informacao/dados-abertos/microdados/enem

Lopes, J. C. (2015). As questões de física do Enem 2011 [Dissertação de mestrado]. Universidade Federal do Rio de Janeiro, Programa de Pós-Graduação em Ensino de Física.

Mancini, G. V., Marques, A. C., Jr., & Cintra, E. P. (2017). Análise dos itens de biologia presentes no Enem. In Anais do 10. Congreso Internacional sobre investigación em Didáctica de las Ciencias (pp. 1479-1484). Universitat Autònoma de Barcelona. https://raco.cat/index.php/Ensenanza/article/view/337020/427890

Moreira, M. A. (2018). Uma análise crítica do ensino de Física. Estudos Avançados, 32(94), 73-80. https://doi.org/10.1590/s0103-40142018.3294.0006 DOI: https://doi.org/10.1590/s0103-40142018.3294.0006

Nascimento, M. M., Cavalcanti, C., & Ostermann, F. (2018). Uma busca por questões de Física do Enem potencialmente não reprodutoras das desigualdades socioeconômicas. Revista Brasileira de Ensino de Física, 40(3), 1-18. http://dx.doi.org/10.1590/1806-9126-RBEF-2017-0237 DOI: https://doi.org/10.1590/1806-9126-rbef-2017-0237

Núñez, I. B., Ramalho, B. L. (2017). Os itens de Química do Enem 2014: Erros e dificuldades de aprendizagem. Acta Scientiae, 19(5), 799-816.

Piton-Gonçalves, J., & Almeida, A. M. (2018). Análise da dificuldade e da discriminação de itens de Matemática do Enem. REMAT: Revista Eletrônica da Matemática, 4(2), 38-53. https://doi.org/10.35819/remat2018v4i2id3060 DOI: https://doi.org/10.35819/2447-2689remat2018v4i2id3060

Pontes, J. A. F., Jr., Silva, A. G. da, Tavare, E. D., Sousa, L. A., Bastos, F. A. C., Cruz, F. N. I. da, & Almeida, L. S. (2016). Aspectos psicométricos dos itens de Educação Física relacionados aos conhecimentos de Esporte e Saúde no Exame Nacional do Ensino Médio (Enem). Motricidade, 12(1), 12-21. https://www.redalyc.org/pdf/2730/273050666003.pdf

Quadros, A. L. de , Silva, D. C. da, Andrade, F. P. de, Aleme, H. G., Oliveira, S. R., & Silva, G. de F. (2011). Ensinar e aprender Química: A percepção dos professores do Ensino Médio. Educar em Revista, (40), 159-176. https://doi.org/10.1590/S0104-40602011000200011 DOI: https://doi.org/10.1590/S0104-40602011000200011

R Core Team. (2018). R: A language and environment for statistical computing (p. 10). R Foundation for Statistical Computing. https://www.r-project.org/

Revelle, W. (2024). Psych: Procedures for Personality and Psychological Research. R package version 1.4.3. Northwestern University. https://cran.r-project.org/web/packages/psych/psych.pdf

Robaina, J. V. L., Fenner, R. dos S., Martins, L. A. M., Barbosa, R. de A., & Soares, J. R. (Orgs.). (2021). Fundamentos teóricos e metodológicos da pesquisa em educação em ciências. Bagai. http://educapes.capes.gov.br/handle/capes/585938 DOI: https://doi.org/10.37008/978-65-89499-05-3.05-01-21

Rosa, G. A. da, & Silva, D. Q. da (2017). Educação popular na América Latina e questão social: Da desigualdade à resistência. Educação, 42(2), 319-332. https://doi.org/10.5902/1984644424126 DOI: https://doi.org/10.5902/1984644424126

Rubini, G. M. (2019). O que o Enem revela sobre a aprendizagem em Física na Educação Básica [Tese de doutorado, Universidade Federal do Rio de Janeiro]. Pemat. https://pemat.im.ufrj.br/index.php/pt/producao-cientifica/teses/2019/228-o-que-o-enem-revela-sobre-a-aprendizagemem-fisica-na-educacao-basica

Silveira, F. L. da, Barbosa, M. C. B., & Silva, R. da (2015). Exame Nacional do Ensino Médio (Enem): Uma análise crítica. Revista Brasileira de Ensino de Física, 37(1), 1-5. http://dx.doi.org/10.1590/S1806-11173710001 DOI: https://doi.org/10.1590/S1806-11173710001

Soares, T. E. A., Soares, D. J. M., & Santos, W. (2021). Medidas de Tendência Central: Análise da qualidade das questões do Enem de 2016 a 2018. Jornal Internacional de Estudos em Educação Matemática, 14(1), 119-128. https://jieem.pgsscogna.com.br/jieem/article/view/7979 DOI: https://doi.org/10.17921/2176-5634.2021v14n1p119-128

Souza, J. E. P. de (2019). Avaliação em Larga Escala, o senso comum, críticas e ponderações. Revista do Instituto de Políticas Públicas de Marília, 5(2), 139-156. https://doi.org/10.36311/2447-780X.2019.v5n2.11.p139 DOI: https://doi.org/10.36311/2447-780X.2019.v5n2.11.p139

Travitzki, R. (2017). Avaliação da qualidade do Enem 2009 e 2011 com técnicas psicométricas. Estudos em Avaliação Educacional, 28(67), 256-288. https://doi.org/10.18222/eae.v28i67.3910 DOI: https://doi.org/10.18222/eae.v28i67.3910

Vilarinho, A. P. L. (2015). Uma proposta de análise de desempenho dos estudantes e de valorização da primeira fase da OBMEP [Dissertação de mestrado, Universidade de Brasília]. Repositório Institucional da UnB. http://icts.unb.br/jspui/handle/10482/19335?mode=full

Downloads

Published

2024-12-20

How to Cite

Vizzotto, P. A. (2024). Quality of the Natural Sciences items in the Enem: Overview from 2009 to 2022. Estudos Em Avaliação Educacional, 35, e10972. https://doi.org/10.18222/eae.v35.10972

Issue

Vol. 35 (2024)

Section

Large-Scale Evaluation in Latin America

License

Copyright (c) 2025 Estudos em Avaliação Educacional

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Authors who publish in this journal agree to the following terms:

a. Authors retain the copyright and grant the journal the right to first publication, with the paper simultaneously licensed under the Creative Commons Attribution License (CC BY 4.0) license that allows the sharing of the paper with acknowledgment of authorship and initial publication in this journal.

b. Authors are authorized to assume additional contracts separately, for non-exclusive distribution of the version of the paper published in this journal (for example publishing in institutional repository or as a book chapter), with acknowledgment of authorship and initial publication in this journal.

c. Authors are allowed and encouraged to publish and distribute their paper on-line (for example in institutional repositories or on their personal page) at any moment before or during the editorial process, as this can generate productive changes, as well as increase the impact and citation of the published paper (See The Effect of Open Access).