As provas do Exame Nacional do Ensino Médio são unidimensionais?
DOI:
https://doi.org/10.18222/eae.v31i78.7203Palavras-chave:
Avaliação da Educação, Métodos de Avaliação, Análise Fatorial, Teoria da Resposta ao ItemResumo
O modelo de Teoria da Resposta ao Item utilizado em muitos testes educacionais no Brasil, como o Exame Nacional do Ensino Médio, exige que os itens sejam unidimensionais. Assim, esta pesquisa teve o objetivo de analisar se os itens desse exame apresentam essa suposição. Para tanto, com base em uma amostra aleatória de participantes que realizaram a prova em 2017, foi investigada a dimensionalidade das provas do exame por meio do teste de Análise Paralela e Análise Fatorial de Informação Plena. Os resultados encontrados indicam que alguns itens não são unidimensionais.
Downloads
Referências
ANDRADE, Dalton Francisco de; TAVARES, Heliton Ribeiro; VALLE, Raquel da Cunha. Teoria de resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.
ANDRADE, Gisele Gama. A metodologia do Enem: uma reflexão. Série-Estudos, Campo Grande, MS, n. 33, p. 67-76, 2012.
ANDRADE, Josemberg Moura de; LAROS, Jacob Arie; GOUVEIA, Valdiney Veloso. O uso da teoria de resposta ao item em avaliações educacionais: diretrizes para pesquisadores. Avaliação Psicológica, Campinas, SP, v. 9, n. 3, p. 421-435, 2010.
ANDRIOLA, Wagner Bandeira. Avaliação da aprendizagem: uma análise descritiva segundo a teoria de resposta ao item (TRI). Educação em Debate, Fortaleza, v. 20, n. 36, p. 93-102, 1998.
BARTHOLOMEW, David J. Factor analysis for categorical data. Journal of the Royal Statistical Society, v. 42, n. 3, p. 293-321, 1980.
BÉLAND, Sébastien; JOLANI, Shahab; PICHETTE, François; RENAUD, Jean-Sébastien. Impact of simple substitution methods for missing data on classical test theory difficulty and discrimination. The Quantitative Methods for Psychology, v. 14, n. 3, p. 180-192, 2018.
BRASIL. Ministério da Educação. Teoria de resposta ao item avalia habilidade e minimiza o “chute” de candidatos. 2011. Disponível em: http://portal.mec.gov.br/ultimas-noticias/389-ensino-medio-2092297298/17319-teoria-de-resposta-ao-item-avalia-habilidade-e-minimiza-o-chute. Acesso em: 14 dez. 2020.
CANÇADO, Regina; CASTRO, Maria Jose Pereira; OLIVEIRA, Isabella Fernandes de. Análise pedagógica de itens de teste por meio da teoria de resposta ao item. In: REUNIÃO DA ABAVE, 7., 2013, Brasilia-DF. Anais […]. Brasilia-DF, 2013.
CHALMERS, R. Philip. MIRT : A multidimensional item response theory package for the R environment. Journal of Statistical Software, v. 48, n. 6, p. 1-29, 2012.
COSTA, Carlos Eduardo Sousa. Análise da dimensionalidade e modelagem multidimensional pela TRI no Enem (1998-2008 ). 2015. Dissertação (Mestrado em Métodos e Gestão em Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2015.
COSTA, Patrícia; FERRÃO, Maria Eugénia. On the complementarity of classical test theory and item response models: Item difficulty estimates and computerized adaptive testing. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 23, n. 88, p. 593-610, 2015.
FERREIRA, Francisco Fialho Guedes. Escala de proficiência para o Enem utilizando teoria de resposta ao item. 2009. Dissertação (Mestrado em Matemática e Estatística) – Universidade Federal do Pará, Belém, 2009.
GOMES, Cristiano Mauro Assis; GOLINO, Hudson Fernandes; PERES, Alexandre José de Souza. Análise da fidedignidade composta dos escores do Enem por meio da análise fatorial de itens. European Journal of Education Studies, v. 5, n. 8, p. 331-344, 2018. http://dx.doi.org/10.46827/ejes.v0i0.2178.
HAYTON, James C.; ALLEN, David G.; SCARPELLO, Vida. Factor retention decisions in exploratory factor analysis: A tutorial on parallel analysis. Organizational Research Methods, v. 7, n. 2, p. 191-205, 2004.
KLEIN, Ruben. Utilização da teoria de resposta ao item no Sistema Nacional de Avaliação da Educação Básica (Saeb). Meta: Avaliação, Rio de Janeiro, v. 1, n. 2, p. 125-140, 2009.
KLEIN, Ruben. Alguns aspectos da Teoria de Resposta ao Item relativos à estimação das proficiências. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 21, n. 78, p. 35-56, 2013.
MUNER, Luana Comito. Análise fatorial exploratória e comfirmatória do Enem 2010 com estudantes paulistas. 2013. Dissertação (Mestrado em Psicologia) – Universidade São Francisco, Itatiba-SP, 2013.
MUÑIZ, José. Teoría clássica de los testes. Madrid: Pirámede, 1994.
NEWMAN, Daniel A. Missing data: five practical guidelines. Organizational Research Methods, v. 17, n. 4, p. 372-411, 2014.
NOJOSA, Ronaldo Targino. Teoria da Resposta ao Item (TRI): modelos multidimensionais. Estudos em Avaliação Educacional, São Paulo, n. 25, p. 123-166, jan./jun. 2002.
NYLUND, Karen L.; ASPAROUHOV, Tihomir; MUTHÉN, Bengt O. Deciding on the number of classes in latent class analysis and growth mixture modeling: A Monte Carlo simulation study. Structural Equation Modeling: A Multidisciplinary Journal, v. 14, n. 4, p. 535-569, 23 out. 2007.
OLIVEIRA, Bolivar Alves. Interdisciplinaridade e dimensionalidade das provas do Enem. In: REUNIÃO DA ABAVE, 8., 2015, Florianópolis. Anais [...]. Florianópolis: Abave, 2015.
PASQUALI, Luiz. Psicometria: teoria dos testes na psicologia e na educação. 3. ed. Petrópolis, RJ: Vozes, 2009.
PICCIRILLI, Giovanni Pastori; SOUZA, Aparecida Donizete Pires de. Teoria da Resposta ao Item multidimensional: análise da dimensionalidade da prova do Enem 2016. In: CONGRESSO DE INICIAÇÃO CIENTÍFICA DA UNESP, 30., 2018, Presidente Prudente. Anais [...]. Presidente Prudente: Unesp, 2018.
PRIMI, Ricardo; CICCHETTO, Airton A. Como os escores do Enem são atribuídos pela TRI? In: CONBRATRI: MÉTODOS PARA DETECÇÃO DE FRAUDES EM TESTES, 6., Juiz de Fora. Anais [...]. Juiz de Fora: Abave, 2018.
RECKASE, Mark D. Multidimensional item response theory. New York, NY: Springer, 2009.
REVELLE, W. Psych: Procedures for personality and psychological research, 2017. Disponível em: https://cran.r-project.org/package=psych. Acesso em: 14 dez. 2020.
RIZOPOULOS, Dimitris. Ltm: An R package for latent variable modeling and item response theory analyses. Journal of Statistical Software, v. 17, n. 5, p. 1-25, 2006.
SARTES, Laisa Marcorela Andreoli; SOUSA-FORMIGONI, Maria Lucia Oliveira de. Avanços na psicometria: da teoria clássica dos testes à teoria de resposta ao item. Psicologia: Reflexão e Crítica, Porto Alegre, v. 26, n. 2, p. 241-250, 2013.
SOARES, Denilson Junio Marques; SOARES, Talita Emidio Andrade; SANTOS, Wagner dos. Análise da qualidade psicométrica da prova de matemática do Exame Nacional do Ensino Médio brasileiro de 2018. Revista Actualidades Investigativas en Educación, v. 21, n. 1, p. 1-28, 2020. http://dx.doi.org/10.15517/aie.v21i1.42338.
SOUSA, Leandro Araujo de; BRAGA, Adriana Eufrásio. Teoria clássica dos testes e teoria de resposta ao item em avaliação educacional. Revista de Instrumentos, Modelos e Políticas em Avaliação Educacional, Itaperi, CE, v. 1, n. 1, p. e020002, 2020.
SOUSA, Leandro Araujo de; PONTES JUNIOR, José Airton de Freitas; BRAGA, Adriana Eufrásio. Educação física no Exame Nacional do Ensino Médio: análise via teoria clássica dos testes. Revista Actualidades Investigativas en Educación, v. 20, n. 1, p. 257-277, Abr. 2020. http://dx.doi.org/10.15517/aie.v20i1.40126.
STOUT, William F. A new item response theory modeling approach with applications to unidimensionality assessment and ability estimation. Psychometrika, v. 55, n. 2, p. 293-325, 1990.
TAVARES, Cristina Zukowsky. Teoria da resposta ao item: uma análise crítica dos pressupostos epistemológicos. Estudos em Avaliação Educacional, São Paulo, v. 24, n. 54, p. 56-76, jan./abr. 2013.
TOFFOLI, Sônia Ferreira Lopes. Análise da qualidade de uma prova de matemática do Exame Nacional do Ensino Médio. Educação e Pesquisa, São Paulo, v. 45, e187128, 2019. http://dx.doi.org/10.1590/S1678-4634201945187128.
TOFFOLI, Sônia Ferreira Lopes; ANDRADE, Dalton Francisco de; BORNIA, Antonio Cezar; QUEVEDO-CAMARGO, Gladys. Avaliação com itens abertos: validade, confiabilidade, comparabilidade e justiça. Educação e Pesquisa, São Paulo, v. 42, n. 2, p. 343-358, jun. 2016.
TRAVITZKI, Rodrigo. Avaliação da qualidade do Enem 2009 e 2011 com técnicas psicométricas. Estudos em Avaliação Educacional, São Paulo, v. 28, n. 67, p. 256-288, jan./abr. 2017. http://dx.doi.org/10.18222/eae.v28i67.3910.
VALLE, Raquel da Cunha. Teoria de resposta ao item. Estudos em Avaliação Educacional, São Paulo, n. 21, p. 7-92, jan./jun. 2000.
VIANNA, Heraldo Marelim. Testes em educação. São Paulo: Ibrasa, 1976.
VIEIRA, Nara Núbia. As provas das quatro áreas do Enem vista como prova única na ótica de modelos da Teoria da Resposta ao Item uni e multidimensional. 2016. Dissertação (Mestrado Profissional em Métodos e Gestão da Avaliação) – Universidade Federal de Santa Catarina, Florianópolis, 2016.
Downloads
Publicado
Como Citar
Edição
Seção
Licença
Copyright (c) 2021 Estudos em Avaliação Educacional
Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial 4.0 International License.
Autores que publicam nesta revista concordam com os seguintes termos:
a. Autores mantém os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons BY-NC do tipo "Atribuição Não Comercial" que permite o compartilhamento do trabalho com reconhecimento da autoria e publicação inicial nesta revista.
b. Autores têm autorização para assumir contratos adicionais separadamente, para distribuição não-exclusiva da versão do trabalho publicada nesta revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento de autoria e publicação inicial nesta revista.
c. Autores têm permissão e são estimulados a publicar e distribuir seu trabalho online (ex.: em repositórios institucionais ou na sua página pessoal) a qualquer ponto antes ou durante o processo editorial, já que isso pode gerar alterações produtivas, bem como aumentar o impacto e a citação do trabalho publicado (Veja O Efeito do Acesso Livre).
