Indicadores qualitativos na avaliação da pós-graduação em educação
DOI:
https://doi.org/10.18222/eae.v35.10777Palavras-chave:
Avaliação da Educação, Pós-graduação, Políticas Educacionais, Avaliação em Larga EscalaResumo
Analisa-se a avaliação da pós-graduação na Área de Educação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, entre 2017 e 2020, destacando as mudanças decorrentes da ampliação do uso de indicadores qualitativos. Após a contextualização da avaliação e a discussão de aspectos teóricos sobre o tema, descreve-se o processo adotado para a objetivação da avaliação e os resultados obtidos, por análise de regressão, do comportamento dos indicadores quanti e qualitativos na definição das notas dos programas da área. Propõem-se redução do número de indicadores, valorização de indicadores qualitativos como fontes para o feedback necessário à melhoria do programa e adoção de processos de objetivação derivada da construção de critérios avaliativos que parametrizem o trabalho da avaliação.
Downloads
Referências
Barreto, J. A. E. (1993). Avaliação: Mitos e armadilhas. Ensaio: Avaliação e Políticas Públicas em Educação, 1, 45-54.
Biagioli, M. (2018). Quality to impact, text to metadata: Publication and evaluation in the age of metrics. KNOW: A Journal on the Formation of Knowledge, 2(2), 249-275. https://doi.org/10.1086/699152 DOI: https://doi.org/10.1086/699152
Borsboom, D., Mellenbergh, G. J., & Heerden, J. van. (2004). The concept of validity. Psychological Review, 111(4), 1061-1071. https://doi.org/10.1037/0033-295x.111.4.1061 DOI: https://doi.org/10.1037/0033-295X.111.4.1061
Brasil, A. (2023). Advancing the evaluation of graduate education: Towards a multidimensional model in Brazil. Universiteit Leiden.
Castro, C. de M. (2006). A Capes na visão de um ex-diretor. Análise, 17(2), 360-376.
Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). (2021). Equivalência entre conceitos e notas. https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/avaliacao/2021.04.05_RelatrioGTequivalenciaconceitosnotasversoformatadaV3.pdf
Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). (2022). Relatório de avaliação de Área de Educação. https://www.gov.br/capes/pt-br/centrais-de-conteudo/ documentos/avaliacao/19122022_RELATORIO_AVALIACAO_QUADRIENAL_ comnotaEducao.pdf
Fórum de Coordenadores de Programas de Pós-Graduação em Educação (Forpred). (2017). Carta de Fortaleza. (Documento não publicado).
Gatti, B., Andre, M., Favero, O., & Candau, V. M. F. (2003). O modelo de avaliação da Capes. Revista Brasileira de Educação, 22, 137-144. https://doi.org/10.1590/S1413-24782003000100012 DOI: https://doi.org/10.1590/S1413-24782003000100012
Gomez, M. N. G. de. (2014). Da questão da validade ao julgamento de valor: Mediação informacional da avaliação científica. In Anais do 15. Encontro Nacional de Pesquisadores em Ciência da Informação.
Khandker, S. R., Koolwal, G. B., & Samad, H. A. (2009). Handbook on impact evaluation: Quantitative methods and practices. World Bank Publications. DOI: https://doi.org/10.1596/978-0-8213-8028-4
Klecka, W. R. (1980). Discriminant analysis. Sage. DOI: https://doi.org/10.4135/9781412983938
Lamont, M. (2012). Toward a comparative sociology of valuation and evaluation. Annual Review of Sociology, 38(1), 201-221. https://doi.org/10.1146/annurev-soc-070308-120022 DOI: https://doi.org/10.1146/annurev-soc-070308-120022
Leite, D., Verhine, R. E., Dantas, L. M. V., & Bertolin, J. C. D. (2020). A autoavaliação na pós- -graduação (PG) como componente do processo avaliativo Capes. Avaliação: Revista da Avaliação da Educação Superior, 25(2), 339-353. https://doi.org/10.1590/S1414-4077/S1414-40772020000200006 DOI: https://doi.org/10.1590/s1414-4077/s1414-40772020000200006
Minayo, M. C. de S. (2009). Construção de indicadores qualitativos para avaliação de mudanças. Revista Brasileira de Educação Médica, 33(Supl. 1), 83-91. http://educa.fcc.org.br/pdf/rbem/v33s01/v33s01a09.pdf DOI: https://doi.org/10.1590/S0100-55022009000500009
Moreira, C. O. F., Hortale, V. A., & Hartz, Z. M. A. (2004). Avaliação da pós-graduação: Buscando consenso. Revista Brasileira de Pós-Graduação, 1(1), 26-40. https://www.arca.fiocruz.br/handle/icict/60206
Patton, M. Q. (1999). Enhancing the quality and credibility of qualitative analysis. Health Services Research, 34(5 Pt 2), 1189-1208.
Portaria n. 122, de 5 de agosto de 2021. (2021). Consolida os parâmetros e os procedimentos gerais da Avaliação Quadrienal de Permanência da pós-graduação stricto sensu no Brasil. Brasília, DF. http://cad.capes.gov.br/ato-administrativo-detalhar?idAtoAdmElastic=6742
Porter, T. M. (1995). Quantification and the accounting ideal in science. Social Studies in Science, 22(4), 633-652. https://www.jstor.org/stable/285458 DOI: https://doi.org/10.1177/030631292022004004
Reckase, M. D. (2023). The psychometrics of standard setting: Connecting policy and test scores. CRC Press. DOI: https://doi.org/10.1201/9780429156410
Richie, J., & Lewis, J. (Eds.) (2003). Qualitative research practice: A guide to social science students and researchers. Sage.
Secchi, L. (2014). Instrumentos de políticas públicas. In R. F. Boullosa (Org.), Dicionário para a formação em gestão social (pp. 103-105). CIAGS/UFBA.
Sguissardi, V. (2006). A avaliação defensiva no “modelo Capes de avaliação”: É possível conciliar avaliação educativa com processos de regulação e controle do Estado? Perspectiva, 24(1), 49-88. http://educa.fcc.org.br/pdf/rp/v24n01/v24n01a03.pdf
Spagnolo, F., & Calhau, M. G. (2002). Observadores internacionais avaliam a avaliação da Capes. Infocapes, 10(1), 7-34.
Stufflebeam, D., & Shinkfield, A. J. (2007). Evaluation theory, models and applications. HB Printing.
Tierney, R., & Simon, M. (2004). What’s still wrong with rubrics: Focusing on the consistency of performance criteria across scale levels. Practical Assessment, Research, and Evaluation, 9(1), Article 2. https://doi.org/10.7275/jtvt-wg68
Todeschini, R., & Baccini, A. (2016). Handbook of bibliometric indicators: Quantitative tools for studying and evaluating research. John Wiley & Sons. DOI: https://doi.org/10.1002/9783527681969
ToloData. (2021). Qualitative indicators and their relevance in monitoring and evaluation. https://www.toladata.com/blog/qualitative-indicators-and-their-relevance-in-monitoring-and-evaluation/
Tufte, E. R. (1974). Data analysis for politics and policy. Prentice-Hall.
United States Agency for International Development (Usaid). (2005). Handbook on qualitative indicators. https://pdf.usaid.gov/pdf_docs/PNAEB361.pdf
Worthen, B. R., Sanders, J. R., & Fitzpatrick, J. L. (2004). Avaliação de programas: Concepções e práticas. Gente.
Publicado
Como Citar
Edição
Seção
Licença
Copyright (c) 2024 Robert Evan Verhine, Lys Maria Vinhaes Dantas, Ângelo Ricardo de Souza Souza
Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial 4.0 International License.
a. Autores mantêm os direitos autorais e concedem à revista o direito de primeira publicação.
b. Todos os trabalhos estão licenciados sob a Licença Creative Commons Attribution (CC BY 4.0), que permite o compartilhamento do trabalho com reconhecimento da autoria.
