Continuous evaluation of higher education programs
DOI:
https://doi.org/10.18222/eae.v30i73.5739Keywords:
Program Evaluation, Higher Education, Public Policies, Evaluation of Educational InnovationAbstract
This paper discusses the concept of continuous evaluation, based on the evaluation experience of a higher education program from a public university. The program is not only an affirmative action, it is also a general education program and a new admission way to the undergraduate courses. Continuous evaluation represents innovation in conceptual and methodological terms, in the public policy area, as it proposes a process based on a policy. The analysis of the general education program provides two main contributions: a) the understanding of how to set up a continuous evaluation system; b) the management of the system. This highlights the continuous generation of subsidies for decision-making as well as the challenges that are being faced, which guarantee that the integration between evaluation and decision-making will continue to occur.
Downloads
References
ALKIN, M. C.; KING, J. A. The historical development of evaluation use. American Journal of Evaluation, Thousand Oaks, CA, v. 37, n. 4, p. 568-579, 2016. DOI: https://doi.org/10.1177/1098214016665164
ANDRADE, C. et al. Programa de Formação Interdisciplinar Superior: um novo caminho para a educação superior. Revista Brasileira de Estudos Pedagógicos, Brasília, v. 93, p. 698-719, 2012. DOI: https://doi.org/10.1590/S2176-66812012000400009
ANDRADE, C. et al. ProFIS: A new paradigm for higher education in Brazil. Journal of Widening Participation and Lifelong Learning, Reino Unido, v. 15, n. 3, p. 22-46, 2013. DOI: https://doi.org/10.5456/WPLL.15.3.22
BRASIL. Lei n. 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Brasília, DF: Presidência da República, 1996. Disponível em: http://www.planalto.gov. br/ccivil_03/leis/l9394.htm. Acesso em: 19 mar. 2019.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Metodologia de Cálculo dos Indicadores de Fluxo do Ensino Superior. Brasília: 2017. Disponível em: http://download.inep.gov.br/informacoes_estatisticas/indicadores_educacionais/2017/metodologia_indicadores_ trajetoria_curso.pdf. Acesso em: 12 maio 2019.
CAMARGO JÚNIOR, J. B.; ALMEIDA JÚNIOR, J. R.; CUGNASCA, P. S. Desafios da avaliação continuada em um curso de engenharia. EccoS Revista Científica, n. 37, p. 215–232, 2015. Disponível em: http://www.redalyc.org/pdf/715/71543111013.pdf. Acesso em: 29 maio 2018. DOI: https://doi.org/10.5585/eccos.n37.3679
CARNEIRO, A. M. et al. Interdisciplinary Higher Education Program (ProFIS): challenges and opportunities. In: TERANISHI, R. T. et al. (ed.). Advances in education in diverse communities: research, policy and praxis. Bingley: Emerald Group Publishing Limited, 2015. p. 265-282. DOI: https://doi.org/10.1108/S1479-358X20150000011016
CARNEIRO, A. M. et al. A avaliação continuada do Programa de Formação Interdisciplinar Superior da Unicamp (ProFIS): contribuições do estudo longitudinal. Caderno de Pesquisa NEPP, Campinas, v. 85, p. 11-124, 2017.
CARNEIRO, A. M. et al. Educación general y participación en la investigación: el caso ProFIS de Unicamp Brasil. In: CASTRO, A.; COLPAS, E. (org.). Reflexiones sobre los estudios generales en la educación superior. Barranquilla: Editorial Universidad del Norte, 2018. p. 120-145.
CARNEIRO, A. M.; ANDRADE, C.; GONCALVES, M. L. Formação interdisciplinar e inclusão social: o primeiro ano do ProFIS. Ensino Superior Unicamp, Campinas, v. 3, p. 24-38, 2012.
CARNEIRO, A. M.; ANDRADE, C.; TELLES, S. M. B. S. Avaliação continuada do Programa de Formação Interdisciplinar Superior da Unicamp: proposta metodológica. Revista Brasileira de Monitoramento e Avaliação, Brasília, v. 1, p. 26-45, 2012. DOI: https://doi.org/10.4322/rbma201102003
CARLSON, V. Trends and innovations in public policy analysis. The Policy Studies Journal, v. 39, n. S1, p. 13-26, 2011. DOI: https://doi.org/10.1111/j.1541-0072.2010.00389_2.x
CASTRO, A.; COLPAS, E. (org.). Reflexiones sobre los estudios generales en la educación superior. Barranquilla: Editorial Universidad del Norte, 2018.
CASTRO, C. M. Educar para o ofício ou educar para mudar de ofício? Ensino Superior Unicamp, Campinas, Ano 2, n. 3, p. 20-39, 2011.
CHOUINARD, J. A. Balancing evaluation theory and practice in the real world. American Journal of Evaluation, v. 34, n. 1, p. 91-98, 2013a. DOI: https://doi.org/10.1177/1098214012461559
CHOUINARD, J. A. The practice of evaluation in public sector contexts: a response. American Journal of Evaluation, v. 34, n. 2, p. 266-269, 2013b. DOI: https://doi.org/10.1177/1098214013478146
CUNNINGHAM, P. N.; NEDEVA, M. N. Towards a system of continuous evaluation and monitoring for European co-operation in scientific and technical research (COST). Research Evaluation, Inglaterra, v. 8, n. 3, p. 142-154, 1999. DOI: https://doi.org/10.3152/147154499781777487
DAFLON, Verônica Toste; FERES JÚNIOR, João; CAMPOS, Luiz Augusto. Ações afirmativas raciais no ensino superior público brasileiro: um panorama analítico. Cadernos de Pesquisa, São Paulo, v. 43, n. 148, p. 302-327, 2013. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-15742013000100015&lng=en&nrm=iso. Acesso em 12 fev. 2019. http://dx.doi. org/10.1590/S0100-15742013000100015. DOI: https://doi.org/10.1590/S0100-15742013000100015
DAUGHERTY, Lindsay; MARTORELL, Paco; MCFARLIN, Isaac. The Texas Ten Percent Plan’s impact on college enrollment. Education Next, v. 14, n. 3, 2014. Disponível em: http://educationnext.org/ texas-ten-percent-plans-impact-college-enrollment/. Acesso em: 12 maio 2019.
DYE, T. R. Understanding public policy. Londres: Prentice-Hall, 1992.
FITZPATRICK, J. L.; SANDERS, J. R.; WORTHEN, B. R. Program evaluation: alternative approaches and practical guidelines. 3. ed. Boston: Pearson, 2004.
FREY, K. Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, Brasília, n. 21, p. 211-259, 2000.
GARCIA, R. C. Subsídios para organizar avaliações da ação governamental. Planejamento e Políticas Públicas, Brasília, n. 23, p. 7-70, 2001.
GATTI, B. A. Avaliação institucional e acompanhamento de instituições de ensino superior. Estudos em Avaliação Educacional, n. 21, p. 93, 2000. Disponível em: http://publicacoes.fcc.org.br/ojs/index.php/eae/article/view/2227. Acesso em: 29 maio 2018. DOI: https://doi.org/10.18222/eae02120002227
HERINGER, R. R. Expansão do ensino superior no Brasil: acesso, diferenciação interna e políticas de inclusão. In: XV CONGRESSO BRASILEIRO DE SOCIOLOGIA, 2011, Curitiba. Anais [...]. Curitiba: SBS, 2011.
HERINGER, R. R. Um balanço de 10 anos de políticas de ação afirmativa no Brasil. Tomo (UFS), Revista do Programa em Pós-Graduação e Sociologia, v. 1, n. 24, p. 13-29, 2014. DOI: https://doi.org/10.21669/tomo.v0i0.3184
HOOD, C. The “New Public Management” in the 1980s: variations on a theme. Accounting Organizations and Society, Amsterdam, v. 20, n. 2/3, p. 93-109, 1995. DOI: https://doi.org/10.1016/0361-3682(93)E0001-W
HORTON, D.; MACKAY, R. Using evaluation to enhance institutional learning and change: recent experiences with agricultural research and development. Agricultural Systems, Inglaterra, v. 78, n. 2, p. 127-142, 2003. DOI: https://doi.org/10.1016/S0308-521X(03)00123-9
JANN, W.; WEGRICH, K. Theories of the policy cycle. In: FISCHER, F.; MILLER, G. J.; SIDNEY, M. S. (ed.). Handbook of public policy analysis: theory, politics, and methods. Boca Raton: CRC Press, 2007. p. 43-62. DOI: https://doi.org/10.1201/9781420017007.pt2
LATTUCA, L. R. Curricula in international perspective. In: FOREST, J. J. F.; ALTBACH, P. G. (ed.). International handbook of higher education. Dordrecht, The Netherlands: Springer, 2007. p. 39-64. DOI: https://doi.org/10.1007/978-1-4020-4012-2_4
LINDBLOM, C. E. The science of muddling through. Public Administration Review, Washington, v. 19, n. 2, p. 79-88, 1959. DOI: https://doi.org/10.2307/973677
LINK, A. N.; VONORTAS, N. S. (ed.). Handbook on the theory and practice of program evaluation. Cheltenham: Edward Elgar, 2013. DOI: https://doi.org/10.4337/9780857932402
OECD. Rethinking Quality Assurance for Higher Education in Brazil. Reviews of National Policies for Education, OECD Publishing, Paris, 2018. 180p. DOI: https://doi.org/10.1787/9789264309050-en. DOI: https://doi.org/10.1787/9789264309050-en
PARSONS, W. Políticas públicas: una introducción a la teoría y la práctica del análisis de políticas públicas. Cidade do México: Miño y Dávila Editores, 2007.
PATTON, M. Q. Developmental evaluation: applying complexity concepts to enhance innovation and use. New York: The Guilford Press, 2010.
PEREIRA, E. M. A. Reforma curricular na Universidade de Harvard: a centralização da educação geral no século XXI. In: PEREIRA, E. M. A. Universidade e currículo: perspectivas de Educação Geral. Campinas: Mercado das Letras, 2010. p. 41-64.
PEREIRA, E. M. A.; CARNEIRO, A. M.; GONCALVES, M. L. Inclusão no ensino superior: política e currículo. Políticas Educativas, Porto Alegre, v. 7, n. 1, p. 75-91, 2013.
PEREIRA, E. M. A.; CARNEIRO, A. M.; GONÇALVES, M. L. Inovação e avaliação na cultura do ensino superior brasileiro: formação geral interdisciplinar. Avaliação, Campinas, v. 20, n. 3, p. 717-739, 2015. DOI: https://doi.org/10.1590/S1414-40772015000300010
POLYDORO, S. A. J.; CARNEIRO, A. M. Integração à vida acadêmica entre alunos de curso de educação geral. Psicologia: Ensino & Formação, Brasília, v. 7, n. 1, p. 18-30, 2016. DOI: https://doi.org/10.21826/2179-58002016711830
RAMOS, M. Aspectos conceituais e metodológicos da avaliação de políticas e programas sociais. Planejamento e Políticas Públicas, Brasília, n. 32, p. 95-114, 2009.
ROGERS, J. D. Introducing the issue theme: rising to the challenges of R&D impact assessment. Research Evaluation, Inglaterra, v. 21, p. 329-331, 2012. DOI: https://doi.org/10.1093/reseval/rvs034
SANDERS, J.R. Presidential Address: On Mainstreaming Evaluation. American Journal of Evaluation, Thousand Oaks, CA, v. 23, n. 3, p. 253-259, 2002. DOI: https://doi.org/10.1016/S1098-2140(02)00199-6
SAX, L. J.; GILMARTIN, S. K.; BRYANT, A. N. Assessing response rates and nonresponse bias in web and paper surveys. Research in Higher Education, New York, v. 44, n. 4, p. 409-432, 2003. DOI: https://doi.org/10.1023/A:1024232915870
SCHWARTZMAN, S. A qualidade da educação superior brasileira. Simon’s site, 2018. Disponível em: http://www.schwartzman.org.br/sitesimon/?p=6198&lang=pt-br. Acesso em: 12 maio 2019.
SCRIVEN, M. The methodology of evaluation. In: TYLER, R. W.; GAGNE, R. M.; SCRIVEN, M. (ed.). Perspectives of curriculum evaluation. Chicago: Rand McNally, 1967. p. 39-83. (Aera Monograph Series on Curriculum Evaluation, v. 1).
SILVA, J. M. A. P. O ciclo básico da UNICAMP: projeto, realidade e perspectivas. 1989. 195f. Dissertação (Mestrado em educação) – Faculdade de Educação, Universidade Estadual de Campinas, Campinas, 1989.
SIMON, H. A. Administrative behavior: a study of decision-making processes in administrative organization. New York: Macmillan, 1947.
SOUZA, C. Políticas públicas: uma revisão da literatura. Sociologias, Porto Alegre, Ano 8, n. 16, p. 20-45, 2006. DOI: https://doi.org/10.1590/S1517-45222006000200003
UNICAMP. Resolução GR-041/2012, de 26/09/2012. Dispõe sobre normas para o ingresso no Programa de Formação Interdisciplinar Superior e dá outras providências. Campinas: Unicamp, 2012. Disponível em: https://www.pg.unicamp.br/mostra_norma.php?id_norma=3220. Acesso em: 12 maio 2019.
UNICAMP. Avaliação Institucional. Campinas: Pró-Reitoria de Desenvolvimento Universitário, 2014. Disponível em: http://www.prdu.unicamp.br/areas2/avaliacao-institucional/avaliacao- institucional. Acesso em: 6 jun. 2018.
UNICAMP. Procuradoria Geral. Deliberação CONSU-A-032/2017 de 21/11/2017. Campinas: Unicamp, 2017. Disponível em: https://www.pg.unicamp.br/mostra_norma.php?id_norma=10240. Acesso em: 12 maio 2019.
VEDUNG, E. Four waves of evaluation diffusion. Evaluation, v. 16, n. 3, p. 263-277, 2010. WEISS, C. Evaluation. 2. ed. Upper Saddle River: Prentice-Hall Inc., 1998. DOI: https://doi.org/10.1177/1356389010372452
WERNECK, F. Q.; BRANCO, G. G.; COUTO, R. C.; ALBUQUERQUE, V. S.; PAULA, C. Avaliação Continuada Integrada (ACI): uma experiência de avaliação formativa no Curso de Graduação de Enfermagem do UNIFESO. In: PBL 2010 CONGRESSO INTERNACIONAL, São Paulo. Anais [...] São Paulo: PBL, 2010. Disponível em: http://each.uspnet.usp.br/pbl2010/trabs/trabalhos/TC0310-2. pdf. Acesso em: 29 maio 2018.
WOLLMANN, H. Policy evaluation and evaluation research. In: FISCHER, F.; MILLER, G. J.; SIDNEY, M. S. (ed.). Handbook of public policy analysis: theory, politics, and methods. Boca Raton: CRC Press, 2007. p. 393-402. DOI: https://doi.org/10.1201/9781420017007.ch26
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2019 Ana Maria Carneiro, Adriana Bin
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
a. Authors retain the copyright and grant the journal the right to first publication.
b. All works are licensed under the Creative Commons Attribution License, which allows the sharing of the paper with acknowledgment of authorship.
Until 2024, Estudos em Avaliação Educacional adopted the Creative Commons Attribution-NonCommercial (CC BY-NC) license for its publications. For texts published from 2025 onwards, the journal will adopt the Creative Commons Attribution (CC BY) license, in line with the principles of Open Science.
