Continuous evaluation of higher education programs

Authors

  • Ana Maria Carneiro Universidade Estadual de Campinas (Unicamp), Núcleo de Estudos de Políticas Públicas, Campinas-SP, Brasil http://orcid.org/0000-0001-6688-1881
  • Adriana Bin Universidade Estadual de Campinas (Unicamp), Faculdade de Ciências Aplicadas, Campinas-SP, Brasil

DOI:

https://doi.org/10.18222/eae.v30i73.5739

Keywords:

Program Evaluation, Higher Education, Public Policies, Evaluation of Educational Innovation

Abstract

This paper discusses the concept of continuous evaluation, based on the evaluation experience of a higher education program from a public university. The program is not only an affirmative action, it is also a general education program and a new admission way to the undergraduate courses. Continuous evaluation represents innovation in conceptual and methodological terms, in the public policy area, as it proposes a process based on a policy. The analysis of the general education program provides two main contributions: a) the understanding of how to set up a continuous evaluation system; b) the management of the system. This highlights the continuous generation of subsidies for decision-making as well as the challenges that are being faced, which guarantee that the integration between evaluation and decision-making will continue to occur.

 

Downloads

Download data is not yet available.

Author Biographies

Ana Maria Carneiro, Universidade Estadual de Campinas (Unicamp), Núcleo de Estudos de Políticas Públicas, Campinas-SP, Brasil

Doutora em Política Científica e Tecnológica pela Universidade Estadual de Campinas (Unicamp - 2007), mestre em Sociologia pela Unicamp (2000) e graduada em Ciências Sociais pela Universidade Federal de Goiás (1997). Possui Pós Doutorado em Avaliação em CT&I. Atualmente é Pesquisadora do Núcleo de Estudos de Políticas Públicas (NEPP/Unicamp), Professora Participante do Programa de Pós-Graduação em Política Científica e Tecnológica (DPCT/IG/Unicamp); Coordenadora Associada do Laboratório de Estudos de Educação Superior (LEES/NEPP) e Coordenadora Associada do Grupo de Estudos Sobre Organização da Pesquisa e da Inovação (GEOPI/DPCT/IG/Unicamp). Entre março de 2005 e março de 2007 foi Gerente de Pesquisas do Observatório Digital SOFTEX, unidade de pesquisa e planejamento da Associação para Promoção da Excelência do Software Brasileiro. Tem experiência na pesquisa em Avaliação, Prospecção Tecnológica e Propriedade Intelectual, atuando principalmente nos seguintes temas: educação superior, políticas públicas, Ciência Tecnologia e inovação, avaliação de impactos.

Adriana Bin, Universidade Estadual de Campinas (Unicamp), Faculdade de Ciências Aplicadas, Campinas-SP, Brasil

Possui graduação em Engenharia de Alimentos pela Universidade Estadual de Campinas (2000), mestrado (2004) e doutorado (2008) em Política Científica e Tecnológica pela mesma Universidade e pós-doutorado no Manchester Institute of Innovation Research (MIoIR) da University of Manchester. É professora doutora da Faculdade de Ciências Aplicadas da Universidade Estadual de Campinas (FCA/UNICAMP) na área de administração, professora plena nos Programas de Pós-Graduação em Administração e em Política Científica e Tecnológica (DPCT/IG/UNICAMP), professora colaboradora do Mestrado Interdisciplinar em Ciências Humanas e Sociais Aplicadas (FCA/UNICAMP) e coordenadora associada do Laboratório de Estudos sobre Organização da Pesquisa e da Inovação (Lab-GEOPI). Atua em projetos de pesquisa e extensão nas áreas de planejamento e gestão, avaliação e prospecção em ciência, tecnologia e inovação. 

References

ALKIN, M. C.; KING, J. A. The historical development of evaluation use. American Journal of Evaluation, Thousand Oaks, CA, v. 37, n. 4, p. 568-579, 2016.

ANDRADE, C. et al. Programa de Formação Interdisciplinar Superior: um novo caminho para a educação superior. Revista Brasileira de Estudos Pedagógicos, Brasília, v. 93, p. 698-719, 2012.

ANDRADE, C. et al. ProFIS: A new paradigm for higher education in Brazil. Journal of Widening Participation and Lifelong Learning, Reino Unido, v. 15, n. 3, p. 22-46, 2013.

BRASIL. Lei n. 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Brasília, DF: Presidência da República, 1996. Disponível em: http://www.planalto.gov. br/ccivil_03/leis/l9394.htm. Acesso em: 19 mar. 2019.

BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Metodologia de Cálculo dos Indicadores de Fluxo do Ensino Superior. Brasília: 2017. Disponível em: http://download.inep.gov.br/informacoes_estatisticas/indicadores_educacionais/2017/metodologia_indicadores_ trajetoria_curso.pdf. Acesso em: 12 maio 2019.

CAMARGO JÚNIOR, J. B.; ALMEIDA JÚNIOR, J. R.; CUGNASCA, P. S. Desafios da avaliação continuada em um curso de engenharia. EccoS Revista Científica, n. 37, p. 215–232, 2015. Disponível em: http://www.redalyc.org/pdf/715/71543111013.pdf. Acesso em: 29 maio 2018.

CARNEIRO, A. M. et al. Interdisciplinary Higher Education Program (ProFIS): challenges and opportunities. In: TERANISHI, R. T. et al. (ed.). Advances in education in diverse communities: research, policy and praxis. Bingley: Emerald Group Publishing Limited, 2015. p. 265-282.

CARNEIRO, A. M. et al. A avaliação continuada do Programa de Formação Interdisciplinar Superior da Unicamp (ProFIS): contribuições do estudo longitudinal. Caderno de Pesquisa NEPP, Campinas, v. 85, p. 11-124, 2017.

CARNEIRO, A. M. et al. Educación general y participación en la investigación: el caso ProFIS de Unicamp Brasil. In: CASTRO, A.; COLPAS, E. (org.). Reflexiones sobre los estudios generales en la educación superior. Barranquilla: Editorial Universidad del Norte, 2018. p. 120-145.

CARNEIRO, A. M.; ANDRADE, C.; GONCALVES, M. L. Formação interdisciplinar e inclusão social: o primeiro ano do ProFIS. Ensino Superior Unicamp, Campinas, v. 3, p. 24-38, 2012.

CARNEIRO, A. M.; ANDRADE, C.; TELLES, S. M. B. S. Avaliação continuada do Programa de Formação Interdisciplinar Superior da Unicamp: proposta metodológica. Revista Brasileira de Monitoramento e Avaliação, Brasília, v. 1, p. 26-45, 2012.

CARLSON, V. Trends and innovations in public policy analysis. The Policy Studies Journal, v. 39, n. S1, p. 13-26, 2011.

CASTRO, A.; COLPAS, E. (org.). Reflexiones sobre los estudios generales en la educación superior. Barranquilla: Editorial Universidad del Norte, 2018.

CASTRO, C. M. Educar para o ofício ou educar para mudar de ofício? Ensino Superior Unicamp, Campinas, Ano 2, n. 3, p. 20-39, 2011.

CHOUINARD, J. A. Balancing evaluation theory and practice in the real world. American Journal of Evaluation, v. 34, n. 1, p. 91-98, 2013a.

CHOUINARD, J. A. The practice of evaluation in public sector contexts: a response. American Journal of Evaluation, v. 34, n. 2, p. 266-269, 2013b.

CUNNINGHAM, P. N.; NEDEVA, M. N. Towards a system of continuous evaluation and monitoring for European co-operation in scientific and technical research (COST). Research Evaluation, Inglaterra, v. 8, n. 3, p. 142-154, 1999.

DAFLON, Verônica Toste; FERES JÚNIOR, João; CAMPOS, Luiz Augusto. Ações afirmativas raciais no ensino superior público brasileiro: um panorama analítico. Cadernos de Pesquisa, São Paulo, v. 43, n. 148, p. 302-327, 2013. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-15742013000100015&lng=en&nrm=iso. Acesso em 12 fev. 2019. http://dx.doi. org/10.1590/S0100-15742013000100015.

DAUGHERTY, Lindsay; MARTORELL, Paco; MCFARLIN, Isaac. The Texas Ten Percent Plan’s impact on college enrollment. Education Next, v. 14, n. 3, 2014. Disponível em: http://educationnext.org/ texas-ten-percent-plans-impact-college-enrollment/. Acesso em: 12 maio 2019.

DYE, T. R. Understanding public policy. Londres: Prentice-Hall, 1992.

FITZPATRICK, J. L.; SANDERS, J. R.; WORTHEN, B. R. Program evaluation: alternative approaches and practical guidelines. 3. ed. Boston: Pearson, 2004.

FREY, K. Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, Brasília, n. 21, p. 211-259, 2000.

GARCIA, R. C. Subsídios para organizar avaliações da ação governamental. Planejamento e Políticas Públicas, Brasília, n. 23, p. 7-70, 2001.

GATTI, B. A. Avaliação institucional e acompanhamento de instituições de ensino superior. Estudos em Avaliação Educacional, n. 21, p. 93, 2000. Disponível em: http://publicacoes.fcc.org.br/ojs/index.php/eae/article/view/2227. Acesso em: 29 maio 2018.

HERINGER, R. R. Expansão do ensino superior no Brasil: acesso, diferenciação interna e políticas de inclusão. In: XV CONGRESSO BRASILEIRO DE SOCIOLOGIA, 2011, Curitiba. Anais [...]. Curitiba: SBS, 2011.

HERINGER, R. R. Um balanço de 10 anos de políticas de ação afirmativa no Brasil. Tomo (UFS), Revista do Programa em Pós-Graduação e Sociologia, v. 1, n. 24, p. 13-29, 2014.

HOOD, C. The “New Public Management” in the 1980s: variations on a theme. Accounting Organizations and Society, Amsterdam, v. 20, n. 2/3, p. 93-109, 1995.

HORTON, D.; MACKAY, R. Using evaluation to enhance institutional learning and change: recent experiences with agricultural research and development. Agricultural Systems, Inglaterra, v. 78, n. 2, p. 127-142, 2003.

JANN, W.; WEGRICH, K. Theories of the policy cycle. In: FISCHER, F.; MILLER, G. J.; SIDNEY, M. S. (ed.). Handbook of public policy analysis: theory, politics, and methods. Boca Raton: CRC Press, 2007. p. 43-62.

LATTUCA, L. R. Curricula in international perspective. In: FOREST, J. J. F.; ALTBACH, P. G. (ed.). International handbook of higher education. Dordrecht, The Netherlands: Springer, 2007. p. 39-64.

LINDBLOM, C. E. The science of muddling through. Public Administration Review, Washington, v. 19, n. 2, p. 79-88, 1959.

LINK, A. N.; VONORTAS, N. S. (ed.). Handbook on the theory and practice of program evaluation. Cheltenham: Edward Elgar, 2013.

OECD. Rethinking Quality Assurance for Higher Education in Brazil. Reviews of National Policies for Education, OECD Publishing, Paris, 2018. 180p. DOI: https://doi.org/10.1787/9789264309050-en.

PARSONS, W. Políticas públicas: una introducción a la teoría y la práctica del análisis de políticas públicas. Cidade do México: Miño y Dávila Editores, 2007.

PATTON, M. Q. Developmental evaluation: applying complexity concepts to enhance innovation and use. New York: The Guilford Press, 2010.

PEREIRA, E. M. A. Reforma curricular na Universidade de Harvard: a centralização da educação geral no século XXI. In: PEREIRA, E. M. A. Universidade e currículo: perspectivas de Educação Geral. Campinas: Mercado das Letras, 2010. p. 41-64.

PEREIRA, E. M. A.; CARNEIRO, A. M.; GONCALVES, M. L. Inclusão no ensino superior: política e currículo. Políticas Educativas, Porto Alegre, v. 7, n. 1, p. 75-91, 2013.

PEREIRA, E. M. A.; CARNEIRO, A. M.; GONÇALVES, M. L. Inovação e avaliação na cultura do ensino superior brasileiro: formação geral interdisciplinar. Avaliação, Campinas, v. 20, n. 3, p. 717-739, 2015.

POLYDORO, S. A. J.; CARNEIRO, A. M. Integração à vida acadêmica entre alunos de curso de educação geral. Psicologia: Ensino & Formação, Brasília, v. 7, n. 1, p. 18-30, 2016.

RAMOS, M. Aspectos conceituais e metodológicos da avaliação de políticas e programas sociais. Planejamento e Políticas Públicas, Brasília, n. 32, p. 95-114, 2009.

ROGERS, J. D. Introducing the issue theme: rising to the challenges of R&D impact assessment. Research Evaluation, Inglaterra, v. 21, p. 329-331, 2012.

SANDERS, J.R. Presidential Address: On Mainstreaming Evaluation. American Journal of Evaluation, Thousand Oaks, CA, v. 23, n. 3, p. 253-259, 2002.

SAX, L. J.; GILMARTIN, S. K.; BRYANT, A. N. Assessing response rates and nonresponse bias in web and paper surveys. Research in Higher Education, New York, v. 44, n. 4, p. 409-432, 2003.

SCHWARTZMAN, S. A qualidade da educação superior brasileira. Simon’s site, 2018. Disponível em: http://www.schwartzman.org.br/sitesimon/?p=6198&lang=pt-br. Acesso em: 12 maio 2019.

SCRIVEN, M. The methodology of evaluation. In: TYLER, R. W.; GAGNE, R. M.; SCRIVEN, M. (ed.). Perspectives of curriculum evaluation. Chicago: Rand McNally, 1967. p. 39-83. (Aera Monograph Series on Curriculum Evaluation, v. 1).

SILVA, J. M. A. P. O ciclo básico da UNICAMP: projeto, realidade e perspectivas. 1989. 195f. Dissertação (Mestrado em educação) – Faculdade de Educação, Universidade Estadual de Campinas, Campinas, 1989.

SIMON, H. A. Administrative behavior: a study of decision-making processes in administrative organization. New York: Macmillan, 1947.

SOUZA, C. Políticas públicas: uma revisão da literatura. Sociologias, Porto Alegre, Ano 8, n. 16, p. 20-45, 2006.

UNICAMP. Resolução GR-041/2012, de 26/09/2012. Dispõe sobre normas para o ingresso no Programa de Formação Interdisciplinar Superior e dá outras providências. Campinas: Unicamp, 2012. Disponível em: https://www.pg.unicamp.br/mostra_norma.php?id_norma=3220. Acesso em: 12 maio 2019.

UNICAMP. Avaliação Institucional. Campinas: Pró-Reitoria de Desenvolvimento Universitário, 2014. Disponível em: http://www.prdu.unicamp.br/areas2/avaliacao-institucional/avaliacao- institucional. Acesso em: 6 jun. 2018.

UNICAMP. Procuradoria Geral. Deliberação CONSU-A-032/2017 de 21/11/2017. Campinas: Unicamp, 2017. Disponível em: https://www.pg.unicamp.br/mostra_norma.php?id_norma=10240. Acesso em: 12 maio 2019.

VEDUNG, E. Four waves of evaluation diffusion. Evaluation, v. 16, n. 3, p. 263-277, 2010. WEISS, C. Evaluation. 2. ed. Upper Saddle River: Prentice-Hall Inc., 1998.

WERNECK, F. Q.; BRANCO, G. G.; COUTO, R. C.; ALBUQUERQUE, V. S.; PAULA, C. Avaliação Continuada Integrada (ACI): uma experiência de avaliação formativa no Curso de Graduação de Enfermagem do UNIFESO. In: PBL 2010 CONGRESSO INTERNACIONAL, São Paulo. Anais [...] São Paulo: PBL, 2010. Disponível em: http://each.uspnet.usp.br/pbl2010/trabs/trabalhos/TC0310-2. pdf. Acesso em: 29 maio 2018.

WOLLMANN, H. Policy evaluation and evaluation research. In: FISCHER, F.; MILLER, G. J.; SIDNEY, M. S. (ed.). Handbook of public policy analysis: theory, politics, and methods. Boca Raton: CRC Press, 2007. p. 393-402.

Downloads

Published

2019-05-31

How to Cite

Carneiro, A. M., & Bin, A. (2019). Continuous evaluation of higher education programs. Estudos Em Avaliação Educacional, 30(73), 170–200. https://doi.org/10.18222/eae.v30i73.5739

Issue

Vol. 30 No. 73 (2019): jan./abr. 2019

Section

Articles

License

Copyright (c) 2019 Estudos em Avaliação Educacional

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Authors who publish in this journal agree to the following terms:

a. Authors retain the copyright and grant the journal the right to first publication, with the paper simultaneously licensed under the Creative Commons Attribution license that allows the sharing of the paper with acknowledgment of authorship and initial publication in this journal.

b. Authors are authorized to assume additional contracts separately, for non-exclusive distribution of the version of the paper published in this journal (for example publishing in institutional repository or as a book chapter), with acknowledgment of authorship and initial publication in this journal.

c. Authors are allowed and encouraged to publish and distribute their paper on-line (for example in institutional repositories or on their personal page) at any moment before or during the editorial process, as this can generate productive changes, as well as increase the impact and citation of the published paper (See The Effect of Open Access).