Indicators for the systemic evaluation of social programs: the Pronatec case
DOI:
https://doi.org/10.18222/eae.v27i66.4168Keywords:
Educational Indicators, Program Evaluation, Systemic Evaluation, Social Policies.Abstract
The article presents a systemic approach of evaluation of social policies and programs and the diverse nature of indicators necessary to respond to different demands for information for the improvement and assessment of public action. It introduces three epistemic perspectives of evaluation; i.e. the bureaucratic-normativism of operational auditing, the technocratic-positivism of economic evaluation of social projects and methodological-pluralism of systemic evaluation of programs which are associated with different conceptions of the nature, complexity and values of social policies. Following this, the article discusses the need to develop specific indicators for the various stages of implantation of the programs and for the evaluation of their systemic components – budgetary resources, institutional resources, human resources, portfolio of services, equipment and social participation. The studies and indicators of Pronatec program, Brasil Sem Miséria [Brazil without Misery], conducted from 2011 thought 2016, are used as an example of the systemic evaluation.Downloads
References
AMANCIO, J. M. Inclusão produtiva e assistência social: desafios da implementação a partir das experiências recentes do Pronatec BSM e do Acessuas-Trabalho. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 73-93, 2015.
ARRETCHE, M. Emergência e desenvolvimento do Welfare State: teorias explicativas. BIB: Boletim Informativo e Bibliográfico de Ciências Sociais, Rio de Janeiro, n. 39, p. 3-40, 1995.
ATKINSON, T. et al. Social indicators: the EU and social inclusion. Oxford: Oxford University, 2005.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Indicador para mensurar a complexidade da gestão nas escolas a partir dos dados do censo escolar da educação básica. Brasília, DF: Inep, 2014a. (Nota Técnica, n. 040/2014).
BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. Pesquisa de avaliação de ações em desenvolvimento social: sumário executivo. Brasília, DF: MSD/Sagi, 2014b.
BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. Censo do sistema único de assistência social. Brasília, DF: MSD/Sagi, 2015.
BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. Sagi: informação e conhecimento para as políticas de desenvolvimento social. 1. ed. Brasília, DF: MSD/Sagi, 2016.
CAMPELLO, T.; FALCÃO, T.; COSTA, P. V. O Brasil sem miséria. Brasília, DF: MDS, 2014.
GALINDO, E. L.; FERES, M. M.; SCHROEDER, N. O Pronatec e o fortalecimento das políticas e educação profissional e tecnológica. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 21-45, 2015.
HOWLETT, M.; RAMESH, M; PERL, A. Política pública, seus ciclos e subsistemas. Rio de Janeiro: Campus, 2013.
INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Síntese de indicadores sociais. Rio de Janeiro: IBGE, 2014.
INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Suplemento de inclusão produtiva da pesquisa de informações básicas municipais e estaduais. Rio de Janeiro: IBGE, 2015.
INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Suplemento de qualificação profissional da pesquisa nacional por amostra de domicílios. Rio de Janeiro: IBGE, 2016.
JANNUZZI, P. M. Indicadores sociais no Brasil: conceitos, fonte de dados e aplicações. Campinas, SP: Alínea, 2004.
JANNUZZI, P. M. Avaliação de programas sociais: conceitos e referenciais de quem a realiza. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 58, p. 22-42, 2014. DOI: https://doi.org/10.18222/eae255820142916
JANNUZZI, P. M. Monitoramento e avaliação de programas sociais: uma introdução aos conceitos e técnicas. Campinas: Alínea, 2016.
KUHN, T. A estrutura das revoluções científicas. São Paulo: Perspectiva, 1992.
LATOUR, B. Ciência em ação: como seguir cientistas e engenheiros sociedade afora. São Paulo: Unesp, 2000.
LUCENA, F. F. A.; FONSECA, J. C. G. Análise de impacto do Pronatec em beneficiários. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 25, p. 100-117, 2016.
MARTIGNONI, E. Inclusão produtiva no Censo Suas 2011: subsídios ao Pronatec BSM. Brasília, DF: Ministério do Desenvolvimento Social e Agrário, 2011. (Estudo Técnico Sagi, n. 05/2011).
MONTAGNER, P.; MULLER, L. H. Apresentação. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 7-17, 2015.
MORAL-ARCE, I. Elección del método de evaluación cuantitativa de una política pública: buenas prácticas en América Latina y la Unión Europea. Madrid: EuroSocial, 2014. (Documentos de Trabajo, n. 6).
MORENO, L. et al. Los sistemas de bienestar europeos tras la crisis económica. Madrid: EuroSocial, 2014. (Estudios, n. 3).
MULLER, L. H. et al. Inclusão produtiva urbana no Plano Brasil Sem Miséria: a experiência do Pronatec. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 46-72, 2015.
NEUFVILLE, J. I. Social indicators and public policy. New York: Elsevier, 1975. RAVALLION, M. Should the randomistas rule? The Economists’ Voice, v. 6, n. 2, p. 1-5, Feb. 2009. DOI: https://doi.org/10.2202/1553-3832.1368
SILVA, E. R. A. Projetos políticos e arranjos participativos nacionais: os significados e os desdobramentos no CNS e no Conanda. 2013. 251 f. Tese (Doutorado em Ciências Sociais) – Instituto de Filosofia e Ciências Humanas, Universidade Estadual de Campinas, Campinas, 2013.
SOUSA, M. F.; SILVA, Y.; JANNUZZI, P. M. Contribuição do Programa Nacional de Acesso ao Ensino Técnico e Emprego: bolsa formação para formalização do emprego e dos microempreendedores individuais: análise dos participantes beneficiários do Bolsa Família e inscritos no cadastro único. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 162-185, 2015.
SOUSA, M. F. et al. Avaliação do Pronatec: cobertura, adequação da oferta e desempenho dos participantes. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 127-155, 2015.
VAITSMAN, J.; PAES-SOUSA, R. Avaliação de programas e transparência da gestão pública. Reflexões para Ibero-América: avaliação de programas sociais. Brasília, DF: Enap, 2009. p.11-23.
VARELLA, J. F. et al. Avaliação qualitativa do Pronatec-BSM; um estudo com egressos e desistentes, representantes das unidades ofertantes e interlocutores municipais. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, DF, v. 24, p. 94-126, 2015.
WEISS, C. Evaluation research. New Jersey: Prentice Hall, 1972.
YANES, P. La experiencia de evaluación de programas sociales en la Ciudad de México. Reflexões para Ibero-América: avaliação de programas sociais. Brasília, DF: Enap, 2009. p. 79-88.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2016 Paulo de Martino Jannuzzi
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
a. Authors retain the copyright and grant the journal the right to first publication.
b. All works are licensed under the Creative Commons Attribution License, which allows the sharing of the paper with acknowledgment of authorship.
Until 2024, Estudos em Avaliação Educacional adopted the Creative Commons Attribution-NonCommercial (CC BY-NC) license for its publications. For texts published from 2025 onwards, the journal will adopt the Creative Commons Attribution (CC BY) license, in line with the principles of Open Science.
