Performance Evaluation in Non-Governmental Organizations (NGOs): An Analysis of Evaluation Models and their Applications in Brazil

Abstract

The objective of this article is to deepen the debate surrounding the practice of evaluation as performed by Brazilian NGOs. In order to accomplish this goal, we examined the results of an investigation conducted between 2007 and 2009 that had two stages: first, a national study and second, a quantitative and qualitative study made in the state of Santa Catarina. We also considered secondary sources of data from two important studies on the national level that were conducted in 2008 and 2009 by the Fonte Institute, with partnership of the Itaú Social Foundation. The results showed that most NGOs use internal rather than external evaluation and conduct evaluations focused on projects and programs. Furthermore, they used evaluation mainly to help decision making about projects. Consequently, the majority of NGOs focused their evaluations on results and were not concerned with creating spaces for self-reflection and learning.

Résumé

L’objectif de cet article est d’approfondir le débat autour de la pratique de l’évaluation réalisée par des ONG brésiliennes. Pour y parvenir, nous avons examiné les résultats d’une enquête menée entre 2007 et 2009, et qui s’est déroulée en deux étapes : tout d’abord, une étude nationale, ensuite, une étude quantitative et qualitative menée dans l’État de Santa Catarina. Nous avons également analysé des sources de données secondaires provenant de deux importantes études réalisées au niveau national, qui ont été conduites en 2008 et 2009 par l’Institut Fonte en partenariat avec la Fondation Itaú Social. Les résultats ont montré que la plupart des ONG utilisent une évaluation interne plutôt qu’externe et procèdent à des évaluations axées sur les projets et les programmes. En outre, elles ont principalement utilisé les évaluations pour aider à la prise de décision sur les projets. Par conséquent, la majorité des ONG ont concentré leurs évaluations sur les résultats et ne se sont pas intéressées à la création d’un espace pour l’autoréflexion et l’apprentissage.

Zusammenfassung

Ziel dieses Beitrags ist die Vertiefung der Diskussionen über die Bewertungspraktik nicht-staatlicher Organisationen in Brasilien. Dazu betrachteten wir die Ergebnisse einer zwischen 2007 und 2009 in zwei Phasen durchgeführten Untersuchung: sie bestand erstens aus einer landesweiten Studie und zweitens aus einer quantitativen und qualitativen Studie im brasilianischen Bundesstaat Santa Catarina. Des Weiteren untersuchten wir Sekundärdatenquellen zweier wichtiger landesweiter Studien, die 2008 und 2009 vom Fonte Institut in Partnerschaft mit der Sozialstiftung Itaú durchgeführt wurden. Die Ergebnisse zeigten, dass die Mehrheit der nicht-staatlichen Organisationen statt externe, interne Bewertungen durchführen und sich dabei auf Projekte und Programme konzentrieren. Zudem nutzten sie die Bewertungen hauptsächlich zur Entscheidungshilfe bei Projekten. Folglich konzentrierten sich die meisten der nicht-staatlichen Organisationen bei ihren Bewertungen auf die Ergebnisse und befassten sich nicht mit der Schaffung von Spielraum zur Selbstreflexion und zum Lernen.

Resumen

El objetivo del presente artículo es profundizar en los debates relacionados con la práctica de evaluaciones, tal y como las han realizado las ONG brasileñas. Para la consecución de este objetivo, hemos analizado los resultados de un estudio realizado entre 2007 y 2009 en dos fases: un primer estudio nacional y un segundo estudio cuantitativo y cualitativo realizado en el estado de Santa Catarina. También hemos tenido en cuenta, como fuente secundaria, los datos de dos importantes estudios sobre el nivel nacional realizados en 2008 y 2009 por el Fonte Institute, con la asociación de Itaú Social Foundation. Los resultados han revelado que la mayoría de las ONG utilizan evaluaciones internas y no externas, y realizan evaluaciones centradas en proyectos y programas. Asimismo, utilizan la evaluación principalmente para ayudarse a tomar decisiones sobre los proyectos. Por tanto, la mayoría de las ONG centraban sus evaluaciones en los resultados y no mostraban interés alguno en crear espacios para la autorreflexión y el aprendizaje.

摘要

本文的目的是深化巴西非政府组织围绕评价实践所进行的辩论。为了实现这一目标,我们审查了在2007到2009年之间进行调查的结果,分为两个阶段:第一,全国性研究;第二,在圣卡塔琳娜州进行定量和定性研究。我们还考虑了2008到2009年由丰特研究所与伊塔乌社会基金会合作在全国进行的两项重要研究中的数据资源.结果表明:大多数非政府组织使用内部而不是外部评价,并重点就项目和方案进行评价.此外,他们使用评价主要是为了帮助就有关的项目作出决定.因此,大多数非政府组织侧重于结果的评价,并没有涉及创造自我反省和学习的空间。.

ملخص

الهدف من هذه المقالة هو تعميق النقاش المحيط بممارسة التقييم كما تؤديه المنظمات الغير حكومية (NGOs) البرازيلية. لإنجاز هذا الهدف قمنا بفحص نتائج البحث الذي أجري بين عامي 2007 و 2009 الذي كان على مرحلتين: الأولى، دراسة وطنية والثانية، دراسة كمية ونوعية في ولاية سانتا كاتارينا البرازيلية. نحن أيضا أخذنا في الإعتبار مصادر ثانوية للبيانات من دراستين هامتين على الصعيد الوطني أجريتا في عامي 2008 و 2009 بمعهد (Fonte)، بالشراكة مع “مؤسسة إيتاو(Itaú) الإجتماعية”. أظهرت النتائج أن معظم المنظمات غير الحكومية (NGOs) تستخدم التقييم الداخلي بدلاً من التقييم الخارجي وإجراء التقييمات التي تركز على المشاريع والبرامج. علاوة على ذلك، أنهم إستخدموا التقييم أساساً لمساعدة الذين يتخذون القرارات بشأن المشاريع. وبناء على ذلك، أغلبية المنظمات الغير حكومية (NGOs) ركزت في تقييمها على النتائج ولم تكن معنية بخلق مساحات للتأمل الذاتي والتعلم.