Revista Observatório 33 | Avaliação de impacto de programas e projetos educacionais e culturais, por Paulo de Martino Jannuzzi

por Paulo de Martino Jannuzzi

 

>> Acesse aqui o sumário da Revista Observatório 33

 

Introdução

Demonstrar que programas ou projetos produzem impacto pode ser bastante complexo em termos metodológicos, custoso em tempo e em recursos ou mesmo pouco factível em termos práticos, mas nem por isso tais empreendimentos deixam de ser meritórios. A problemática da realidade com que lidam, a intangibilidade dos efeitos da intervenção, a complexidade do contexto de operação, a brevidade da implementação e, em particular, as expectativas quanto ao programa ou projeto podem não favorecer a produção de evidências do que se propôs como impacto com a pretendida precisão estatística ou a desejada vinculação causal entre intervenção e efeito. E, ainda assim, o programa ou projeto pode ser relevante pela sua contribuição potencial para a melhoria de algum aspecto das condições de vida dos públicos afetados, para a disseminação de conhecimentos entre técnicos e gestores de intervenções, para uma maior capacidade de gestão e operação das atividades ou ainda para a ampliação de perspectivas de coesão social, respeito à diversidade sociocultural e étnica e sustentabilidade ambiental. Nem tudo que é relevante e meritório é tangível e facilmente captado por indicadores no tempo e na intensidade que se espera avaliar.

De fato, a comprovação de que o programa Bolsa Família impactava a estatura média de crianças de famílias beneficiárias levou dez anos para ser realizada, embora muitas evidências sobre o aumento do consumo de alimentos, a melhoria nutricional e a compra de gás, fogão e geladeiras já tivessem sido apresentadas em pesquisas amostrais e em abordagens qualitativas.^[1] Os efeitos de projetos de qualificação da gestão escolar sobre o desempenho de adolescentes em avaliações de larga escala continuam difíceis de captar, mesmo depois de vários anos de investimentos e de criatividade dos desenhos avaliativos. E, contudo, esses projetos têm revelado efeitos importantes sobre a organização das escolas e a motivação dos professores. Em projetos culturais nos campos de arte-educação, música, dança e teatro, os resultados e os impactos parecem, em boa medida, não atender às expectativas de seus financiadores. Às vezes, podem ter efeitos econômicos mensuráveis, como projetos de economia criativa e de fomento ao artesanato, mas seriam esses os impactos realmente mais relevantes? Os efeitos do programa federal de proteção de espécies ameaçadas da fauna brasileira ainda está por ser demonstrado na forma de indicadores tangíveis, tarefa difícil em um contexto de subfinanciamento, de falta de fiscalização nos hábitats de espécies específicas e de tantas transgressões ambientais. 

Esse programa da área ambiental, ou o Bolsa Família, deveria ter sido interrompido após quatro ou cinco anos de sua implantação por não ter apresentado o impacto idealizado? E quanto aos diversos projetos de formação de dirigentes escolares ou de oficinas culturais para adolescentes que teimam em não revelar seus efeitos por meio das notas de alunos ou dos índices de violência? Deveriam ser descontinuados, receber menos recursos até que demonstrem impactos ou, ao contrário, obter mais financiamento para contratar pessoal mais especializado, aperfeiçoar as atividades desenvolvidas e aprimorar o desenho e o arranjo operacional?

Em uma perspectiva responsável e ampla do papel da avaliação, esses programas e projetos deveriam ser mantidos, pois certamente cumprem o primeiro e mais fundamental dos critérios avaliativos: o da relevância.^[2] São intervenções que foram criadas para atender a demandas públicas legítimas ou a problemas que se entendem como coletivos. Pode ser que ainda não cumpram adequadamente o que se espera em termos de eficácia, efetividade, eficiência e sustentabilidade dos efeitos, mas descontinuá-los ou retirar recursos só agravaria a situação para o qual foram idealizados. Tal como em tratamentos em saúde, enquanto não houver uma intervenção com desenho melhor e mais efetivo para atender à demanda ou à problemática considerada relevante, seria muito questionável a interrupção de programas ou projetos em operação.

Naturalmente, existem muitos programas e projetos nos campos social, da educação, da cultura e do meio ambiente que produzem impactos nos seus públicos-alvo e na sociedade em geral, como demonstram vários estudos avaliativos e meta-avaliativos publicados no Brasil e lá fora. Na própria edição 31 da Revista Observatório Itaú Cultural, lançada neste ano, há um artigo que faz uma ampla sistematização de projetos na área de artes e cultura que produziram impactos no bem-estar e na saúde mental de seus participantes, medidos por meio de indicadores sociais e econômicos ou evidenciados por depoimentos e indicações qualitativas.^[3] Textos como esse precisam certamente ganhar maior publicização na comunidade de práticas e de financiadores da área, pelas ideias de projetos inovadores que trazem nos campos social, da educação, das artes, da cultura e do meio ambiente. Esse material também contribui para a apresentação de desenhos operacionais mais exitosos, das dificuldades intrínsecas do contexto em que operam e também das estratégias avaliativas e dos indicadores que aportam.

O Brasil e seus estados, seus municípios e suas comunidades e organizações da sociedade civil são laboratórios de muitos experimentos e iniciativas meritórios que, ainda que não tenham sido formalmente avaliados, precisam ser mais bem conhecidos e documentados, pois podem ser escalonados ou transpostos para outras localidades. Bolsa-escola, projetos de formação de professores e de “mães crecheiras”, projetos de arte-educação com jovens e serviços de atendimento socioassistencial são algumas das várias experiências locais que vieram a ser escalonadas para o nível federal ao longo dos últimos 25 anos, mesmo com evidências tênues e parciais de seus êxitos. Conhecer essas iniciativas subnacionais recentes, especialmente aquelas criadas para continuar atendendo demandas prejudicadas pelos cortes orçamentários, pelas descontinuidades de programas e pelo ocaso criativo na esfera federal, pode ser de grande valia em uma conjuntura política mais favorável nos próximos anos. Esse mergulho investigativo no país também pode contribuir para conhecer estratégias de avaliação específicas e até mesmo indicadores que captem o tão desejado impacto das intervenções, suprindo as lacunas às quais manuais mais gerais não conseguem atender ou atendem só parcialmente.

Mas ainda persistem dificuldades de avaliação de programas e projetos sociais em educação e cultura pela inexistência de fontes de informação periódica, ampla e pública para se derivar indicadores. Na atualização do livro Indicadores sociais no Brasil,^[4] realizada há poucos anos, é possível perceber a ampliação dos levantamentos estatísticos nos campos da educação formal, do mercado de trabalho e da saúde pública e em alguns setores da política social no país. Também foram constatados avanços em outros campos nos quais as políticas públicas são mais incipientes, como em cultura e meio ambiente, mas a periodicidade dos levantamentos e os níveis de desagregação territorial não são suficientes para a escala em que operam muitos programas e projetos nessas áreas. A menos que se aporte mais recursos orçamentários e técnicos na produção estatística ou na avaliação de projetos sociais mais específicos, não há como dispor de evidências plurais e sistemáticas para o acompanhamento dos resultados e dos impactos gerados potencialmente por essas intervenções.

  Mas ainda persistem dificuldades de avaliação de programas e projetos sociais em educação e cultura pela inexistência de fontes de informação periódica, ampla e pública para se derivar indicadores.

Enquanto essa expectativa concreta de produção e disponibilidade de informações regulares, granulares e sistemáticas em cultura, artes e meio ambiente vai lentamente se efetivando, talvez seja oportuno refletir sobre as expectativas idealizadas acerca do impacto de programas e projetos nessas áreas frente ao tempo requerido para a sua implementação e para as suas condições das intervenções. Seriam os efeitos econômicos em termos de empregos, de oportunidades e de renda os impactos mais importantes desses projetos? Ou seriam as suas contribuições potenciais e de mais longa maturação para a criatividade, para a ampliação de visões de mundo, para uma maior tolerância à diversidade sociocultural e para uma maior sensibilização acerca das desigualdades e da sustentabilidade ambiental? É factível esperar efeitos concretos nessas dimensões no curto prazo, em todos os contextos de operação dos programas, considerando a realidade socioeconômica desigual no país?

Este texto procura trazer reflexões sobre essas questões em uma perspectiva ensaística. Não se oferecem aqui indicações de fontes de informação ou estratégias metodológicas para a produção de indicadores específicos de avaliação de projetos nessas áreas,^[5] mas sim alguns apontamentos que deveriam, na realidade, preceder o desenho das pesquisas, a busca de fontes e a construção de indicadores. Mais especificamente, procura-se refletir sobre as expectativas e a tangibilidade dos impactos de programas e projetos nos campos social, da educação e da cultura frente aos desafios de implementação pelo território brasileiro – tema da primeira seção do texto – e aos compromissos mais amplos que tais intervenções almejam em termos de valores éticos e civilizatórios – tema tratado em seção seguinte.

procura-se refletir sobre as expectativas e a tangibilidade dos impactos de programas e projetos nos campos social, da educação e da cultura frente aos desafios de implementação pelo território brasileiro – tema da primeira seção do texto – e aos compromissos mais amplos que tais intervenções almejam em termos de valores éticos e civilizatórios – tema tratado em seção seguinte.

A importância do contexto de implementação para a maturação dos resultados e dos impactos

Em um país marcado por fortes contrastes socioeconômicos e diferenças de capacidade de gestão e implantação de programas e projetos pelo território, não se pode esperar que eles tenham o mesmo ritmo de implementação e de maturação dos seus resultados e impactos ao Norte ou ao Sul do país, nas capitais estaduais e nos municípios do interior, no centro das cidades e nas suas periferias. O grau de vulnerabilidade social dos públicos-alvo, o nível do dinamismo econômico do território em que vivem, a qualidade da infraestrutura de equipamentos e serviços e a capacidade geral de gestão dos agentes públicos, privados ou do terceiro setor envolvidos no arranjo operacional do programa ou do projeto configuram contextos diferentes, mais favoráveis ou não à implementação de suas atividades e às entregas de produtos e serviços. Assim, resultados e impactos podem não se concretizar com o mesmo ritmo e a mesma intensidade ao longo do tempo (Figura 1).

Tome-se como exemplo o público-alvo de programas educacionais, como professores, crianças e adolescentes de pequenas cidades do Semiárido nordestino ou da Amazônia e de cidades médias no interior paulista ou no Sul do país. Eles vivem em condições de vida e frequentam escolas com infraestrutura bem distintas, configurando contextos operacionais muito diferentes para programas ou projetos de aprimoramento da gestão escolar, de formação de professores ou de complementação de atividades no contraturno escolar. Essa realidade se reproduz em qualquer região e escala geográfica: escolas no centro da cidade têm, em geral, condições operacionais mais favoráveis que escolas de periferias em regiões mais afastadas ou violentas. A infraestrutura escolar, as possibilidades de fixação de professores com maior experiência, a duração da jornada do período noturno ou o número de dias efetivos com aula são distintos nesses contextos, interferindo no ritmo de maturação e na intensidade dos resultados e impactos de um mesmo programa.

Parecem óbvias essas constatações, mas não são entendidas desse modo por financiadores e avaliadores, distantes da realidade operacional dessas intervenções pelo país. Essa fração de financiadores e avaliadores “ingênuos” imagina que, ao selecionar municípios e públicos-alvo com os mesmos critérios de elegibilidade para um programa ou projeto no país, está se constituindo uma amostra relativamente homogênea de beneficiários ou usuários dos serviços e dos produtos entregues, cujos efeitos se materializam igualmente. Mas o Brasil não é uma Bélgica; é uma combinação de pequenas Bélgicas em um Oceano Índico, ou uma “Belíndia”, como analistas socioeconômicos experientes recorrentemente citam. Em cada contexto regional – semelhante mais à Bélgica ou à Índia –, as equipes dos programas e dos projetos enfrentam desafios diferentes na realização das atividades e nas entregas de serviços e produtos. Em algumas localidades, as intervenções podem ter sido implantadas de modo adequado mais rapidamente, sendo possível haver nelas resultados e impactos tangíveis a serem apurados. Em outros contextos mais desafiadores – e mais numerosos –, os programas e projetos podem nem sequer ter conseguido estruturar equipes, capacitá-las, iniciar as entregas ou, enfim, assegurar o tratamento planejado para o público-alvo. Nesse caso, não há efeito potencial a ser medido. Ou, se medido, é bem provável que não seja identificado nenhum resultado ou impacto da intervenção. Assim, uma avaliação apressada e não customizada para os diferentes contextos operacionais de um programa ou projeto pode trazer achados inconsistentes ou equivocados, reproduzindo uma situação muito semelhante (e indesejável) àquela que programas sociais enfrentaram nos Estados Unidos nos anos 1960, submetidos ao crivo precoce (e deslegitimador) de avaliações quasi-experimentais, que na época viviam o seu apogeu.^[6]

Identificar o momento adequado para avaliações dessa natureza é um misto de técnica, política e arte. Avaliações precoces podem colocar a perder a legitimidade de um programa ou projeto meritório que ainda não teve tempo de se estruturar. Avaliações tardias podem comprometer recursos e esforços que poderiam ser utilizados de forma mais eficiente e eficaz em outras iniciativas. É certamente preciso considerar, além da vulnerabilidade do público-alvo, o contexto socioeconômico, a capacidade de gestão operacional, a complexidade setorial da intervenção e suas implicações em termos de tempo de implementação requerido. Programas de áreas setoriais diferentes, iniciados ao mesmo tempo e que contam com as melhores condições de equipes técnicas e de recursos podem apresentar resultados distintos – positivos, neutros ou negativos – quando submetidos à avaliação no mesmo momento.

Avaliações precoces podem colocar a perder a legitimidade de um programa ou projeto meritório que ainda não teve tempo de se estruturar. Avaliações tardias podem comprometer recursos e esforços que poderiam ser utilizados de forma mais eficiente e eficaz em outras iniciativas

Mas a fração “ingênua” da comunidade de financiadores e avaliadores parece esperar que programas e projetos de qualquer natureza setorial devam funcionar como se fossem intervenções em saúde com vacinas, medicamentos ou tratamentos intensivos sobre as problemáticas em que atuam. Com o tratamento adequado e o antígeno correto inoculado em professores, arte-educadores, crianças e adolescentes rapidamente se teria o efeito de mitigação dos sintomas ou de supressão da causa motivadora da disfunção enfrentada. Para identificar a tecnologia médica mais efetiva, o desenho avaliativo mais apropriado seria o delineamento experimental ou, com alguma concessão, o quasi-experimental. No entanto, no campo social, na educação e na cultura, não existe essa vacina ou esse tratamento de efeito instantâneo, e que funcione com a mesma eficácia em qualquer contexto. Não se desenvolveu ainda o capacete de transmissão de competências e habilidades imaginado nos livros de ficção científica de Isaac Asimov ou Aldous Huxley. 

Na realidade concreta, mesmo com bons diagnósticos ex ante e com desenhos adequados, programas e projetos sociais em educação e cultura enfrentam dificuldades de implementação de várias naturezas, produzindo efeitos com uma trajetória mais lenta e menos linear e ascendente que, por exemplo, ações no campo da saúde infantil (Figura 2). Programas voltados ao combate da mortalidade infantil, envolvendo ações de ampliação da atenção primária de saúde a gestantes e a crianças recém-nascidas, suplementação alimentar, campanhas de vacinação e investimentos em saneamento básico, tendem a produzir resultados rápidos e sistematicamente positivos. Há muita tecnologia médica e sinergia com intervenções nos contextos de moradia, alimentação e orientação em saúde. Programas voltados à saúde do trabalhador, por sua vez, podem ter avanços menos regularmente positivos, pois envolvem ações menos padronizadas, com efeitos mais dispersos no tempo, e dependem de mudanças de atitudes efetivas do cidadão atendido, como parar de fumar, aderir à prática esportiva, mudar seus hábitos alimentares etc. Enquanto o “pacote de ações” da saúde infantil é bem conhecido e testado (pelas experiências nacionais e internacionais), pouco diversificado pelo território e mais controlável pelo gestor, o da saúde do trabalhador precisa de maior adequação ao contexto de problemas vivenciados pelo público-alvo (trabalhador portuário, da construção civil, de escritório etc.) e da sua disposição/sensibilidade para aderir a novos protocolos comportamentais.

Na educação e na cultura, em geral, os efeitos demoram mais a aparecer, como ocorre em programas estruturados como serviços, menos apoiados por produtos padronizados e por transferências. Programas no campo educacional ou da qualificação profissional produzem resultados mais demorados e ambíguos ao longo da implementação.  Serviços educacionais demandam profissionais formados com um conjunto de competências técnicas específicas e com habilidades socioemocionais (empatia, paciência, didática, comunicabilidade etc.) ainda não plenamente desenvolvidas no contexto brasileiro. Mérito, competição e punição ainda marcam o contexto escolar mais do que o reconhecimento do esforço, a cooperação e o estímulo, seja no Brasil ou nos Estados Unidos.^[7]

mesmo com bons diagnósticos ex ante e com desenhos adequados, programas e projetos sociais em educação e cultura enfrentam dificuldades de implementação de várias naturezas, produzindo efeitos com uma trajetória mais lenta e menos linear e ascendente que, por exemplo, ações no campo da saúde infantil

Nesse sentido, por melhor que seja o material didático disponível ou a formação técnica do professor, os efeitos dos serviços educacionais dependem de atributos pessoais do formador e do engajamento do aluno no processo. Ademais, o desempenho escolar é fortemente determinado pelo contexto socioeconômico do aluno (condições materiais de vida, estímulo familiar etc.), além de outras condições objetivas da oferta (tamanho da turma, jornada escolar etc.).^[8] Se os efeitos de programas educacionais custam a aparecer em crianças e adolescentes, isso é ainda mais lento em relação aos estudantes de baixa renda e aos adultos, de modo geral. Na cultura, qualquer que seja o público, os efeitos mais tangíveis parecem demorar ainda mais a aparecer.

na cultura, em geral, os efeitos demoram mais a aparecer, como ocorre em programas estruturados como serviços, menos apoiados por produtos padronizados e por transferências

Como se procurou mostrar nesta seção, avaliar impactos de programas sociais, de educação e de cultura requer medi-los no momento adequado e nos diferentes contextos socioeconômicos e de capacidade de gestão em que operam. A falta de impacto ou a constatação de impactos negativos pode decorrer, como sói acontecer de forma mais frequente do que se imaginaria, de um lado, de uma avaliação precipitada, realizada quando a intervenção ainda se encontra diante de desafios típicos da implementação de suas atividades em um ambiente complexo. De outro, essa constatação pode decorrer de um desenho avaliativo mal especificado, que se vale de um método padronizado muito pouco adequado ao contexto de intervenção e que desconsidera a necessidade da coleta de informações nos diferentes contextos de operação do programa ou projeto. A avaliação com métodos rígidos e com amostras não representativas do mosaico de situações enfrentadas pelos programas e projetos informa pouco ou mal em um país tão desigual como o Brasil.

A constatação de que um programa ou projeto não gera impacto ou efeito na intensidade imaginada pode decorrer, ainda, das expectativas por vezes desproporcionais frente à natureza e à dimensão do programa ou projeto ou à tangibilidade de sua mensuração. É o que se discute a seguir.     

O escopo e a tangibilidade dos impactos de programas e projetos

Na terminologia da avaliação, os impactos de um programa ou projeto não devem ser confundidos com os resultados esperados da intervenção nem com os efeitos identificados em um tipo particular de metodologia de pesquisa, como a avaliação experimental, como quer a comunidade de randomistas.^[9] Impactos não são produtos nem resultados, mas os efeitos que decorrem deles e que são, em alguma medida, atribuíveis à intervenção.

Pareceria desnecessária essa assertiva não fosse o fato de que, em situações concretas de avaliação, não é trivial o desdobramento de objetivos da intervenção nos seus efeitos mais controlados e imediatos para o público-alvo (os produtos e serviços), nos efeitos tangíveis e de médio prazo decorrentes do usufruto dessas entregas para o público-alvo (os resultados), e nos efeitos mais diversos e dispersos no tempo para esse público e para a sociedade (os impactos).^[10] Garantir a qualidade e a cobertura de produtos e serviços é certamente difícil e complexo, mas está mais suscetível ao controle por parte da equipe técnica de programas e projetos do que os resultados e os impactos. Ou melhor, esses dependem de outras condições não controláveis, inclusive referentes à disposição dos indivíduos do público-alvo atendido para mudar seus comportamentos e suas atitudes, como ocorre em programas na educação e na cultura. 

Ter clareza sobre os objetivos de curto, médio e longo prazo dos programas e projetos, da tangibilidade dos efeitos, e do tempo e do modo como repercutem na população-alvo e na sociedade é um dos desafios da avaliação. A experiência de desenho e de análise de avaliações em diferentes organizações públicas tem demonstrado que os objetivos de políticas, de programas e de projetos são entendidos de forma bastante diversa entre as equipes envolvidas. Os objetivos e os motivos declarados nas normas fundantes das intervenções públicas são, em geral, mais abrangentes e ambíguos do que se esperaria em contextos técnicos de planejamento e avaliação, pela necessidade de legitimação política pela qual devem passar as políticas e seus programas. Assim, nem sempre são tão claras para gestores e operadores do programa, e até mesmo para as equipes avaliadoras, as diferenças entre as entregas e os resultados, e, sobretudo, entre os resultados a garantir e os impactos possíveis – no que o exercício coletivo de elaboração da lógica operacional da intervenção por meio do “Mapa de processos e resultados” (“MaPR”) pode ajudar. A criação do “MaPR” do programa obriga a explicitação dos recursos e das atividades-chave para a entrega dos produtos aos públicos-alvo, que, por sua vez, levam a resultados e impactos. Nesse processo, para garantir coerência na lógica operacional, consegue-se discutir e decidir como os objetivos se desdobram nos efeitos imediatos de curto e de longo prazo (Figura 3). 

Programas e projetos nos campos da educação, da cultura e das artes, e do meio ambiente propostos e operados por organizações da sociedade civil também padecem de “objetivite”, mas com uma gravidade menor, em razão da escala de público atendido e dos recursos envolvidos. No entanto, mesmo nesse contexto, as justificativas da relevância dos programas e as exposições de seus motivos e objetivos tendem a ser mais genéricas e ambíguas do que a boa técnica de desenho de projetos recomendaria. Embora os manuais de formulação de programas recomendem que suas finalidades sejam bastante precisas e claras, não é o que necessariamente acontece nos escritórios de planejamento. Afinal, programas precisam ser apreciados por outros decisores e financiadores, pela mídia e por outros atores direta ou indiretamente afetados pela intervenção proposta. No caso do setor público, para além de refletir a natureza democrática e participativa prevista constitucionalmente no processo de formulação de políticas e programas, a “imprecisão relativa” e invariavelmente abrangente dos seus objetivos permite que gestores e operadores façam as necessárias adaptações da intervenção quando de sua implementação no contexto local e/ou dos públicos atendidos. Objetivos mais abrangentes permitem que ações não antevistas na formulação dos programas – e que sejam entendidas como fundamentais para a sua implementação em determinados contextos – possam ser “encaixadas” na rubrica orçamentária.

Em um país tão diverso como o Brasil, nem sempre é possível ou mesmo factível antecipar os problemas a serem enfrentados na implantação de programas públicos, privados ou do terceiro setor, como requerem as técnicas estruturadas de elaboração e acompanhamento de projetos. Intervenções nos campos social, da educação e da cultura não são projetos de engenharia ou de infraestrutura, com objetivos mais específicos, sujeitos a menor influência do contexto externo e com maior capacidade de comando e controle. Alguma maleabilidade nos objetivos e nos arranjos operacionais precisa ser aceita como parte do processo de formulação de políticas e programas, sem o que não se pode garantir sucesso nos trâmites de apreciação nas diversas instâncias de poder, de financiamento e de adesão ou contratação de agentes envolvidos na implementação.

Certa ambiguidade e pluralidade dos objetivos é, pois, necessidade e condição para a implementação de bons programas e projetos, e precisa ser recuperada de modo mais objetivo e estruturado quando da avaliação. Se a tangibilidade da mensuração é um atributo imperativo quanto aos produtos e necessário quanto aos resultados, é também uma característica desejável quanto aos impactos. Desejável mas nem sempre factível, pela natureza abstrata, complexa ou fugidia de algumas dimensões potencialmente impactadas por programas sociais na educação, na cultura ou no meio ambiente. Essa é uma situação bastante recorrente em programas e projetos que têm a expectativa de contribuir para uma sociedade mais coesa, justa, tolerante e sustentável. É, por vezes, inescapável assumir tais compromissos civilizatórios como os impactos de diversas organizações da sociedade civil frente à missão institucional que se impõem. Programas e projetos acabam inevitavelmente se propondo ambiciosos em suas perspectivas de transformação da realidade social e de impacto se suas equipes compartilham da premissa republicana de que todos temos uma responsabilidade moral para com a coletividade e os demais, independentemente de precondições de nascimento, de características e de potenciais, como advoga Amartya Sen.^[11]

Tais compromissos republicanos são ainda mais relevantes no Brasil pelo seu quadro de desigualdades e iniquidades sociais e pelo pacto político-social firmado na “Constituição federal de 1988”. O país é um dos vários casos em que a “Constituição” e outras normativas explicitam os direitos fundamentais inspirados na “Declaração universal dos direitos humanos” e em tratados internacionais. Os primeiros artigos da “Carta de 1988”, referentes aos princípios fundamentais (“Título I”) e aos direitos e garantias fundamentais (“Título II”), deixam claro o compromisso do Estado brasileiro – e da sociedade – com a promoção da cidadania e da dignidade humana (artigo 1º), assim como com a construção de uma sociedade livre, justa e solidária, sem pobreza e menos desigual, sem preconceitos de qualquer natureza, e destinada a promover o bem de todos (artigo 3º). Compromissos com a prevalência dos direitos humanos, da cooperação, da moderação e da solução pacífica nas relações internacionais certamente também se aplicam no contexto interno (artigo 4º). Sem estender muito as referências, vale ainda registrar os direitos políticos, sociais, do trabalho, à saúde integral e à educação básica, assegurados nos artigos 5º, 6º, 7º, 196º e 205º. 

Ao constitucionalizar os direitos políticos e sociais sem quaisquer ressalvas restritivas, a sociedade brasileira procurava seguir a trilha civilizatória dos países centrais europeus no século XX, que consistia em atender às aspirações e demandas coletivas sem condicionar o acesso aos direitos à disponibilidade de recursos ou ao “tamanho da economia”. Em boa parte dos países europeus, marcados pelas agruras de duas guerras mundiais devastadoras – em que os pobres morreram nas batalhas, a classe média perdeu seus empregos e as elites perderam suas propriedades –, o contrato político-social estabelecido prevaleceu sobre as restrições e os condicionantes econômicos, alargando-os para garantir o financiamento de políticas públicas mais abrangentes, o que, em seguida, levou à dinamização da própria economia pelos efeitos do investimento em construções de equipamentos públicos e da contratação de profissionais para a operação dos serviços.^[12]

A discussão sobre valores públicos ainda está pouco presente nas comunidades epistêmicas e de práticas no país, o que explica parte da dificuldade de se dispor de indicadores sobre impactos referentes a compromissos civilizatórios. A “Agenda 2030” pode ajudar nesse sentido, pela proposta ampla de indicadores de monitoramento e de avaliação que traz. Os organismos estatísticos nacionais estão investindo na coleta e na disponibilização desses indicadores, ainda que esse processo seja mais lento do que se desejaria. E, para além de ser uma referência metodológica para a proposição e a construção de indicadores para programas e projetos, a “Agenda 2030” é uma referência política para a proposição de dimensões de impactos. Afinal, o documento retoma os valores universais contidos na “Declaração universal dos direitos humanos” em bases mais pragmáticas e operacionais, propondo o princípio de indissolubilidade entre crescimento econômico, desenvolvimento social e proteção ambiental.^[13] A boa política pública no século XXI é aquela que é desenhada para maximizar simultaneamente bons resultados nessa tríade.  A “Agenda 2030” resgata o compromisso civilizatório mais amplo ao advogar por um modelo de desenvolvimento, de políticas públicas e de iniciativas do setor privado e do terceiro setor que promova a dignidade das pessoas nas múltiplas dimensões sociais; a prosperidade econômica sem a debilitação do planeta; e a busca gradativa da paz interna e entre países, construída por meio de parcerias entre sociedade, Estado e instituições públicas não governamentais e privadas.

para além de ser uma referência metodológica para a proposição e a construção de indicadores para programas e projetos, a “Agenda 2030” é uma referência política para a proposição de dimensões de impactos. Afinal, o documento retoma os valores universais contidos na “Declaração universal dos direitos humanos” em bases mais pragmáticas e operacionais, propondo o princípio de indissolubilidade entre crescimento econômico, desenvolvimento social e proteção ambiental

Qualquer que seja a sua escala de atuação, programas e projetos sociais nos campos da educação e da cultura têm, pois, muito a contribuir para essas cinco dimensões se continuarem ousando se comprometer com objetivos de impacto mais abrangentes. Seria uma pena s, pelas dificuldades técnicas de mensuração, estabelecessem compromissos mais modestos e mais tangíveis, sobretudo nestes tempos de aparente perda de adesão societária aos princípios de solidariedade, equidade, respeito à diversidade e sustentabilidade ambiental. Em muitas situações, sempre será difícil tornar tangíveis os impactos por meio de indicadores. Em alguns casos, os impactos potenciais terão que ser demonstrados mais pelos propósitos do programa, pelo seu desenho e pelas suas atividades do que propriamente pela disponibilidade de indicadores ou metodologias que mostrem alguma associação significativa atribuível entre o programa e seus efeitos.^[14] Nesse caso, a atribuição relacional pode ser defendida por uma robusta argumentação persuasiva, com apoio referenciado de outras pesquisas, meta-avaliação e evidências indiretas, como acontece em maior ou menor grau em toda narrativa científica nas ciências sociais sob a perspectiva latouriana.^[15] 

Considerações finais

Muitos programas e projetos sociais, de educação, de cultura e de meio ambiente parecem viver em constante crise de financiamento, de viabilidade e de identidade, nessa ordem. Visões curto-prazistas e ingênuas acerca dos impactos dessas intervenções podem estar inviabilizando iniciativas inovadoras que não tiveram tempo e condições contextuais de revelar seu mérito, ou levando-as a ajustar seus propósitos e desenhos de modo a torná-los mais rastreáveis por indicadores que revelem a atribuição causal entre atividades e efeitos. Mas as tentativas de verificação de atribuição causal por meio de desenhos experimentais e quasi-experimentais podem ser bastante frustrantes, pois as mediações entre as atividades dos programas e seus efeitos mais abstratos podem ser minadas por uma série de variáveis contextuais de difícil mensuração e controle.^[16]   

Seria uma pena s, pelas dificuldades técnicas de mensuração, estabelecessem compromissos mais modestos e mais tangíveis, sobretudo nestes tempos de aparente perda de adesão societária aos princípios de solidariedade, equidade, respeito à diversidade e sustentabilidade ambiental

A tangibilidade dos impactos não se adquire impunemente: é necessário reduzir a escala de cobertura da intervenção, escolher públicos-alvo em contextos mais favoráveis, abrir mão de atividades que requerem mais tempo de maturação e abolir compromissos civilizatórios mais abrangentes. Podem se tornar programas e projetos mais exitosos à luz dos tribunais econométricos em que se transformou a avaliação de impacto, mas talvez menos relevantes e fundamentais para a transformação social de que o Brasil necessita. 

Pelas considerações feitas neste texto, talvez se deva começar a desconfiar que o problema de “falta de impacto” não está no programa, no seu desenho, nos produtos e serviços prestados ou na inexistência de indicadores que demonstrem cabalmente seus efeitos. Talvez se deva dividir a responsabilidade pela “falta de impacto” entre a avaliação e a precipitação com que é conduzida; a inadequação da metodologia aplicada; a desconsideração dos diversos contextos de operação no plano amostral proposto; e, por fim e não menos importante, entre as expectativas desmedidas de que o programa venha a transformar rápida e substantivamente a realidade dos públicos atendidos frente ao volume de recursos disponibilizados. 

 

Como citar 

JANNUZZI, Paulo M. Avaliação de impacto de programas e projetos educacionais e culturais: considerações sobre o contexto de implementação e a tangibilidade de valores civilizatórios almejados. Revista Observatório Itaú Cultural, São Paulo, n. 33, 2022. Doi: https://www.doi.org/10.53343/100521.33-1

 

Paulo de Martino Jannuzzi é professor da Escola Nacional de Ciências Estatísticas do Instituto Brasileiro de Geografia e Estatística (Ence/IBGE) e da Escola Nacional de Administração Pública (Enap/DF). Pesquisador PQ do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), com o projeto "Informação estatística e políticas públicas no Brasil: uma análise comparativa internacional", foi também secretário de Avaliação e Gestão da Informação do Ministério do Desenvolvimento Social e Combate à Fome entre 2011 e 2016.

 

Referências bibliográficas

ARCOVERDE, A. C. B.; ALBUQUERQUE, C. M. P. Avaliação de impactos: da teoria à práxis. Recife: Editora Ufpe, 2016.

BRASIL. Casa Civil. Avaliação de políticas públicas. Guia prático de análise ex ante. Brasília, DF: Casa Civil, 2018.

BRASIL. [Constituição (1988)]. Constituição da república federativa do Brasil de 1988. Brasília, DF: Presidência da República, [2016]. Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm. Acesso em: 22 ago. 2022.

BRASIL. Tribunal de Contas da União. Referencial de controle de políticas públicas. Brasília, DF: Tribunal de Contas da União, 2020.

FONSECA, Ana Carla. Benefícios sociais e econômicos das artes e da cultura na promoção da saúde e do bem-estar. Revista Observatório Itaú Cultural, São Paulo, n. 31, 2022.

FUNDAÇÃO JOÃO PINHEIRO. Avaliação de políticas públicas: por onde começar? Um guia prático para elaboração do mapa de processos e resultados e o mapa de indicadores. Belo Horizonte: Fundação João Pinheiro, 2022.

GHEZZI, D. R.; SANTOS, J. R. J. Métodos de pesquisa em ciências sociais: bloco qualitativo. São Paulo: Cebrap; Sesc, 2017a.

GHEZZI, D. R.; SANTOS, J. R. J. Métodos de pesquisa em ciências sociais: bloco quantitativo. São Paulo: Cebrap; Sesc, 2017b.

GUSSI, A. Outras epistemologias e metodologias: a experiência do mestrado de avaliação de políticas públicas. Revista Aval, Fortaleza, v. 2, n. 16, p. 168-183, 2019.

INEP. Sistema de avaliação da educação básica. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2018.

JAIME, P. et al. Desnutrição em crianças de até 5 anos beneficiárias do programa Bolsa Família: análise transversal e painel longitudinal de 2008 a 2012. Cadernos de Estudos – Desenvolvimento Social em Debate, Brasília, v. 17, p. 49-61, 2014.

JANNUZZI, P. M. Monitoramento e avaliação de programas sociais. Campinas: Alínea, 2016b.

JANNUZZI, P. M. Indicadores sociais no Brasil: conceitos, fontes de dados e aplicações. 6. ed. Campinas: Alínea, 2017.

JANNUZZI, P. M. Mitos do desenho quasi-experimental na avaliação de programas. NAU Social, v. 9, n. 16, p. 76-90, 2018.

JANNUZZI, P. M. Avaliação de programas públicos no Brasil: considerações sobre complexidade, valores públicos e critérios avaliativos. In: ENCONTRO DA ANPAD, 45., 2021, Curitiba. Anais [...], Curitiba, 2021.

JANNUZZI, P.M. A importância do contexto institucional, político e ideacional na avaliação de políticas públicas. Revista Brasileira de Avaliação, v.1, n. 2, e 113722. 2022.

JANNUZZI, P. M.; CARLO, S. Da agenda de desenvolvimento do milênio ao desenvolvimento sustentável. Bahia Análise e Dados, Salvador, v. 28, n. 2, p. 6-27, 2018.

KERSTENETZKY, C. L. O estado do bem-estar social na idade da razão. Rio de Janeiro: Elsevier, 2012.

KROPF, S. P.; FERREIRA, L. O. A prática da ciência: uma etnografia no laboratório. História Ciências Saúde – Manguinhos, v. 4, n. 3, p. 589-597, 1998.

LEÃO, L. S.; EYAL, G. Em busca do padrão-ouro? O percurso histórico do uso de experimentos na avaliação de políticas sociais. In: MELLO, J. et al. (org.). Políticas públicas e uso de evidências no Brasil: conceitos, métodos, contextos e práticas. Brasília: Ipea, 2022, p. 285-310.

PATTON, M. Q. Utilization-focused evaluation: the next century text. Thousand Oaks (Califórnia): Sage Publications, 1997.

RAVALLION, M. Should the randomistas rule? Berkeley Electronic Press, v. 6, p. 1-5, fev. 2009.

SANDEL, M. J. A tirania do mérito. O que aconteceu com o bem comum? Rio de Janeiro: Civilização Brasileira, 2021.

SEN, A. Sobre ética e economia. São Paulo: Companhia das Letras, 1999.

 

---

^[1] Ver: JAIME, P. et al. Desnutrição em crianças de até 5 anos beneficiárias do programa Bolsa Família: análise transversal e painel longitudinal de 2008 a 2012. Cadernos de Estudos – Desenvolvimento Social em Debate, Brasília, v. 17, p. 49-61, 2014.

^[2] Ver: JANNUZZI. Avaliação de programas públicos no Brasil: considerações sobre complexidade, valores públicos e critérios avaliativos. Anais do XLV Encontro da Anpad, Curitiba, 2021. Uma apresentação resumida dos critérios pode ser consultada em: https://pp.nexojornal.com.br/ponto-de-vista/2020/Relev%C3%A2ncia-e-sustentabilidade-dimens%C3%B5es-esquecidas-na-avalia%C3%A7%C3%A3o-de-programas-sociais. Acesso em: 21 ago. 2022.

^[3] Ver: FONSECA, Ana Carla. Benefícios sociais e econômicos das artes e da cultura na promoção da saúde e do bem-estar. Revista Observatório Itaú Cultural, São Paulo, n. 31, 2022.

^[4] Ver: JANNUZZI, P. M. Indicadores sociais no Brasil: conceitos, fontes de dados e aplicações. 6. ed. Campinas: Alínea, 2017.

^[5] Para isso, entre diversos outros textos e manuais, ver: JANNUZZI (2016, 2017); GHEZZI e SANTOS (2017a, 2017b); e BRASIL (2018, 2020).

^[6] Ver: PATTON, M. Q. Utilization-focused evaluation: the next century text. Thousand Oaks (Califórnia): Sage Publications, 1997; e LEÃO, L. S.; EYAL, G. Em busca do padrão-ouro? O percurso histórico do uso de experimentos na avaliação de políticas sociais. In: MELLO, J. et al. (org.). Políticas públicas e uso de evidências no Brasil: conceitos, métodos, contextos e práticas. Brasília: Ipea, 2022, p. 285-310.

^[7] Ver: SANDEL, M. J. A tirania do mérito. O que aconteceu com o bem comum? Rio de Janeiro: Civilização Brasileira, 2021.

^[8] INEP. Sistema de avaliação da educação básica. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2018.

^[9] Ver: RAVALLION, M. Should the randomistas rule? Berkeley Electronic Press, v. 6, p. 1-5, fev. 2009.

^[10] Ver: ARCOVERDE, A. C. B.; ALBUQUERQUE, C. M. P. Avaliação de impactos: da teoria à práxis. Recife: Editora Ufpe, 2016.

^[11] Ver: SEN, A. Sobre ética e economia. São Paulo: Companhia das Letras, 1999.

^[12] Ver: KERSTENETZKY, C. L. O estado do bem-estar social na idade da razão. Rio de Janeiro: Elsevier, 2012.

^[13] Ver: JANNUZZI, P. M.; CARLO, S. Da agenda de desenvolvimento do milênio ao desenvolvimento sustentável. Bahia Análise e Dados, Salvador, v. 28, n. 2, p. 6-27, 2018.

^[14] Ver: GUSSI, A. Outras epistemologias e metodologias: a experiência do mestrado de avaliação de políticas públicas. Revista Aval, Fortaleza, v. 2, n. 16, p. 168-183, 2019.

^[15] Para uma introdução à perspectiva de Bruno Latour sobre a produção do conhecimento científico na contemporaneidade, ver: KROPF, S. P.; FERREIRA, L. O. A prática da ciência: uma etnografia no laboratório. História Ciências Saúde – Manguinhos, v. 4, n. 3, p. 589-597, 1998.

^[16] Ver: JANNUZZI, P. M. Mitos do desenho quasi-experimental na avaliação de programas. NAU Social, v. 9, n. 16, p. 76-90, 2018.