BrBRHUHu0102-69092005000300007

A política da avaliação de políticas públicas

Em um plano normativo, a década de 1990 testemunhou, nas democracias ocidentais de uma maneira geral, e na América Latina particularmente, a busca de fortalecimento da "função avaliação" na gestão governamental. Com efeito, foram implementados, em diversos países da América Latina, sistemas de avaliação das políticas públicas de escopo variável. Tal processo tem sido justificado pela necessidade de "modernização" da gestão pública, em um contexto de busca de dinamização e legitimação da reforma do Estado.

Os argumentos que justificam a necessidade de institucionalização da avaliação da atividade governamental na América Latina também fazem eco à visão mais canônica do processo de avaliação de políticas públicas, aquela muitas vezes adotada em manuais e apreciações mais introdutórias, os quais apresentam a avaliação como "última etapa" do chamado "ciclo das políticas", definindo- a como: (a) atividade destinada a aquilatar os resultados de um curso de ação cujo ciclo de vida se encerra; (b) a fornecer elementos para o desenho de novas intervenções ou para o aprimoramento de políticas e programas em curso; e (c) como parte da prestação de contas e da responsabilização dos agentes estatais, ou seja, como elemento central da accountability. Mesmo que essa concepção reconheça, ainda que implicitamente, o caráter inextricavelmente político da avaliação, podemos observar nos debates e nos estudos correlatos mais recentes a prevalência de um viés francamente normativo e/ou uma priorização dos aspectos mais técnicos da avaliação das políticas públicas, bem como uma ênfase em seu papel de instrumento gerencial.

Reconhecendo o caráter incipiente da pesquisa e da prática da avaliação no Brasil, o presente trabalho tem como objetivos: (1) analisar os fatores que têm justificado e condicionado a implantação dos sistemas de avaliação, sobretudo nos países da América Latina; (2) averiguar as razões da prevalência, no âmbito estatal e também no plano analítico, de uma concepção "tecnicista" da avaliação, vista hoje quase exclusivamente como instrumento da gestão governamental; e, finalmente, (3) enfatizar o caráter eminentemente político da avaliação de políticas públicas, elencando e categorizando as suas distintas formas de utilização. Será ressaltada, assim, a virtual subordinação do uso gerencial da avaliação e de sua suposta capacidade de encerrar, reiniciar ou revitalizar o ciclo das políticas às injunções políticas mais abrangentes e às estratégias e interesses dos tomadores de decisão e dos demais envolvidos (aqueles que a literatura especializada denomina, desvelando suas matrizes intelectuais, stakeholders).

A institucionalização da "função avaliação" na América Latina: premissas, expectativas e motivações Diga-se, logo de início, o essencial: nas décadas de 1980 e 1990 a avaliação de políticas públicas foi posta a serviço da reforma do Estado.1 Se parece haver consenso quanto a essa questão, há, contudo, uma diversidade de maneiras de se pensar a evolução do papel atribuído à pesquisa avaliativa desde o início do boom da avaliação de políticas e programas públicos, ocorrido nos Estados Unidos na década de 1960. Guba e Lincoln (1989), por exemplo, tendo como foco os Estados Unidos e fazendo uma caracterização desde os anos de 1930, detectaram a emergência de quatro sucessivas "gerações" de pesquisas avaliativas, quais sejam: (1) um início com um viés mais técnico, no período do New Deal; (2) uma "geração" mais "descritiva", predominante desde a Segunda Guerra Mundial até meados da década de 1960; (3) uma que enfatizava a oferta de "julgamentos" abalizados, prevalecente entre meados dos anos de 1960 e meados da década seguinte, ou seja, quando da avaliação dos polêmicos programas da "Guerra à Pobreza" (War on Poverty) e da "Grande Sociedade" (Great Society); e, finalmente, (4) uma "geração" "reativa", característica dos anos Reagan.

Albaek (1998), por seu turno, afirma que, quando do início da massificação da avaliação nos Estados Unidos, na década de 1960, a pesquisa avaliativa era encarada predominantemente como ferramenta de planejamento destinada aos formuladores de políticas e aos gerentes de mais alto escalão. Em um contexto de expansão sem precedentes do gasto público no país, de escasso conhecimento acerca do impacto da ação governamental e da busca de um maior controle sobre os burocratas/implementadores, a avaliação é institucionalizada, tendo como característica predominante o seu desenho top-down. A expectativa era, ainda, a de que a avaliação, ao superar o problema de déficit de compreensão acerca desses processos e de seu impacto, pudesse garantir a racionalidade dos processos decisórios e a legitimação das políticas e dos programas. Essa "era de ouro" da avaliação, assim denominada por Rossi e Wright (1984), que, de acordo com Oakley (1998), teria durado até o final da década de 1980, foi dominada por um paradigma metodológico experimental ' "randomizado" e controlado ("randomised, controlled experimental paradigm", Oakley, 1998, p.

95) ' tendo sido dinamizada por uma Ordem Executiva do presidente norte- americano, que determinava que os programas sociais fossem avaliados.

Segundo Albaek (1998), na década de 1970 avolumaram-se as evidências acerca do excesso de otimismo no que dizia respeito à plena utilização e incorporação, de forma racional/instrumental, dos resultados das avaliações. O paradigma top- down foi assim progressivamente revertido, abrindo espaço para o desenvolvimento de abordagens e metodologias bottom-up. Nas décadas de 1980 e 1990, como se verá em detalhe adiante, a avaliação das políticas públicas foi posta a serviço da reforma do setor público.

Uma terceira forma de se pensar a maneira como têm variado as motivações do Estado para a valorização da avaliação de políticas é sugerida por Derlien (2001), em artigo particularmente interessante e provocativo. Partindo da distinção das três funções básicas atribuídas à avaliação ' informação, realocação e legitimação ', o autor defende a tese de que, dos anos de 1960 aos anos de 1990, os objetivos buscados com a avaliação teriam passado da função de informação para a de realocação. Tal deslocamento teria sido acarretado por fatores políticos e econômicos específicos, tendo havido também uma mudança nos atores políticos dominantes. Segundo Derlien, na década de 1990 passou a predominar em muitos países a função de realocação, associada ao movimento do New Public Management, tendo os avaliadores se convertido em auditores que privilegiavam a medição dos resultados. Vale a pena reproduzirmos aqui, em uma longa citação, a apresentação que o autor faz da função de (re)alocação, a qual, segundo sua tese, passa a pautar a ênfase na avaliação durante as duas últimas décadas: A função predominante da avaliação nos anos de 1980, durante a segunda etapa de institucionalizações, estava claramente destinada a apoiar uma alocação racional dos recursos. Nesse momento os atores principais já não são mais os administradores dos programas (como quando prevalecia a função de informação), mas os escritórios de auditoria, os ministérios da Fazenda e as unidades centrais, a quem compete a elaboração global do orçamento e sua estrutura interna. As questões básicas que passaram a ser enfatizadas são: ' Quais programas podem ser suprimidos ou reduzidos a partir dos resultados negativos da avaliação? ' Quais são as conseqüências do retrocesso das fronteiras do Estado, ou seja, da privatização de determinadas atividades públicas? ' Como se pode obter ‘mais rendimento pelo dinheiro' a partir da reorganização dos programas individuais e das atividades públicas em seu conjunto? As questões induzidas dos motivos da alocação tendem a dar mais ênfase na quantidade do que na qualidade (Derlien, 2001, p.106).

É precisamente essa associação da "função avaliação" à reforma gerencialista do Estado, com ênfase nos resultados e na desresponsabilização/devolução/ privatização da provisão de bens e serviços sociais, que torna compreensíveis manifestações como estas de Vieira (1997): [...] [no] Brasil, desde o tempo da elaboração da Constituição de 1988, a febre avaliatória ganha dimensão de epidemia e os avaliadores metamorfoseiam-se em festejados demiurgos [...]" (p.70).

Esta nova fase de acumulação capitalista não se importa com direitos.

Seus filhos mais queridos, os recentes avaliadores, nutrem-se do relativismo tão a gosto da meritocracia (p.71).

Diga-se, de passagem, que reações como essa, que beiram a fobia, obscurecem a necessária percepção de que a avaliação "não é, por natureza, característica de um tipo específico de Estado ou cultura administrativa" (Thoenig, 2000, p. 57).

A seguir apresentaremos, de maneira sucinta, as premissas, as expectativas e as motivações para a institucionalização da "função avaliação" na América Latina.

Tal processo ocorreu tardiamente, apenas na década de 1990, tendo prevalecido a perspectiva de instrumentalização da pesquisa avaliativa para o sucesso da reforma do Estado. Tal discussão pavimentará o nosso caminho para que possamos, na seção subseqüente, analisar a postura da academia brasileira diante da hegemonia da perspectiva "gerencialista" sobre o papel da avaliação de políticas públicas.2 Como destacado por diversos autores, a medição e a avaliação do desempenho governamental e das políticas públicas tornaram-se parte integral da agenda de reformas dos anos de 1980 e 1990, as quais, como se sabe, estiveram longe de se circunscrever aos países latino-americanos. Tanto por razões pragmáticas como ideológicas ' e não nos parece pertinente arrolarmos aqui os fatores de ordem econômica, política e ideológica que têm dado sustentação aos processos de reforma do Estado em grande parte das democracias ocidentais ', o desenho dessas reformas privilegiou dois propósitos básicos. Em primeiro lugar, a adoção de uma perspectiva de contenção dos gastos públicos, de busca de melhoria da eficiência e da produtividade, de ampliação da flexibilidade gerencial e da capacidade de resposta dos governos, bem como de maximização da transparência da gestão pública e de responsabilização dos gestores, em um processo no qual o "consumidor" dos bens e serviços públicos estaria, supostamente, em primeiro plano. O segundo propósito ou expectativa é de que tais reformas pudessem contribuir para uma reavaliação da pertinência das organizações governamentais preservarem todo o seu leque tradicional de atribuições, prevalecendo um contexto de valorização da provisão privada de bens e serviços (Caiden e Caiden, 2001, p. 79).

Como corretamente assinalado por Caiden e Caiden, "a medição de desempenho, o monitoramento e a avaliação não foram apenas ornamentais nem tiveram uma significação incidental nas reformas. Foram (ou deveriam ter sido) as alavancas essenciais da mudança" (Idem, p. 80). Vale lembrar que Wiesner Duran chama a avaliação de "proxy do mercado na administração pública" (apudMokate, 2002, p.

90). A centralidade da avaliação justifica-se, assim, porque se esperava que essas "funções" garantissem a credibilidade do processo de reforma e a sustentabilidade política das diretrizes de desregulamentação e de redução do tamanho do governo, quer pela via da chamada "devolução", ou seja, do deslocamento das funções e dos serviços para as instâncias subnacionais, quer pela via da privatização. Esperava-se, também, que pudessem ser fomentadas a transparência na gestão pública e a satisfação dos usuários/clientes.

Parece por demais óbvio, pois, o caráter eminentemente político do projeto de "modernização" do Estado vinculado à "revolução" gerencialista que se deseja implantar, no qual o monitoramento e a avaliação de políticas ocupam lugar de destaque. Contudo, como se discutirá adiante, a política da avaliação das políticas públicas está longe de se restringir a questões e disputas relativas à definição dos interesses prioritários e do escopo do Estado, posto que a avaliação pode também, por exemplo, ser elemento central na disputa eleitoral, no controle das interações intergovernamentais e na busca de acomodação de forças e de interesses no âmbito intraburocrático.

A hegemonia inconteste da perspectiva "gerencialista": uma discussão exploratória acerca do papel da academia brasileira Pode parecer contraditório o fato de a nova ênfase dada à avaliação de políticas no Brasil aparentemente não ter despertado um interesse equivalente por parte da comunidade acadêmica dos analistas de políticas públicas, notadamente nas áreas da ciência política e da sociologia, no sentido de se abrir novas frentes de investigação. O mesmo parece não se dar, contudo, na seara da administração pública, como demonstrado, por exemplo, pela freqüência com que periódicos nacionais, como a Revista do Serviço Público e a Revista de Administração Pública, têm encampado a temática.3 Note-se, ainda, que a questão tem ganhado destaque também em publicações do Ipea,4 da Fundação Seade (Carvalho, 2003) e da Fundação Carlos Chagas, como os Cadernos de Pesquisa e os Estudos em Avaliação Educacional. É importante destacarmos aqui o viés acentuadamente normativo da maior parte destes trabalhos, bem como o fato de a Revista do Serviço Público republicar trabalhos de consultores internacionais muitas vezes produzidos a partir de demandas dos organismos multilaterais, o que evidencia o forte caráter de indução externa a vincar o processo de institucionalização dos sistemas de avaliação na América Latina.

Se for possível justificar esse panorama a partir do fato de a avaliação de políticas públicas ser tarefa eminentemente multidisciplinar, como é amplamente reconhecido, resta-nos buscar compreender o que pode ser denominado como a omissão da ciência política brasileira.5 Um primeiro elemento para se pensar tal omissão é a postura assumida por Michael Scriven, um dos primeiros e principais teóricos da avaliação, para quem a "investigação avaliativa deve produzir como conclusão exatamente o tipo de afirmação que os cientistas sociais dizem ser ilegítima: um juízo de valor ou mérito" (Scriven, 1974, apudBallart, 1996, p. 325). Esse viés normativo talvez possa nos ajudar na compreensão do seguinte paradoxo: se as investigações conduzidas na subárea da análise de políticas públicas são fortemente condicionadas pela conjuntura, como apontado por Melo (1999), tal condicionamento parece não ter sido suficiente para que a questão da avaliação ganhasse lugar de destaque na agenda de pesquisa dos profissionais da área, aqui entendida como subárea da ciência política.

Cabe recordarmos, ainda, que apesar do boom das duas últimas décadas, a estruturação do campo da análise de políticas públicas ainda é bastante incipiente no Brasil, o qual padece, como também mostrado por Melo (1999), de grande fragmentação organizacional e temática, tendo uma institucionalização ainda precária. Porém, se essas características podem tornar compreensíveis determinadas lacunas, a notória ausência de investimentos mais sistemáticos no estudo dos processos de implementação e avaliação parece evidenciar também o status privilegiado de que desfrutam os processos decisórios na ciência política do país. No entanto, [...] a escassez dos estudos "pós-decisão" no país parece explicada não apenas pela frágil institucionalização da área no Brasil, que faz com que a análise de políticas públicas continue gravitando na órbita das questões analíticas mais tradicionalmente valorizadas pela Ciência Política, mas também pela debilidade no país do campo de estudos da Administração Pública (Faria, 2003, p. 22).

Se a administração pública, como área de trabalho acadêmico, é extremamente débil no país, tendo, porém, ganhado certo vigor na década passada com a abertura de Escolas de Governo em diversos estados da Federação, sua interação com a ciência política e com a sociologia talvez ainda seja por demais frágil.

Retratado e explicado, assim, este panorama de omissão, cabe recordarmos, como discutido na seção anterior, que a atual "gerencialização" da avaliação de políticas públicas é, antes de tudo, derivada de sua instrumentalização no processo/projeto de reforma do Estado. Contudo, a concepção hoje prevalecente da avaliação como instrumento administrativo e, portanto, como função supostamente alheia às disputas propriamente políticas talvez fique ainda mais evidenciada em função da postura da ciência política brasileira, que acaba, assim, por endossar esse viés distorcido do princípio republicano da desvinculação entre política e administração pública.

Reconhecida, portanto, a hegemonia quase inconteste da perspectiva gerencialista ' e recorde-se que essa é a tônica dada à implantação dos sistemas de avaliação pelos organismos multilaterais, que têm investido sistematicamente nesse processo ao disponibilizar assistência técnica e financiamento, ao articular redes de profissionais, ao sensibilizar lideranças políticas e acadêmicas e ao atrelar o financiamento de projetos à exigência de avaliação ', parece-nos oportuno inventariarmos as distintas formas de uso esperado e potencial da avaliação de políticas públicas, para que possamos ampliar a nossa percepção do viés político da pesquisa avaliativa. Antes, contudo, cabe alertarmos para o fato de que, evidentemente, não se espera aqui que a ciência política seja capaz, por si só, de "(re)politizar" a avaliação de políticas públicas. Cabe a ela, isto sim, a análise do impacto e das implicações de tal hegemonia.

Os usos e a política da avaliação de políticas públicas Parte significativa dos estudos sobre os processos de avaliação de políticas públicas realizados desde a década de 1960, os quais, via de regra, tiveram (e ainda têm) o seu epicentro na academia norte-americana, refere-se às questões de ordem metodológica e/ou às distintas maneiras de se classificar a avaliação.

A avaliação tem sido, usualmente, classificada em função do seu timing"(antes, durante ou depois da implementação da política ou programa), da posição do avaliador em relação ao objeto avaliado (interna, externa ou semi-independente) e da natureza do objeto avaliado (contexto, insumos, processos e resultados)" (Cotta, 2001, p. 91). Como discutido na primeira seção deste ensaio, os estudos avaliativos tinham originalmente um acentuado viés top-down, sendo via de regra encarados como ferramenta de planejamento destinada aos formuladores de políticas e aos gerentes de mais alto escalão. Nesses primórdios, partia-se da premissa que os resultados da avaliação seriam automática e necessariamente encampados pelos tomadores de decisões para a melhoria da política ou do programa em questão. A discussão acerca do uso da avaliação restringia-se, assim, ao que hoje se denomina uso "instrumental".

Logo se percebeu, uma vez que se avolumavam as evidências de que o esperado efeito de feedback da avaliação era freqüentemente obstruído, a flagrante ingenuidade das expectativas de se produzir "melhores e mais sábias decisões" com base apenas na realizaçãoda avaliação. É a partir desse momento que se passa a investigar os determinantes do usoda avaliação, sendo constituída, assim, uma nova e vicejante seara de pesquisa.6 A ênfase nos fatores que condicionam a utilização da avaliação e a mitigação do "furor positivista" da época do primeiro boom dos estudos avaliativos (já que se pode dizer que vivemos hoje o seu segundo boom) abriu espaço para um maior questionamento, ainda hoje incipiente, diga-se, acerca do que chamo "política da avaliação de políticas públicas".

Vale lembrar que tal denominação é pensada neste ensaio como abarcando as questões e as disputas relativas à definição dos interesses prioritários e do escopo do Estado, à competição eleitoral, ao controle das interações intergovernamentais e à busca de acomodação de forças e de interesses no âmbito intraburocrático, entre muitas outras questões relacionadas às disputas de poder entre agentes e principais os mais diversos. Essa concepção mais abrangente engloba, assim, as três dimensões do uso da avaliação normalmente evocadas: instrumental (relativa ao apoio às decisões e à busca de resolução de problemas); conceitual (ou função "educativa"); e simbólica (uso "político") (Shulha e Cousins, 1997).

A percepção da vasta diversidade e da intensidade dos fatores que obstaculizam uma plena ou mesmo freqüente utilização da avaliação para o seu propósito "original" (melhorar a qualidade das decisões e garantir a maximização da consecução dos objetivos definidos pelas políticas e programas) produziu reações muito diferenciadas. Aaron Wildawsky, por exemplo, desalentado diante de tantos obstáculos, questiona, em um quase desabafo, o valor de toda a empreitada: "eu comecei pensando que era ruim não avaliar as organizações e terminei me perguntando por que elas têm que fazê-lo" (apud Caiden e Caiden, 2001, p. 94). Thoenig, por seu turno, parece propor, em algumas circunstâncias, o uso de "avaliações informais", as quais poderiam tornar possível a introdução de "ajustes e mudanças sem atrair a atenção de grupos interessados internos ou externos, que podem ser tentados a usar uma avaliação formal como uma oportunidade para resistir à reforma" (2000, p. 66). Muitas das análises mais recentes, contudo, ao reconhecer que as condições para o aproveitamento das informações disponibilizadas pela avaliação quase nunca estão dadas a priori, sugerem, a exemplo de Cotta, que a avaliação "é uma atividade que, por suas próprias características, exige que estas condições sejam intencional e meticulosamente criadas, sob pena de se comprometer todo o esforço despendido" (2001, p. 94).7 Mas quais seriam, mais especificamente, os fatores que podem interferir na utilização dos resultados da avaliação? Entre tantos outros possíveis, podem ser destacados os seguintes: existência de crenças e interesses conflitantes na organização que gerencia o programa; ocorrência de conflitos de interesses entre as distintas unidades do programa; mudanças no pessoal encarregado, quando, por exemplo, os novatos têm prioridades diferentes daquelas vigentes na época do início da avaliação; eventual inflexibilidade das regras e dos padrões operacionais da organização encarregada, que pode impedir a adoção das recomendações feitas quando da avaliação; e mudanças nas condições externas, tais como cortes orçamentários e alterações no ambiente político, que podem tornar impossível para a organização responder à necessidade de mudança revelada pelos avaliadores (Weiss, 1998, p. 22).

Como o objetivo deste ensaio, mais do que a análise de qualquer caso específico, é ressaltar a estreiteza da concepção gerencialista da avaliação e expandir a nossa percepção das múltiplas implicações políticas da pesquisa avaliativa, buscaremos a seguir elencar e categorizar as distintas formas de sua utilização. Seguindo de perto a proposta de Carol Weiss (1998), serão discutidas não apenas as formas de uso, mas também os elementos da avaliação que podem ser utilizados e, por fim, o papel e os interesses dos vários usuários potenciais da avaliação.8 É possível distinguir pelo menos quatro tipos de uso da avaliação, quais sejam: (a) instrumental; (b) conceitual; (c) como instrumento de persuasão; e (d) para o "esclarecimento". O uso instrumental para a tomada de decisão depende não apenas da qualidade da avaliação, mas também da adequada divulgação de seus resultados, de sua inteligibilidade e da factibilidade das recomendações eventualmente propostas. Segundo Weiss (1998), o uso instrumental seria comum em pelo menos quatro situações: (1) quando as implicações das descobertas da avaliação não são muito controvertidas; (2) quando as mudanças derivadas ou sugeridas não são de grande monta e/ou fazem parte do repertório do programa em questão ou de sua organização implementadora; (3) quando o ambiente do programa é relativamente estável no que diz respeito a suas lideranças, orçamento, tipos de beneficiários etc.; e (4) quando o programa está em crise e não se sabe bem o que deve ser feito.

O segundo tipo de uso é o "conceitual", usualmente circunscrito aos técnicos locais do programa, a quem não é com freqüência atribuído um maior poder de decisão. Nesse caso, as descobertas da avaliação (e o seu próprio processo de realização) podem alterar a maneira como esses técnicos compreendem a natureza, o modo de operação e o impacto do programa que implementam. Tal aprendizagem torna-se maximizada quando os técnicos participam mais ativamente do processo de avaliação.9 Como notado por Scriven (1996), o uso conceitual das descobertas diferencia-se do uso instrumental porque, no primeiro caso, nenhuma decisão ou ação é esperada (pelo menos não imediatamente).

O uso da avaliação como instrumento de persuasão, por seu turno, dá-se quando ela é utilizada para mobilizar o apoio para a posição que os tomadores de decisão já têm sobre as mudanças necessárias na política ou programa. Busca-se aqui legitimar uma posição e ganhar novos adeptos para as mudanças desejadas. O ponto pode ser ilustrado pela forma como o ditador Augusto Pinochet fez uso do sistema de avaliação educacional implantado por ele no Chile (Simce), em 1988, para dar maior visibilidade e legitimidade ao processo de privatização do ensino no país, posto que os primeiros resultados mostravam com clareza o desempenho superior das instituições privadas (Faria e Filgueiras, 2003).

Por fim, há o uso para o "esclarecimento", que nem sempre é propositado, mas que acarreta, pela via do acúmulo de conhecimento oriundo de diversas avaliações, impacto sobre as redes de profissionais, sobre os formadores de opinião e sobre as advocacy coalitions, bem como alterações nas crenças e na forma de ação das instituições, pautando, assim, a agenda governamental. Esse é um tipo de influência que ultrapassa a esfera mais restrita das políticas e dos programas avaliados.

Ainda que esta distinção das formas de uso da avaliação seja importante e inovadora, é necessário que se faça a seguinte ressalva: Note-se que tal distinção das formas de uso constitui avanço significativo em relação à célebre contraposição entre avaliação "somativa", que seria judgement-oriented, e avaliação "formativa", que seria improvement-oriented. Contudo, ela parece apenas resgatar, com modificações tópicas, a proposição feita por Floden e Weiner (1978) em um trabalho pioneiro, hoje aparentemente relegado, o qual, destacando também as debilidades e a idealização do "modelo decisionista", chama a atenção para o uso da avaliação nos seguintes sentidos: da "resolução de conflitos"; como mecanismo para a "redução de complacência" (complacency reduction), dado o seu potencial de fazer com que o pessoal encarregado do programa avalie criticamente as suas concepções e comportamentos; e como "ritual", cuja função seria "acalmar as ansiedades do público e perpetuar uma imagem do governo como racional, eficiente e accountable" (Faria e Filgueiras, 2003, p. 8).

No que diz respeito aos elementos da avaliação que podem ser utilizados, cabe destacar que as suas "descobertas" (ou o relatório final da avaliação) inicialmente monopolizaram a atenção daqueles interessados em investigar a questão da utilização da pesquisa avaliativa. Contudo, essas "descobertas" constituem apenas um dos elementos que podem ser utilizados. Como se sabe, elas usualmente se concentram nos processos, nos resultados e no impacto das políticas e dos programas.

Vale ressaltarmos, ainda que de maneira breve, que são exatamente as descobertas e/ou o relatório final da avaliação as informações mais amplamente divulgadas. A questão da abrangência e da forma de divulgação, que não é objeto de maiores considerações neste trabalho, é, contudo, absolutamente central para que se possa melhor aquilatar o uso dos estudos de avaliação. Discorrendo sobre a experiência de avaliação de políticas na França, Meldolesi afirma que, naquele país, [...] o problema não é a divulgação [dos relatórios], que é assegurada pela Documentation française, mas a pouca divulgação que eles têm nos jornais e, por conseqüência, na opinião pública: nada comparável ao canal de televisão especializado, que existe nos Estados Unidos, e à influência da avaliação do GAO (General Accounting Office) sobre o debate público naquele país" (1996, p.104).

Retornando à necessidade de se distinguir os elementos da avaliação que podem ser utilizados, reportamo-nos uma vez mais a Weiss (1998), que distingue a possibilidade de uso de outros quatro elementos: (a) idéias e generalizações derivadas da avaliação; (b) o próprio fato de a avaliação ter sido ou estar sendo feita; (c) o foco do estudo, especialmente as medidas adotadas; e, finalmente, (d) o desenho do estudo. A seguir discorreremos brevemente sobre cada um desses elementos.

(a) Uso das idéias e generalizações derivadas da avaliação Ainda que descobertas específicas da avaliação não sejam usadas, os formuladores e o pessoal técnico do programa podem aplicar idéias e generalizações dela derivadas. É o seguinte o exemplo dado por Weiss (1998): a generalização da descoberta de que agências locais não promovem mudanças no seu padrão de provisão de serviços quando elas são as únicas a fazer tais mudanças pode levar a que se pense na necessidade de se coordenar a atuação de todas as agências.

(b) Uso possível do próprio fato de a avaliação ter sido ou estar sendo feita São diversificadas as alternativas aqui. Primeiramente, a realização da avaliação pode ser utilizada como uma desculpa para a inação. Por que se deveria tomar qualquer atitude no sentido de se operar mudanças antes que se tenha o resultado do trabalho de avaliação? O fato de uma avaliação estar sendo ou ter sido feita pode ser utilizado também para demonstrar a racionalidade e a predisposição ao aprimoramento e à responsabilização por parte dos encarregados da política ou do programa. Por outro lado, a própria realização da avaliação pode ser pensada como assegurando uma aura de legitimidade para o programa ou sugerir que algo não vai bem em sua gestão ou que há problemas no seu desenho.

(c) Utilização do foco do estudo É amplamente reconhecido que o público (interno e o externo) do programa avaliado passará a dar atenção prioritária a todos os focos da avaliação, com destaque para os elementos escolhidos para serem mensurados. Esse fenômeno é conhecido como "ensinar para o teste", dado o efeito quase universal que a avaliação externa tem sobre o comportamento das instituições de ensino. Como se sabe, o risco principal aqui é que sejam negligenciados outros aspectos do programa que não incidem sobre os indicadores de sucesso definidos. Tal efeito, contudo, não é necessária e forçosamente negativo.

(d) Utilização do desenho da pesquisa avaliativa Destaca-se aqui a possibilidade de que as categorias de análise utilizadas pelos avaliadores, a metodologia de avaliação e a forma de se analisar os dados tenham influência não apenas sobre a gestão da política ou do programa em questão, ao fomentar, por exemplo, disputas entre distintos níveis de implementação, mas também sobre outras áreas e esferas de governo.

Por fim, é necessário inventariarmos também os usuários potenciais da pesquisa avaliativa. Originalmente, a comunidade de avaliadores era quase unânime na percepção de que os usuários da avaliação se restringiam aos financiadores do programa (e da própria avaliação), aos gerentes e encarregados de mais alto escalão e, por vezes, aos técnicos e profissionais que lidavam de maneira mais direta com os beneficiários. Esses são os atores que, inclusive, muitas vezes ajudam a definir o escopo, a abrangência, a metodologia e o âmbito de divulgação dos resultados da avaliação.

A crítica ao desenho hierárquico da avaliação e a percepção das limitações de seu planejamento top-down levaram, primeiramente, a que se prestasse mais atenção nos agentes encarregados da implementação ou na chamada street level bureaucracy, percebidos a partir da década de 1970 como capazes de muito mais autonomia do que aquela concebida pelos modelos tradicionais de planejamento (Pressman e Wildavsky, 1973; Lipsky, 1980).

Posteriormente, com a popularização das metodologias participativas de avaliação e com o crescente reconhecimento (e propaganda) da avaliação como instrumento de "empoderamento" dos beneficiários, a avaliação começou a levar em consideração, de maneira mais sistemática, as necessidades e as expectativas dos beneficiários dos programas. A reforma gerencialista do Estado, com sua ênfase nos resultados, em detrimento dos processos, e na satisfação daqueles que passaram a ser denominados "clientes", viria a sacramentar a ênfase nos beneficiários. Observada a questão de um ponto de vista mais abrangente, contudo, não deixam de parecer ingênuos comentários como: Os avaliadores freqüentemente optavam por levar em consideração os valores e os interesses dos clientes [sic], valorizando as suas preocupações. Mais do que reforçar o status quo, esses avaliadores esperavam produzir mudanças no sentido de tornar os programas mais "responsivos" às necessidades dos participantes. Eles queriam [...] "desafiar o discurso privilegiado dos poderosos". A sua postura significava um esforço em transformar a avaliação, de um mecanismo capaz de sustentar e reforçar as práticas correntes por meio de ajustes tópicos, em um meio de se remediar as desigualdades e de se redistribuir o poder (Weiss, 1998, p.27).

É certo que diversos outros usuários, para além daqueles envolvidos diretamente nos programas em questão, podem se valer das descobertas ou de outros elementos da avaliação. Dentre tantos, destacam-se: gerentes de programas similares e/ou de diferentes níveis governamentais; agentes do governo central e representantes de fundações, interessados em conhecer projetos exitosos que mereçam financiamento ou preocupados em melhorar os programas dos quais são responsáveis; membros do legislativo interessados na melhoria de programas existentes ou na elaboração de novas propostas; cientistas sociais e outros avaliadores que buscam aprender com as descobertas e com as metodologias empregadas. É ainda Weiss (1998) que sugere a existência de dois outros usuários potenciais: (a) as próprias organizações que administram o programa avaliado ou similares (e aqui deve ser feito não só o contraponto à tradicional ênfase no indivíduo como usuário, mas também deve ser mencionada a importância que tem sido dada atualmente à questão da learning organization ' "organização que aprende" ' e aos limites, tradições e procedimentos cristalizados e/ou impostos pelas organizações); e (b) o público em geral ou a sociedade civil.

A revisão crítica da literatura sobre a utilização da avaliação feita por Shulha e Cousins (1997) aponta as principais preocupações e questões que têm sido enfatizadas mais recentemente pelos estudiosos da área, quais sejam: a centralidade do contexto para a compreensão e a explicação do uso; a necessidade de se expandir a idéia de uso da esfera individual para a organizacional; a diversificação do papel do avaliador, que muitas vezes incorpora funções como a de facilitador, planejador e educador; e os impactos e condicionantes da não utilização ou da sub-utilização. Também passou a ser mais amplamente reconhecido o fato de que, para serem efetivamente utilizadas, as descobertas da avaliação devem competir com outras propostas e outras fontes de informação pela atenção dos tomadores de decisão e demais envolvidos, tudo isso se dando em contextos e instâncias decisórias que talvez possam ser mais bem caracterizados como pluralistas e frequentemente não racionais. Ademais, não deixa de ser importante recordarmos que o legado de Herbert Simon continua a ser evocado no que diz respeito, por exemplo, ao reconhecimento dos incentivos para que o sistema governamental adote um comportamento "satisfazedor", em detrimento de uma postura estritamente racional, no sentido da maximização do impacto de sua atuação.

Breves considerações finais Várias questões importantes podem ser inferidas a partir deste breve mapeamento das distintas formas de uso da avaliação, dos seus vários elementos que podem ser utilizados e dos usuários potenciais dos estudos de avaliação das políticas públicas. A primeira delas é que a literatura específica parece ainda essencialmente circunscrita às expectativas acerca do papel da avaliação elencadas pelo "modelo decisionista". Isso porque, mesmo tendo sido questionado o tradicional modelo hierárquico e top-down de planejamento e de desenho da avaliação, esta maior preocupação com a questão do uso da pesquisa avaliativa parece ainda fortemente restrita à utilização gerencial da avaliação e à necessidade de se gerar feedbacks que justifiquem a relevância da própria realização de tais estudos. Dito de outra forma, o que se pode verificar na literatura é uma ênfase quase exclusiva na utilização instrumental, intraburocrática, da avaliação das políticas públicas ou, quando muito, nas interações entre decisores, gestores e população beneficiária.