Entrevista com Arianna Legovini para o Guia
Nos meios acadêmicos e em instituições como o Banco Mundial, os experimentos são cada vez mais comuns. Isso é ótimo, pois experimentos são o modo mais rigoroso de obter evidências. Eu nunca trocaria um experimento bem concebido e executado por um estudo quase experimental, muito menos por um estudo observacional!
Arianna Legovini é chefe da Development Impact Evaluation Unit (DIME) do departamento de pesquisa do Banco Mundial. Arianna tem dedicado a última década para formular uma nova abordagem institucional com o intuito de eliminar a lacuna entre operações e pesquisas, promover o conhecimento sobre os mecanismos que explicam o êxito das políticas e usar experimentos para aumentar a eficácia de políticas governamentais.
1. Em abril de 2013, a DIME tornou-se uma Development Impact Evaluation Unit. Quais foram as principais razões da fundação da unidade de Avaliação do Impacto sobre o Desenvolvimento? Poderia descrever em linhas gerais o modelo da DIME? Cada avaliação de impacto pela DIME conta com a assessoria de um coordenador de campo no país em estudo. Como isso funciona na prática?
A DIME começou como uma tentativa de dar relevo aos trabalhos de Avaliação de Impacto (AI) no Banco Mundial. Antes de 2005, as atividades de AI consistiam em uma série de estudos avulsos de avaliação de impacto (havia apenas uns cinco projetos de AI no Banco por ano). A DIME foi criada naquele mesmo ano, 2005, mas eu assumi a chefia da equipe só em 2009. Antes disso, organizei a Iniciativa de Avaliação de Impacto na África para a região africana do Banco Mundial. De certo modo, a iniciativa de AI na África foi a incubadora da DIME. Uma das características principais do modelo DIME é a abordagem programática: as AIs não são criadas como produtos de pesquisa isolados, e sim implementadas com base em programas destinados a maximizar seu potencial de aprendizado.
Atualmente a DIME tem programas em todos os principais temas do Banco Mundial: Agricultura; Água, Meio Ambiente e Energia; Transporte e Tecnologia de Informação e Comunicações; Educação e Saúde; Gênero; Entretenimento Educativo; Comércio e Competitividade e Finanças e Marketing; Governança; Fragilidade, Conflito e Violência.
Mais detalhadamente, a DIME faz experimentos para trazer subsídios às decisões, capacita os departamentos para usarem evidências sistemicamente e compartilha em escala global as evidências e lições que obtém. Para isso, (1) utiliza uma abordagem programática, a fim de que os conhecimentos da AI sejam empregados em benefício de políticas mais eficazes; (2) trabalha para capacitar e entrosar desde o início os formuladores de políticas com os pesquisadores; (3) monta grupos de pesquisa específicos para os projetos visando à implementação da AI em colaboração com departamentos governamentais; (4) enfatiza a garantia de qualidade técnica e a relevância das políticas; e (5) assegura a disseminação e o alcance global das políticas. Na minha opinião, para que a DIME (ou, de modo mais geral, o trabalho de AI) possa fazer diferença, as AIs devem ser desenvolvidas em estreita colaboração com equipes governamentais. Esse é um ingrediente fundamental do modelo operacional da DIME.
Os coordenadores de campo no país em estudo são uma parte importante do modelo DIME. Como já dito, a DIME se empenha em implementar AIs em estreita colaboração com equipes governamentais. Além disso, no trabalho da AI, procuramos transferir capacitação para as equipes governamentais a fim de que possam aperfeiçoar o modo como medem resultados e se tornem capazes de obter por conta própria as evidências sobre seus programas. Os coordenadores de campo são elementos essenciais nessas tarefas. Basicamente, eles vão trabalhar junto com a equipe do cliente (em geral não permanecem no escritório local do Banco Mundial e trabalham diretamente com o cliente) e interagir com seus integrantes diariamente em assuntos que muitas vezes vão além do trabalho de AI.
2. O Banco Mundial já vem fazendo Avaliação de Impacto há muitos anos. Quais foram as principais mudanças nas metodologias de Avaliação de Impacto durante todo esse tempo? Quais são as aspirações e os tipos de estudo em andamento atualmente na unidade DIME?
Quanto à metodologia, o trabalho de AI em países em desenvolvimento evoluiu substancialmente nos últimos 20 ou 30 anos. A Avaliação de Impacto 1.0 procurava sobretudo estimar a probabilidade de um programa dar certo e, assim, estimar o impacto geral do programa. Atualmente, as AIs concentram-se mais em compreender por que um programa dá certo e, portanto, em estudar os mecanismos pelos quais ele dá certo. Por exemplo, três quartos das avaliações da DIME enfocam mecanismos causais. Isso significa que agora várias AIs se baseiam em designs multitratamento que testam uma opção de política em comparação com outras (e não apenas um programa em comparação com nenhum programa). Em nossa experiência com formuladores de política locais, percebemos que eles estão interessados, antes de tudo, em saber por que seus programas funcionam, mais do que se os seus programas funcionarão ou não. Conseguir entender os mecanismos causais permite aos formuladores de políticas otimizar os programas correntes e elaborar outros mais eficazes para o futuro.
Evidentemente, o impacto geral do programa também é importante para mostrar resultados, sobretudo a quem investiu nele, como os doadores. Em última análise, creio que uma boa AI deve responder à questão de se o programa geral tem algum impacto e, ao mesmo tempo, testar mecanismos causais. O objetivo fundamental da DIME sempre foi produzir AIs tecnicamente rigorosas que enfoquem questões muito relevantes para as políticas. Nosso modelo de trazer para a mesma mesa pesquisadores acadêmicos renomados, altos funcionários do governo e gerentes de programa do Banco Mundial tem funcionado bem até agora na busca desse objetivo.
3. Recentemente ganhou destaque a ideia de que os experimentos de campo e os testes randomizados controlados são ferramentas metodológicas importantes e úteis para se aperfeiçoar o design de políticas baseado em evidências. Qual a sua opinião crítica sobre essas metodologias e o modo como esses tipos de estudo vêm sendo conduzidos no mundo todo?
Nos meios acadêmicos e em instituições como o Banco Mundial, os experimentos são cada vez mais comuns. Isso é ótimo, pois experimentos são o modo mais rigoroso de obter evidências. Eu nunca trocaria um experimento bem concebido e executado por um estudo quase experimental, muito menos por um estudo observacional! Agora que os experimentos estão se tornando mainstream, também passaram a atrair críticas. Alguns argumentos são fracos. Por exemplo, certos céticos dizem que um estudo observacional com uma amostra muito grande, representativa de uma população numerosa (digamos, com representatividade nacional) frequentemente é melhor do que um experimento.
A meu ver, esse argumento não reconhece que um dos principais problemas de se fazer pesquisa em países em desenvolvimento é justamente a carência de bons dados desse tipo.
No entanto, creio que há ressalvas importantes que devemos ter em mente ao fazer experimentos. A primeira é que os experimentos (assim como qualquer estudo baseado em pesquisas) sempre devem ter por alicerce uma sólida teoria da mudança. Não se deve fazer experimentos no vácuo; é preciso que os pesquisadores sempre tenham uma estrutura teórica sensata para poderem identificar os principais resultados e o modo como um programa afetaria esses resultados. Isso não significa ter um modelo teórico muito bem desenvolvido por trás de qualquer experimento (para muitas questões de pesquisas de vanguarda não existem modelos teóricos assim), mas significa que os pesquisadores devem conseguir compreender profundamente o contexto e os programas (p. ex., com rigorosos estudos diagnósticos) antes de serem capazes de formular experimentos significativos.
Outra questão crucial é a validade interna e externa dos experimentos. Como sabemos, a validade interna de um experimento é obtida com base em relativamente poucas suposições (que serão concretizadas se os experimentos forem formulados e implementados cuidadosamente), mas a validade externa tipicamente depende de uma longa série de suposições, a maioria das quais não é sequer testável. Por exemplo, se você tiver evidências sobre o Brasil, não poderá aplicá-las ao Malauí.
Quando os contextos diferem demais em tipos de instituições, nível de desenvolvimento, cultura e tradições e outras características definidoras importantes, a validade externa não se aplica. Acho que os pesquisadores deveriam ser mais humildes nesse aspecto e reconhecer que muitos resultados de experimentos são apenas uma indicação promissora de que um tipo de reforma ou intervenção que funcionou em dado lugar poderia funcionar também em outro. No entanto, nesses casos, o certo é estar os programas localmente e tentar inovar com base em estudos de outros contextos. Um bom exemplo é o imenso conjunto de evidências provenientes de estudos de programas e reformas nos Estados Unidos. A maioria desses resultados não faria nenhum sentido se alguém quisesse aplicá-los a contextos muito diferentes de países em desenvolvimento.
Continue lendo esta entrevista no Guia de Economia Comportamental e Experimental.