Os economistas do desenvolvimento utilizam os RCTs de duas formas distintas: por um lado, para medir os impactos de um projeto (implementado no campo por doadores, ONG, etc.), e por outro lado, para realizar experiências em ambientes reais (variando artificialmente um parâmetro, a fim de deduzir "leis"). Trabalhei pela primeira vez com esta abordagem em 2007, para avaliar o impacto de um projeto para os 'extremamente pobres' no Sul da Índia. Uma ONG local tinha proporcionado às famílias uma pequena quantidade de capital, formação e supervisão social. Esta experiência mostrou-nos que as pessoas que conservaram estes recursos melhoraram a sua situação. Mas descobrimos também que o grupo de controle ficou melhor, graças a salários mais elevados no mercado de trabalho. No final, o progresso em ambos os grupos foi semelhante - ou seja, o impacto real do projeto foi zero. Isto foi uma grande surpresa para a ONG - e para nós. Cheguei à conclusão de que o poder dos RCTs não é apenas ser um instrumento para estabelecer o que funciona ou não funciona: eles também fornecem uma estrutura experimental para tentar sistematicamente algo diferente. Neste caso, conduzir outra experiência com outro programa de transferência de bens. Esta mudança para a experimentação é uma verdadeira mudança de abordagem, permitindo variações num ambiente e oferecendo novos conhecimentos sobre contratos de microfinanças e comportamento financeiro. É claro que este instrumento nem sempre é apropriado: é muito limitado quando se trata de compreender a macroeconomia ou a corrupção sistêmica, por exemplo. Além disso, os críticos receiam que os 'randomistas', os defensores dos ensaios aleatórios, não prestem atenção suficiente ao contexto. De fato, na minha experiência, abordagens complementares, tais como a etnografia ou a avaliação qualitativa, são frequentemente necessárias para interpretar corretamente os resultados dos RCTs. Talvez o mais importante: a questão do sucesso de uma intervenção nem sempre é a mais interessante. Os RCTs e a mentalidade experimental que implicam podem ser ferramentas para se fazer diferentes tipos de perguntas: "Como é que as pessoas fazem escolhas? Mudar a concepção pode  fazer a diferença? Quem ganha e quem perde, e porquê?". Os debates sobre os RCTs centram-se com demasiada frequência em como determinar o que funciona, e, não, no poder destes métodos para levantar novas questões.

Os RCTs em economia surgiram na Índia no início dos anos 2000, em experimentos para avaliar a eficácia das microfinanças na erradicação da pobreza. Depois de anos a observar o desenvolvimento destas abordagens no meu país, acredito que elas são vistas pelos seus proponentes como muito mais poderosas do que realmente são: é muito ingênuo imaginar que novas políticas podem ser concebidas com base nos resultados destas experiências e não com base no conhecimento acumulado ao longo de décadas de trabalhos anteriores! Os RCTs podem ainda ser bem adaptados a algumas áreas: por exemplo, ensaios comparativos demonstraram que as crianças que recebem medicação para desparasitação ficam menos doentes que outras, passam mais tempo na escola e aprendem melhor. Mas, por mais barato e eficaz que seja a desparasitação, não pode substituir escolas e livros escolares! De fato, os RCTs têm sérias limitações quando se trata de conceber verdadeiras políticas de desenvolvimento. Por vezes, até tiveram um impacto negativo. Este é o caso de "Aadhaar", o sistema de identificação individual digital adotado pela Índia, que deveria ajudar a orientar melhor os benefícios sociais para os mais pobres e foi endossado pelos RCT. No entanto, devido a problemas de acesso, conectividade e limitações tecnológicas, a sua utilização tem induzido à recusa para os mais desfavorecidos ao acesso a alimentos, pensões e outros benefícios sociais... Outro problema é que mais de 90% dos RCTs realizados na Índia são concebidos por pesquisadores não indianos ou indianos que vivem fora do país e financiados na maioria por fundos estrangeiros. Assim, quase nenhuma destas experiências é impulsionada pelas prioridades estabelecidas ou pelas necessidades sentidas pelos decisores políticos indianos. Para além da dimensão e diversidade do ambiente indiano, os praticantes e financiadores de RCT são também atraídos pela regulamentação limitada das experiências. No entanto, por serem frequentemente experiências pequenas e marginais, as suas descobertas raramente atraem a atenção do público para além da comunidade científica e não afetam a elaboração de políticas na Índia, que é um país com baixa dependência da ajuda ao desenvolvimento. Mas nos países menores, onde a influência dos doadores internacionais públicos e privados é grande, os RCT poderiam ter um impacto muito maior e moldar novas políticas. De um ponto de vista ético, isto é muito preocupante!

A vantagem dos RCTs para avaliar o impacto de um projeto, política ou programa em teoria é inegável. Contudo, a sua aplicação prática revelou certas limitações desde a fase da amostragem. Este último já não é aleatório ou concentra-se em populações demasiado singulares: como podem, então, estes resultados singulares serem utilizados e transpostos para a escala de uma comunidade maior? Um dos objetivos dos estudos na área de desenvolvimento é compreender os processos que moldam as sociedades em análise. No entanto, embora o método RCT meça um impacto (de apoio personalizado no regresso à vida ativa para desempregados, por exemplo), não explica os fatores que moldam este impacto (melhor informação e auto-confiança, redução da pressão, etc.), limitando a transposição destes resultados a outros contextos. A própria avaliação deste impacto está aberta a críticas: em vez de medir o impacto de um microcrédito, por exemplo, na realidade os RCTs testam a forma como as pessoas utilizam o microcrédito de acordo com diferentes variáveis – o que permite, em última análise, uma melhor "venda" ou distribuição de um produto ou serviço, que o randomizador imaginou ter um impacto social positivo. Genericamente, os RCTs apenas permitem a avaliação de micro-intervenções, deixando de lado as principais políticas fiscais, comerciais ou setoriais que afetam a estrutura da economia. Isto implica, por um lado, que apenas uma proporção muito pequena das políticas públicas pode ser avaliada por este método e, por outro, que os RCTs se baseiam numa concepção restrita de desenvolvimento. Coloca-se também a questão de saber se as obrigações éticas em torno de toda a investigação são respeitadas: ao manipular o ambiente estudado (a vida das pessoas) e ao concentrar-se nas comunidades particularmente vulneráveis, será a necessidade de proteger as populações realmente respeitada? Quando, no contexto dos RCTs, são concedidos microcréditos a pessoas consideradas insolventes sem considerar o risco de sobre-endividamento, ou quando a água é cortada aos inquilinos de uma favela para estudar se isso encorajará os seus proprietários a pagar a conta da água, parece que prevalece a fé no avanço da ciência e os ganhos prometidos no futuro. A pandemia de Covid-19 também lançou uma luz dura sobre as limitações deste método. Tendo recebido o Prêmio Nobel pela sua importante contribuição para a redução da pobreza, os RCTs não foram capazes de fornecer soluções concretas para os efeitos catastróficos desta crise, que é o choque mais brutal para a pobreza jamais visto. Isto mostra a distância entre os RCTs utilizados no desenvolvimento e os ensaios clínicos utilizados em medicina, por exemplo para avaliar vacinas. No entanto, há novas orientações do lado dos promotores dos RCTs, que propõem cartas éticas ou reconhecem a pluralidade de métodos... Se podemos pensar que o livro que Florent Bédécarrats, Isabelle Guérin e eu próprio coordenamos desempenhou um papel nestes ajustes, a questão do alcance real ou cosmético dos RCTs permanece em aberto.

• CONTATOS

Jonathan Morduch, Wagner Graduate School of Public Service, New York University

Gulzar Natarajan, Global Innovation Fund

François Roubaud, LEDA - DIAL (IRD / CNRS / Université Paris-Daupnine)

• PUBLICAÇÃO

Randomized Control Trials in the Field of Development: A Critical Perspective, Florent Bédécarrats, Isabelle Guérin & François Roubaud, Oxford University Press, 2020
DOI:10.1093/oso/9780198865360.001.0001

• JORNALISTA

Alice Bomboy

• TRADUÇÃO DO FRANCÊS

Héloïse Benoit (IRD no Brasil), Valéria Pero e Martha Castilho (IE-UFRJ)

Versão original em francês embaixo.