Vale a pena preparar pareceres anônimos?
Uma aplicação interessante de métodos experimentais relaciona-se à análise de um problema relevante no meio acadêmico contemporâneo: os incentivos à preparação de pareceres anônimos de qualidade em tempo hábil. Afinal, por que algum acadêmico deveria se preocupar em participar de uma atividade nestes moldes? Além de não remunerada, ela é feita de forma anônima e custa tempo àqueles que a ela se dedicam. Considerando que um professor universitário deve decidir como dividir seu tempo entre diversas tarefas – como preparação de aulas, participação em bancas de defesa, atividades de pesquisa, etc. – faz sentido imaginar que a preparação de pareceres anônimos, da forma como é executada atualmente, não seja uma de suas principais prioridades cotidianas.
De fato, apesar de alguns autores enaltecerem o papel desempenhado por pareceristas anônimos no período contemporâneo (Hamermesh, 1992, 1994; McAfee, 2010; Taylor, 2009) parece haver, de fato, poucos motivos para a elaboração de pareceres de qualidade. Além do mais, atrasos e perdas de datas-limite costumam ser um fato comum no meio editorial acadêmico. Hoje existem evidências apontando para atrasos cada vez maiores no envio de pareceres, fato que acaba exercendo consequências diretas sobre o processo de publicação propriamente dito (Ellison, 2002).
Um questionamento importante neste contexto seria o seguinte: qual a melhor forma de incentivar a preparação de pareceres anônimos para periódicos acadêmicos? À primeira vista, valeria a pena passar a pagar os pareceristas? E, em caso afirmativo, quais seriam os valores monetários apropriados para estimular a preparação de pareceres? Ou ainda, existiriam formas alternativas de estimular esse tipo de comportamento prosocial?
Há exemplos de situações onde a instauração de incentivos monetários acabou por gerar resultados perversos, à primeira vista. Em certa ocasião, uma creche em Israel tentou instaurar uma multa por atraso para pais das crianças que nela permaneciam após o horário oficial de saída. A intenção dos idealizadores dessa iniciativa era incentivar os pais a buscarem seus filhos no horário oficial. Ironicamente, o que acabou ocorrendo após a instauração da multa foi um aumento do tempo médio de atraso dos pais, com esse aumento permanecendo mesmo após o fim do período de multa. Ou seja, a multa, ao invés de atuar no sentido de reduzir os atrasos dos pais, acabou por aumentá-los, contrariamente à meta inicial dos idealizadores do experimento (Gneezy & Rustichini, 2000).
Olhando para uma situação nestes moldes, um cientista social contemporâneo poderia pensar na seguinte possibilidade: por que não realizar um experimento para testar a melhor forma de incentivar a preparação de pareceres de qualidade em tempo hábil? Pois foi exatamente esta a proposta de Chetty, Saez, & Sándor (2014), na qual os autores realizaram um experimento anônimo com pareceristas de um periódico acadêmico profissional da área de Economia, o Journal of Public Economics, focado em temas de Economia do Setor Público e Finanças Públicas.
Para tanto, os autores iniciaram seu experimento fazendo uma divisão aleatória dos pareceristas desse periódico em quatro grupos distintos: (i) um grupo de controle, com prazo de entrega de pareceres de 45 dias, (ii) um primeiro grupo de tratamento, sujeito a um menor prazo de entrega, de 28 dias, (iii) um segundo grupo de tratamento, também sujeito ao prazo de 28 dias e ao qual foi oferecido um incentivo monetário de US$ 100 por parecer entregue no prazo e (iv) um terceiro grupo de tratamento, ao qual foi proposto um incentivo social no qual os pareceristas teriam seus tempos de preparação de pareceres divulgados no website do periódico no final do ano.
A Figura 1 exibe as funções sobrevivência estimadas para o tempo de entrega de pareceres no Journal of Public Economics no período anterior à realização do experimento:
Figura 1. Tempos de Preparação de Pareceres no Período Pré-Experimento, por Grupo. O eixo vertical exibe o percentual de pareceres ainda em atraso, ao passo que o eixo horizontal exibe o número de dias passados desde o convite para elaboração do parecer. Fonte: Chetty et al. (2014).
Basicamente, essas funções correspondem ao tempo gasto pelos pareceristas selecionados para os grupos de controle e tratamento no período anterior à instauração do experimento. À primeira vista, pode-se notar que não parecem ocorrer significativas diferenças entre esses grupos, no tocante ao tempo de preparação de pareceres. Por exemplo, em termos de tempos medianos, a maioria dos pareceristas em análise gastou entre 50 e 60 dias para preparar os respectivos pareceres (lado esquerdo inferior da figura). Por outro lado, quando esses grupos foram comparados, dois a dois, não foi possível encontrar diferenças estatisticamente significativas (lado direito superior).
A Figura 2, por sua vez, exibe as funções sobrevivência estimadas para o período posterior à instauração do experimento, ocorrido ao longo do período compreendido entre os meses de fevereiro de 2010 e outubro de 2011:
Figura 2. Tempos de Preparação de Pareceres no Período Pós-Experimento, por Grupo. O eixo vertical exibe o percentual de pareceres ainda em atraso, ao passo que o eixo horizontal exibe o número de dias passados desde o convite para elaboração do parecer. Fonte: Chetty et al. (2014).
No caso desta figura, nota-se a ocorrência de padrões gráficos nitidamente distintos entre os grupos de controle e tratamento do experimento. Neste caso, os tempos de entrega dos pareceres foram nitidamente menores do que na situação pré-experimento, ficando em uma faixa entre 27 e 48 dias (lado esquerdo inferior da figura). Adicionalmente, uma vez realizado o experimento, passaram a ocorrer diferenças estatisticamente significativas entre os grupos, quando tomados dois a dois (lado direito superior).
Especificamente, ao analisarem detalhadamente seus resultados, os autores reportaram padrões bastante interessantes, decorrentes da criação desses grupos. Primeiro, ocorreu uma redução do prazo-limite de entrega de pareceres de seis para quatro semanas, o que fez com que os tempos medianos de revisão fossem reduzidos de 48 para 36 dias. Segundo, a instauração do incentivo monetário de US$ 100 para pareceres entregues em até quatro semanas reduziu os tempos medianos de revisão em oito dias adicionais. Terceiro, o grupo de tratamento sujeito ao incentivo social (ou seja, que teve os nomes expostos no website do periódico acadêmico) apresentou uma redução de tempo mediano de revisão de 2,5 dias, com esse incentivo tendendo a exercer maior efeito sobre professores com estabilidade (“tenured professors”), em comparação a professores em início de carreira (“assistant professor”).
Por um lado, estes resultados têm implicações diretas no sentido de reduzir o tempo de preparação de pareceres e publicação de artigos acadêmicos, um problema recorrente no meio acadêmico ao longo das últimas décadas (Card & DellaVigna, 2013; Ellison, 2002; Hamermesh, 1994, 2013). Por outro, há claras consequências para a análise de situações relacionadas a comportamentos prosociais, uma vez que todo parecerista se defronta com o problema de arcar individualmente com os custos de preparação do parecer, ao mesmo tempo em que os ganhos agregados (para o periódico e para a sociedade) são consideravelmente maiores, o que constitui um típico problema de geração de externalidades positivas (Stiglitz, 2000).
O aspecto mais interessante do estudo de Chetty et al. (2014) correspondeu ao resultado relacionado aos incentivos propostos. Ao contrário de estudos anteriores, onde um incentivo monetário acabou por gerar efeitos adversos em termos de comportamento (Gneezy & Rustichini, 2000; Squazzoni, Bravo, & Takács, 2013), no caso presente, ocorreu uma melhora, em termos de tempo de preparação de pareceres. Adicionalmente, apesar das críticas existentes à utilização de incentivos monetários em determinados contextos (Ellingsen & Johannesson, 2007), uma vez que determinadas atividades – como a preparação de pareceres – podem estar mais relacionadas a fatores como normas sociais e sentimentos morais, há de se considerar o potencial efeito modificador de distintos tipos de incentivos sobre o comportamento, pelo menos no caso de periódicos acadêmicos contemporâneos.
Referências Bibliográficas
Card, D., & DellaVigna, S. (2013). Nine facts about top journals in economics. Journal of Economic Literature, 51(1), 144–161. http://doi.org/10.1257/jel.51.1.144
Chetty, R., Saez, E., & Sándor, L. (2014). What policies increase prosocial behavior? An experiment with referees at the Journal of Public Economics. Journal of Economic Perspectives, 28(3), 169–188. http://doi.org/10.1257/jep.28.3.169
Ellingsen, T., & Johannesson, M. (2007). Paying respect. Journal of Economic Perspectives, 21(4), 135–149. http://doi.org/10.1257/jep.21.4.135
Ellison, G. (2002). The slowdown of the economics publishing process. Journal of Political Economy, 110(5), 947–993. Retrieved from http://www.jstor.org/stable/10.1086/341868
Gneezy, U., & Rustichini, A. (2000). A fine is a price. The Journal of Legal Studies, 29(1), 1–17. http://doi.org/10.1086/468061
Hamermesh, D. S. (1992). The young economist’s guide to professional etiquette. Journal of Economic Perspectives, 6(1), 169–179. http://doi.org/10.1257/jep.6.1.169
Hamermesh, D. S. (1994). Facts and myths about refereeing. Journal of Economic Perspectives, 8(1), 153–163. Retrieved from http://www.jstor.org/stable/2138156
Hamermesh, D. S. (2013). Six decades of top economics publishing: who and how? Journal of Economic Literature, 51(1), 162–172. http://doi.org/10.1257/jel.51.1.162
McAfee, R. P. (2010). Edifying editing. The American Economist, 55(1), 1–8.
Squazzoni, F., Bravo, G., & Takács, K. (2013). Does incentive provision increase the quality of peer review? An experimental study. Research Policy, 42(1), 287–294. http://doi.org/10.1016/j.respol.2012.04.014
Stiglitz, J. (2000). Economics of the public sector. New York: W.W. Norton.
Taylor, T. (2009). An editor’s life at the Journal of Economic Perspectives. The American Economist, 53(1), 1–12. Retrieved from http://www.jstor.org/stable/40657775
Tags:
Maria Bernardete Guimaraes
Ótima análise Matheus. Parabéns.
Maria Bernardete Guimaraes
Parabéns Matheus e feliz ano novo de 2016 com muita saúde e realizações!
Parabéns equipe da economia comportamental , desejo saúde e muitas realizações no ano novo!
Que Deus os ilumine sempre. Boas Festas!
Maria Bernardete Guimaraes
Os textos em inglês alcançam um público maior. Sugestão para 2016.
Maria Bernardete Guimaraes
Matheus: os textos em inglês atingem um público maior . Vale a pena publicar em inglês também. Beijos.
Maria Bernardete Guimaraes
Matheus, muito legal seu vídeo sobre a aplicação da Economia na dinâmica das redes sociais. Parabéns. Criatividade, inovação e determinação são sua marca sempre.Muita Saúde.Beijos.
Maria Bernardete Guimaraes
Muito legal o vídeo sobre as desigualdades nos municípios.
Maria Bernardete
Sucesso na TESE , com certeza um ótimo trabalho será concluído. Estamos torcendo! Foco e dedicação sempre. Abraços. Feliz 2017!!!!☆☆
Maria Bernardete
#FocoMatheus #tamotorcendo #TeseD+
♡♡