O Problema com Experts
Em setembro de 2011, a CBC Series DOC Zone levou ao ar um vídeo bastante provocativo – The Trouble with Experts1. O escritor/diretor Josh Freed declarou ter decidido fazer o vídeo após perder muito dinheiro no mercado financeiro, na esteira da crise econômica de 20082. Ficou óbvio para ele que o especialista financeiro que o aconselhava não tinha a menor noção do que estava acontecendo e se perguntou: Seria esse um fenômeno comum a outras áreas de expertise?
A resposta que o vídeo oferece a essa pergunta é um inequívoco sim. Na expressão adotada por Freed, a “indústria de especialistas”, um mercado de gurus, conselheiros e consultores em previsão e decisão sobre quase tudo – o que comer, que vinho tomar, como educar nossos filhos, onde investir, o futuro da economia, etc.. – promete muito e entrega pouco. Os erros de avaliação são sistemáticos e significativos. E, interessante, esse baixo padrão de desempenho não parece impactar, conforme o vídeo mostra, a crescente demanda pelos serviços oferecidos, a ponto de já existir um segmento da indústria que se especializa em formar, em algumas semanas, experts em qualquer assunto.
Um dos entrevistados no vídeo é um nome conhecido dos círculos de Economia Comportamental – Philip Tetlock, professor de Psicologia da Universidade de Pennsylvania. Tetlock iniciou em 1984 uma pesquisa de longo prazo para avaliar o desempenho de experts. Ao longo de 20 anos, ele colheu previsões de quase 300 especialistas sobre questões na sua maioria associadas a economia e política (nacional e internacional), acumulando um total de mais de 80.000 previsões3. A confrontação entre as previsões e o que de fato aconteceu mostrou, na expressão usada por Daniel Kahneman ao comentar a pesquisa, “resultados devastadores4”. Os especialistas se saíram marginalmente melhor do que “macacos jogando dardos5”.
No cenário brasileiro, uma reportagem da UOL6 ilustra o fenômeno. Analistas financeiros vêm errando de forma sistemática previsões de índices econômicos básicos como o PIB. Conforme a reportagem assinala,toda segunda-feira, o Banco Central (BC) divulga um relatório conhecido como Boletim Focus, que traz as apostas dos economistas para os principais indicadores econômicos do país –PIB, inflação, dólar, juros. São ouvidas mais de cem instituições financeiras. Depois da crise de 2008, as previsões têm sido, segundo a reportagem, todas “furadas”, não conseguindo chegar perto do que de fato aconteceu.
Se a indústria de experts tem um desempenho tão limitado, por que continua a crescer? Somos todos avessos a incerteza. Como afirma o jornalista canadense Dan Gardner, co-autor de Philip Tetlock, “O cérebro quer que o universo faça sentido. Se você olha para o futuro e vê o caos, é tenebroso”7. Então, queremos acreditar que alguém sabe e entende o que está se passando. E quanto maior a confiança e certeza do analista ou guru, maior o conforto psicológico. Um dos professores de uma escola de experts mostrada no vídeo de Josh Freed, ensina aos alunos uma regra de ouro: “sempre diga sempre, sempre diga jamais, mas jamais diga talvez”8.
Tetlock chama a atenção para a pouca cobrança que é feita pela sociedade, sobre o desempenho de analistas em geral: “Fiquei impressionado há 30 anos e fico impressionado hoje por quão pouco interesse existe em se cobrar responsabilidade dos analistas políticos que gozam de grande influência, pelas previsões que fazem em importantes assuntos como políticas públicas9”.
Ainda no contexto da literatura de Economia Comportamental, Daniel Kahneman e Gary Klein publicaram em 2009 um artigo, que acrescenta alguma luz ao debate10. A parceria de pesquisa entre esses dois proeminentes intelectuais adquire particular interesse em função da forte diferença de linha de pensamento entre eles. Kahneman é conhecido por seu foco em vieses, no que é descrito como o paradigma de pesquisa das Heurísticas e Vieses (H&V). Klein lidera a escola denominada Naturalistic Decision Making (NDM), que critica o modelo de H&V como centrado demais em erros. Kahneman usa experimentos como metodologia de pesquisa.Klein critica a metodologia experimental por não estudar pessoas reais tomando decisões que de fato são relevantes. Ele prefere analisar sucessos da intuição por parte de profissionais que trabalham na linha de frente, em situações frequentemente de crises – militares, bombeiros, enfermeiras, etc..
Apesar das diferentes visões, o subtítulo desse artigo, “A Failure to Disagree”, indica que conseguiram achar pontos de convergência entre as respectivas visões. Especificamente, Kahneman e Klein concordam sobre duas condições básicas que devem estar presentes para que se possa acreditar em um autoconfiante profissional que alega ter expert intuition. Em primeiro lugar, é necessário que o ambiente seja “suficientemente regular e estruturado para ser previsível9”. Essa primeira condição é chamada pelos autores de “condição de validade do ambiente”. Expert intuition se desenvolve, segundo Kahneman e Klein, somente em ambientes de alta validade. A segunda condição se refere a uma oportunidade de aprender essas regularidades mediante prática prolongada e feedback rápido e inequívoco.
No ambiente político, econômico e, pode-se acrescentar, no ambiente de negócios, avaliações em geral tendem a não passar pelo teste de alta validade. Como Kahneman assinala, “consultores de investimento e cientistas políticos que fazem prognósticos de longo prazo operam em um ambiente de validade zero. Seus fracassos refletem a imprevisibilidade básica dos eventos que eles tentam prognosticar”10. Dan Gardner resume bem essa questão: “Estamos acostumados às previsões feitas pela Ciência: as marés e eclipses. Elas são certeiras porque tratam de eventos lineares. O mundo em que vivemos tem aspectos não lineares. O imprevisível é a certeza (..). Os especialistas são acadêmicos inteligentes, estudiosos, mas são pessoas11”.
A negação da incerteza, por mais conforto emocional que ofereça, tem consequências. A principal delas talvez seja o excesso de confiança nos nossos julgamentos e decisões. “Excesso de confiança pode ser a mãe de todos os vieses”, assinalam Max Bazerman e Don Moore12. E o fato é que a maioria dos experts sofre pouco com os erros que cometem. Eles dependem somente de “falar com autoridade”13. Mas, e para ficar somente no ambiente empresarial, excesso de confiança pode levar a decisões desastrosas, conforme amplamente documentado na literatura associada a Economia Comportamental14.
Referências
- https://www.youtube.com/watch?v=xt46P1Zcwto
- http://www.thestar.com/life/2011/09/27/qa_an_expert_on_experts_tells_how_to_spot_the_bad_ones.html
- Philip E. Tetlock, Expert Political Judgment – How Good Is It? How Can We Know?, 2005, Princeton University Press
- Daniel Kahneman, Rápido e Devagar – Duas Formas de Pensar (Tradução de Thinking, Fast and Slow), 2011, Editora Objetiva.
- Dan Gardner e Philip E. Tetlock, What is Wrong with Experts Predictions – Overcoming Our Aversion to Acknowledging Our Ignorance, Cato Unbound, Lead Essay (http://www.cato-unbound.org/2011/07/11/dan-gardner-philip-tetlock/overcoming-our-aversion-acknowledging-our-ignorance)
- Luiza Calegari, Analistas Consultados Pelo BC Não Acertam Previsões Desde 2008(http://economia.uol.com.br/noticias/redacao/2015/01/19/analistas-consultados- pelo-bc-nao-acertam-previsoes-do-pib-desde-2008.htm
- Dan Gardner, http://revistaepoca.globo.com/Revista/Epoca/0,,EMI251165-15259,00-DAN+GARDNER+A+REALIDADE+E+IMPREVISIVEL.html
- Vídeo, The Trouble with Experts, de Josh Freed.
- Philip Tetlock, How To Win at Forecasting, (https://edge.org/conversation/how-to-win-at-forecasting)
- Daniel Kahneman e Gary Klein, Conditions for Intuitive Expertise – A Failure to Disagree, American Psychologist, September 2009.
- Kahneman, Rápido e devagar – Duas Formas de Pensar, p. 299.
- Gardner, entrevista a Revista Época.
- Max Bazerman e Don Moore, Judgment in Managerial Decision Making, Eighth Edition, 2013, Wiley.
- J. Edward Russo e Paul J. H. Schoemaker, Decision Traps – The Ten Barriers To Brilliant Decision-Making And How To Overcome Them, p. 73, 1989, Simon & Schuster Inc
- Ver, por exemplo, no contexto de decisões empresariais, Dan Lovallo e Oliver Sibony, The Case for Behavioral Strategy, McKinsey Quarterly, 2:30-45, 2010.
Tags: