As consequências de uma pesquisa manipulada

Uri Simonsohn vê a si mesmo como um cuidadoso analisador de dados mais do que como um delator. Seu trabalho como cientista social na Universidade da Pensilvânia, em Filadélfia (EUA), envolve vasculhar dados de arquivo – de preços de casas a leilão a registros de admissões da faculdade – como parte de sua pesquisa sobre julgamento e tomada de decisão.

Ele suspeita que este olhar o levou a estranhar padrões incomuns em outros resultados de pesquisas psicológicas, como a de Dirk Smeesters, da Universidade Erasmus em Rotterdam, na Holanda, e Lawrence Sanna, na Universidade de Michigan em Ann Arbor (EUA), no verão de 2011.

Em ambos os casos, os dados pareciam bons demais para ser verdade, contendo um excesso de grandes efeitos e resultados estatisticamente significativos. Em um dos artigos de Sanna, Simonsohn notou que uma experiência – em que os voluntários foram supostamente divididos em diferentes grupos – produziu resultados com desvios estranhamente similares. Nos resultados de Smeesters, ele viu uma desconfiada baixa frequência de números redondos e uma semelhança incomum entre muitas das médias. “Se há muito pouco ruído, e os dados são muito confiáveis, podem não ser reais”, diz ele. “Dados reais devem ter erros”.

Simonsohn verificou suas suspeitas através da simulação de experimentos para mostrar o quão improvável os resultados relatados eram. Ele replicou suas análises em outros trabalhos dos mesmos autores e encontrou os mesmos padrões. Além disso, realizou controles, observando que não havia padrões suspeitos na obra de outros psicólogos que usaram os mesmos métodos.

Simonsohn contatou ambos os autores buscando sistematicamente explicações alternativas para as discrepâncias que encontrou. Eventualmente, só uma restou: a de que eles tinham manipulado os dados. Ele ainda se absteve de acusar alguém, pedindo aos pesquisadores dados brutos, delineando suas preocupações e perguntando se outras partes, como um estudante ou assistente de pesquisa, poderiam ter adulterado os dados.

No fim de 2011, Simonsohn soube que a Universidade de Erasmus tinha começado uma investigação. Ele também descobriu que, por causa dos seus inquéritos, a Universidade da Carolina do Norte em Chapel Hill, onde Sanna tinha realizado o seu trabalho, também tinha começado a investigá-la. No verão de 2012, tanto Smeesters quanto Sanna se demitiram de seus cargos, e vários de seus trabalhos foram retratados.

Quando perguntado sobre as duas carreiras que foram arruinadas por suas investigações, Simonsohn pausa. “Eu não me sinto mal com isso”, conclui. “Se estou indo para as mesmas conferências que estas pessoas e publicando nas mesmas revistas, eu não posso simplesmente olhar para o outro lado”.

Simonsohn espera que suas ações estimulem psicólogos a instigar reformas para conter fraudes – uma opção seria exigir que pesquisadores postassem dados brutos, tornando-os mais abertos a verificações por colegas. Ele também quer que os pesquisadores divulguem mais detalhes sobre o seu trabalho, como as variáveis ou tamanhos de amostra planejadas. Isso desestimularia formas mais sutis de adulteração de dados, como experiências contínuas até que os resultados encontrados sejam significativos – o que, em sua opinião, inundam a literatura psicológica com falsos positivos.

Em 1999, perto de sua aposentadoria, Helene Hill decidiu dar uma olhada nas placas de cultura de um companheiro de laboratório. Bióloga de radiação na Universidade de Medicina e Odontologia de Nova Jersey, em Newark (EUA), Hill colaborava com um colega júnior em um projeto para estudar o ” efeito espectador”, um fenômeno pelo qual células expostas a um agente – neste caso, a radiação – influenciam o comportamento dos vizinhos não expostos.

Hill havia treinado o pós-doutorando, Anupam Bishayee, na técnica, e queria ver como ele se saía. As placas, segundo ela, estavam vazias, ainda que Bishayee tivesse relatado mais tarde contagem de células a partir delas.

Hill passou os próximos 14 anos tentando expor o que ela acredita ser um caso de má conduta científica. Painéis da Universidade, do Escritório de Integridade de Pesquisa dos EUA (ORI, na sigla em inglês) e dois tribunais de justiça têm avaliado e rejeitado suas preocupações. Sua convicção lhe custou milhares de dólares em taxas legais e incontáveis horas de leitura através de mais de 30.000 documentos. Também pode acabar lhe custando seu emprego. No entanto, Hill, agora com 84 anos, não tem intenção de recuar. “Uma pessoa tem a obrigação de fazer a coisa certa, se puder”, diz.

Após a primeira observação, Hill e outro pós-doutorando decidiram acompanhar secretamente os experimentos de Bishayee, tirando fotos de suas culturas na incubadora. Quando Bishayee relatou dados de um experimento que eles achavam que estava contaminado com mofo, Hill e seu colega o acusaram de fabricar os resultados, levando suas preocupações à comissão da universidade sobre integridade da pesquisa.
Sob interrogatório, seu colega reconheceu que havia mudado tubos de cultura de Bishayee antes de tirar fotos, o que a comissão viu como potencialmente adulteração de provas. E Hill explicou que tinha usado um microscópio com o qual ela não estava familiarizada ao verificar as culturas de Bishayee, de maneira que o comitê determinou que Hill não tinha evidências suficientes para provar o seu caso.

Hill não descansou. Bishayee havia publicado seus resultados em um artigo que a listava como coautora, e seu assessor, Roger Howell, havia usado os dados de Bishayee para apoiar um pedido de ajuda financeira junto aos Institutos Nacionais de Saúde (NIH, na sigla em inglês) em 1999. Hill levou o caso para os investigadores federais na ORI, que conduziram uma pequena análise estatística dos dados de Bishayee. ORI, apesar de achar que o caso tinha mérito, determinou que não havia provas suficientes para confirmar má conduta.
Hill chegou até a entrar com duas ações contra Bishayee. Além de ambas não terem sucesso, lhe deixaram US$ 200.000 (cerca de R$ 400 mil) mais pobre em taxas legais. O juiz Dennis Cavanaugh referiu-se a batalha de Hill como “uma missão de proporções quixotescas, que em última análise deveria ser colocada para descansar”. Hill perdeu seu apelo final em outubro de 2011. Ainda assim, ela diz que seu investimento valeu a pena: a fase de descoberta da ação permitiu-lhe acesso a dez anos de notas do laboratório de Howell.

Com esses dados em mãos, ela se juntou com o estatístico Joel Pitt da Universidade Georgian Court em Lakewood Township, Nova Jersey (EUA), e se debruçou sobre os dados que Bishayee tinha registrado à mão a partir de uma máquina que conta células. A dupla também reuniu conjuntos de dados de outras pessoas que usaram a mesma máquina. Pitt olhou para a frequência dos números que apareceram como o dígito menos significativo de cada contagem gravada. Estes deveriam ter uma distribuição aleatória, mas os dados de Bishayee pareciam favorecer determinados números. Pitt calculou as chances de essas frequências resultantes serem ao acaso: menos de 1 em 100 bilhões. Na visão de Hill, a implicação é clara: Bishayee manipulou os números.

Junto com Pitt, Hill tem tentado, até agora sem sucesso, publicar estas análises estatísticas e divulgar suas alegações, ações que Robert Johnson, o reitor de sua instituição – agora parte da Universidade de Rutgers (EUA) – advertiu que poderia lhe levar a “ação disciplinar adicional, até e incluindo rescisão”. Howell, em uma declaração à Nature, expressou frustração com o tempo que Hill gastou revisitando essa questão, apesar da não constatação de irregularidade.

Muitos cientistas admiram Hill pela coragem de suas convicções, mas também não consideram prudente que ela leve o caso adiante por tanto tempo e com tal despesa. Hill, por sua vez, permanece irredutível. “Eu quero ir até o fim”, diz ela. “Tornou-se quase uma obsessão”.

Dicas anônimas não são novidade. O pseudônimo “Clare Francis” que o diga. Ela ou ele (ou eles, muitos suspeitam que seja um grupo de pessoas) enviou centenas de e-mails a editores de revistas científicas sinalizando casos de suspeita de plágio ou manipulação de dados. Suas queixas concisas, às vezes enigmáticas, resultaram em um punhado de retrações e correções. Por outro lado, muitos dos seus avisos também não levaram a nada.

Francis estima que já enviou “cerca de 100″ e-mails para editores diferentes. Diane Sullenberger, editora-executiva da revista Proceedings of the National Academy of Sciences, afirma que até 80% das denúncias que ela recebe vêm de Francis. E o editor científico Wiley diz que em 2011 o nome de Francis estava em mais da metade de seus pedidos de investigação.

No entanto, apesar de úteis, as dicas de Francis foram sendo cada vez menos usadas porque – independentemente de seu anonimato – muitas de suas reivindicações não podem ser conferidas. Diversas queixas de Francis são oblíquas e difícil de seguir. “É útil saber detalhes específicos sobre as preocupações do ponto de vista científico, não apenas ‘as bandas nos 10 e 60 minutos são geométricas e sobreponíveis’”, diz Sullenberger, referindo-se a alguns dos e-mails de Francis.

Alguns editores de revistas têm alertado Francis que são menos propensos a acompanhar seus pedidos do que outras queixas. Francis tornou esse fato público, o que provocou debate sobre como tais alegações anônimas devem ser tratadas. Por fim, o Comitê de Ética em Publicações americano emitiu suas diretrizes em relação ao caso, dizendo que não importa de onde vêm, “todas as alegações (…) que têm provas específicas e detalhadas para apoiá-las devem ser investigadas”.

Muitos editores não tem tanto um problema com a falta de identidade, mas sim com o suposto “tom” de Francis. Eles creem que, para compensar a inevitável perda de confiança que vem do anonimato, denúncias ganham credibilidade se forem precisas, detalhadas e educadas – o que não seria o perfil de Francis.

Uma coisa que tanto editores quanto Francis podem concordar é que a denúncia anônima deve aumentar nos próximos anos, dado o maior acesso a documentos científicos por pessoas de todo o mundo e a disponibilidade de ferramentas on-line para detectar plágio e manipulação de imagens. Um site, chamado PubPeer, já está se tornando um espaço para comentários anônimos – incluindo postagens em uma veia similar ao estilo de Francis.

Esse crescimento do anonimato é um sinal de que os denunciantes não se sentem protegidos o suficiente dentro do ambiente acadêmico. E, para o bem de toda a categoria, cientistas deveriam se sentir confortáveis em levantar questões sem temer represálias ou danos à sua própria carreira.O que você acha disso ?

Esse assunto pode lhe interessar.

Saiba quem manda no mundo