Avalie as evidências e comunique os limites

Antes de confiar numa conclusão, pergunte como os dados poderiam enganar:

• Viés de seleção - os dados representam alguns casos sistematicamente a mais ou a menos: pesquisas respondidas só pelos mais motivados, avaliações deixadas principalmente pelos irritados, aviões estudados só se voltaram.
• Viés de sobrevivência - um caso especial famoso: na Segunda Guerra Mundial, Abraham Wald observou que os buracos de bala nos aviões que voltavam mostravam onde um avião podia ser atingido e sobreviver; a blindagem devia ir onde não havia buracos.
• Fator de confusão - um terceiro fator influencia tanto a “causa” quanto o resultado.
• Medição - a redação da pergunta, o aparelho ou a definição moldam o número.

Uma tendência pode se inverter quando você junta grupos. Suponha que o Hospital A tenha taxas de sobrevivência melhores que as do Hospital B para casos leves e para casos graves - e, mesmo assim, uma sobrevivência pior no total. Como? O A atende muito mais casos graves, e os casos graves têm sobrevivência menor em todo lugar. A gravidade é um fator de confusão, e comparar os totais brutos a mistura na conta.

Um exemplo real famoso: em 1973, as admissões na pós-graduação da UC Berkeley pareciam enviesadas contra as mulheres no total, mas, dentro da maioria dos departamentos, as mulheres eram admitidas em taxas parecidas ou maiores - elas tinham se candidatado mais aos departamentos com as menores taxas de admissão.