Testes de Significância

O PH me enviou este artigo, que é ligado a este livro.

A primeira coisa que notei é que as revisões do livro não são todas positivas, na verdade 1/3 delas são bem negativas, no que pese termos apenas 12 revisões. Isso é interessante porque eu tenho notado que mesmo livros péssimos tem revisões positivas, mas para mim existe um viés aí. Poucas pessoas conseguem ver os problemas técnicos nas teorias. Os que não conseguem são maioria e serão impressionados e darão nota positiva. Assim, notas positivas refletem até certo ponto a quantidade dos que conhecem menos. Bom, essa é só uma teoria minha, que reconheço dever ser menos válida (se for válida de alguma forma) para livros mais técnicos como esse. Isso tudo só para dizer que então, pensando assim, eu comecei a ler o artigo com o pé atrás.

Eu não vou comentar muito o texto aqui pois ainda tenho que entender direito uns pontos, umas críticas que tenho ao artigo que não sei se são bem fundadas. Mas ainda que sejam, tenho que reconhecer que o texto é importante. A ciência tem se desenvolvido muito com base na regra do p-valor menor do que 5%, que é aplicada a toda hora, em todo artigo, por autores que não tem treinamento em estatística. Em inúmeros casos não rejeição da hipótese nula é tida como prova da própria hipótese nula, o que está longe de ser verdade. Temos que aprender que o teste de significância é uma ferramenta para nos ajudar a decidir pelas hipóteses, mas ele não decide.

O texto também critica o peso exagerado que damos para a precisão quando usamos testes de significancia, e ignoramos o tamanho do efeito. Dessa forma um efeito pequeno e preciso vale mais do que um efeito muito maior mas não tão preciso. Você pode pensar no quanto uma ação aumenta as vendas, como exemplo de efeito. Por isso é importante usar intervalos de confianças (que talvez por si só seria suficiente, poderíamos esquecer do p-valor).

Me parece que o assunto está surgindo com força agora. Vamos acompanhar porque o assunto não é novo. Pode ser que gere um pouco de polêmica e depois voltamos a má prática da ciência...