Intervalos de confiança para binomial

Eu terminei de ler mais um artigo que achei interessante. Esse aqui. Infelizmente não dá para ver o artigo todo aí... É escrito pelo Agresti e outro carinha lá, mas o Agresti é um sujeito muito conhecido por nós estatisticos devido principalmente ao seu livro sobre análise de dados discretos, o qual, aliás, eu consegui praticamente ler inteiro. Mas acho que vou precisar ler uma segunda vez para realmente fixar os conceitos...putz...

Bom, primeiramente um ponto interessante é que o fato de que os intervalos exatos são muito conservadores é conhecido a longo tempo, desde a década de 30, e isso acontece para intervalos exatos de distribuições discretas. A boa notícia é que ele é conservativo e não o contrário, então não há problemas em usá-lo em situações práticas, outro que o de você obter um intervalo mais amplo do que poderia.

O intervalo que usamos frequentemente, chamado de Wald, esse tem desempenho horrível para amotras pequenas, mesmo para amostras de tamanho 100 ele é não conservador, cobrindo o valor do parâmetro em torno de 92% dos casos quando deveria ser 95%. Lembro que esse é o intervalo:

(1) p+-z*raiz((p(1-p)/n)),

onde p é o nosso p-chapeu. Esse intervalo é o resultado da transformação do teste de hipótese usual em intervalo de confiança. A estatistica do teste para testar se p = p0 (p-zero) é:

(2) (p-p0)/raiz((p0(1-p0)/n)).

Lembrando que isso tem uma distribuição aproximadamente normal sob H0 e lembrando do procedimento para construir intervalo com base na estatistica do teste de hipótese, vamos isolar p0 do denominador, e teremos um intervalo para p0 com p no numerador mas o p0 ainda continua no denomidador. p0 é no entanto desconhecido e o procedimento usual é substituir o p0 do denominador por p que é o valor estimado, e temos a equação (1) com intervalo cuja cobertura é bastante ruim.

Para se obter o intervalo do score, que tem cobertura muito melhor que esse de Wald, e não é tão conservador como o exato, basta isolar realmente p0 na equação (2) quando da derivação do intervalo, o que vai resultar numa expressão bem mais complicada para o intervalo de confiança, que será função somente de p, não de p e p0 como (2).

A definição de cobertura é um ponto onde o artigo dá uma deslizada da definição. A cobertura pode ser calculada para qualquer intervalo de confiança, mas não é a mesma para todo valor de p fizando se o tipo de intervalo. Então a definição tradicional de cobertura de um determinado intervalo de confiança é que ela é o valor mínimo encontrado entre todos os ps possíveis. Utilizando essa definição, o intervalo do score tem desempenho pior do que o exato porque sua cobertura é muito ruim em um conjunto muito pequeno de ps, mas segundo a definição essa seria a cobertura a ser considerada.

Nesse artigo o Agresti não usa esse valor mínimo da cobertura, mas o valor médio, integrando sobre os ps. Eu concordo que esse procedimento é muito mais válido do ponto de vista prático do que o da definição onde seria considerada uma cobertura para um valor p que dificilmente acontece. Mas para fazer a integração sobre valores de p, o Agresti precisa supor uma distribuição para p. Ele usou a distribuição uniforme e duas betas e segundo ele o resultado da cobertura média sempre foi similar.

Mas colocando uma distribuição para p, ele meio que escorrega para o lado Bayesiano, e eu sou obrigado a meio que criticar isso. Afinal na minha situação prática, o meu p pode não ter a distribuição uniforme ou Beta que ele supos, pensando que o tal p teria uma distribuição, o que pode ser estranho. Eu já tenho aceitado isso nos casos de pesquisas na população, por exemplo, porque a pesquisa é feita no decorrer de uma mês, vamos dizer, e o p real da população muda infinitas vezes no decorrer de um mês. Ele não mudaria se vc tirasse uma amostra instantênea e entrevistasse todo mundo instantaneamente tambem. Então acho que faz sentido pensar que o p populacional tá lá variando, com os valores que ele assume a cada segundo tendo uma distribuição X. Enfim, meio viajante, mas foi o jeito que eu achei de aceitar o argumento Bayesiano.

Os cálculos do Agresti são muito interessantes, apesar disso, claro, a crítica é mais uma brincadeira, embora do ponto de vista matemático acredito que seja válida, mas de um rigor desnecessário. Mas isso me levou a pensar que poderíamos calcular a cobertura de outra forma, através de simulações. Podemos construir uma população W de tamanho N com com parâmetro P e tirar um sem número de amostras de tamanho n dela, e testar a cobertura de cada tipo de intervalo. E podemos fazer isso para muitos Ps na população, mais ainda, poderiamos brincar com populações realmente pequenas e realmente grandes e tal. Enfim, fica aí a sugestão, se o PH quiser a gente faz isso e escreve um artigo...rs.

Outra coisa que eu gostaria de comentar sobre o artigo é a correção proposta para o intervalo de Wald, também já sugerida a muito tempo, na década de 2o. Usando a correção, segundo as conclusões do Agresti o intervalo do Wald que tem cobertura ruim passa a fica parecido com o intervalo do score, melhor que o exato. A correção é simples, consiste em usar na expressão (1) do intervalo de Wald n = n+4 e X = X+2 ( veja que o valor estimado de p muda um pouco). O Agresti refere-se a esta correção como adição de dois sucessos e dois fracassos.

Finalmente, o artigo é uma grande fonte de referência sobre esse assunto, para quem quiser estudar intervalos de confiança para binomiais, e seus muitos tipos existentes. Muitas referências interessantes são estudadas. Eu fiquei um pouco decepcionado que essa questão da cobertura seja conhecida a tanto tempo e eu ainda não sabia disso, ach oque isso devia ter sido falando no curso de estatística, afinal intervalos de confianças para proporções são das coisas que mais usamos no dia a dia.