domingo, 25 de outubro de 2009

O que será da amostragem?

Quando você vai fazer um experimento, como aqueles para testar novos medicamentos ou para testar o efeito da televisão nas crianças, ou uma pesquisa para tirar uma fotografia de uma população num determinado momento, como as eleitorais e as de pesquisa de mercado (com as quis eu trabalho), você precisa seguir a teoria da amostragem ao selecionar indivíduos para a sua pesquisa ou experimento. Se você tem uma população como a Canadense, com 30 milhões de habitantes, então você só consegue ter confiança que 1000 entrevistas refletem a população toda se você selecionar estes 1000 indivíduos adequadamente. Se você não selecionar adequadamente ninguem consegue usar a matemática para dizer o quão confiável são os resultados.

Pois bem, a pesquisa de mercado se apoia muito fortemente em amostras de uma determinada população alvo, para entender o que o mercado pensa e fazer planos estratégicos de marketing. Por exemplo, se o sujeito tem uma rede de supermercados como o Walmart, ele pode querer entender o que a população pensa do Walmart, que necessidades eles tem quando vão ao Walmart, que barreiras eles encontram para ir ao Walmart, o que é importante para eles quando escolhem o mercado em que vão. Daí precisamos tirar uma amostra da população alvo (nesse caso podemos dizer que seria todo mundo que faz compra em mercados, e talvez não estamos longe se dissermos que a população alvo é toda a população de grandes cidades onde temos o Walmart - provavelmente o Walmart não está interessado no que pensam os sujeitos de lugares onde eles não estão). O desafio é como tirar essa amostra de forma que temos um resultado que reflete essa população.

Essa amostra seria um tanto quanto cara para ser selecionada como manda o figurino. Ou, digamos, o livro do Kish. E pesquisa de mercado, assim como marketing, is all about money. O que acontece é que as regras estatisticas de seleção de uma amostras são jogadas no lixo, e a seleção das amostras ficam cada vez mais horripilantes a cada dia que passa.

Hoje eu me dei de cara com esse site, onde pessoas são literalmente convidadas para "mudar de emprego", e viver de responder pesquisas de mercado. Trabalho fácil e lucrativo. Para nós estatísticos, é frustrante pensar que o livro do Kish e do Cochran e outros foram jogados na lata do lixo, e agora a seleção de uma amostra não é mais sequer feita - não selecionamos mais as pessoas, colocamos um anuncio na esquina "entre e responda uma pesquisa e ganhe $10,00", e deixamos as pessoas se selecionarem. A pesquisa de mercado, com suas delícias estatísticas, onde eu poderia passar a vida inteira aprendendo coisas novas, onde desenvolvimentos de novas técnicas de análises acontecem todo dia, onde você tem contato com os mais diversos setores do mercado lá fora, é também muito suja, chegando em certos casos a ser mentirosa, imoral, anti-ética. Como tudo que é ligado ao dinheiro, como não podia ser diferente sendo ligado ao Marketing.

A luta do estatístico nessa área é penosa. Precisamos da ajuda de nossos colegas out there, nas empresas clientes. Precisamos que os clientes de pesquisa de mercado exijam qualidade da gente, porque então bons trabalhos podem ser feitos, como muitas vezes o são. Mas precisamos do rigor estatístico da parte do cliente para que as empresas de pesquisa de mercado sejam forçadas a usar estatísticos. Ou a aprender estatística, pois eu não acho que somente nós podemos trabalhar com estatística, qualquer um que tenha conhecimento pode fazer bom trabalhos, e o conhecimento estatístico está aí, para quem quiser, público, espalhado pela internet e livrarias.

Quantos as amostras, o Canadá é um país desenvolvido, onde pesquisa pela internet é o carro chefe. E pesquisa pela internet precisa de uma lista de pessoas que estão dispostas a responder muitas pesquisas, pessoas que queiram ganhar a vida com isso, pessoas que tem tempo to go through aqueles enormes e entediantes questionários. Tendo uma lista de pessoas assim e um questionário, você diz quantos entrevistas precisa, aperta um botão e no outro dia os questionários preenchidos estão prontos para você em uma base de dados. Extremamente fácil e barato, mas com resultados por vezes extremamente viesados que você dificilmente descobre pois não tem como descobrir.

Alguns dizem que é uma troca. O cliente está disposto a ter pouca qualidade pelo preço que paga. Tipo, uma analogia, você vai na Dolar Store, ou naquelas lojas de R$1,99, e as coisas lá não prestam, e você sabe disso, mas é só R$1,99, porque não comprar? Eu acho que isso seria Ok se o cliente de pesquisas soubesse dos riscos que está correndo. Mas minha experiência diz que muito poucos realmente sabem, a maioria não tem idéia. E quem vende pesquisa (quando eles sabem dos riscos) não vai avisar os clientes. Então para mim não é assim tão ok.

No Brasil esse problema é bem menor pois são poucas as pesquisas pela internet, se bem que parece que o negócio tá pegando lá também. Não que as amostras que não são pela internet sejam boas, mas eu acho que há mais controle, mais consciência, o pessoal é obrigado a entender mais de amostragem, ponderação, efeitos e vieses de amostras não probabilísticas. Aqui nem existe amostra mais. Bom, talvez a galera que faz pesquisa eleitoral seja melhor pois eles precisam ter resultados mais consistentes. Aqui mesmo os estatísticos não sabem mais o que é amostragem pois esse não é um problema com o qual eles tem contato no dia a dia. Por isso desde que eu cheguei aqui eu tenho mostrado a eles alguns problemas evidentes que temos por causa do descaso com a amostragem, dado exemplos de amostras problemáticas cujos resultados não mostrarão os problemas e por isso ações serão tomadas sobre resultados possivelmente ruins (pois olhando os resultados você não tem como saber na maioria dos casos se eles estão ok ou não). E já fiz 3 seminários sobre amostragem. Mas é uma luta com poucos frutos. Enquanto os clientes continuarem sendo ignorantes e não exigirem rigor técnico, muitos problemas continuarão existindo. Sites como esse fazem os estatísticos ficarem bem desanimados. A tecnologia que por um lado possibilitou o crescimento exponencial da profissão com os computadores e base dados, por outro parece estar comendo os pilares da teoria matemática. Muitos trabalhos bons e honestos são ainda feitos, no entanto, e eu gostaria de pensar que existe uma forma de colocar juntas a facilidade de coleta de dados proporcionada pela internet e a aplicaçção constante teoria da amostragem, tal que ao olharmos para o futuro não vejamos uma nuvem negra no caminho das pesquisas de mercado.

4 comentários:

Mayumi disse...

Pois é, por um lado, a pesquisa fácil de ser realizada, por outro, a pesquisa imprecisa! Estou coletando dados de alunos que estudam a língua japoensa nas escolas de ensino fundamental, médio e superior. E olha que não são poucas! Mas, é muito raro a pessoa responder com rapidez, o que faz com que a pesquisa se alongue por meses a fio. e às vezes, não respondem o que queremos. Então, telefonamos para saber "a verdade" ! Rsrsrs. E mesmo assim, o resultado é... 90% certeiro! O que fazer?

Marcos Sanches disse...

Interessante!

Mas veja o seu caso. Quando você terminar de coletar os dados, o que você vai fazer com eles? Geralmente o que as pessoas fazem é publicar e dizer coisas do tipo - Os alunos que estudam japones em SP são assim, assim, assado (perfil de sexo, tipo de escola, origem, tudo o que vc perguntou na pesquisa).

A questão é que você não pode dizer que com sua pesquisa você tem informações não viesadas dos alunos que estudam japones em SP, a não ser que você entrevistou todos eles (ou a grande maioria) OU se você entrevistou uma amostra probabilistica deles. Se sua pesquisa não se encaixa em um desses dois casos, tudo o que você pode dizer é que os alunos da sua pesquisa são assim, assim, assado. Não pode generalizar para a cidade de SP, por exemplo, ou se o fizer precisa estar consciente dos riscos.

Em marketing, a gente nunca tem nenhum dos casos acima, e a generalização é sempre a coisa mais importante. Por isso a preocupação...

Abraços

Marcos

Mayumi disse...

Ah, com certeza, há como generalizar as respostas, tb. É preocupante mesmo! Tem muitas pesquisas que direcionam as respostas e persuadem as pessoas a responderem do jeito que elas querem que respondam! Incrível! Daí, o resultado dá exatamente aquilo que previam! Rs, É preocupante mesmo...

Mayumi disse...

Ah, com certeza, há como generalizar as respostas, tb. É preocupante mesmo! Tem muitas pesquisas que direcionam as respostas e persuadem as pessoas a responderem do jeito que elas querem que respondam! Incrível! Daí, o resultado dá exatamente aquilo que previam! Rs, É preocupante mesmo...

Preparativos finais

 E hoje foi o ultimo treino no Canadá, o próximo será em Lisboa. Treino leve, que até pensei em adiar por causa de uma leve dor na panturril...