O Efeito de Ordem e nosso papel

Aconteceu a pouco que em uma pesquisa medimos o efeito de ordem das questões em um questionário. É bem sabido que a resposta que a galera dá as perguntas podem ser influenciadas pelas questões que está antes no questionário ou simplesmente pela posição da questão.

Por exemplo, ao perguntar a inteção de voto do indivíduo, o resultado pode ser diferente se você pergunta no começo ou se você pergunta no final, depois de ter passado sobre outras questões sobre avaliação de programa de governo e essas coisas. Se você quiser ter melhores números para um candidato, melhor voce incluir no questionário questões que abrange boas coisas feitas por esse candidato antes da pergunta de intenção de voto. Enquanto esse é um exemplo que já entra na questão da nossa ética profissional, outros efeitos de ordem são mais discretos.Por exemplo, se você tem várias características e pede ao respondente para associá-las (ou não) a um candidato, as que estão no topo da lista podem acabar sendo mais associadas por estarem no topo. Em pesquisas por telefone, as que estão no final da lista podem sofrer esse efeito. Para eliminar este efeito da análise, costuma-se fazer várias versões do questionário, cada uma com a ordem das características aleatorizada. Isso é fácil de se fazer em pesquisas pela internet, mas custa um pouco mais se a pesquisa vai ser no papel, por isso é de interesse medir o efeito para se saber se podemos fazer a pesquisa no papel sem aleatorização das opções e obter bons resultados.

No nosso caso o teste foi feito em pesquisa pela internet, com parte dos respondentes recebendo questionário sem aleatorização e parte com aleatorização. Observamos que algumas questões são mais afetadas do que as outras, sendo a conclusão de que questões que perguntam sobre comportamentos são menos afetadas do que questões mais abstratas sobre atitudes. Mas, pode também haver uma interação entre o efeito de ordem e o modo da pesquisa. Será que o efeito de ordem que observamos em pesquisas pela internet vai ser o mesmo encontrado em pesquisas por telefone, pessoal ou por correio? Muito provavelmente não, e estas particularidades tornam difícil ser um bom profissional nessa área de pesquisa.

Especificamente o efeito de ordem é uma questão estatística, mas em geral muito fora do controle dos estatísticos que trabalham com pesquisa, dado que eles se envolvem na análise e geralmente não no desenvolvimento do questionário (a não ser, possivelmente, em empresas menores). Mas pode ser considerado um pouco maluco fazer análises sem participar do desenvolvimento do questionário, e certamento isso é longe do ideal. Imagino que deva ser nosso objetivo mudar isso (ao invés de se conformar ou fugir para outra área), mas a realidade é que a pesquisa de mercado é mais como uma linha de produção, onde o estatístico participa mais da etapa da análise e nem sabe sobre o que é o projeto. Condições frustrantes e difíceis de serem mudadas enquando o foco for lucro e enquanto os clientes também atuarem como uma linha de produção tendo apenas pessoas de marketing no contato com empresas de pesquisa. Infelizmente são raríssimas as ocasiões onde encontro colegas estatístico do outro lado, como clientes, ocasiões que possibilitam um trabalho tão melhor.