[Prévia] [Próxima] [Prévia por assunto] [Próxima por assunto]
[Índice cronológico] [Índice de assunto]

Re: [ABE-L]: lenha na fogueira2



Neale e demais colegas,
 
Num processo de amostragem conglomerada clássico os conglomerados selecionados são listados antes ou durante a operação de campo para entrevistas. Portanto, é sempre possível reconstruir a operação de seleção da amostra. O processo é reprodutível. Tanto assim que esta propriedade é aproveitada em situações de censo, para estimar a subenumeração dos censos (via amostras de pesquisas de avaliação de cobertura e um processo de estimação chamado de 'dual-frame', mas que nada mais é que um mecanismo de captura-recaptura aplicado a domicílios e pessoas).
 
Sobre a não resposta, em pesquisas amostrais bem conduzidas, há controle rigoroso sobre as entrevistas não realizadas. Isto não resolve o problema completamente, pois se a não resposta for acentuada e com viés e seleção, pouco pode ser feito. Mas ao menos há um esquema teórico que guia os pesquisadores em monitorar e tratar os efeitos da não resposta sob certas circunstâncias. O mesmo não ocorre no protocolo usual de uma pesquisa por quotas, pois esta questão não está posta num arcabouço teórico que sustente a prática destas pesquisas.
 
Sou fã de fazer Estatística na prática, e dou o maior valor ao conhecimento empírico gerado na prática da Estatística. Mas a boa prática não é feita ignorando a teoria. Ao contrário, é o farol da teoria que ilumina os caminhos e nos permite evitar pagar altos preços por ineficiência dos procedimentos utilizados, ou até pela obtenção de resultados completamente enviesados ou pouco verossímeis.
 
Entenda que minha mensagem não teve o propósito de desacreditar amostragem por quotas, mas de colocar argumentos precisos sobre a comparação para o julgamento dos interessados no debate.
 
Atenciosamente, Pedro.

2008/10/24 Neale El-Dash <neale.eldash@gmail.com>
Concordo com os argumentos levantados nessa discussão (muito importante), comparando amostragem prob. na teoria com amostragem por cotas na prática. Mas essa comparação é injusta...é preciso comparar amostragem prob. na prática com as cotas.   Ou seja, na situação real das pesquisas eleitorais, quando as pessoas podem não-responder, quando só existe informação para os setores censitários (conglomerados) e não existe informação sobre cada pessoa.

Nesse contexto, por exemplo, amostragem prob. também é impossível de ser reproduzida.  Vc nunca vai conseguir obter a mesma amostra, pois um dos mecanismos de seleção (a prob. de uma pessoa responder) não está sobre controle do pesquisador!  Também não acredito que, na prática, a cobertura dos intervalos de confiança da amostragem prob. estariam corretos....

Temos que tentar conciliar a teoria com a prática, não que as amostras por cotas consigam fazer isso, mas as amostras probs. também enfrentam muitos problemas....

Abraços




2008/10/24 Pedro Luis Nascimento Silva <pedronsilva@gmail.com>

Prezados  Colegas,
 
Bem interessante a discussão levantada aqui sobre a utilização de amostragem de quotas.
 
Dois pontos a adicionar.
1. O Prof. Carlos Pereira circulou mensagem citando a resposta do Prof. Jim Lepkowski, que faz referência à posição do Prof. Rod Little. Este recentemente ministrou aqui em Southampton um minicurso sobre a abordagem bayesiana para amostragem. O sítio da conferência ainda está ativo: http://www.s3ri.soton.ac.uk/ssbs08/
Lá poderão encontrar cópias de todos os trabalhos apresentados na conferência. Infelizmente, não encontrarão o material do minicurso que foi distribuído apenas aos participantes por instrução dos autores.
 
Neste minicurso a posição do Prof. Little é clara e vai transcrita abaixo.
" Other inclusion schemes: quota sampling

• Market research firms often use quota sampling, where

strata are formed based on characteristics of interest, and

researchers select individuals purposively until a fixed

number of respondents are obtained in each stratum

j.

• This scheme can assure that distribution of the stratifying

variable in the sample matches that in the population.

• However, lack of control of selection of units within strata

means that the dependence of the selection mechanism on

the unknown values of

Y is essentially unknown.

• We might analyze the data assuming ignorable selection,

but the possibility of unknown selection biases

compromizes the validity of the inference.

• Random inclusion mechanisms avoid this problem."
 
Como se vê, o analista tem a opção de analisar a amostra usando ferramentas que pressupõem a ignorabilidade do mecanismo de seleção da amostra, mas o faz apenas após ter que adotar algumas hipóteses fortes e de impossível comprovação empírica. Segundo o Prof. Littkle, a seleção aleatória da amostra entra nesta abordagem como um mecanismo de proteção e robustez, para que o analista não tenha que depender de tais hipóteses ao efetuar a análise usando as ferramentas que pressupõem a ignorabilidade do mecanismo de seleção.
 
2. O segundo ponto, e que eu pessoalmente reputo como mais importante, é a questão da reprodutibilidade dos resultados. Para mim este é o calcanhar de Aquiles da amostragem por quotas. Nesta abordagem, é impossível replicar os resultados da amostragem, mesmo que alguém tente seguir à risca os 'procedimentos' indicados pelo responsável pela pesquisa. Em ciência, esta é uma das pedras angulares da construção do conhecimento. Resultados de experimentos que não podem ser replicados de forma independente por outros não são aceitos como evidência sólida. Uma das características que tornou o emprego de amostragem probabilística (em suas várias formas) uma ferramenta tão amplamente aceita no mundo todo é sua reprodutibilidade. Para um plano amostral bem descrito é possível replicar o experimento. Pode haver diferentes modos de analisar amostras probabilísticas (como a inferência 'design-based', a 'classic model-based' ou mesmo a 'bayesian model-based'), mas não ficam pairando dúvidas sobre a possibilidade de viéses conscientes ou inconscientes do responsável pela pesquisa que possam ter afetado a seleção da amostra.

Dada a natureza pública e a importância para a sociedade das pesquisas eleitorais, adotar métodos que não possuam a propriedade de reprodutibilidade é questionável, mas aqui entra minha opinião pessoal, e outros podem discordar.

Alguns argumentos tem sido apresentados em favor da amostragem por quotas com base na idéia de que podem custar menos do que a amostragem probabilística. Para amostras de igual tamanho, isto só pode ocorrer se o processo de localizar e entrevistar possíveis eleitores for muito diferente na amostragem por quotas, o que é conseguido, em muitos casos, posicionando os entrevistadores em locais de acesso de grandes fluxos populacionais e concentrando nestes locais números muito grandes de entrevistas. Penso que esta comparação é sempre feita de forma enviesada, pois uma amostra probabilística também pode ser conglomerada, e pode basear-se em obter números comparáveis de entrevistas em cada conglomerado. A diferença é que nesta última o pesquisador tem meios simples para avaliar o efeito da conglomeração sobre a precisão das estimativas, o que não ocorre com o processo de amostragem por quotas.

Portanto, seria talvez possível (mas não considero desejável) obter amostras probabilísticas de custo tão baixo como as amostras de quotas de igual tamanho total. Esta simples constatação já me diz algo sobre o processo, mas deixo aos colegas espaço para suas próprias.
Para finalizar, uma pitada de humor para animar a discussão. Aqui na Inglaterra há um ditado que diz "you pay peanuts, you get monkeys".

Saudações a tod@s.

Pedrão.


2008/10/24 Carlos Alberto de Braganca Pereira <cpereira@ime.usp.br>

Primeiro gostaria de me desculpar pelos erros que tenho cometido na escrita.  A
empolgação evita que editemos o texto e só notamos os erros quando lemos a nossa
própria mensagem.  Acho que a mensagem do PH merece uma reflexão.

A mensagem abaixo eu recebi de um amigo e ex-aluno brilhante, Raphael Nishimura..
Creio que vem de encontro ao que falei antes no meu e-mail "lenha no fogo"
Pedi permissão a ele para enviar para vocês,
geralmente
Olá profº Carlinhos,

Eu acabei de ler a mensagem que o senhor enviou para a lista de discussão da ABE
e achei interessante fazer um comentário com o senhor. Em junho/julho estive na
Universidade de Michigan participando de um programa de amostragem idealizado e
criado pelo Profº Kish, o Sampling Program For Survey Statisticians.  Lembrei-me
desse argumento que o senhor costuma utilizar nas discussões que sempre temos
nos anos eleitorais sobre o método de amostragem aplicado às pesquisas. Então,
na época, eu fiz a seguinte pergunta para o ministrante do curso de métodos de
amostragem (Methods of Survey Sampling), o Jim Lepkowsky, um dos principais
amostristas de hoje nos EUA:

"This might be a tricky question that someone who uses a non-probability
sampling (such as a quota sampling) might argue and I wouldn't know exactly how
to answer that. And I quote: "Look, my (non-probability) sample could be one of
the possible samples of a probability sample design. Just because I didn't use a
randomization mechanism, I can't compute a sampling variance? What if you select
your sample with your probability sampling and end up with exactly the same
sample that I have? What makes you sample 'better' than mine, if they are the
same?" I think the concept behind here is: what is the role of the randomization
mechanism on the estimation, since once the sample was selected these
probabilities of selection "vanish"? I think that many bayesians statisticians
argues that, although they recognize that the randomization is very important to
achieve ignorable designs."

Eu gostei muito da resposta dele para essa pergunta, que é a que segue:

"An old argument, and logically incoherent (I think).  Probability refers to
potential, not to realization.  That is, a probability sample is one that
considers all the possible outcomes (events, samples).  The selection process
chooses one, and then there is not a 'probability' left -- the sample is
realized.  A convenience sample chooses one without considering all the
possibilities.  It is a realized sample from a set of one.  Perhaps this is
being too philosophical, but it does matter.  Such 'realization' or convenience
thinking can lead to situations that are subject to bias.  Can one really argue
that a mall intercept sample drawn at one shopping mall is equivalent to a
probability sample of all shoppers in a community, or shopping in a community?
The problem is convenience often ignores issues of population definition,
protection of subjective selection, and the strength of assumptions needed to
use probability sampling estimation procedures.  And this latter issue leads one
to relying on a model assumption that is difficult to test and if in error can
lead to substantially biased conclusionis.  While I know there are Bayesians who
argue that randomization is not necessary, many who have been involved in
practical work will use randomization anyway as a protection against model
failure.  Rod Little is one.  He advocates the use of randomization in selection
as a practical matter, even in a Bayesian
framework."


Algo a se pensar, não? :)
Outro dia, eu li em um livrinho de amostragem (Ideas of Sampling, do Alan Stuart
se eu não me engano), uma frase bastante interessante também, falando sobre o
mecanismo de aleatoriazação, que era algo do tipo: "Isso (o mecanismo de
aleatorização para seleção da amostra) não é uma abdicação de responsabilidade,
mas, muito pelo contrário, é um compromisso que você estabelece no seu estudo
que o mecanismo de seleção da amostra será livre de vieses (sic..pessoais) de
seleção".


Um grande abraço,
Raphael Nishimura.

Carlos Alberto de Braganca Pereira <cpereira@ime.usp.br>



--
Pedro Luis do Nascimento Silva
Southampton Statistical Sciences Research Institute
University of Southampton
Highfield
Southampton, SO17 1BJ, UK
Tel: 44-23-80597169
Fax: 44-23-80595763
Alternate e-mail: pedrolns@soton.ac.uk



--
-----------------------------------------------
While the individual man is an insoluble puzzle, in the aggregate he becomes a mathematical certainty.  You can, for example, never foretell what any one man will be up to, but you can say with precision what an average number will be up to.  Individuals vary, but percentages remain constant.  So says the statistician.  ~Arthur Conan Doyle
-----------------------------------------------
Neale Ahmed El-Dash
Doutorando em Estatística
Celular: (11) 96545833
Email: neale.eldash@gmail.com



--
Pedro Luis do Nascimento Silva
Southampton Statistical Sciences Research Institute
University of Southampton
Highfield
Southampton, SO17 1BJ, UK
Tel: 44-23-80597169
Fax: 44-23-80595763
Alternate e-mail: pedrolns@soton.ac.uk