|
Prezados Colegas
Pelos varios argumentos ja expostos pelos participantes desta discussao, todos nos concordamos (assim penso)que a amostragem probabilistica e tecnicamente mais adequada do que qualquer metodo de amostragem nao-probabilistica.
A amostragem probabilistica e tambem desejavel, mesmo para aqueles que realizam inferencia via modelos. Este e o caso do Rod Little, que faz ressalvas ao uso de amostragem por cotas. Em outras palavras, a hipotese de ignorabilidade e questionada e a dificuldade seria a construcao de um modelo que incorpore este aspecto. E importante ressaltar que a nao-resposta, nas pesquisas probabilisticas podem tambem ser nao-ignoravel. Basicamente a modelagem consiste em prever a intencao de voto de um individuo via covariaveis relacionadas com a intencao. Neste caso podemos tambem obter uma medida de precisao do preditor via modelo.
Contudo, a questao que nao quer calar e se institutos de pesquisas de ambito nacional podem ou nao se darem ao luxo de dispensar o uso de metodos nao-probabilisticos para selecao de amostras em pesquisas eleitorais semanais. Principalmente num pais continental como o Brasil com mais de 5000 municipios. Posso estar enganado, mas acho que nem o IBGE com toda a sua equipe e estrutura nao daria conta desta tarefa.
Sob o ponto de vista pratico, o que realmente importa e se um determinado candidato ganha ou nao a eleicao ou se vai haver ou nao segundo turno. Quando um candidato esta bastante distante dos demais e nao ha mudanca subita de voto , qualquer amostragem bem conduzida (probabilistica ou nao da conta do recado). O problema ocorre quando esta separacao e nao tao evidente. A pergunta entao seria, a amostragem probabilistica discriminaria diferencas pequenas pelo simples aumento do tamanho da amostra e a nao-probabilistica nao discriminaria?
A resposta e, depende da magnitude do erro nao-amostral (mudanca subita de voto, declaracao incorreta, nao-resposta nao-ignoravel e etc). Se essa magnitude e significativa, as duas abordagens podem nao produzir resultados satisfatorios.
Portanto devemos tambem deixar claro para o publico que a "margem de erro" fornecida e apenas devido ao processo de amostragem ("design-based approach") ou devido a parte estocastica do modelo ("model-based approach"(menos conhecida por parte de muitos estatisticos).
Portanto acho que nao devemos apostar todas nossas fichas na amostragem probabilistica.
Quero deixar claro que nao estou defendendo a amostragem nao-probabilistica , mas reconhecendo os
pros e contras de ambas abordagens para este problema especifico das eleicoes.
Finalmente gostaria de parabenizar a todos que estao participando desta discussao.
Abracos e um bom final de semana.
Fernando Moura
On Fri, 24 Oct 2008 19:31:01 +0100, Pedro Luis Nascimento Silva wrote
> Neale e demais colegas,
>
> Num processo de amostragem conglomerada clássico os conglomerados selecionados são listados antes ou durante a operação de campo para entrevistas. Portanto, é sempre possível reconstruir a operação de seleção da amostra. O processo é reprodutível. Tanto assim que esta propriedade é aproveitada em situações de censo, para estimar a subenumeração dos censos (via amostras de pesquisas de avaliação de cobertura e um processo de estimação chamado de 'dual-frame', mas que nada mais é que um mecanismo de captura-recaptura aplicado a domicílios e pessoas).
>
> Sobre a não resposta, em pesquisas amostrais bem conduzidas, há controle rigoroso sobre as entrevistas não realizadas. Isto não resolve o problema completamente, pois se a não resposta for acentuada e com viés e seleção, pouco pode ser feito. Mas ao menos há um esquema teórico que guia os pesquisadores em monitorar e tratar os efeitos da não resposta sob certas circunstâncias. O mesmo não ocorre no protocolo usual de uma pesquisa por quotas, pois esta questão não está posta num arcabouço teórico que sustente a prática destas pesquisas.
>
> Sou fã de fazer Estatística na prática, e dou o maior valor ao conhecimento empírico gerado na prática da Estatística. Mas a boa prática não é feita ignorando a teoria. Ao contrário, é o farol da teoria que ilumina os caminhos e nos permite evitar pagar altos preços por ineficiência dos procedimentos utilizados, ou até pela obtenção de resultados completamente enviesados ou pouco verossímeis.
>
> Entenda que minha mensagem não teve o propósito de desacreditar amostragem por quotas, mas de colocar argumentos precisos sobre a comparação para o julgamento dos interessados no debate.
>
> Atenciosamente, Pedro.
>
> 2008/10/24 Neale El-Dash <neale.eldash@gmail.com>
>
Concordo com os argumentos levantados nessa discussão (muito importante), comparando amostragem prob. na teoria com amostragem por cotas na prática. Mas essa comparação é injusta...é preciso comparar amostragem prob. na prática com as cotas. Ou seja, na situação real das pesquisas eleitorais, quando as pessoas podem não-responder, quando só existe informação para os setores censitários (conglomerados) e não existe informação sobre cada pessoa.
>
> Nesse contexto, por exemplo, amostragem prob. também é impossível de ser reproduzida. Vc nunca vai conseguir obter a mesma amostra, pois um dos mecanismos de seleção (a prob. de uma pessoa responder) não está sobre controle do pesquisador! Também não acredito que, na prática, a cobertura dos intervalos de confiança da amostragem prob. estariam corretos....
>
> Temos que tentar conciliar a teoria com a prática, não que as amostras por cotas consigam fazer isso, mas as amostras probs. também enfrentam muitos problemas....
>
> Abraços
>
>
>
> 2008/10/24 Pedro Luis Nascimento Silva <pedronsilva@gmail.com>
>
>
> Prezados Colegas,
>
> Bem interessante a discussão levantada aqui sobre a utilização de amostragem de quotas.
>
> Dois pontos a adicionar.
> 1. O Prof. Carlos Pereira circulou mensagem citando a resposta do Prof. Jim Lepkowski, que faz referência à posição do Prof. Rod Little. Este recentemente ministrou aqui em Southampton um minicurso sobre a abordagem bayesiana para amostragem. O sítio da conferência ainda está ativo: http://www.s3ri.soton.ac.uk/ssbs08/
> Lá poderão encontrar cópias de todos os trabalhos apresentados na conferência. Infelizmente, não encontrarão o material do minicurso que foi distribuído apenas aos participantes por instrução dos autores.
>
> Neste minicurso a posição do Prof. Little é clara e vai transcrita abaixo.
> " Other inclusion schemes: quota sampling
> ? Market research firms often use quota sampling, where
> strata are formed based on characteristics of interest, and
> researchers select individuals purposively until a fixed
> number of respondents are obtained in each stratum j.
> ? This scheme can assure that distribution of the stratifying
> variable in the sample matches that in the population.
> ? However, lack of control of selection of units within strata
> means that the dependence of the selection mechanism on
> the unknown values of Y is essentially unknown.
> ? We might analyze the data assuming ignorable selection,
> but the possibility of unknown selection biases
> compromizes the validity of the inference.
> ? Random inclusion mechanisms avoid this problem."
>
> Como se vê, o analista tem a opção de analisar a amostra usando ferramentas que pressupõem a ignorabilidade do mecanismo de seleção da amostra, mas o faz apenas após ter que adotar algumas hipóteses fortes e de impossível comprovação empírica. Segundo o Prof. Littkle, a seleção aleatória da amostra entra nesta abordagem como um mecanismo de proteção e robustez, para que o analista não tenha que depender de tais hipóteses ao efetuar a análise usando as ferramentas que pressupõem a ignorabilidade do mecanismo de seleção.
>
> 2. O segundo ponto, e que eu pessoalmente reputo como mais importante, é a questão da reprodutibilidade dos resultados. Para mim este é o calcanhar de Aquiles da amostragem por quotas. Nesta abordagem, é impossível replicar os resultados da amostragem, mesmo que alguém tente seguir à risca os 'procedimentos' indicados pelo responsável pela pesquisa. Em ciência, esta é uma das pedras angulares da construção do conhecimento. Resultados de experimentos que não podem ser replicados de forma independente por outros não são aceitos como evidência sólida. Uma das características que tornou o emprego de amostragem probabilística (em suas várias formas) uma ferramenta tão amplamente aceita no mundo todo é sua reprodutibilidade. Para um plano amostral bem descrito é possível replicar o experimento. Pode haver diferentes modos de analisar amostras probabilísticas (como a inferência 'design-based', a 'classic model-based' ou mesmo a 'bayesian model-based'), mas não ficam pairando dúvidas sobre a possibilidade de viéses conscientes ou inconscientes do responsável pela pesquisa que possam ter afetado a seleção da amostra.
>
> Dada a natureza pública e a importância para a sociedade das pesquisas eleitorais, adotar métodos que não possuam a propriedade de reprodutibilidade é questionável, mas aqui entra minha opinião pessoal, e outros podem discordar.
>
> Alguns argumentos tem sido apresentados em favor da amostragem por quotas com base na idéia de que podem custar menos do que a amostragem probabilística. Para amostras de igual tamanho, isto só pode ocorrer se o processo de localizar e entrevistar possíveis eleitores for muito diferente na amostragem por quotas, o que é conseguido, em muitos casos, posicionando os entrevistadores em locais de acesso de grandes fluxos populacionais e concentrando nestes locais números muito grandes de entrevistas. Penso que esta comparação é sempre feita de forma enviesada, pois uma amostra probabilística também pode ser conglomerada, e pode basear-se em obter números comparáveis de entrevistas em cada conglomerado. A diferença é que nesta última o pesquisador tem meios simples para avaliar o efeito da conglomeração sobre a precisão das estimativas, o que não ocorre com o processo de amostragem por quotas.
>
> Portanto, seria talvez possível (mas não considero desejável) obter amostras probabilísticas de custo tão baixo como as amostras de quotas de igual tamanho total. Esta simples constatação já me diz algo sobre o processo, mas deixo aos colegas espaço para suas próprias. Para finalizar, uma pitada de humor para animar a discussão. Aqui na Inglaterra há um ditado que diz "you pay peanuts, you get monkeys".
>
> Saudações a tod@s.
>
> Pedrão.
>
>
> 2008/10/24 Carlos Alberto de Braganca Pereira <cpereira@ime.usp.br>
>
>
> Primeiro gostaria de me desculpar pelos erros que tenho cometido na escrita. A
> empolgação evita que editemos o texto e só notamos os erros quando lemos a nossa
> própria mensagem. Acho que a mensagem do PH merece uma reflexão.
>
> A mensagem abaixo eu recebi de um amigo e ex-aluno brilhante, Raphael Nishimura..
> Creio que vem de encontro ao que falei antes no meu e-mail "lenha no fogo"
> Pedi permissão a ele para enviar para vocês,
> geralmente
>
> Olá profº Carlinhos,
>
> Eu acabei de ler a mensagem que o senhor enviou para a lista de discussão da ABE
> e achei interessante fazer um comentário com o senhor. Em junho/julho estive na
> Universidade de Michigan participando de um programa de amostragem idealizado e
> criado pelo Profº Kish, o Sampling Program For Survey Statisticians. Lembrei-me
> desse argumento que o senhor costuma utilizar nas discussões que sempre temos
> nos anos eleitorais sobre o método de amostragem aplicado às pesquisas. Então,
> na época, eu fiz a seguinte pergunta para o ministrante do curso de métodos de
> amostragem (Methods of Survey Sampling), o Jim Lepkowsky, um dos principais
> amostristas de hoje nos EUA:
>
> "This might be a tricky question that someone who uses a non-probability
> sampling (such as a quota sampling) might argue and I wouldn't know exactly how
> to answer that. And I quote: "Look, my (non-probability) sample could be one of
> the possible samples of a probability sample design. Just because I didn't use a
> randomization mechanism, I can't compute a sampling variance? What if you select
> your sample with your probability sampling and end up with exactly the same
> sample that I have? What makes you sample 'better' than mine, if they are the
> same?" I think the concept behind here is: what is the role of the randomization
> mechanism on the estimation, since once the sample was selected these
> probabilities of selection "vanish"? I think that many bayesians statisticians
> argues that, although they recognize that the randomization is very important to
> achieve ignorable designs."
>
> Eu gostei muito da resposta dele para essa pergunta, que é a que segue:
>
> "An old argument, and logically incoherent (I think). Probability refers to
> potential, not to realization. That is, a probability sample is one that
> considers all the possible outcomes (events, samples). The selection process
> chooses one, and then there is not a 'probability' left -- the sample is
> realized. A convenience sample chooses one without considering all the
> possibilities. It is a realized sample from a set of one. Perhaps this is
> being too philosophical, but it does matter. Such 'realization' or convenience
> thinking can lead to situations that are subject to bias. Can one really argue
> that a mall intercept sample drawn at one shopping mall is equivalent to a
> probability sample of all shoppers in a community, or shopping in a community?
> The problem is convenience often ignores issues of population definition,
> protection of subjective selection, and the strength of assumptions needed to
> use probability sampling estimation procedures. And this latter issue leads one
> to relying on a model assumption that is difficult to test and if in error can
> lead to substantially biased conclusionis. While I know there are Bayesians who
> argue that randomization is not necessary, many who have been involved in
> practical work will use randomization anyway as a protection against model
> failure. Rod Little is one. He advocates the use of randomization in selection
> as a practical matter, even in a Bayesian
> framework."
>
> Algo a se pensar, não? :)
> Outro dia, eu li em um livrinho de amostragem (Ideas of Sampling, do Alan Stuart
> se eu não me engano), uma frase bastante interessante também, falando sobre o
> mecanismo de aleatoriazação, que era algo do tipo: "Isso (o mecanismo de
> aleatorização para seleção da amostra) não é uma abdicação de responsabilidade,
> mas, muito pelo contrário, é um compromisso que você estabelece no seu estudo
> que o mecanismo de seleção da amostra será livre de vieses (sic..pessoais) de
> seleção".
>
> Um grande abraço,
> Raphael Nishimura.
>
> Carlos Alberto de Braganca Pereira <cpereira@ime.usp.br>
>
>
> --
> Pedro Luis do Nascimento Silva
> Southampton Statistical Sciences Research Institute
> University of Southampton
> Highfield
> Southampton, SO17 1BJ, UK
> Tel: 44-23-80597169
> Fax: 44-23-80595763
> Alternate e-mail: pedrolns@soton.ac.uk
>
>
> --
> -----------------------------------------------
> While the individual man is an insoluble puzzle, in the aggregate he becomes a mathematical certainty. You can, for example, never foretell what any one man will be up to, but you can say with precision what an average number will be up to. Individuals vary, but percentages remain constant. So says the statistician. ~Arthur Conan Doyle
> -----------------------------------------------
> Neale Ahmed El-Dash
> Doutorando em Estatística
> Celular: (11) 96545833
> Email: neale.eldash@gmail.com
>
>
> --
> Pedro Luis do Nascimento Silva
> Southampton Statistical Sciences Research Institute
> University of Southampton
> Highfield
> Southampton, SO17 1BJ, UK
> Tel: 44-23-80597169
> Fax: 44-23-80595763
> Alternate e-mail: pedrolns@soton.ac.uk
--
Open WebMail Project (http://openwebmail.org)
|