Re: [ABE-L]: lenha na fogueira2

[Jose Carvalho <carvalho@statistika.com.br>]

Cada um faz o que quer... mas se dissermos que "meu estimador é 
não-tendencioso" e que sua variância é tal valor, precisamos calcular 
expectâncias. Para isso, precisamos de saber as probabilidades de inclusão. 

Algum outro jeito, que não vejo?

Onde entra a estatística, na amostragem por quotas? Cadê a justificativa 
matemática? Não havendo a justificativa matemática, cadê a evidência empírica 
de que funciona? (Eu somente conheço casos testados e publicados, com 
resultados negativos para a amostragem por quotas. Sem verificação formal, 
conheço muitas aplicações de sociólogos, cientistas políticos e outros 
avessos à matemática, com resultados nada bons. Um deles motivou esta 
pendenga).

Ao Neale: a comparação entra as duas (probailística e por quota) foi feita 
formalmente, na prática, na Inglaterra, nos anos 50 (ver a citação de Stuart 
e Moser, dada pelo Cristiano Ferraz). Foi o único jeito de testar um método 
que não se presta à análise matemática (amostragem por quotas).

Enfim, que conversa é essa de "fazer o que é possível na prática"? Será que 
algum amostrista de larga prática disse isso? Ou apenas neófitos? (Carlinhos, 
lembra dos termos que o professor Lourival Câmara usava? Neófitos era um dos 
seus preferidos. Sobre o papo de estranhos sobre a amostragem, ele escreveu 
uma pérola: "deixe-se que metecos e curiácios" ... falem. Eram linguagens 
herméticas para nós, aos 20 anos - o seu  português (do Lourival) e a tal de 
amostragem). 

Abs

On Friday 24 October 2008 09:17:10 Neale El-Dash wrote:
> Concordo com os argumentos levantados nessa discussão (muito importante),
> comparando amostragem prob. na teoria com amostragem por cotas na prática.
> Mas essa comparação é injusta...é preciso comparar amostragem prob. na
> prática com as cotas.   Ou seja, na situação real das pesquisas eleitorais,
> quando as pessoas podem não-responder, quando só existe informação para os
> setores censitários (conglomerados) e não existe informação sobre cada
> pessoa.
>
> Nesse contexto, por exemplo, amostragem prob. também é impossível de
> ser reproduzida.
> Vc nunca vai conseguir obter a mesma amostra, pois um dos mecanismos de
> seleção (a prob. de uma pessoa responder) não está sobre controle do
> pesquisador!  Também não acredito que, na prática, a cobertura dos
> intervalos de confiança da amostragem prob. estariam corretos....
>
> Temos que tentar conciliar a teoria com a prática, não que as amostras por
> cotas consigam fazer isso, mas as amostras probs. também enfrentam muitos
> problemas....
>
> Abraços
>
>
>
>
> 2008/10/24 Pedro Luis Nascimento Silva <pedronsilva@gmail.com>
>
> > Prezados  Colegas,
> >
> > Bem interessante a discussão levantada aqui sobre a utilização de
> > amostragem de quotas.
> >
> > Dois pontos a adicionar.
> > 1. O Prof. Carlos Pereira circulou mensagem citando a resposta do Prof.
> > Jim Lepkowski, que faz referência à posição do Prof. Rod Little. Este
> > recentemente ministrou aqui em Southampton um minicurso sobre a abordagem
> > bayesiana para amostragem. O sítio da conferência ainda está ativo:
> > http://www.s3ri.soton.ac.uk/ssbs08/
> > Lá poderão encontrar cópias de todos os trabalhos apresentados na
> > conferência. Infelizmente, não encontrarão o material do minicurso que
> > foi distribuído apenas aos participantes por instrução dos autores.
> >
> > Neste minicurso a posição do Prof. Little é clara e vai transcrita
> > abaixo. " Other inclusion schemes: quota sampling
> >
> > • Market research firms often use quota sampling, where
> >
> > strata are formed based on characteristics of interest, and
> >
> > researchers select individuals purposively until a fixed
> >
> > number of respondents are obtained in each stratum
> > *j*.
> >
> > • This scheme can assure that distribution of the stratifying
> >
> > variable in the sample matches that in the population.
> >
> > • However, lack of control of selection of units within strata
> >
> > means that the dependence of the selection mechanism on
> >
> > the unknown values of
> > *Y *is essentially unknown.
> >
> > • We might analyze the data assuming ignorable selection,
> >
> > but the possibility of unknown selection biases
> >
> > compromizes the validity of the inference.
> > • Random inclusion mechanisms avoid this problem."
> >
> > Como se vê, o analista tem a opção de analisar a amostra usando
> > ferramentas que pressupõem a ignorabilidade do mecanismo de seleção da
> > amostra, mas o faz apenas após ter que adotar algumas hipóteses fortes e
> > de impossível comprovação empírica. Segundo o Prof. Littkle, a seleção
> > aleatória da amostra entra nesta abordagem como um mecanismo de proteção
> > e robustez, para que o analista não tenha que depender de tais hipóteses
> > ao efetuar a análise usando as ferramentas que pressupõem a
> > ignorabilidade do mecanismo de seleção.
> >
> > 2. O segundo ponto, e que eu pessoalmente reputo como mais importante, é
> > a questão da reprodutibilidade dos resultados. Para mim este é o
> > calcanhar de Aquiles da amostragem por quotas. Nesta abordagem, é
> > impossível replicar os resultados da amostragem, mesmo que alguém tente
> > seguir à risca os 'procedimentos' indicados pelo responsável pela
> > pesquisa. Em ciência, esta é uma das pedras angulares da construção do
> > conhecimento. Resultados de experimentos que não podem ser replicados de
> > forma independente *por outros* não são aceitos como evidência sólida.
> > Uma das características que tornou o emprego de amostragem probabilística
> > (em suas várias formas) uma ferramenta tão amplamente aceita no mundo
> > todo é sua reprodutibilidade. Para um plano amostral bem descrito é
> > possível replicar o experimento. Pode haver diferentes modos de analisar
> > amostras probabilísticas (como a inferência 'design-based', a 'classic
> > model-based' ou mesmo a 'bayesian model-based'), mas não ficam pairando
> > dúvidas sobre a possibilidade de viéses conscientes ou inconscientes do
> > responsável pela pesquisa que possam ter afetado a seleção da amostra.
> >
> > Dada a natureza pública e a importância para a sociedade das pesquisas
> > eleitorais, adotar métodos que não possuam a propriedade de
> > reprodutibilidade é questionável, mas aqui entra minha opinião pessoal, e
> > outros podem discordar.
> >
> > Alguns argumentos tem sido apresentados em favor da amostragem por quotas
> > com base na idéia de que podem custar menos do que a amostragem
> > probabilística. Para amostras de igual tamanho, isto só pode ocorrer se o
> > processo de localizar e entrevistar possíveis eleitores for muito
> > diferente na amostragem por quotas, o que é conseguido, em muitos casos,
> > posicionando os entrevistadores em locais de acesso de grandes fluxos
> > populacionais e concentrando nestes locais números muito grandes de
> > entrevistas. Penso que esta comparação é sempre feita de forma enviesada,
> > pois uma amostra probabilística também pode ser conglomerada, e pode
> > basear-se em obter números comparáveis de entrevistas em cada
> > conglomerado. A diferença é que nesta última o pesquisador tem meios
> > simples para avaliar o efeito da conglomeração sobre a precisão das
> > estimativas, o que não ocorre com o processo de amostragem por quotas.
> >
> > Portanto, seria talvez possível (mas não considero desejável) obter
> > amostras probabilísticas de custo tão baixo como as amostras de quotas de
> > igual tamanho total. Esta simples constatação já me diz algo sobre o
> > processo, mas deixo aos colegas espaço para suas próprias. Para
> > finalizar, uma pitada de humor para animar a discussão. Aqui na
> > Inglaterra há um ditado que diz "*you pay peanuts, you get monkeys*".
> >
> > Saudações a tod@s.
> >
> > Pedrão.
> >
> >
> > 2008/10/24 Carlos Alberto de Braganca Pereira <cpereira@ime.usp.br>
> >
> >> Primeiro gostaria de me desculpar pelos erros que tenho cometido na
> >> escrita.  A
> >> empolgação evita que editemos o texto e só notamos os erros quando lemos
> >> a nossa
> >> própria mensagem.  Acho que a mensagem do PH merece uma reflexão.
> >>
> >> A mensagem abaixo eu recebi de um amigo e ex-aluno brilhante, Raphael
> >> Nishimura..
> >> Creio que vem de encontro ao que falei antes no meu e-mail "lenha no
> >> fogo" Pedi permissão a ele para enviar para vocês,
> >> geralmente
> >> Olá profº Carlinhos,
> >>
> >> Eu acabei de ler a mensagem que o senhor enviou para a lista de
> >> discussão da ABE
> >> e achei interessante fazer um comentário com o senhor. Em junho/julho
> >> estive na
> >> Universidade de Michigan participando de um programa de amostragem
> >> idealizado e
> >> criado pelo Profº Kish, o Sampling Program For Survey Statisticians.
> >>  Lembrei-me
> >> desse argumento que o senhor costuma utilizar nas discussões que sempre
> >> temos
> >> nos anos eleitorais sobre o método de amostragem aplicado às pesquisas.
> >> Então,
> >> na época, eu fiz a seguinte pergunta para o ministrante do curso de
> >> métodos de
> >> amostragem (Methods of Survey Sampling), o Jim Lepkowsky, um dos
> >> principais
> >> amostristas de hoje nos EUA:
> >>
> >> "This might be a tricky question that someone who uses a non-probability
> >> sampling (such as a quota sampling) might argue and I wouldn't know
> >> exactly how
> >> to answer that. And I quote: "Look, my (non-probability) sample could be
> >> one of
> >> the possible samples of a probability sample design. Just because I
> >> didn't use a
> >> randomization mechanism, I can't compute a sampling variance? What if
> >> you select
> >> your sample with your probability sampling and end up with exactly the
> >> same
> >> sample that I have? What makes you sample 'better' than mine, if they
> >> are the
> >> same?" I think the concept behind here is: what is the role of the
> >> randomization
> >> mechanism on the estimation, since once the sample was selected these
> >> probabilities of selection "vanish"? I think that many bayesians
> >> statisticians
> >> argues that, although they recognize that the randomization is very
> >> important to
> >> achieve ignorable designs."
> >>
> >> Eu gostei muito da resposta dele para essa pergunta, que é a que segue:
> >>
> >> "An old argument, and logically incoherent (I think).  Probability
> >> refers to
> >> potential, not to realization.  That is, a probability sample is one
> >> that considers all the possible outcomes (events, samples).  The
> >> selection process
> >> chooses one, and then there is not a 'probability' left -- the sample is
> >> realized.  A convenience sample chooses one without considering all the
> >> possibilities.  It is a realized sample from a set of one.  Perhaps this
> >> is
> >> being too philosophical, but it does matter.  Such 'realization' or
> >> convenience
> >> thinking can lead to situations that are subject to bias.  Can one
> >> really argue
> >> that a mall intercept sample drawn at one shopping mall is equivalent to
> >> a probability sample of all shoppers in a community, or shopping in a
> >> community?
> >> The problem is convenience often ignores issues of population
> >> definition, protection of subjective selection, and the strength of
> >> assumptions needed to
> >> use probability sampling estimation procedures.  And this latter issue
> >> leads one
> >> to relying on a model assumption that is difficult to test and if in
> >> error can
> >> lead to substantially biased conclusionis.  While I know there are
> >> Bayesians who
> >> argue that randomization is not necessary, many who have been involved
> >> in practical work will use randomization anyway as a protection against
> >> model failure.  Rod Little is one.  He advocates the use of
> >> randomization in selection
> >> as a practical matter, even in a Bayesian
> >> framework."
> >>
> >>
> >> Algo a se pensar, não? :)
> >> Outro dia, eu li em um livrinho de amostragem (Ideas of Sampling, do
> >> Alan Stuart
> >> se eu não me engano), uma frase bastante interessante também, falando
> >> sobre o
> >> mecanismo de aleatoriazação, que era algo do tipo: "Isso (o mecanismo de
> >> aleatorização para seleção da amostra) não é uma abdicação de
> >> responsabilidade,
> >> mas, muito pelo contrário, é um compromisso que você estabelece no seu
> >> estudo
> >> que o mecanismo de seleção da amostra será livre de vieses
> >> (sic..pessoais) de
> >> seleção".
> >>
> >>
> >> Um grande abraço,
> >> Raphael Nishimura.
> >>
> >> Carlos Alberto de Braganca Pereira <cpereira@ime.usp.br>
> >
> > --
> > Pedro Luis do Nascimento Silva
> > Southampton Statistical Sciences Research Institute
> > University of Southampton
> > Highfield
> > Southampton, SO17 1BJ, UK
> > Tel: 44-23-80597169
> > Fax: 44-23-80595763
> > Alternate e-mail: pedrolns@soton.ac.uk



-- 
José F. de Carvalho, PhD
Statistika Consultoria
+55-19-3236-7537