Oi Carlinhos,Certamente uma amostra maior produzirá um erro-padrão menor, mesmo na Clássica. Ninguém diverge nesse ponto. Mas ainda não percebi propostas que melhore a proposta, as discussões na lista não estão focadas em novas e melhores propostas metodológicas. Por isso acho importante focar em esclarecimentos.O primeiro item não está equivocado, talvez ainda precisando de complementação. Os parâmetros de cada item são estimados com "quase" um milhão de respostas (exceto equalização). Não há predefinição de pesos, por isso a subjetividade fica restrita a algumas suposições estatísticas, como usual.Também acho que se formos definir conhecimento estaremos fugindo do escopo desta lista, e até da área, por isso não me arriscarei. Vamos nos ater a identificá-la como uma variável latente (que não pode ser medida diretamente, mas sim através de outras observáveis) e estabelecer uma métrica para reconhecermos sua magnitude. Mas, se pudermos modelar, há como estimar. A forma da distribuição, neste contexto, é o que menos interessa, podendo-se ter propostas distintas.Um forte abraço,Héliton
Em 15 de janeiro de 2012 22:51, Carlos Pereira <cadebp@gmail.com> escreveu:
Me perdoe Heliton: Se falamos de convergência, 45 é muito melhor do que 31. Uma amostra que é 2/3 da grande não pode ser equivalente, nem aqui nem la com os chinas. Acho que o erro padrão da grande será menor pois iremos dividir por 45. Seu primeiro item literalmente está equivocado. Os parâmetros são definidos pela amostragem anterior? O evento se repetiu? É subjetivo? Quem é o expert que definiu os pesos se forem subjetivos? Me perdoe meu amigo estamos falando de parâmetros que deveriam medir conhecimento e até o momento, se eu não estiver equivocado, nem conhecimento foi definido. Você supõe uma distribuição normal para algo observável ou para algo que vai na mente do aluno?Acho que se forem começar a explicar essas coisas agora vão se complicar.Desculpe a intromissãoCarlinhosPS: Nem testar se normalidade é absurdo pode-se testar.
--
2012/1/15 Heliton Tavares <heliton@globo.com>
Prezados,A discussão foi importante. Encerro apenas esclarecendo os dois pontos citados:1) A equivalência ou não entre a Prova45 e a Prova31 (sub da 45) ocorreria independente do método de correção (TRI ou Clássica), assim como as provas que nós próprios preparamos não são equivalentes. Preparar outra completamente diferente não resolveria nada. Como profissionais da área de Estatística sabemos que com n=31, ao invés de n=45, teremos basicamente um erro-padrão estimado maior. A distribuição assintótica é a mesma e convergência é bem rápida. Como já dito, os resultados via TRI minimizam a diferença entre instrumentos de avaliação distintos, integral ou parcialmente.2) Referir-se a "Pesos" pode sugerir um certo desconhecimento do processo de estimação. Cada item tem associados 3 parâmetros (dificuldade, discriminação e acerto casual), e a probabilidade de resposta correta normalmente é modelada por uma equação logística (monótona, crescente, definida na reta), função dos 3 parâmetros e da variável latente (representando o nível cognitivo do examinado: proficiência). Os parâmetros dos itens (estimativas) são obtidos por Máxima Verossimilhança Marginal, supondo-se uma distribuição N(0,1), por exemplo, para a proficiência da população. Essa distribuição, condicionada ao vetor de resposta de um examinado, é usada para obter a estimativa da proficiência do mesmo, calculando-se a média da tal distribuição condicional. Deixo o restante, e há bastante, para uma leitura mais técnica (Andrade, Tavares & Valle, 2000, disponível em www.ufpa.br/heliton/arquivos/LivroTRI.pdf). Naturalmente há critérios adotados em maximização numérica que podem diferir na eventual implementação, por isso um software padrão tem sido adotado em quase todas as avaliações educacionais do país.Abraços Acadêmicos,Héliton Tavares
Em 15 de janeiro de 2012 16:21, Luis Paulo Vieira Braga <lpbraga@im.ufrj.br> escreveu:
Também estou encerrando o meu expediente nesse assunto com algumas nano-observações. Primeiramente foram muito positivas e esclarecedoras as intervenções de vários redistas próximos ao esforço do MEC em implantar o ENEM-SISU. Pelo menos da minha parte nunca houve restrições à TRI, mas sim em relação à sua implementação no processo de acesso ao ensino superior no Brasil. Criticar isso é diferente de negar a TRI. Apesar dos relatos pormenorizados, citando especialistas nacionais e internancionais, livros e eventos, saio desse debate, mantendo-me nos 99% (alusão à música) que não entenderam o seguinte:
1) Como uma prova com 45 questões pode ser equivalente a outra com 14 questões a menos?
2) Por que não se pode divulgar o peso calculado de cada questão em cada prova?
E, last but not least, há uma outra disciplina com forte interseção com a estatística que precisa ser convocada urgentemente – controle de qualidade.
Prof. Luis Paulo
C.P. 2386
20010-974 Rio de Janeiro, RJ
outros e-mails
lpbraga@geologia.ufrj.br
bragaprof@gmail.com
nosso BLOG
http://observatoriodauniversidade.blog.br
BLOG da CPPD
http://cppd-ufrj.blogspot.com/
--
Atenciosamente,
******************************************************************************
Prof. Dr. Héliton Ribeiro Tavares
Faculdade de Estatística
Universidade Federal do Pará
Fone: (91) 3201-8263/8053, Fax (91) 3201-7415, E-mail: heliton@ufpa.br
******************************************************************************
Carlos Alberto de Bragança Pereira
http://www.ime.usp.br/~cpereira
Stat Department - Professor
University of São Paulo
BioInfo: http://www.bioinfo.usp.br/
http://www.brastex.info/ebeb2012/
--
Atenciosamente,
******************************************************************************
Prof. Dr. Héliton Ribeiro Tavares
Faculdade de Estatística
Universidade Federal do Pará
Fone: (91) 3201-8263/8053, Fax (91) 3201-7415, E-mail: heliton@ufpa.br
******************************************************************************