Caríssimo:Não tenho restrições ao uso da TRI mas o seu argumento me pareceu muito furado do ponto de vista da estatística.Você usou um argumento de convergência para uma amostra de itens pequena e não de unidades amostrais que sãonormalmente indivíduos. Isto quer dizer o seguinte: há uma amostra onde se usa para dar as supostas dificuldades dositens que é a amostra de indivíduos em amostras anteriores. Outra é a amostra de itens para um mesmo indivíduoque é outra. Seu argumento foi na de itens para o joão um candidato. Ai meu amigo desculpe mas tá furado.Aqui o argumento tem de ser subjetivo e tem de ser usado a condição de permutabilidade entre itens.Esses itens selecionados vão ser usados para dar a nota de João, de Paulo, de Francisco etc.João pode saber tudo dentre a população de itens mas por azar caiu somente os itens que ele não sabia e ai o argumentode permutabilidade pode estar furado para João e boa para Paulo que sabia apenas aquelas que caíram. Azar de joão esorte de paulo.Não temos como corrigir isso assim como não temos como corrigir nossas provas de nosso dia a dia dentro de aula.Por isso disse a você não comece a usar jargões de propriedades assintóticas que aqui não vai valer.Grande abraço Bayesianos de um chato que não compra totalmente argumentos que inoram o indivíduo e os colocamcomo máquinas defeituosas.CarlinhosPS: Só para te confortar, não tenho alternativa alguma para o uso do TRI e assim temos sim de usa-lo!
2012/1/16 Heliton Tavares <heliton@globo.com>
Carlinhos,Apenas para tranquilizar-te, os tais 14 itens foram entre os 180, e não entre 45. Nenhuma prova foi corrigida com menos de 40 itens. Falha na informação.Grande abraço,HélitonEm 15 de janeiro de 2012 23:34, Heliton Tavares <heliton@globo.com> escreveu:
Oi Carlinhos,Certamente uma amostra maior produzirá um erro-padrão menor, mesmo na Clássica. Ninguém diverge nesse ponto. Mas ainda não percebi propostas que melhore a proposta, as discussões na lista não estão focadas em novas e melhores propostas metodológicas. Por isso acho importante focar em esclarecimentos.O primeiro item não está equivocado, talvez ainda precisando de complementação. Os parâmetros de cada item são estimados com "quase" um milhão de respostas (exceto equalização). Não há predefinição de pesos, por isso a subjetividade fica restrita a algumas suposições estatísticas, como usual.Também acho que se formos definir conhecimento estaremos fugindo do escopo desta lista, e até da área, por isso não me arriscarei. Vamos nos ater a identificá-la como uma variável latente (que não pode ser medida diretamente, mas sim através de outras observáveis) e estabelecer uma métrica para reconhecermos sua magnitude. Mas, se pudermos modelar, há como estimar. A forma da distribuição, neste contexto, é o que menos interessa, podendo-se ter propostas distintas.Um forte abraço,Héliton
Em 15 de janeiro de 2012 22:51, Carlos Pereira <cadebp@gmail.com> escreveu:
Me perdoe Heliton: Se falamos de convergência, 45 é muito melhor do que 31. Uma amostra que é 2/3 da grande não pode ser equivalente, nem aqui nem la com os chinas. Acho que o erro padrão da grande será menor pois iremos dividir por 45. Seu primeiro item literalmente está equivocado. Os parâmetros são definidos pela amostragem anterior? O evento se repetiu? É subjetivo? Quem é o expert que definiu os pesos se forem subjetivos? Me perdoe meu amigo estamos falando de parâmetros que deveriam medir conhecimento e até o momento, se eu não estiver equivocado, nem conhecimento foi definido. Você supõe uma distribuição normal para algo observável ou para algo que vai na mente do aluno?Acho que se forem começar a explicar essas coisas agora vão se complicar.Desculpe a intromissãoCarlinhosPS: Nem testar se normalidade é absurdo pode-se testar.
--
2012/1/15 Heliton Tavares <heliton@globo.com>
Prezados,A discussão foi importante. Encerro apenas esclarecendo os dois pontos citados:1) A equivalência ou não entre a Prova45 e a Prova31 (sub da 45) ocorreria independente do método de correção (TRI ou Clássica), assim como as provas que nós próprios preparamos não são equivalentes. Preparar outra completamente diferente não resolveria nada. Como profissionais da área de Estatística sabemos que com n=31, ao invés de n=45, teremos basicamente um erro-padrão estimado maior. A distribuição assintótica é a mesma e convergência é bem rápida. Como já dito, os resultados via TRI minimizam a diferença entre instrumentos de avaliação distintos, integral ou parcialmente.2) Referir-se a "Pesos" pode sugerir um certo desconhecimento do processo de estimação. Cada item tem associados 3 parâmetros (dificuldade, discriminação e acerto casual), e a probabilidade de resposta correta normalmente é modelada por uma equação logística (monótona, crescente, definida na reta), função dos 3 parâmetros e da variável latente (representando o nível cognitivo do examinado: proficiência). Os parâmetros dos itens (estimativas) são obtidos por Máxima Verossimilhança Marginal, supondo-se uma distribuição N(0,1), por exemplo, para a proficiência da população. Essa distribuição, condicionada ao vetor de resposta de um examinado, é usada para obter a estimativa da proficiência do mesmo, calculando-se a média da tal distribuição condicional. Deixo o restante, e há bastante, para uma leitura mais técnica (Andrade, Tavares & Valle, 2000, disponível em www.ufpa.br/heliton/arquivos/LivroTRI.pdf). Naturalmente há critérios adotados em maximização numérica que podem diferir na eventual implementação, por isso um software padrão tem sido adotado em quase todas as avaliações educacionais do país.Abraços Acadêmicos,Héliton Tavares
Em 15 de janeiro de 2012 16:21, Luis Paulo Vieira Braga <lpbraga@im.ufrj.br> escreveu:
Também estou encerrando o meu expediente nesse assunto com algumas nano-observações. Primeiramente foram muito positivas e esclarecedoras as intervenções de vários redistas próximos ao esforço do MEC em implantar o ENEM-SISU. Pelo menos da minha parte nunca houve restrições à TRI, mas sim em relação à sua implementação no processo de acesso ao ensino superior no Brasil. Criticar isso é diferente de negar a TRI. Apesar dos relatos pormenorizados, citando especialistas nacionais e internancionais, livros e eventos, saio desse debate, mantendo-me nos 99% (alusão à música) que não entenderam o seguinte:
1) Como uma prova com 45 questões pode ser equivalente a outra com 14 questões a menos?
2) Por que não se pode divulgar o peso calculado de cada questão em cada prova?
E, last but not least, há uma outra disciplina com forte interseção com a estatística que precisa ser convocada urgentemente – controle de qualidade.
Prof. Luis Paulo
C.P. 2386
20010-974 Rio de Janeiro, RJ
outros e-mails
lpbraga@geologia.ufrj.br
bragaprof@gmail.com
nosso BLOG
http://observatoriodauniversidade.blog.br
BLOG da CPPD
http://cppd-ufrj.blogspot.com/
--
Atenciosamente,
******************************************************************************
Prof. Dr. Héliton Ribeiro Tavares
Faculdade de Estatística
Universidade Federal do Pará
Fone: (91) 3201-8263/8053, Fax (91) 3201-7415, E-mail: heliton@ufpa.br
******************************************************************************
Carlos Alberto de Bragança Pereira
http://www.ime.usp.br/~cpereira
Stat Department - Professor
University of São Paulo
BioInfo: http://www.bioinfo.usp.br/
http://www.brastex.info/ebeb2012/
--
Atenciosamente,
******************************************************************************
Prof. Dr. Héliton Ribeiro Tavares
Faculdade de Estatística
Universidade Federal do Pará
Fone: (91) 3201-8263/8053, Fax (91) 3201-7415, E-mail: heliton@ufpa.br
******************************************************************************
--
Atenciosamente,
******************************************************************************
Prof. Dr. Héliton Ribeiro Tavares
Faculdade de Estatística
Universidade Federal do Pará
Fone: (91) 3201-8263/8053, Fax (91) 3201-7415, E-mail: heliton@ufpa.br
******************************************************************************
--
Carlos Alberto de Bragança Pereira
http://www.ime.usp.br/~cpereira
Stat Department - Professor
University of São Paulo
BioInfo: http://www.bioinfo.usp.br/
http://www.brastex.info/ebeb2012/